Hoi, Op 13-04-18 om 15:20 schreef mj: > Hoi Paul, > > On 04/13/2018 02:45 PM, Paul van der Vlis wrote: >> Hallo, >> >> Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik >> het zo gaan maken dat ik een guest over kan zetten naar een andere >> server. Daarvoor is een vorm van gedeelde opslag nodig. >> >> Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 >> images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of >> Samba. > Daar denk ik dan niet direct aan, maar: > >> Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis >> van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat >> zou dan kunnen met een protocol als iSCSI, AoE, of FCP. > Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij > alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al > jaren, en is echt fantastisch. > > Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph > als storage oplossing. Dat is helemaal fantastisch, en heeft alle features.
Ik gebruik op het moment eigen scripts, maar hoor ook goede verhalen over Proxmox. > Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op > debian, met ceph geintegreerd, live migration, alles erop en eraan. > > Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 > fysieke servers die alle drie ook de storage doen, SNELLE netwerking > (min 10G) onderling, en genoeg disks per machine om alle reads/writes > over te verdelen. > > Wij draaien 3x supermicro met 8 4TB disks per server, en journals op > SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is > dit wel de minimum setup. Hoeveel geheugen en hoeveel cores je CPUs hebben lijkt me toch niet echt van belang voor de setup? Wel uiteraard voor hoeveel VM's je kunt draaien. Ik heb ook Supermicro's maar met 96GB geheugen. De CPU's hebben ook 12 cores. Op het moment heb ik alleen harddisks. Welke journals zet je op SSD? Draai je ook nog raid op je machines, of is dat niet meer nodig bij Ceph? > Ik wil er graag nog een vierde storage-only > machine bij zetten, vooral om ceph sneller te maken. Je kunt er ook een oudere machine neerzetten lijkt me, als het toch alleen voor storage is. Toch? Gebruik je een 10 Gbit netwerk voor de replicatie, of sneller? >> En om het nog interessanter te maken zou het ook nog kunnen met een >> cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM >> kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. >> Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver >> meer, maar heb je een soort raid tussen verschillende machines. Klinkt >> wel heel interessant, je hebt dan geen single point of failure meer. En >> wellicht hoeft de data bij lezen niet meer over het netwerk in mijn >> situatie, wat wellicht toch voordelen heeft. > Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Bedankt voor je aanbod, Ceph lijkt heel interessant. > Maar > proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. > Zonder ceph kun je het gewoon op één enkele machine uittesten. Ik krijg net een uitnodiging van iemand hier in Groningen om eens te komen kijken naar zijn Proxmox. Hmm, waarom zit Proxmox eigenlijk niet in Debian? Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
