Hoi Paul,

On 04/13/2018 02:45 PM, Paul van der Vlis wrote:
Hallo,

Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik
het zo gaan maken dat ik een guest over kan zetten naar een andere
server. Daarvoor is een vorm van gedeelde opslag nodig.

Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2
images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of
Samba.
Daar denk ik dan niet direct aan, maar:

Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis
van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat
zou dan kunnen met een protocol als iSCSI, AoE, of FCP.
Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al jaren, en is echt fantastisch.

Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph als storage oplossing. Dat is helemaal fantastisch, en heeft alle features.

Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op debian, met ceph geintegreerd, live migration, alles erop en eraan.

Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 fysieke servers die alle drie ook de storage doen, SNELLE netwerking (min 10G) onderling, en genoeg disks per machine om alle reads/writes over te verdelen.

Wij draaien 3x supermicro met 8 4TB disks per server, en journals op SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is dit wel de minimum setup. Ik wil er graag nog een vierde storage-only machine bij zetten, vooral om ceph sneller te maken.

En om het nog interessanter te maken zou het ook nog kunnen met een
cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM
kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM.
Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver
meer, maar heb je een soort raid tussen verschillende machines. Klinkt
wel heel interessant, je hebt dan geen single point of failure meer. En
wellicht hoeft de data bij lezen niet meer over het netwerk in mijn
situatie, wat wellicht toch voordelen heeft.
Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. Zonder ceph kun je het gewoon op één enkele machine uittesten.

MJ

Antwoord per e-mail aan