Re: Gedeelde opslag, waardevol
Op 13-04-18 om 17:48 schreef Geert Stappers:> Dus, als ik het goed begrijp, jouw organisatie vind Proxmox VE > een waardevol product, maar heeft er geen geld voor over. > > Ik hoop voor jou, dat je waardevol werk voor je organisatie doet > en dat je er wel voor betaalt krijgt. Wat je waarschijnlijk bedoeld te zeggen is: Overweeg eens een support contract, daarmee ondersteun je toch een prachtig product. Er zijn in de free-software wereld vele prachtige producten waar je ook commerciële support op kunt nemen. Zelf doe ik dat meestal alleen als het OF heel betaalbaar is, OF ik het product nog niet zo goed ken en het toch nogal belangrijk is voor me. Wellicht is het ook te overwegen als je vervangbaar moet zijn, dus dat tijdens je vakantie iemand met minder ervaring ondersteuning kan krijgen. Als ik het goed begrijp biedt Proxmox voor betalende klanten een versie die beter getest is dan de versie die aan niet-betalende klanten wordt aangeboden. In feite fungeer je als niet-betalende klant dus als een soort productie-beta-tester, wat ook veel waard is lijkt me! Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag
Op 13-04-18 om 16:31 schreef Paul van der Vlis: > Ik heb ook Supermicro's maar met 96GB geheugen. De CPU's hebben ook 12 > cores. Ehm, de twee processoren samen. 6 cores per CPU met hyper-threading. cat /proc/cpuinfo geeft processor 0-23. Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag, waardevol
On Fri, Apr 13, 2018 at 05:26:10PM +0200, mj wrote: > On 04/13/2018 04:50 PM, Frans van Berckel wrote: > >Leuk, altijd doen. Wat kost Proxmox? > Niks zolang je genoegen neemt met de minder goed geteste community > packages repo. Ze hebben ook de subscription repo, waarin de > packages beter getest zijn, daarvoor betaal je wel. > > Maar wij vinden de community repo best prima. Nooit problemen gehad, > hoewel ik incidenteel op de mailinglist wel eens iets lees. > > Wij updaten ook telkens slechts één host per keer, dan kun je ook > wel wat ellende hebben, en draaien je VMs toch gewoon door op de > resterende hosts. (worst case) Dus, als ik het goed begrijp, jouw organisatie vind Proxmox VE een waardevol product, maar heeft er geen geld voor over. Ik hoop voor jou, dat je waardevol werk voor je organisatie doet en dat je er wel voor betaalt krijgt. Groeten Geert Stappers -- Leven en laten leven
Re: Gedeelde opslag
On 04/13/2018 04:50 PM, Frans van Berckel wrote: Leuk, altijd doen. Wat kost Proxmox? Niks zolang je genoegen neemt met de minder goed geteste community packages repo. Ze hebben ook de subscription repo, waarin de packages beter getest zijn, daarvoor betaal je wel. Maar wij vinden de community repo best prima. Nooit problemen gehad, hoewel ik incidenteel op de mailinglist wel eens iets lees. Wij updaten ook telkens slechts één host per keer, dan kun je ook wel wat ellende hebben, en draaien je VMs toch gewoon door op de resterende hosts. (worst case) MJ
Re: Gedeelde opslag
On 04/13/2018 04:31 PM, Paul van der Vlis wrote: Hoeveel geheugen en hoeveel cores je CPUs hebben lijkt me toch niet echt van belang voor de setup? Wel uiteraard voor hoeveel VM's je kunt draaien. Nou, wel voor de ceph storage. Die 'berekent'namelijk waar de data staan. Next generation storage, heel interessant. Google er maar eens over. Heeft dus méér cpu nodig dan een gewone storage oplossing. Welke journals zet je op SSD? Ceph gebruikt journals, die dus. Die worden dan later geflushed naar de spinning disks. Maakt groot verschil voor performance. Maar je moet wel de juiste enterprise SSDs nemen. ook daarover kan google je veel vertellen, of de ceph mailinglist. Draai je ook nog raid op je machines, of is dat niet meer nodig bij Ceph? Nee, geen raid. Ceph wil graag praten met echte individuele disks, ZONDER vrstorende raid adapter ertussen. (zelfs JBOD wordt afgeraden) Je kunt er ook een oudere machine neerzetten lijkt me, als het toch alleen voor storage is. Toch? Ja, maar wel weer met de kanttekening dat cepg dus relatief ceel cpu gebruikt. Méér dan je verwacht wanneer je zegt: storage-only node. Gebruik je een 10 Gbit netwerk voor de replicatie, of sneller? Nee, wij doen 10GB. En dat saturates in onze omgeving dus niet. (zeker niet structureel) Bedankt voor je aanbod, Ceph lijkt heel interessant. Ik kan zeggen dat het dat ook is. :-) Ik krijg net een uitnodiging van iemand hier in Groningen om eens te komen kijken naar zijn Proxmox. Ja, nou ja, je bent hier ook welkom :-) Hmm, waarom zit Proxmox eigenlijk niet in Debian? Zie andere reply. Fijn weekend, MJ
Re: Gedeelde opslag
On 04/13/2018 04:56 PM, Paul van der Vlis wrote: Ik kwam wel dit tegen: https://packages.debian.org/buster/python3-proxmoxer Ik vraag me dan af of die "Proxmox REST API v2" ook in Debian zit of hoe dat werkt. Je kunt proxmox er wel gewoon bij zetten, in een normale debian install: https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Stretch MJ
Re: Gedeelde opslag
Op 13-04-18 om 16:50 schreef Frans van Berckel: > Hoi Paul, > > On Fri, 2018-04-13 at 16:31 +0200, Paul van der Vlis wrote: >> >>> Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe >>> t werkt. Zonder ceph kun je het gewoon op één enkele machine >>> uittesten. >> >> Ik krijg net een uitnodiging van iemand hier in Groningen om eens te >> komen kijken naar zijn Proxmox. > > Leuk, altijd doen. Wat kost Proxmox? Niks, al kun je natuurlijk een support-contract nemen. >> Hmm, waarom zit Proxmox eigenlijk niet in Debian? > > *vrijdag middag* Omdat Debian reeds in Proxmox zit? ;-) ;-) Ik kwam wel dit tegen: https://packages.debian.org/buster/python3-proxmoxer Ik vraag me dan af of die "Proxmox REST API v2" ook in Debian zit of hoe dat werkt. Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag
Hoi Paul, On Fri, 2018-04-13 at 16:31 +0200, Paul van der Vlis wrote: > > > Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe > > t werkt. Zonder ceph kun je het gewoon op één enkele machine > > uittesten. > > Ik krijg net een uitnodiging van iemand hier in Groningen om eens te > komen kijken naar zijn Proxmox. Leuk, altijd doen. Wat kost Proxmox? > Hmm, waarom zit Proxmox eigenlijk niet in Debian? *vrijdag middag* Omdat Debian reeds in Proxmox zit? ;-) -- Frans van Berckel Media Engineer / Linux Master LinkedIn: https://www.linkedin.com/in/fransvberckel/
Re: Gedeelde opslag
Hoi, Op 13-04-18 om 15:20 schreef mj: > Hoi Paul, > > On 04/13/2018 02:45 PM, Paul van der Vlis wrote: >> Hallo, >> >> Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik >> het zo gaan maken dat ik een guest over kan zetten naar een andere >> server. Daarvoor is een vorm van gedeelde opslag nodig. >> >> Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 >> images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of >> Samba. > Daar denk ik dan niet direct aan, maar: > >> Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis >> van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat >> zou dan kunnen met een protocol als iSCSI, AoE, of FCP. > Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij > alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al > jaren, en is echt fantastisch. > > Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph > als storage oplossing. Dat is helemaal fantastisch, en heeft alle features. Ik gebruik op het moment eigen scripts, maar hoor ook goede verhalen over Proxmox. > Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op > debian, met ceph geintegreerd, live migration, alles erop en eraan. > > Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 > fysieke servers die alle drie ook de storage doen, SNELLE netwerking > (min 10G) onderling, en genoeg disks per machine om alle reads/writes > over te verdelen. > > Wij draaien 3x supermicro met 8 4TB disks per server, en journals op > SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is > dit wel de minimum setup. Hoeveel geheugen en hoeveel cores je CPUs hebben lijkt me toch niet echt van belang voor de setup? Wel uiteraard voor hoeveel VM's je kunt draaien. Ik heb ook Supermicro's maar met 96GB geheugen. De CPU's hebben ook 12 cores. Op het moment heb ik alleen harddisks. Welke journals zet je op SSD? Draai je ook nog raid op je machines, of is dat niet meer nodig bij Ceph? > Ik wil er graag nog een vierde storage-only > machine bij zetten, vooral om ceph sneller te maken. Je kunt er ook een oudere machine neerzetten lijkt me, als het toch alleen voor storage is. Toch? Gebruik je een 10 Gbit netwerk voor de replicatie, of sneller? >> En om het nog interessanter te maken zou het ook nog kunnen met een >> cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM >> kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. >> Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver >> meer, maar heb je een soort raid tussen verschillende machines. Klinkt >> wel heel interessant, je hebt dan geen single point of failure meer. En >> wellicht hoeft de data bij lezen niet meer over het netwerk in mijn >> situatie, wat wellicht toch voordelen heeft. > Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Bedankt voor je aanbod, Ceph lijkt heel interessant. > Maar > proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. > Zonder ceph kun je het gewoon op één enkele machine uittesten. Ik krijg net een uitnodiging van iemand hier in Groningen om eens te komen kijken naar zijn Proxmox. Hmm, waarom zit Proxmox eigenlijk niet in Debian? Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag
Hoi Paul, On 04/13/2018 02:45 PM, Paul van der Vlis wrote: Hallo, Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik het zo gaan maken dat ik een guest over kan zetten naar een andere server. Daarvoor is een vorm van gedeelde opslag nodig. Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of Samba. Daar denk ik dan niet direct aan, maar: Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat zou dan kunnen met een protocol als iSCSI, AoE, of FCP. Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al jaren, en is echt fantastisch. Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph als storage oplossing. Dat is helemaal fantastisch, en heeft alle features. Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op debian, met ceph geintegreerd, live migration, alles erop en eraan. Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 fysieke servers die alle drie ook de storage doen, SNELLE netwerking (min 10G) onderling, en genoeg disks per machine om alle reads/writes over te verdelen. Wij draaien 3x supermicro met 8 4TB disks per server, en journals op SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is dit wel de minimum setup. Ik wil er graag nog een vierde storage-only machine bij zetten, vooral om ceph sneller te maken. En om het nog interessanter te maken zou het ook nog kunnen met een cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver meer, maar heb je een soort raid tussen verschillende machines. Klinkt wel heel interessant, je hebt dan geen single point of failure meer. En wellicht hoeft de data bij lezen niet meer over het netwerk in mijn situatie, wat wellicht toch voordelen heeft. Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. Zonder ceph kun je het gewoon op één enkele machine uittesten. MJ
Gedeelde opslag
Hallo, Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik het zo gaan maken dat ik een guest over kan zetten naar een andere server. Daarvoor is een vorm van gedeelde opslag nodig. Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of Samba. Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat zou dan kunnen met een protocol als iSCSI, AoE, of FCP. En om het nog interessanter te maken zou het ook nog kunnen met een cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver meer, maar heb je een soort raid tussen verschillende machines. Klinkt wel heel interessant, je hebt dan geen single point of failure meer. En wellicht hoeft de data bij lezen niet meer over het netwerk in mijn situatie, wat wellicht toch voordelen heeft. Wie heeft ervaring, en ook nog tijd & zin wat te vertellen? Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
