Re: Gedeelde opslag, waardevol
On Fri, Apr 13, 2018 at 05:26:10PM +0200, mj wrote: > On 04/13/2018 04:50 PM, Frans van Berckel wrote: > >Leuk, altijd doen. Wat kost Proxmox? > Niks zolang je genoegen neemt met de minder goed geteste community > packages repo. Ze hebben ook de subscription repo, waarin de > packages beter getest zijn, daarvoor betaal je wel. > > Maar wij vinden de community repo best prima. Nooit problemen gehad, > hoewel ik incidenteel op de mailinglist wel eens iets lees. > > Wij updaten ook telkens slechts één host per keer, dan kun je ook > wel wat ellende hebben, en draaien je VMs toch gewoon door op de > resterende hosts. (worst case) Dus, als ik het goed begrijp, jouw organisatie vind Proxmox VE een waardevol product, maar heeft er geen geld voor over. Ik hoop voor jou, dat je waardevol werk voor je organisatie doet en dat je er wel voor betaalt krijgt. Groeten Geert Stappers -- Leven en laten leven
Re: Gedeelde opslag
On 04/13/2018 04:50 PM, Frans van Berckel wrote: Leuk, altijd doen. Wat kost Proxmox? Niks zolang je genoegen neemt met de minder goed geteste community packages repo. Ze hebben ook de subscription repo, waarin de packages beter getest zijn, daarvoor betaal je wel. Maar wij vinden de community repo best prima. Nooit problemen gehad, hoewel ik incidenteel op de mailinglist wel eens iets lees. Wij updaten ook telkens slechts één host per keer, dan kun je ook wel wat ellende hebben, en draaien je VMs toch gewoon door op de resterende hosts. (worst case) MJ
Re: Gedeelde opslag
On 04/13/2018 04:31 PM, Paul van der Vlis wrote: Hoeveel geheugen en hoeveel cores je CPUs hebben lijkt me toch niet echt van belang voor de setup? Wel uiteraard voor hoeveel VM's je kunt draaien. Nou, wel voor de ceph storage. Die 'berekent'namelijk waar de data staan. Next generation storage, heel interessant. Google er maar eens over. Heeft dus méér cpu nodig dan een gewone storage oplossing. Welke journals zet je op SSD? Ceph gebruikt journals, die dus. Die worden dan later geflushed naar de spinning disks. Maakt groot verschil voor performance. Maar je moet wel de juiste enterprise SSDs nemen. ook daarover kan google je veel vertellen, of de ceph mailinglist. Draai je ook nog raid op je machines, of is dat niet meer nodig bij Ceph? Nee, geen raid. Ceph wil graag praten met echte individuele disks, ZONDER vrstorende raid adapter ertussen. (zelfs JBOD wordt afgeraden) Je kunt er ook een oudere machine neerzetten lijkt me, als het toch alleen voor storage is. Toch? Ja, maar wel weer met de kanttekening dat cepg dus relatief ceel cpu gebruikt. Méér dan je verwacht wanneer je zegt: storage-only node. Gebruik je een 10 Gbit netwerk voor de replicatie, of sneller? Nee, wij doen 10GB. En dat saturates in onze omgeving dus niet. (zeker niet structureel) Bedankt voor je aanbod, Ceph lijkt heel interessant. Ik kan zeggen dat het dat ook is. :-) Ik krijg net een uitnodiging van iemand hier in Groningen om eens te komen kijken naar zijn Proxmox. Ja, nou ja, je bent hier ook welkom :-) Hmm, waarom zit Proxmox eigenlijk niet in Debian? Zie andere reply. Fijn weekend, MJ
Re: Gedeelde opslag
On 04/13/2018 04:56 PM, Paul van der Vlis wrote: Ik kwam wel dit tegen: https://packages.debian.org/buster/python3-proxmoxer Ik vraag me dan af of die "Proxmox REST API v2" ook in Debian zit of hoe dat werkt. Je kunt proxmox er wel gewoon bij zetten, in een normale debian install: https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Stretch MJ
Re: Gedeelde opslag
Op 13-04-18 om 16:50 schreef Frans van Berckel: > Hoi Paul, > > On Fri, 2018-04-13 at 16:31 +0200, Paul van der Vlis wrote: >> >>> Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe >>> t werkt. Zonder ceph kun je het gewoon op één enkele machine >>> uittesten. >> >> Ik krijg net een uitnodiging van iemand hier in Groningen om eens te >> komen kijken naar zijn Proxmox. > > Leuk, altijd doen. Wat kost Proxmox? Niks, al kun je natuurlijk een support-contract nemen. >> Hmm, waarom zit Proxmox eigenlijk niet in Debian? > > *vrijdag middag* Omdat Debian reeds in Proxmox zit? ;-) ;-) Ik kwam wel dit tegen: https://packages.debian.org/buster/python3-proxmoxer Ik vraag me dan af of die "Proxmox REST API v2" ook in Debian zit of hoe dat werkt. Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag
Hoi Paul, On Fri, 2018-04-13 at 16:31 +0200, Paul van der Vlis wrote: > > > Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe > > t werkt. Zonder ceph kun je het gewoon op één enkele machine > > uittesten. > > Ik krijg net een uitnodiging van iemand hier in Groningen om eens te > komen kijken naar zijn Proxmox. Leuk, altijd doen. Wat kost Proxmox? > Hmm, waarom zit Proxmox eigenlijk niet in Debian? *vrijdag middag* Omdat Debian reeds in Proxmox zit? ;-) -- Frans van Berckel Media Engineer / Linux Master LinkedIn: https://www.linkedin.com/in/fransvberckel/
Re: Gedeelde opslag
Hoi, Op 13-04-18 om 15:20 schreef mj: > Hoi Paul, > > On 04/13/2018 02:45 PM, Paul van der Vlis wrote: >> Hallo, >> >> Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik >> het zo gaan maken dat ik een guest over kan zetten naar een andere >> server. Daarvoor is een vorm van gedeelde opslag nodig. >> >> Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 >> images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of >> Samba. > Daar denk ik dan niet direct aan, maar: > >> Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis >> van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat >> zou dan kunnen met een protocol als iSCSI, AoE, of FCP. > Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij > alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al > jaren, en is echt fantastisch. > > Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph > als storage oplossing. Dat is helemaal fantastisch, en heeft alle features. Ik gebruik op het moment eigen scripts, maar hoor ook goede verhalen over Proxmox. > Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op > debian, met ceph geintegreerd, live migration, alles erop en eraan. > > Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 > fysieke servers die alle drie ook de storage doen, SNELLE netwerking > (min 10G) onderling, en genoeg disks per machine om alle reads/writes > over te verdelen. > > Wij draaien 3x supermicro met 8 4TB disks per server, en journals op > SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is > dit wel de minimum setup. Hoeveel geheugen en hoeveel cores je CPUs hebben lijkt me toch niet echt van belang voor de setup? Wel uiteraard voor hoeveel VM's je kunt draaien. Ik heb ook Supermicro's maar met 96GB geheugen. De CPU's hebben ook 12 cores. Op het moment heb ik alleen harddisks. Welke journals zet je op SSD? Draai je ook nog raid op je machines, of is dat niet meer nodig bij Ceph? > Ik wil er graag nog een vierde storage-only > machine bij zetten, vooral om ceph sneller te maken. Je kunt er ook een oudere machine neerzetten lijkt me, als het toch alleen voor storage is. Toch? Gebruik je een 10 Gbit netwerk voor de replicatie, of sneller? >> En om het nog interessanter te maken zou het ook nog kunnen met een >> cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM >> kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. >> Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver >> meer, maar heb je een soort raid tussen verschillende machines. Klinkt >> wel heel interessant, je hebt dan geen single point of failure meer. En >> wellicht hoeft de data bij lezen niet meer over het netwerk in mijn >> situatie, wat wellicht toch voordelen heeft. > Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Bedankt voor je aanbod, Ceph lijkt heel interessant. > Maar > proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. > Zonder ceph kun je het gewoon op één enkele machine uittesten. Ik krijg net een uitnodiging van iemand hier in Groningen om eens te komen kijken naar zijn Proxmox. Hmm, waarom zit Proxmox eigenlijk niet in Debian? Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Gedeelde opslag
Hoi Paul, On 04/13/2018 02:45 PM, Paul van der Vlis wrote: Hallo, Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik het zo gaan maken dat ik een guest over kan zetten naar een andere server. Daarvoor is een vorm van gedeelde opslag nodig. Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of Samba. Daar denk ik dan niet direct aan, maar: Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat zou dan kunnen met een protocol als iSCSI, AoE, of FCP. Dit is meer de richting die ik dan op denk. Voor NAS/SAN gebruiken wij alleen geen debian, maar freenas, op basis van zfs. Dit gebruiken we al jaren, en is echt fantastisch. Onze virtualisatieomgeving is gebaseerd op proxmox, en dat heeft ceph als storage oplossing. Dat is helemaal fantastisch, en heeft alle features. Proxmox virtualisatie moet je even uitchecken denk ik: gebaseerd op debian, met ceph geintegreerd, live migration, alles erop en eraan. Ceph is echter wel vooral goed als je omgeving iets groter is: min 3 fysieke servers die alle drie ook de storage doen, SNELLE netwerking (min 10G) onderling, en genoeg disks per machine om alle reads/writes over te verdelen. Wij draaien 3x supermicro met 8 4TB disks per server, en journals op SSD, 128GB memory, 12 core CPUs. Draait goed en hééĺ stabiel, alleen is dit wel de minimum setup. Ik wil er graag nog een vierde storage-only machine bij zetten, vooral om ceph sneller te maken. En om het nog interessanter te maken zou het ook nog kunnen met een cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver meer, maar heb je een soort raid tussen verschillende machines. Klinkt wel heel interessant, je hebt dan geen single point of failure meer. En wellicht hoeft de data bij lezen niet meer over het netwerk in mijn situatie, wat wellicht toch voordelen heeft. Als je meer over onze setup (of ceph) wil weten, dan zeg t maar. Maar proxmox zou ik gewoon eens installeren, dan zie je al snel hoe t werkt. Zonder ceph kun je het gewoon op één enkele machine uittesten. MJ
Gedeelde opslag
Hallo, Ik heb een paar virtualisatie-servers in het datacenter, en nu wil ik het zo gaan maken dat ik een guest over kan zetten naar een andere server. Daarvoor is een vorm van gedeelde opslag nodig. Wat ik wil delen zijn vooral virtuele disks (ik gebruik nu qcow2 images). Uiteraard zou dat kunnen met een fileserver met iets als NFS of Samba. Alternatief lijkt het me ook te kunnen met een SAN-oplossing op basis van Debian, dus een systeem wat blockdevices via het netwerk deelt. Dat zou dan kunnen met een protocol als iSCSI, AoE, of FCP. En om het nog interessanter te maken zou het ook nog kunnen met een cluster lijkt me. Ik kwam bijvoorbeeld Ceph, DRBD en BeeGFS tegen. CLVM kun je er denk ik ook toe rekenen, dat is de cluster-variant van LVM. Als ik het goed begrijp heb je met zo'n cluster geen centrale fileserver meer, maar heb je een soort raid tussen verschillende machines. Klinkt wel heel interessant, je hebt dan geen single point of failure meer. En wellicht hoeft de data bij lezen niet meer over het netwerk in mijn situatie, wat wellicht toch voordelen heeft. Wie heeft ervaring, en ook nog tijd & zin wat te vertellen? Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Waarom ging de server uit?
Op 12-04-18 om 21:29 schreef Frans van Berckel: > Gisteren om half drie 's middags, zag ik dat mijn Debian server down was. Na > een herstart met de powerbutton, zag ik in de log's een gat van ongeveer een > halfuur. Dat zal de tijd geweest zijn, dat ie uit was. Maar hij startte wel > weer gewoon door. En alles lijkt normaal. Hoe achterhaal jij in zo'n geval, > wat er aan de hand kan zijn geweest? Zoiets nog niet eerder meegemaakt. Ik heb het ook wel eens gehad met een machine. Uiteindelijk heb ik de voeding vervangen en dat loste het probleem op. Ook heb ik wel eens gehad dat de stroomkabel er niet goed in zat. Een klein schokje kon de stroom dan onderbreken. Volgens mij kan overigens ieder device een probleem geven. Dus mocht er bijvoorbeeld een oeroude DVD-speler of tapedrive in de machine zitten, dan kan die het probleem veroorzaken. Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/
Re: Waarom ging de server uit?
Hoi, On 04/13/2018 07:55 AM, Geert Stappers wrote: Korte stroom onderbreking? ( en geen "resume after powercut" ) Dit is waar ik direct aan denk. Ik heb ooit zoiets gehad: een machine die een paar keer onverklaarbaar ineens uit was. Ik heb er toen een UPS tussen gezet, en toen is het niet opnieuw gebeurd, en die UPS heeft een paar keer een stroomuitval alert gegenereerd. Raar genoeg: andere machines hadden er geen last van, en andere UPSen (andere groepen) ook geen probleem. De alerts ONBATT en ONLINE kwamen ook op dezelfde seconde, dus het is denk ik meer een dip dan een echte stroomuitval. MJ
Re: [opgelost] Re: Inloggen SSH traag
Op 12-04-18 om 19:11 schreef Richard Lucassen: > On Fri, 6 Apr 2018 17:31:44 +0200 > Paul van der Vliswrote: > >> Ik ben er uit! ;-) >> >> Het toevoegen van een IPv6 nameserver in /etc/resolv.conf lostte het >> probleem op. Er stonden daar alleen IPv4 nameservers. >> >> "UseDNS no" in /etc/ssh/sshd_config lost het probleem ook op. > > Dat staat in de laatste versies (eindelijk) aan. Hmm, dan is het dus eigenlijk ook niet erg als ik die UseDNS op "no" zet. >> Maar waarom, dat weet ik niet. Op machines met Debian9 heb ik dit >> probleem niet, daar staan ook alleen IPv4 nameservers >> in /etc/resolv.conf... > > Doen die nameservers in /etc/resolv.conf het wel dan? Ja, uiteraard. > Je kunt eventueel ook een optie in resolv.conf zetten: > > options timeout:1 > > dan gaat-ie alvast na 1 seconde naar de volgende nameserver. Het lijkt > me trouwens erg sterk dat een ipv6 DNS de zaak oplost, er zit vast > elders een probleem. Het loste het probleem echt op. Bij meerdere machines. > Geen idee of dat met systemd ook nog zo werkt, daar weet ik namelijk > niets van. Dit ging om systemen met systemd. Groeten, Paul -- Paul van der Vlis Linux systeembeheer Groningen https://www.vandervlis.nl/