Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Idem, plusieurs clusters ceph de SSD de 1To et de mécanique pour ~ 1/2 Po sur du 2x10Gb ça juste marche en rbd (utilisé en k8s et en libvirt ou en montage nfs/xfs ). Le 11/09/2020 à 15:48, BASSAGET Cédric a écrit : > on a deux clusters ceph en 2*10G full ssd (mélange de samsung pm1633a et > ultrastar DC). > tout en rbd. > ca tourne très bien ! > > Le mar. 8 sept. 2020 à 14:02, Hugo Waltsburger via frnog > a écrit : > >> Pardon je me suis emmêlé, on fait bien du RBD ! >> >> On Tue, Sep 8, 2020 at 1:41 PM Alexandre DERUMIER >> wrote: >> >>>>> Pour le usecase c'est du ceph NFS sur de la virt openstack. >>> une raison particulière de passer par nfs (nfs gateway sur cephfs ?) au >>> lieu d'utiliser du rbd directement ? >>> >>> >>> >>> >>> - Mail original ----- >>> De: "frnog" >>> À: "Phil Regnauld" >>> Cc: "frnog-tech" >>> Envoyé: Mardi 8 Septembre 2020 12:26:55 >>> Objet: Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ? >>> >>> Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens >> sont >>> 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des >>> sites web, avec quelques applications plus gourmandes en I/O >>> (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) >>> >>> On Tue, Sep 8, 2020 at 12:18 PM Phil Regnauld wrote: >>> >>>> Hugo Waltsburger via frnog (frnog) writes: >>>>> On envisage de mettre des SSDs à la place parce qu'on a un peu de >>> budget >>>> en >>>>> rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la >>>> question >>>>> : à votre avis, des SSDs dans un cluster ceph, pertinent ou >>>>> casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas >> bien >>> ? >>>>> Quelles sont vos expériences de SSDs sur de la virt/prod de façon >>>> générale >>>>> ? >>>>> >>>>> Au plaisir de vous lire :) >>>> Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme >>>> en >>>> log/db devant). Pas overkill du tout, ça va bien sûr dépendre de >>>> l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? >>>> >>>> >>>> >>> --- >>> Liste de diffusion du FRnOG >>> http://www.frnog.org/ >>> >>> >> --- >> Liste de diffusion du FRnOG >> http://www.frnog.org/ >> > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
on a deux clusters ceph en 2*10G full ssd (mélange de samsung pm1633a et ultrastar DC). tout en rbd. ca tourne très bien ! Le mar. 8 sept. 2020 à 14:02, Hugo Waltsburger via frnog a écrit : > Pardon je me suis emmêlé, on fait bien du RBD ! > > On Tue, Sep 8, 2020 at 1:41 PM Alexandre DERUMIER > wrote: > > > >>Pour le usecase c'est du ceph NFS sur de la virt openstack. > > > > une raison particulière de passer par nfs (nfs gateway sur cephfs ?) au > > lieu d'utiliser du rbd directement ? > > > > > > > > > > - Mail original - > > De: "frnog" > > À: "Phil Regnauld" > > Cc: "frnog-tech" > > Envoyé: Mardi 8 Septembre 2020 12:26:55 > > Objet: Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ? > > > > Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens > sont > > 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des > > sites web, avec quelques applications plus gourmandes en I/O > > (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) > > > > On Tue, Sep 8, 2020 at 12:18 PM Phil Regnauld wrote: > > > > > Hugo Waltsburger via frnog (frnog) writes: > > > > > > > > On envisage de mettre des SSDs à la place parce qu'on a un peu de > > budget > > > en > > > > rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la > > > question > > > > : à votre avis, des SSDs dans un cluster ceph, pertinent ou > > > > casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas > bien > > ? > > > > Quelles sont vos expériences de SSDs sur de la virt/prod de façon > > > générale > > > > ? > > > > > > > > Au plaisir de vous lire :) > > > > > > Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme > > > en > > > log/db devant). Pas overkill du tout, ça va bien sûr dépendre de > > > l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? > > > > > > > > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Pardon je me suis emmêlé, on fait bien du RBD ! On Tue, Sep 8, 2020 at 1:41 PM Alexandre DERUMIER wrote: > >>Pour le usecase c'est du ceph NFS sur de la virt openstack. > > une raison particulière de passer par nfs (nfs gateway sur cephfs ?) au > lieu d'utiliser du rbd directement ? > > > > > - Mail original - > De: "frnog" > À: "Phil Regnauld" > Cc: "frnog-tech" > Envoyé: Mardi 8 Septembre 2020 12:26:55 > Objet: Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ? > > Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens sont > 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des > sites web, avec quelques applications plus gourmandes en I/O > (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) > > On Tue, Sep 8, 2020 at 12:18 PM Phil Regnauld wrote: > > > Hugo Waltsburger via frnog (frnog) writes: > > > > > > On envisage de mettre des SSDs à la place parce qu'on a un peu de > budget > > en > > > rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la > > question > > > : à votre avis, des SSDs dans un cluster ceph, pertinent ou > > > casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas bien > ? > > > Quelles sont vos expériences de SSDs sur de la virt/prod de façon > > générale > > > ? > > > > > > Au plaisir de vous lire :) > > > > Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme > > en > > log/db devant). Pas overkill du tout, ça va bien sûr dépendre de > > l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? > > > > > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
>>Pour le usecase c'est du ceph NFS sur de la virt openstack. une raison particulière de passer par nfs (nfs gateway sur cephfs ?) au lieu d'utiliser du rbd directement ? - Mail original - De: "frnog" À: "Phil Regnauld" Cc: "frnog-tech" Envoyé: Mardi 8 Septembre 2020 12:26:55 Objet: Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ? Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens sont 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des sites web, avec quelques applications plus gourmandes en I/O (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) On Tue, Sep 8, 2020 at 12:18 PM Phil Regnauld wrote: > Hugo Waltsburger via frnog (frnog) writes: > > > > On envisage de mettre des SSDs à la place parce qu'on a un peu de budget > en > > rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la > question > > : à votre avis, des SSDs dans un cluster ceph, pertinent ou > > casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas bien ? > > Quelles sont vos expériences de SSDs sur de la virt/prod de façon > générale > > ? > > > > Au plaisir de vous lire :) > > Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme > en > log/db devant). Pas overkill du tout, ça va bien sûr dépendre de > l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? > > > --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Hugo Waltsburger via frnog (frnog) writes: > Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens sont > 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des > sites web, avec quelques applications plus gourmandes en I/O > (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) Ça semble tout indiqué pour du SSD. Pour la transition, vaut mieux être sur une version récente de CEPH (12, 14 mieux) - idéalement avec un nouveau pool et on bouge les VMs une par une. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Pour le usecase c'est du ceph NFS sur de la virt openstack. Les liens sont 10 ou 40G. Pour les applications c'est ~300-400 VMs, principalement des sites web, avec quelques applications plus gourmandes en I/O (BDD/Mail/DHCP) mais qui ne représentent qu'une poignée de service :) On Tue, Sep 8, 2020 at 12:18 PM Phil Regnauld wrote: > Hugo Waltsburger via frnog (frnog) writes: > > > > On envisage de mettre des SSDs à la place parce qu'on a un peu de budget > en > > rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la > question > > : à votre avis, des SSDs dans un cluster ceph, pertinent ou > > casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas bien ? > > Quelles sont vos expériences de SSDs sur de la virt/prod de façon > générale > > ? > > > > Au plaisir de vous lire :) > > Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme > en > log/db devant). Pas overkill du tout, ça va bien sûr dépendre de > l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? > > > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Hugo Waltsburger via frnog (frnog) writes: > > On envisage de mettre des SSDs à la place parce qu'on a un peu de budget en > rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la question > : à votre avis, des SSDs dans un cluster ceph, pertinent ou > casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas bien ? > Quelles sont vos expériences de SSDs sur de la virt/prod de façon générale > ? > > Au plaisir de vous lire :) Samsung PM883 en prod ici, avec du HDD (HGST 6-8 To, avec du nvme en log/db devant). Pas overkill du tout, ça va bien sûr dépendre de l'application principale. C'est pour faire RBD/S3/iscsi/nfs/... ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ?
Salut, on est en full ssd ou nvme ici depuis 5 ans, ca tourne sans soucis. Après overkill, ca depend de ton workload. nous on fait principalement des petits random ios (beaucoup de vms), ca tournerait meme pas sur des hdd. on tourne avec de l'intel principalement (ancien s3610 ou nouveau p4160). le seul truc important : utiliser des ssd datacenters, pas du consumer (genre pas des samsung evo ou samsung pro) (principalement pour les ecritures synchrone) un blog sympa avec des benchs: https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/ et après en fonction de tes besoins,si tu écris beaucoup ou pas, vérifier l'endurance des ssd (DWPD 1, 3, 5 ...) (le prix est en fonction de l'endurance, ca peux aller du simple ou double ;) - Mail original - De: "frnog" À: "frnog-tech" Envoyé: Mardi 8 Septembre 2020 12:05:58 Objet: [FRnOG] [TECH] De HDD à SSD dans un cluster ceph ? Hello la liste, Question ouverte aujourd'hui : mon association dispose d'un cluster ceph de 14To (branché sur une virt openstack). Le truc c'est que les disques sont un peu fatigués et commencent doucement à merdouiller, du coup on aimerait bien les remplacer. On envisage de mettre des SSDs à la place parce qu'on a un peu de budget en rab, mais on n'a aucune expérience de prod avec des SSDs, d'où la question : à votre avis, des SSDs dans un cluster ceph, pertinent ou casse-gueule/overkill ? Quelles marques/modèles marchent bien/pas bien ? Quelles sont vos expériences de SSDs sur de la virt/prod de façon générale ? Au plaisir de vous lire :) Frost --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
