RE: [FRnOG] [TECH] Serveur avec disques NVMe
> Stéphane Rivière a écrit : > Sans compter que ces batteries sont de remarquables nids à fails. +1, les batteries classiques faut pas compter dessus. > Il parait qu'aujourd'hui il font ça avec des > supercaps histoire d'éviter les pleurs... Oui, avec des capacités mesurées en Farads, ce qui parait énorme. De toute façon, avec le cache du dur sans batterie et le cache écriture sans batterie, la sauvegarde de la mémoire de la carte RAID çà ne sert pas à grand-chose. Le seul problème que j'ai avec lvm c'est que je ne connais pas vraiment bien. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
J'utilise qcow en prod sur des milliers de VM depuis des annees, dont de grosses VM qui encaissent pres d'1 Gb/s de trafic sans jamais un soucis. Survecu a tous les crashs, et snapshots en ce qui me concerne bien plus fiable que lvm.. Le nombre n'est pas raison mais si t'es pas à 20% de perf en moins a minima, tout va bien :) Quand aux snapshots avec qcow en écriture, on évitera d'en parler car je suppose que tu es concerné par la lecture. Ci-dessous une petite comparaison que je trouve équitable (j'aurais pensé à pire)... https://doc.ispsystem.com/index.php/Comparison_of_local_storage_performance Le gros intérêt de ram ou qcow, c'est que ça t'enlèves une couche (lvm dans ce cas). Les inconvénients sont vastes (perf, gestion des volumes, etc.) mais tout dépend du contexte comme on dit. T'en a qui te diront aussi qu'Apache a encore de l'avenir par rapport à nginx et c'est peut être vrai dans certains cas. -- Be Seeing You Number Six --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Je n'utiliserais pas qcow en prod, même pour du snapshot, c'est sous performant, toujours une image raw en lvm... Mais ça n'enlève pas le bug, on est bien d'accord :) J'utilise qcow en prod sur des milliers de VM depuis des annees, dont de grosses VM qui encaissent pres d'1 Gb/s de trafic sans jamais un soucis. Survecu a tous les crashs, et snapshots en ce qui me concerne bien plus fiable que lvm.. amicalement, -- Christophe Casalegno | CEO / CTO / Founder Digital Network - Managed Service Provider https://digital-network.net --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
>>Mais promox ne supporte pas les snapshot en LVM sur iSCSI. >>Pas dans ma version en tout cas. Sur iscsi, partagé, non, pas de snapsnot. (cluster-lvm). sur du lvm local, avec le thin provisioning, les snapshots sont supportés, via le vg metadatas. (le vg metadata ne peut pas etre partagé entre 2 noeuds, donc pas de mode cluster) - Mail original - De: "David Ponzone" À: "stef" Cc: "aderumier" , "Olivier Lange" , "Duchet Rémy" , "Richard Klein" , "Ludovic Scotti" , "frnog" Envoyé: Dimanche 16 Juin 2019 14:20:22 Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe > > Je n'utiliserais pas qcow en prod, même pour du snapshot, c'est sous > performant, toujours une image raw en lvm... Mais ça n'enlève pas le bug, on > est bien d'accord :) > Mais promox ne supporte pas les snapshot en LVM sur iSCSI. Pas dans ma version en tout cas. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
> > Je n'utiliserais pas qcow en prod, même pour du snapshot, c'est sous > performant, toujours une image raw en lvm... Mais ça n'enlève pas le bug, on > est bien d'accord :) > Mais promox ne supporte pas les snapshot en LVM sur iSCSI. Pas dans ma version en tout cas. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
pardon, je ne voulais pas dire "n'autorise pas", mais ne supporte pas, ne garantit pas d'enventuels problèmes. (en gros, pas dispo dans l'installeur, mais rien n'empeche d'installer une debian en raid soft et d'installer proxmox au dessus). J'ai compris la subtilité :) suffit de voir le nombre de bugreport avec les snapshots de disques qcow2 sur nfs et raid soft par exemple. (ca snasphot, et au moment de rollback, c'est corrompu). Je n'utiliserais pas qcow en prod, même pour du snapshot, c'est sous performant, toujours une image raw en lvm... Mais ça n'enlève pas le bug, on est bien d'accord :) avec lvm, y'a moins de problème effectivement. Mon retex, c'est j'en ai juste pas du tout dans la config exposée au précédent message... je ne mets pas en doute tes expériences bien sûr... Nous n'avons pas le même environnement... Au final, Je voulais juste dire que mdadm c'est pas 100% safe. Ben... honnêtement et sans esprit polémique, sur la config exposée au précédent message et avec du stable c'est safe pour de la prod (100% safe n'a pas de sens sur du soft non /prouvé/). (et la loi de murphy me fera tomber dans les 0.01% de bug possible). Je plussoie, j'ai un pote, je monte jamais en voiture avec lui. Ni le prends en voiture. L'accident est certain à 99,9%. Il a un fluide. Ce qui m'ennuie le plus, c'est que ca ne se bouge pas trop coté dev pour les fixer. Config pas/peu/plus utilisée ? Après y'a des vagues... Il y a environ 10 ans Xen était au creux de la vague... Alors que maintenant... ça bouge grave depuis quatre ans. -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
>>Qui se termine par ... >>We can confirm the testcase and the problem. >>Therefore we developed a solution. >>With this patch we solved the problem without impact of performance. >>Feel free to participate on the solution without data corruption. le patch en question est pour drbd, pas pour mdadm. >>> c'est pour cela que proxmox n'autorise que le raid soft via zfs pour >>> l'instant. >>C'est du FUD ça... vu le nombre de potes qui utilisent proxmox en raid >>soft + lvm + ext4fs... :) pardon, je ne voulais pas dire "n'autorise pas", mais ne supporte pas, ne garantit pas d'enventuels problèmes. (en gros, pas dispo dans l'installeur, mais rien n'empeche d'installer une debian en raid soft et d'installer proxmox au dessus). suffit de voir le nombre de bugreport avec les snapshots de disques qcow2 sur nfs et raid soft par exemple. (ca snasphot, et au moment de rollback, c'est corrompu). avec lvm, y'a moins de problème effectivement. Au final, Je voulais juste dire que mdadm c'est pas 100% safe. (et la loi de murphy me fera tomber dans les 0.01% de bug possible). Ce qui m'ennuie le plus, c'est que ca ne se bouge pas trop coté dev pour les fixer. - Mail original - De: "stef" À: "aderumier" , "Olivier Lange" Cc: "Duchet Rémy" , "Richard Klein" , "Ludovic Scotti" , "frnog" Envoyé: Dimanche 16 Juin 2019 11:14:21 Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe > je ne sais pas pour vmware, mais pour proxmox par example, il ne recommande > pas le raid soft > pour une simple raison, il peux y avoir des corruption des données dans les > vms qui utilisent O_DIRECT. > https://bugzilla.kernel.org/show_bug.cgi?id=99171 Qui se termine par ... We can confirm the testcase and the problem. Therefore we developed a solution. With this patch we solved the problem without impact of performance. Feel free to participate on the solution without data corruption. > c'est pour cela que proxmox n'autorise que le raid soft via zfs pour > l'instant. C'est du FUD ça... vu le nombre de potes qui utilisent proxmox en raid soft + lvm + ext4fs... :) Ici, c'est Xen/Debian + raid soft + lvm + ext4fs + vms Debian (entre 2 -pour un atom- et 15 -xeon 8c-) les gros sont en debian 8, parfois avec un kernel 4.x, les petits sous debian 9, avec de bons uptimes et aucun fail. Le raid soft nux, utilisé depuis presque 15 ans, c'est rock-solid. De mémoire, j'ai eu une fois une merdouille : un raid1 2 disques, le client avait fait jouer du marteau piqueur dans le cagibi pour passer une gaine de 63. Bien sûr en plein hiver, cagibi désormais à 5° et le serveur désormais plein de poussière au cul de la gaine avec le vent glacé = les deux disques en rideau avec les partoches dézinguées "en quinconce" (aucune partoche identique fliguée des deux cotés)... Je me dis pas grave, on va restaurer en deux fois mais sur une partoche, la resynchro ne finissais jamais, à cause de "secteurs défectueux" que mdadm s'obstinais à vouloir restaurer. J'applique tout le délire (faut calculer !) pour invalider les secteurs défectueux vis à vis de Linux, mais sans succès... laissé tombé et tout refais à zéro. Sinon, une règle sage : pour tout ce qui est critique (médical, etc...) : raid1 3 disques :) -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
mais une simple vm , avec une partition de swap en o_direct, peux corrompre le raid soft Une VM Linux avec une swap ? Sérieux ? J'ai un autre cas où le raid déconne sous Linux, c'est quand met un coup de marteau aux disques :> The swap writes finish. Now the raid is degraded. Pour être sérieux... Tu présentes le pb à l'envers. On est en prod, on utilise du stable. Donc inutile de prendre une release de kernel avec un bug... C'est normal qu'il y ait des bugs dans le kernel... Puis on corrige les bugs... Et on se retrouve avec une version de kernel qui est bien... Alors on l'utilise pour du stable... Ici (il y a d'autres choix de distrib), c'est debian stable, ou debian stable, voire debian stable et parfois même (soyons fous) debian stable. Même pour les stations de travail, la debian stable, c'est bon pour le poil. Il est plus brillant et plus doux. On a l'essentiel de nos stations sous Ubuntu 18.04 LTS (ok 'till 2023) + un kernel 4.20 pour l'hybernation hybride des portables. Uptime moyen des portables dépliés/repliés 10 fois par jour, environ 30 jours Ma station (Nuc i5 + 43" 4K) est sous debian 9 stable (plus ce qu'il faut de récent recompilé), bien plus sollicitée que les autres stations et j'ai des uptimes de 300 jours... J'ai donc un rapport de 1 à 10 entre une LTS régulièrement mise à jour et une stable pas souvent mise à jour... Mais bon... C'est pas grave ce sont des stations... -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
je ne sais pas pour vmware, mais pour proxmox par example, il ne recommande pas le raid soft pour une simple raison, il peux y avoir des corruption des données dans les vms qui utilisent O_DIRECT. https://bugzilla.kernel.org/show_bug.cgi?id=99171 Qui se termine par ... We can confirm the testcase and the problem. Therefore we developed a solution. With this patch we solved the problem without impact of performance. Feel free to participate on the solution without data corruption. c'est pour cela que proxmox n'autorise que le raid soft via zfs pour l'instant. C'est du FUD ça... vu le nombre de potes qui utilisent proxmox en raid soft + lvm + ext4fs... :) Ici, c'est Xen/Debian + raid soft + lvm + ext4fs + vms Debian (entre 2 -pour un atom- et 15 -xeon 8c-) les gros sont en debian 8, parfois avec un kernel 4.x, les petits sous debian 9, avec de bons uptimes et aucun fail. Le raid soft nux, utilisé depuis presque 15 ans, c'est rock-solid. De mémoire, j'ai eu une fois une merdouille : un raid1 2 disques, le client avait fait jouer du marteau piqueur dans le cagibi pour passer une gaine de 63. Bien sûr en plein hiver, cagibi désormais à 5° et le serveur désormais plein de poussière au cul de la gaine avec le vent glacé = les deux disques en rideau avec les partoches dézinguées "en quinconce" (aucune partoche identique fliguée des deux cotés)... Je me dis pas grave, on va restaurer en deux fois mais sur une partoche, la resynchro ne finissais jamais, à cause de "secteurs défectueux" que mdadm s'obstinais à vouloir restaurer. J'applique tout le délire (faut calculer !) pour invalider les secteurs défectueux vis à vis de Linux, mais sans succès... laissé tombé et tout refais à zéro. Sinon, une règle sage : pour tout ce qui est critique (médical, etc...) : raid1 3 disques :) -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Le 15/06/2019 à 21:25, Duchet Rémy a écrit : Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le fournit gratuitement). Fonctionne sur Linux et Windows, vmware. Préviens même des updates firmware, des predictives failures etc.. Ah oui... Dell... Sérieux... Bien... :) -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
>>Peut-être, même si j'ai jamais eu de soucis, et qu'aujourd'hui avec ceph, le >>raid hard perd encore plus d'intérêt... ceph également pour la prod (avec du nvme), pas de soucis. Le problème, c'est pour faire du raid local avec du nvme. c'est assez bien décrit dans le bug >>https://bugzilla.kernel.org/show_bug.cgi?id=99171 mais une simple vm , avec une partition de swap en o_direct, peux corrompre le raid soft " Take a virtual machine, give it a disk - put the image on a software raid and tell qemu to disable caching (iow. use O_DIRECT, because the guest already does caching anyway). Run linux in the VM, add part of the/a disk on the raid as swap, and cause the guest to start swapping a lot. What *seems* to be happening is this: kernel decides to swap out part of some memory. At the same time the process it belongs to exits and the kernel marks the pages as unused - the swap write is still in flight. The kernel now knows that this area is unused and thus there is no reason to ever re-read it from the swap device. Someone else needs memory, the kernel gives 'em the affected pages. The swap write is still in flight. The new process starts using the memory, at this point we really don't care what kind of garbage data ends up being written to the disk, simply because we won't ever need it. The swap writes finish. Now the raid is degraded. " J'ai 100% confiance en linux, sauf pour mdadm, trop de bugs. (encore recemment (kernel 4.19), bug de corruption avec blk-mq https://bugzilla.kernel.org/show_bug.cgi?id=201685) (Donc pour l'instant raid hard pour l'os, et replication ceph pour les datas) - Mail original - De: "Olivier Lange" À: "aderumier" Cc: "Duchet Rémy" , "stef" , "Richard Klein" , "Ludovic Scotti" , "frnog" Envoyé: Dimanche 16 Juin 2019 10:26:20 Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe Peut-être, même si j'ai jamais eu de soucis, et qu'aujourd'hui avec ceph, le raid hard perd encore plus d'intérêt... Le dim. 16 juin 2019 à 09:40, Alexandre DERUMIER < [ mailto:aderum...@odiso.com | aderum...@odiso.com ] > a écrit : >>Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware >>depuis quelques temps... je ne sais pas pour vmware, mais pour proxmox par example, il ne recommande pas le raid soft pour une simple raison, il peux y avoir des corruption des données dans les vms qui utilisent O_DIRECT. [ https://bugzilla.kernel.org/show_bug.cgi?id=99171 | https://bugzilla.kernel.org/show_bug.cgi?id=99171 ] (via mdadm, idem avec du raid lvm) c'est pour cela que proxmox n'autorise que le raid soft via zfs pour l'instant. - Mail original - De: "Olivier Lange" < [ mailto:olang...@gmail.com | olang...@gmail.com ] > À: "Duchet Rémy" < [ mailto:r...@duchet.eu | r...@duchet.eu ] > Cc: "stef" < [ mailto:s...@genesix.org | s...@genesix.org ] >, "Richard Klein" < [ mailto:varicap@gmail.com | varicap@gmail.com ] >, "Ludovic Scotti" < [ mailto:tonton...@gmail.com | tonton...@gmail.com ] >, "frnog" < [ mailto:frnog@frnog.org | frnog@frnog.org ] > Envoyé: Samedi 15 Juin 2019 21:32:28 Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe Pour moi, en 2019, un raid hard, c'est juste un spof de plus sur un serveur. Aucun intérêt. Je préfère largement rajouter un disque supplémentaires pour le prix d'une carte raid. Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware depuis quelques temps... Olivier Le sam. 15 juin 2019 à 21:27, Duchet Rémy < [ mailto:r...@duchet.eu | r...@duchet.eu ] > a écrit : > Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le > fournit gratuitement). > Fonctionne sur Linux et Windows, vmware. > Préviens même des updates firmware, des predictives failures etc.. > > Rémy > > > > Message d'origine > De : Stéphane Rivière < [ mailto:s...@genesix.org | s...@genesix.org ] > > Date : 15/06/2019 19:07 (GMT+01:00) > À : Duchet Rémy < [ mailto:r...@duchet.eu | r...@duchet.eu ] >, Richard Klein > < [ mailto:varicap@gmail.com | varicap@gmail.com ] >, > Ludovic Scotti < [ mailto:tonton...@gmail.com | tonton...@gmail.com ] > > Cc : [ mailto:frnog@frnog.org | frnog@frnog.org ] > Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > > > Le choix raid soft ou hard est un choix d'économie avant tout selon moi. > > Sincèrement... non... En tout cas pour moi... > > J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, > leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un > RAID... La honte... Bon, y'avait des sauvegardes... > > Depuis, je suis KISS pour ça..
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Peut-être, même si j'ai jamais eu de soucis, et qu'aujourd'hui avec ceph, le raid hard perd encore plus d'intérêt... Le dim. 16 juin 2019 à 09:40, Alexandre DERUMIER a écrit : > >>Et c'est l'une des raisons qui m'ont fait définitivement abandonner > vmware > >>depuis quelques temps... > > je ne sais pas pour vmware, mais pour proxmox par example, il ne > recommande pas le raid soft > pour une simple raison, il peux y avoir des corruption des données dans > les vms qui utilisent O_DIRECT. > > https://bugzilla.kernel.org/show_bug.cgi?id=99171 > > (via mdadm, idem avec du raid lvm) > > c'est pour cela que proxmox n'autorise que le raid soft via zfs pour > l'instant. > > > - Mail original - > De: "Olivier Lange" > À: "Duchet Rémy" > Cc: "stef" , "Richard Klein" , > "Ludovic Scotti" , "frnog" > Envoyé: Samedi 15 Juin 2019 21:32:28 > Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe > > Pour moi, en 2019, un raid hard, c'est juste un spof de plus sur un > serveur. Aucun intérêt. Je préfère largement rajouter un disque > supplémentaires pour le prix d'une carte raid. > > Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware > depuis quelques temps... > > Olivier > > Le sam. 15 juin 2019 à 21:27, Duchet Rémy a écrit : > > > Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le > > fournit gratuitement). > > Fonctionne sur Linux et Windows, vmware. > > Préviens même des updates firmware, des predictives failures etc.. > > > > Rémy > > > > > > > > Message d'origine > > De : Stéphane Rivière > > Date : 15/06/2019 19:07 (GMT+01:00) > > À : Duchet Rémy , Richard Klein , > > > Ludovic Scotti > > Cc : frnog@frnog.org > > Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > > > > > Le choix raid soft ou hard est un choix d'économie avant tout selon > moi. > > > > Sincèrement... non... En tout cas pour moi... > > > > J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, > > leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un > > RAID... La honte... Bon, y'avait des sauvegardes... > > > > Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne > > touche que des trucs qui se caressent à la ligne de commande et qui > > restent simples (j'ai pas dit simplistes :). > > > > Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte > > soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils > > sont sur un seul disque... > > > > Marrant comme on a tous des expériences différentes... > > > > Les cycles de recharge monitorables : compatible avec quel OS ou > > hyperviseur ? (par curiosité). > > > > -- > > Stéphane Rivière > > Ile d'Oléron - France > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
>>Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware >>depuis quelques temps... je ne sais pas pour vmware, mais pour proxmox par example, il ne recommande pas le raid soft pour une simple raison, il peux y avoir des corruption des données dans les vms qui utilisent O_DIRECT. https://bugzilla.kernel.org/show_bug.cgi?id=99171 (via mdadm, idem avec du raid lvm) c'est pour cela que proxmox n'autorise que le raid soft via zfs pour l'instant. - Mail original - De: "Olivier Lange" À: "Duchet Rémy" Cc: "stef" , "Richard Klein" , "Ludovic Scotti" , "frnog" Envoyé: Samedi 15 Juin 2019 21:32:28 Objet: Re: [FRnOG] [TECH] Serveur avec disques NVMe Pour moi, en 2019, un raid hard, c'est juste un spof de plus sur un serveur. Aucun intérêt. Je préfère largement rajouter un disque supplémentaires pour le prix d'une carte raid. Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware depuis quelques temps... Olivier Le sam. 15 juin 2019 à 21:27, Duchet Rémy a écrit : > Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le > fournit gratuitement). > Fonctionne sur Linux et Windows, vmware. > Préviens même des updates firmware, des predictives failures etc.. > > Rémy > > > > Message d'origine > De : Stéphane Rivière > Date : 15/06/2019 19:07 (GMT+01:00) > À : Duchet Rémy , Richard Klein , > Ludovic Scotti > Cc : frnog@frnog.org > Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > > > Le choix raid soft ou hard est un choix d'économie avant tout selon moi. > > Sincèrement... non... En tout cas pour moi... > > J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, > leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un > RAID... La honte... Bon, y'avait des sauvegardes... > > Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne > touche que des trucs qui se caressent à la ligne de commande et qui > restent simples (j'ai pas dit simplistes :). > > Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte > soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils > sont sur un seul disque... > > Marrant comme on a tous des expériences différentes... > > Les cycles de recharge monitorables : compatible avec quel OS ou > hyperviseur ? (par curiosité). > > -- > Stéphane Rivière > Ile d'Oléron - France > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Oui nagios c est bien mais sur l apliance mcafee il fallait passer en ligne de commande pour connaître l état de l accu Et vous saviez qu'il fallait Après un changement d accu passer par une phase de recalibrage Le sam. 15 juin 2019 à 21:25, Duchet Rémy a écrit : > Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le > fournit gratuitement). > Fonctionne sur Linux et Windows, vmware. > Préviens même des updates firmware, des predictives failures etc.. > > Rémy > > > > Message d'origine > De : Stéphane Rivière > Date : 15/06/2019 19:07 (GMT+01:00) > À : Duchet Rémy , Richard Klein , > Ludovic Scotti > Cc : frnog@frnog.org > Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > > > Le choix raid soft ou hard est un choix d'économie avant tout selon moi. > > Sincèrement... non... En tout cas pour moi... > > J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, > leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un > RAID... La honte... Bon, y'avait des sauvegardes... > > Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne > touche que des trucs qui se caressent à la ligne de commande et qui > restent simples (j'ai pas dit simplistes :). > > Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte > soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils > sont sur un seul disque... > > Marrant comme on a tous des expériences différentes... > > Les cycles de recharge monitorables : compatible avec quel OS ou > hyperviseur ? (par curiosité). > > -- > Stéphane Rivière > Ile d'Oléron - France > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Pour moi, en 2019, un raid hard, c'est juste un spof de plus sur un serveur. Aucun intérêt. Je préfère largement rajouter un disque supplémentaires pour le prix d'une carte raid. Et c'est l'une des raisons qui m'ont fait définitivement abandonner vmware depuis quelques temps... Olivier Le sam. 15 juin 2019 à 21:27, Duchet Rémy a écrit : > Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le > fournit gratuitement). > Fonctionne sur Linux et Windows, vmware. > Préviens même des updates firmware, des predictives failures etc.. > > Rémy > > > > Message d'origine > De : Stéphane Rivière > Date : 15/06/2019 19:07 (GMT+01:00) > À : Duchet Rémy , Richard Klein , > Ludovic Scotti > Cc : frnog@frnog.org > Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > > > Le choix raid soft ou hard est un choix d'économie avant tout selon moi. > > Sincèrement... non... En tout cas pour moi... > > J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, > leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un > RAID... La honte... Bon, y'avait des sauvegardes... > > Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne > touche que des trucs qui se caressent à la ligne de commande et qui > restent simples (j'ai pas dit simplistes :). > > Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte > soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils > sont sur un seul disque... > > Marrant comme on a tous des expériences différentes... > > Les cycles de recharge monitorables : compatible avec quel OS ou > hyperviseur ? (par curiosité). > > -- > Stéphane Rivière > Ile d'Oléron - France > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Nagios ou équivalent + logiciel du fabricant (pour moi Dell, qui le fournit gratuitement). Fonctionne sur Linux et Windows, vmware. Préviens même des updates firmware, des predictives failures etc.. Rémy Message d'origine De : Stéphane Rivière Date : 15/06/2019 19:07 (GMT+01:00) À : Duchet Rémy , Richard Klein , Ludovic Scotti Cc : frnog@frnog.org Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe > Le choix raid soft ou hard est un choix d'économie avant tout selon moi. Sincèrement... non... En tout cas pour moi... J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un RAID... La honte... Bon, y'avait des sauvegardes... Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne touche que des trucs qui se caressent à la ligne de commande et qui restent simples (j'ai pas dit simplistes :). Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils sont sur un seul disque... Marrant comme on a tous des expériences différentes... Les cycles de recharge monitorables : compatible avec quel OS ou hyperviseur ? (par curiosité). -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Le choix raid soft ou hard est un choix d'économie avant tout selon moi. Sincèrement... non... En tout cas pour moi... J'ai eu des clients haut de gamme, au début, j'ai voulu les soigner, leur mettre le meilleur, pas lésiner... La seule fois où j'ai perdu un RAID... La honte... Bon, y'avait des sauvegardes... Depuis, je suis KISS pour ça... Et KISS pour tout en fait... Je ne touche que des trucs qui se caressent à la ligne de commande et qui restent simples (j'ai pas dit simplistes :). Pour moi le choix RAID hard/soft peut aussi découler d'une contrainte soft, comme certains hyperviseurs ou systèmes aiment bien croire qu'ils sont sur un seul disque... Marrant comme on a tous des expériences différentes... Les cycles de recharge monitorables : compatible avec quel OS ou hyperviseur ? (par curiosité). -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Et pas de supervision sur ce type d’alarme et bien les serveurs étaient en mode dégradé pendant plusieurs années. +1000 L'horreur de la supervision des cartes RAID HW... Alors qu'en natif, du contrôle avec smartctl + états mdadm et on reste dans le standard reproductible : la moindre chtouille sur un disque ou un raid qui boite sur une patte est remonté jéricho (sert illico). Combien de fois j'ai eu des cartes soit disant compatibles Penguin et qui étaient incapables de me ressortir quelque chose d'exploitable. Par contre, elles avaient un joli contrôle des loupiotes des tiroirs disques et de puissants buzzers intégrés :() Un fail donnait un beau festival 'Son & Lumière'... Très intéressant dans un local informatique bien insonorisé, climatisé et désert. -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Le sam. 15 juin 2019 à 17:37, Ludovic Scotti a écrit : > Avec vos RAID soft comment gérez-voud la coupure électrique ou autre et > que les données n'ont pas été flushé sur les disques ? > Les cartes HW ont en général une batterie associé pour garder en cache les > données en mémoire le temps que cela soit de nouveau possible d'écrire sur > les disques. > > Ce n'est pas nécessaire car par définition, en RAID soft tu n'as pas de carte contrôleur, donc pas de cache à secourir avec batterie. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Courte expérience de quelques milliers de serveur avec carte raid et batterie intégrée.: Les cycles de charge et recharge sont monitorable, tout comme l'état de la batterie. Si le monitoring ne remonte rien, c'est un autre problème. En presque 30 ans, une seule carte Raid m'a obligé de remonter une sauvegarde. Le choix raid soft ou hard est un choix d'économie avant tout selon moi. Rémy Message d'origine De : Richard Klein Date : 15/06/2019 18:30 (GMT+01:00) À : Ludovic Scotti Cc : frnog@frnog.org, s...@genesix.org Objet : Re: [FRnOG] [TECH] Serveur avec disques NVMe Bonjour, Avec vos RAID hard et le flush du cache en ram sauvegardé par une pile au lithium avec 500 cycles de charge/décharge qui génère des alarmes dans les logs lorsque la pile est HS vous faite quoi? Et pas de supervision sur ce type d’alarme et bien les serveurs étaient en mode dégradé pendant plusieurs années. Voilà ma petite expérience :-) Richard Le sam. 15 juin 2019 à 17:38, Ludovic Scotti a écrit : > Avec vos RAID soft comment gérez-voud la coupure électrique ou autre et que > les données n'ont pas été flushé sur les disques ? > Les cartes HW ont en général une batterie associé pour garder en cache les > données en mémoire le temps que cela soit de nouveau possible d'écrire sur > les disques. > > Le ven. 14 juin 2019 à 18:50, Stéphane Rivière a écrit > : > > > > Donc oui, je ne vois pas l'avantage du RAID HW en 2019 ? > > > > +1 > > > > Dans la plupart des cas : que des emmerdes, de la complication et des > > incompatibilités. Et ça fait au moins 10 ans que le raid soft est plus > > rapide que 90% des cartes hardware... > > > > Mais il y a des os ou des virtualiseurs qui adorent les cartes raid > > hardware car elles présentent une topologie disque compréhensible pour > > eux... > > > > -- > > Be Seeing You > > Number Six > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Bonjour, Avec vos RAID hard et le flush du cache en ram sauvegardé par une pile au lithium avec 500 cycles de charge/décharge qui génère des alarmes dans les logs lorsque la pile est HS vous faite quoi? Et pas de supervision sur ce type d’alarme et bien les serveurs étaient en mode dégradé pendant plusieurs années. Voilà ma petite expérience :-) Richard Le sam. 15 juin 2019 à 17:38, Ludovic Scotti a écrit : > Avec vos RAID soft comment gérez-voud la coupure électrique ou autre et que > les données n'ont pas été flushé sur les disques ? > Les cartes HW ont en général une batterie associé pour garder en cache les > données en mémoire le temps que cela soit de nouveau possible d'écrire sur > les disques. > > Le ven. 14 juin 2019 à 18:50, Stéphane Rivière a écrit > : > > > > Donc oui, je ne vois pas l'avantage du RAID HW en 2019 ? > > > > +1 > > > > Dans la plupart des cas : que des emmerdes, de la complication et des > > incompatibilités. Et ça fait au moins 10 ans que le raid soft est plus > > rapide que 90% des cartes hardware... > > > > Mais il y a des os ou des virtualiseurs qui adorent les cartes raid > > hardware car elles présentent une topologie disque compréhensible pour > > eux... > > > > -- > > Be Seeing You > > Number Six > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Le 15/06/2019 à 17:37, Ludovic Scotti a écrit : Avec vos RAID soft comment gérez-voud la coupure électrique ou autre et que les données n'ont pas été flushé sur les disques ? Avec un onduleur ? :> Sérieusement, au moins dans les micro installations de quelques baies (mon rayon d'action, après je laisse OVH gérer pour le reste :), sur un système bien foutu, l'onduleur informe l'os 5 mn avant la fin de l'autonomie batterie et ce dernier s'arrête harmonieusement, non sans avoir programmé l'onduleur pour ne restaurer le jus en sortie d'onduleur qu'après que ses batteries se soient rechargées de 30%... Et comme les serveurs sont programmés pour reprendre l'état d'avant la coupure... NUT (Network UPS Tools) est zetoul pour ça depuis 15 ans... Les cartes HW ont en général une batterie associé pour garder en cache les données en mémoire le temps que cela soit de nouveau possible d'écrire sur les disques. Les cartes très haut de gamme, oui mais ça fait longtemps que j'en ai plus vu... De toute façon, on est censé utiliser des fs journalisés... Sans compter que ces batteries sont de remarquables nids à fails. Il parait qu'aujourd'hui il font ça avec des supercaps histoire d'éviter les pleurs... J'ai eu chez un taulier (il y a longtemps, c'étaient des CadNi) des exemples... (cartes mères foutues par les fuites des cellules). À mon niveau microscopique : - Les carte HW sont des horreurs quand il y a un souci... Les seuls réseaux RAID que j'ai perdus étaient avec des cartes HW (et pourtant j'avais tout ce qu'il fallait en stock...). - Les cartes à batteries sont également des hacks pourris pour stocker en ram locale des choses qui sont déjà crues sur le disque par le système, histoire de tamponner les choses et de gratter de la vitesse pour compenser le goulot d'étranglement de l'HD... Aujourd'hui (et même hier) tout est différent. Faire confiance au système pour gérer le fs en raid soft et tuner finement ce raid soft (si nécessaire) assure des perfs nickels, assure que l'os a le contrôle sur tout et que, cerise sur le gâteau, le fs sur le disque est standard. Enfin, entre les SSD et maintenant les Nvme... En tout cas... quel bonheur de pouvoir relire un disque de RAID1 sur n'importe quel système standard, de ne plus avoir à stocker des cartes RAID de secours ni des batteries pour ces cartes. Et enfin on a désormais des architectures (software-defined storage) qui permettent d'oublier ça d'une autre manière... Linux gère, de mémoire, RAID0,1,4,5,6,10... J'ai eu des systèmes graphiques linux en RAID10 délicatement tunés en 2010 (i7, 12 Go ram et 4 disques SATA haut de gamme) qui donnait un résultat qui dépotait (plus les perfs en tête mais c'était vraiment décoiffant et au boot on aurait presque dit un ssd). Bon c'était avant... En 2020, hormis les serveurs de sauvegarde, plus un disque mécanique dans les bécanes. -- Stéphane Rivière Ile d'Oléron - France --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Avec vos RAID soft comment gérez-voud la coupure électrique ou autre et que les données n'ont pas été flushé sur les disques ? Les cartes HW ont en général une batterie associé pour garder en cache les données en mémoire le temps que cela soit de nouveau possible d'écrire sur les disques. Le ven. 14 juin 2019 à 18:50, Stéphane Rivière a écrit : > > Donc oui, je ne vois pas l'avantage du RAID HW en 2019 ? > > +1 > > Dans la plupart des cas : que des emmerdes, de la complication et des > incompatibilités. Et ça fait au moins 10 ans que le raid soft est plus > rapide que 90% des cartes hardware... > > Mais il y a des os ou des virtualiseurs qui adorent les cartes raid > hardware car elles présentent une topologie disque compréhensible pour > eux... > > -- > Be Seeing You > Number Six > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Donc oui, je ne vois pas l'avantage du RAID HW en 2019 ? +1 Dans la plupart des cas : que des emmerdes, de la complication et des incompatibilités. Et ça fait au moins 10 ans que le raid soft est plus rapide que 90% des cartes hardware... Mais il y a des os ou des virtualiseurs qui adorent les cartes raid hardware car elles présentent une topologie disque compréhensible pour eux... -- Be Seeing You Number Six --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Maintenant, les CPUs font le RAID de manière efficace en soft : https://software.intel.com/en-us/articles/intel-isa-l-erasure-code-and-recovery Pour la latence, les queues soft sont plus faciles à gérer que les queues HW, donc j'attends ceux qui montrent des contrôleurs HW avec une manière latence... Donc oui, je ne vois pas l'avantage du RAID HW en 2019 ? Bon WE, Le 14 juin 2019 16:33:24 Julien Escario a écrit : Le 14/06/2019 à 14:29, Breizh a écrit : Salut, Le Fri, 14 Jun 2019 14:15:12 +0200 Sébastien COUREAU a écrit: Hello les listes (frsag & frnog), Petit challenge de dredi - pas trolldi - concernant les disques NVMe... Admettons que je veux faire du raid soft (pourquoi pas après tout), avec des disques PCIe sous une distrib quelconque Linux. Est-ce que cela fonctionne ? J'explique ma question: autant avec 2 disques directement sur un backplance quelconque j'ai ma réponse, autant n'ayant jamais joué avec ces "nouveaux" "machins", je ne sais pas si j'ai une chance de pouvoir faire dur Raid-1 soft au niveau du kernel (histoire minimiser grandement les coûts par rapport aux dernière générations de serveurs). A vos conseils, expertises, références, je suis preneur de tout ;) Certains serveurs dédiés d'OVH sont en raid soft NVMe sous Linux avec mdadm, ça marche sans problème. On fait surtout du RAID 1 avec dans ma boîte. C'est juste qu'on utilise /dev/nvme0n1pX et /dev/nvme1n1pX au lieu de /dev/sdaX et /dev/sdbX. Breizh. Effectivement, aucune raison que ça ne fonctionne pas. En revanche, je vérifierais quand même que les perfs sont au rendez-vous : en RAID soft, tu fais peser les 'calculs' RAID au CPU. En SATA3, les débits sont suffisamment faible pour que ce soit dans l'épaisseur du trait sur des CPUs modernes. Avec du NVMe, l'impact peut commencer à se sentir, en particulier niveau latence sur tes I/O. En RAID5/6, avec des calculs de parités, le CPU risque carrément de prendre cher. Du silicon dédié, ca fait sens. En RAID1, c'pas sûr. Quand on met du NVMe, c'est pour les perfs, autant vérifier qu'il n'y a pas un bottleneck sur le trajet. Julien P.S. : c'est moi où on cause de moins en moins réseau ici ? Tout le monde a déployé IPv6 partout ? Plus de route leak depuis que RPKI est validé partout ? --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Le 14/06/2019 à 14:29, Breizh a écrit : > Salut, > > Le Fri, 14 Jun 2019 14:15:12 +0200 > Sébastien COUREAU a écrit: >> Hello les listes (frsag & frnog), >> >> Petit challenge de dredi - pas trolldi - concernant les disques >> NVMe... >> >> Admettons que je veux faire du raid soft (pourquoi pas après tout), >> avec des disques PCIe sous une distrib quelconque Linux. >> Est-ce que cela fonctionne ? >> >> J'explique ma question: autant avec 2 disques directement sur un >> backplance quelconque j'ai ma réponse, autant n'ayant jamais joué >> avec ces "nouveaux" "machins", je ne sais pas si j'ai une chance de >> pouvoir faire dur Raid-1 soft au niveau du kernel (histoire >> minimiser grandement les coûts par rapport aux dernière générations >> de serveurs). >> >> A vos conseils, expertises, références, je suis preneur de tout ;) >> > > Certains serveurs dédiés d'OVH sont en raid soft NVMe sous Linux avec > mdadm, ça marche sans problème. On fait surtout du RAID 1 avec dans ma > boîte. C'est juste qu'on utilise /dev/nvme0n1pX et /dev/nvme1n1pX au > lieu de /dev/sdaX et /dev/sdbX. > > Breizh. Effectivement, aucune raison que ça ne fonctionne pas. En revanche, je vérifierais quand même que les perfs sont au rendez-vous : en RAID soft, tu fais peser les 'calculs' RAID au CPU. En SATA3, les débits sont suffisamment faible pour que ce soit dans l'épaisseur du trait sur des CPUs modernes. Avec du NVMe, l'impact peut commencer à se sentir, en particulier niveau latence sur tes I/O. En RAID5/6, avec des calculs de parités, le CPU risque carrément de prendre cher. Du silicon dédié, ca fait sens. En RAID1, c'pas sûr. Quand on met du NVMe, c'est pour les perfs, autant vérifier qu'il n'y a pas un bottleneck sur le trajet. Julien P.S. : c'est moi où on cause de moins en moins réseau ici ? Tout le monde a déployé IPv6 partout ? Plus de route leak depuis que RPKI est validé partout ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Serveur avec disques NVMe
Salut, Le Fri, 14 Jun 2019 14:15:12 +0200 Sébastien COUREAU a écrit: > Hello les listes (frsag & frnog), > > Petit challenge de dredi - pas trolldi - concernant les disques > NVMe... > > Admettons que je veux faire du raid soft (pourquoi pas après tout), > avec des disques PCIe sous une distrib quelconque Linux. > Est-ce que cela fonctionne ? > > J'explique ma question: autant avec 2 disques directement sur un > backplance quelconque j'ai ma réponse, autant n'ayant jamais joué > avec ces "nouveaux" "machins", je ne sais pas si j'ai une chance de > pouvoir faire dur Raid-1 soft au niveau du kernel (histoire > minimiser grandement les coûts par rapport aux dernière générations > de serveurs). > > A vos conseils, expertises, références, je suis preneur de tout ;) > Certains serveurs dédiés d'OVH sont en raid soft NVMe sous Linux avec mdadm, ça marche sans problème. On fait surtout du RAID 1 avec dans ma boîte. C'est juste qu'on utilise /dev/nvme0n1pX et /dev/nvme1n1pX au lieu de /dev/sdaX et /dev/sdbX. Breizh. --- Liste de diffusion du FRnOG http://www.frnog.org/
