Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Olivier Vailleau]

Mais.c'est franchement pas mal au premier abord le Storinator.
Qui c'est qui qui pourrait faire un petit coup de prez commerciale @ mon
boulot ??

Le sam. 29 févr. 2020 à 12:12, Maxime De Berraly <
maxime-lis...@iguanesolutions.com> a écrit :

> Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est
> pour s'amuser pourquoi ne pas partir sur un storinator?
> https://www.45drives.com/
>
> Maxime
> Le sam. 29 févr. 2020 à 06:34, Michel Py
>  a écrit :
> >
> > Trolldi un peu en retard, mais néanmoins sérieux : combien çà coute, un
> pétaoctet, en 2020 ?
> >
> > Capacité brute. La perte due au RAID ou au ZRAID et consorts étant un
> compromis, il faut comparer ce qui est comparable.
> > Les disques : 63 fois
> https://www.newegg.com/seagate-exos-x16-st16000nm001g-16tb/p/1Z4-002P-015K6
> > Environ $25K. Neuf, garantie 5 ans.
> >
> > Je pousse mémé dans les orties : on les mets dans quoi ?
> > Dans 3 fois çà : https://www.ebay.com/itm/202404952486
> > A ce niveau, c'est gratuit. Avec les spares pour 10 ans.
> >
> > Contrôleurs : Fois 3 aussi, mais autant dire gratuit aussi. Avec le
> firmware P20.
> > LSI 9200-8E https://www.ebay.com/itm/123884149778
> > ou LSI SAS9200-16E  https://www.ebay.com/itm/323724809849
> >
> > Carte réseau : Intel 10G à moins de 100 balles.
> >
> > Serveur : pas trop daubique, 2K ou 3K à allonger avec de la mémoire.
> >
> > OS : Freenas (je prends les suggestions; je suis en train d'en monter un
> avec 16 disques de daube, pour voir si çà prend feu. Les spares SAS 72GO,
> c'est vachement efficace comme chauffage en hiver).
> >
> > Est-ce que çà marche ? c'est trolldi !!!
> >
> > Michel.
> >
> >
> > ---
> > Liste de diffusion du FRnOG
> > http://www.frnog.org/
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Julien Escario]

Le 12/03/2020 à 18:40, Michel Py a écrit :
>>> Phil Regnauld a écrit :
>>> Faut jamais exposer CephFS directement aux utilisateurs finaux de toute 
>>> façon.
> 
>> Fabien Sirjean a écrit :
>> Je suis curieux, quel est le problème ?
>> Ici on hésite justement entre un gros RBD exporté par samba ou du CephFS...
> 
> Curieux aussi. Le gateway Samba directement connecté sur CephFS çà me parait 
> moins compliqué.
> 
> Je pense que je ne vais pas passer à Ceph, ceci étant dit. Trop compliqué 
> pour me petits besoins.
> 
> Michel.

Bah honnêtement, si tu as au moins trois noeuds à y consacrer, c'est
vraiment pas long et ça fait gagner un temps d'admin assez hallucinant.

J'avais aussi tenu ce discours il y a 5/6 ans, quand Ceph demarrait.
J'ai revu mon jugement en 2019, on a migré fin d'année et depuis, c'est
que du bonheur avec du Promox en hyperconvergé. On commence même à jouer
avec le support trim/discard et c'est *presque* out of the box (modulo
un kernel 5 pour le moment).

Julien


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

>> Phil Regnauld a écrit :
>> Faut jamais exposer CephFS directement aux utilisateurs finaux de toute 
>> façon.

> Fabien Sirjean a écrit :
> Je suis curieux, quel est le problème ?
> Ici on hésite justement entre un gros RBD exporté par samba ou du CephFS...

Curieux aussi. Le gateway Samba directement connecté sur CephFS çà me parait 
moins compliqué.

Je pense que je ne vais pas passer à Ceph, ceci étant dit. Trop compliqué pour 
me petits besoins.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Fabien Sirjean]

Salut,

On Sun 2020-03-01 08:02, Phil Regnauld wrote a message (14 lines) which said:
>   Faut jamais exposer CephFS directement aux utilisateurs finaux de
>   toute façon.

Je suis curieux, quel est le problème ?

Ici on hésite justement entre un gros RBD exporté par samba ou du CephFS...

Merci,

Fabien


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

>>> Michel Py a écrit :
>>> La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.

>> Hervé BRY a écrit :
>> C'est vrai dans un modèle traditionnel avec un serveur (ou une paire de 
>> serveurs)
>> en tête et une grappe de baies SAS, mais si on utilise un modèle de stockage 
>> type
>> Ceph ou OpenIO, la redondance à ce niveau n'est pas nécessaire voire pas 
>> souhaitable.

> Denis Fondras a écrit :
> Si ça peut éviter de déclencher un recovery Ceph, c'est toujours bon à 
> prendre.

Je suis d'accord : Ceph ou pas, on se retrouve avec le même problème quand 
quelque chose meurt : le temps de reconstruction, la dégradation des 
performances pendant la reconstruction, et la perte possible de redondance. 
C'est pour çà que presque tout le monde fait maintenant du Raid6/z2 au lieu de 
Raid5/z1.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Denis Fondras]

On Fri, Mar 06, 2020 at 03:42:30PM +0100, Hervé BRY wrote:
> Le ven. 6 mars 2020 à 05:32, Michel Py 
> a écrit :
> 
> > La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.
> >
> 
> C'est vrai dans un modèle traditionnel avec un serveur (ou une paire de
> serveurs) en tête et une grappe de baies SAS, mais si on utilise un modèle
> de stockage type Ceph ou OpenIO, la redondance à ce niveau n'est pas
> nécessaire voire pas souhaitable.
> 

Si ça peut éviter de déclencher un recovery Ceph, c'est toujours bon à prendre.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

> Fx a écrit :
> Ce n'est pas du JBOD

C'est le même chassis que le Dell MD3060e, comme presque tous les chassis de 
cette époque c'est du Xyratex. Onestor, Dell, Compellent, Seagate, NetApp, 
Western Digital, Microsoft Azure, tout çà c'est bonnet blanc et blanc bonnet 
made par Xyratex à part le firmware.

La partie JBOD ou pas, c'est l'expander SAS qui décide. Par example, dans un 
Netapp DS4246, à la place des IOM6 tu peux mettre des expanders Dell 
https://www.ebay.com/itm/202826343692; la seule partie que j'ai pas encore 
testée c'est des durs de plus de 8TO. Tant que c'est en bypass c'est bon. Je 
suis sur qu'il y a des combinaisons de chassis SAS6 et d'expanders SAS12 qui 
marchent.

> mais je trouve le chassis NetApp 60DRV/4U bien conçu de ce point de vue, avec 
> ses plateaux
> horizontaux. La maintenance est plus pratique et c'est redondant dans tous 
> les sens.

> Maxime De Berraly a écrit :
> J'aime bien le coté 5 mini tiroirs du DS460C en effet, mais y'a pas mal 
> d'inconvénients...

C'est un peu ce qui nous avait attiré vers les HP MDS 600 initialement, les 
tiroirs internes (2) au lieu de tirer tout le machin, mais c'est là ou les 
problèmes sont : dans le bras interne articulé pour faire coulisser les tiroirs 
c'est mal foutu.

> Ca pèse un ane mort,

C'est peu de le dire.

> Enfin c'est du SAS12, ca conviendra pas a Michel ;)

Mais si ! mais le SAS6 c'est pratiquement gratuit. 


> Il y a une étape entre haute densité et très haute densité qu'il ne
> faut pas franchir a la légère, comme avec les tiroirs optiques.

+1

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Hervé BRY]

Le ven. 6 mars 2020 à 05:32, Michel Py 
a écrit :

> La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.
>

C'est vrai dans un modèle traditionnel avec un serveur (ou une paire de
serveurs) en tête et une grappe de baies SAS, mais si on utilise un modèle
de stockage type Ceph ou OpenIO, la redondance à ce niveau n'est pas
nécessaire voire pas souhaitable.


> Est-ce que tu peux mesurer la température des disques individuellement ?
> C'est plutôt lié au logiciel qu'au boitier (FreeNAS le fait); je serais
> curieux de connaitre la différence de température entre le l'avant et le
> l'arrière. Oh là là le modèle à 102 disques, plus d'un mètre de profondeur;
> l'arrière doit être un four. Même question pour le Dell.
>

Je viens de regarder, que ce soit sur la baie Dell ou HGST, les
températures s'étalent entre 33 et 42°C, ce qui d'après la littérature que
j'ai trouvé fournit des conditions tout à fait correctes pour la
longévité...

Hervé BRY
Administrateur Système
Geneanet (http://www.geneanet.org)

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Maxime De Berraly]

J'aime bien le coté 5 mini tiroirs du DS460C en effet, mais y'a pas
mal d'inconvénients... Je me serais bien contenté de 5 tiroirs de 9
disques au lieu de 12 et gagner 10cm au cul. Malgré tout y'a un
renfoncement pour le cablage donc ca passe. Ca pèse un ane mort, et il
faut retirer les poignées pendant le rackage, ou les remettre pour
déracker - si on les retrouve quelques années plus tard. Le coté
montage des HDD sans vis/caddy est bien, mais les poignées des tiroirs
font bien peu solide. Enfin c'est du SAS12, ca conviendra pas a Michel
;)
Il y a une étape entre haute densité et très haute densité qu'il ne
faut pas franchir a la légère, comme avec les tiroirs optiques.

Maxime

Le ven. 6 mars 2020 à 12:59, Fx  a écrit :
>
> On Fri, 6 Mar 2020 at 05:34, Michel Py 
> wrote:
>
> > > Hervé BRY a écrit :
> > > Ici on a du HGST Data60 (
> > https://www.westerndigital.com/products/storage-platforms/ultrastar-data60-hybrid-platform
> > ),
> > > qui est vraiment bien foutu niveau maintenance. C'est redondant niveau
> > alim et switch SAS, ce
> > > qui permet bien entendu le SAS double attachement (pour la redondance ou
> > le doublement du débit).
> >
> > La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.
> > [...]
> > > L'inconvénient de ces châssis de 60 disques et plus c'est la profondeur:
> > il faut les baies adaptées sans quoi tu n'as plus de places pour les câbles
> > ou pour fermer la porte :)
> >
> > Sans parler du poids : ceux qui ont le changement par le dessus, quand il
> > faut les tirer de 50 cm ou même 1 m pour remplacer un disque qui est dans
> > la dernière rangée, vaut mieux que les rails tiennent le coup et que la
> > baie soit solidement ancrée au sol, sinon c'est tilt game over.
> >
>
> Ce n'est pas du JBOD mais je trouve le chassis NetApp 60DRV/4U bien conçu
> de ce point de vue, avec ses plateaux horizontaux. La maintenance est plus
> pratique et c'est redondant dans tous les sens.
> Sinon dans l'obscènement dense, SGI avait un modules de disques 80DRV/4U à
> la conception rigolote dans sa gamme InfiniteStorage, mais je ne sais pas
> si cela existe encore.
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Fx]

On Fri, 6 Mar 2020 at 05:34, Michel Py 
wrote:

> > Hervé BRY a écrit :
> > Ici on a du HGST Data60 (
> https://www.westerndigital.com/products/storage-platforms/ultrastar-data60-hybrid-platform
> ),
> > qui est vraiment bien foutu niveau maintenance. C'est redondant niveau
> alim et switch SAS, ce
> > qui permet bien entendu le SAS double attachement (pour la redondance ou
> le doublement du débit).
>
> La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.
> [...]
> > L'inconvénient de ces châssis de 60 disques et plus c'est la profondeur:
> il faut les baies adaptées sans quoi tu n'as plus de places pour les câbles
> ou pour fermer la porte :)
>
> Sans parler du poids : ceux qui ont le changement par le dessus, quand il
> faut les tirer de 50 cm ou même 1 m pour remplacer un disque qui est dans
> la dernière rangée, vaut mieux que les rails tiennent le coup et que la
> baie soit solidement ancrée au sol, sinon c'est tilt game over.
>

Ce n'est pas du JBOD mais je trouve le chassis NetApp 60DRV/4U bien conçu
de ce point de vue, avec ses plateaux horizontaux. La maintenance est plus
pratique et c'est redondant dans tous les sens.
Sinon dans l'obscènement dense, SGI avait un modules de disques 80DRV/4U à
la conception rigolote dans sa gamme InfiniteStorage, mais je ne sais pas
si cela existe encore.

---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

> Hervé BRY a écrit :
> Ici on a du HGST Data60 
> (https://www.westerndigital.com/products/storage-platforms/ultrastar-data60-hybrid-platform),
> qui est vraiment bien foutu niveau maintenance. C'est redondant niveau alim 
> et switch SAS, ce
> qui permet bien entendu le SAS double attachement (pour la redondance ou le 
> doublement du débit).

La redondance au niveau alim et SAS faut être fou pour pas faire, IMHO.

Est-ce que tu peux mesurer la température des disques individuellement ? C'est 
plutôt lié au logiciel qu'au boitier (FreeNAS le fait); je serais curieux de 
connaitre la différence de température entre le l'avant et le l'arrière. Oh là 
là le modèle à 102 disques, plus d'un mètre de profondeur; l'arrière doit être 
un four. Même question pour le Dell.

> L'inconvénient de ces châssis de 60 disques et plus c'est la profondeur: il 
> faut les baies adaptées sans quoi tu n'as plus de places pour les câbles ou 
> pour fermer la porte :)

Sans parler du poids : ceux qui ont le changement par le dessus, quand il faut 
les tirer de 50 cm ou même 1 m pour remplacer un disque qui est dans la 
dernière rangée, vaut mieux que les rails tiennent le coup et que la baie soit 
solidement ancrée au sol, sinon c'est tilt game over. 

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Hervé BRY]

Le sam. 29 févr. 2020 à 19:53, Michel Py 
a écrit :

> J'ai des MDS 600 :
> https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-c01671885
> 70 disques chacun, plein d'emmerdes. Mécaniquement c'est naze.


Ici on a du HGST Data60 (
https://www.westerndigital.com/products/storage-platforms/ultrastar-data60-hybrid-platform),
qui est vraiment bien foutu niveau maintenance.
C'est redondant niveau alim et switch SAS, ce qui permet bien entendu le
SAS double attachement (pour la redondance ou le doublement du débit).
On peut les avoir à bon prix, en particulier en les achetant directement
rempli de disques.

J'ai aussi du Dell MD3060e, qu'on peut trouver à pas trop cher en occase (
https://www.ebay.fr/itm/Dell-PowerVault-MD3060e-No-Hard-Drives-Installed/283707897219?hash=item420e4ef583:g:cqEAAOSw0K5d8gdD
).
L'approche est un peu moins pratique, je trouve, mais tout est aussi
redondant.

L'inconvénient de ces châssis de 60 disques et plus c'est la profondeur: il
faut les baies adaptées sans quoi tu n'as plus de places pour les câbles ou
pour fermer la porte :)

Hervé BRY
Administrateur Système
Geneanet (http://www.geneanet.org)

---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

> Alexis Prodhomme a écrit :
> Dans le même genre, y'a Backblaze qui partage les machines qu'ils utilisent 
> quotidiennement.
> https://www.backblaze.com/blog/open-source-data-storage-server/
> c'est top pour ceux qui veulent bricoler :)

Oui, je suis depuis longtemps. Similaire au Storinator, avec les mêmes 
problèmes.


> Xavier ROCA a écrit :
> et des QNAP Jbod EJ1600v2 (max 7) avec disques mécaniques  
> https://www.qnap.com/en-us/product/ej1600%20v2

Oui, c'est très similaire au NetApp DS4246 que je suggérais : 
https://www.ebay.com/itm/202404952486
12gb/s, plus moderne, même principe : multipath IO SAS 2 port, expanders et 
alims hot-swap.

> Seulement, ça prend un peu de place dans la baie vu que les Jbod ne sont pas 
> hyper dense en nombre de disques.

Pour moi c'est un avantage. Les boitiers genre Storinator ou Blackblaze avec 45 
ou 60 disques chacun, j'en suis revenu avec l'expérience négative du HPE D600 
qui pour moi est une galère. 16 disques 3,5" dans 3U ou 24 dans 4U çà me suffit.

> Au vu des besoins de mettre de tout et n'importe quoi donc de la donnée 
> chaude et froide,
> pourquoi pas un Qnap avec la gestion Qtier ES2486dc avec double contrôleur 
> (actif-actif)

Même problème que l'équivalent Synology : 1 seul port SAS donc il faut 
daisy-chainer les JBOD, ce que je ne referai plus jamais. En plus de la 
limitation en vitesse, il suffit que l'expander SAS du premier pète les plombs 
pour que le rack entier tombe. En ce qui concerne la partie haute dispo, je 
doute sérieusement du actif-actif, voir plus bas.

Ce que je veux, c'est une carte mère avec une chiée de slots PCIe-x8 pour 
mettre un tas de contrôleurs LSI.

> En faisant une estimation rapide du prix, sur prix liste, donc hors cotation 
> possible sur ce genre de use
> case, je dirais 77K€ la configuration en 1 Po Ce n'est peut-être pas du 
> purestorage mais niveau budget 

C'est 3 fois ce que je fais à la mano, ce qui reste raisonnable dans l'absolu 
(on parle quand même d'un pétaoctet); je ne suis pas sur que la haute 
disponibilité fasse vraiment quelque chose d'intéressant, ce qui nous dirige 
vers :


> Phil Regnauld a écrit :
> https://github.com/ewwhite/zfs-ha/wiki 
> 

J'ai ré-ouvert récemment (avant de commencer ce fil) la question du iSCSI :-(
D'après ce que je sais, tous les systèmes haute disponibilité sont basés sur ce 
principe : Pacemaker et Corosync, avec des scripts. En théorie, avec de l'huile 
de coude on pourrait rajouter iSCSI et Samba à ce système. J'ai de gros doutes 
quand à la partie active-active que QNAP annonce. En particulier avec Samba, 
qui est très mal threadé et souvent single-thread, je vois pas comment on peut 
faire de l'active-active avec çà. Un Synology bien chargé çà peut prendre 30 
secondes à basculer.

La ou je pense que QNAP active-active c'est du gros bullshit :
https://www.qnap.com/en/how-to/faq/article/what-is-active-active-dual-controller-nas-architecture-and-what-benefits-does-it-offer/
"Active-Active means that both storage controllers are online at the same time, 
and work together to provide networking and data storage using protocols such 
as SMB/CIFS, NFS, and iSCSI. If a storage controller fails, the other storage 
controller immediately takes over the ownership of storage pools, tasks, and IP 
addresses from the failed controller, ensuring no interruptions to NAS 
services."

"Take over the ownership", c'est pas de l'active-active. C'est de 
l'active-passive, quand l'active tombe l'autre prend le relai, et c'est pas 
immédiat. S'il y a quelqu'un qui connait intimement QNAP qui a des détails, çà 
serait super intéressant.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Alexis Prodhomme]

Dans le même genre, y'a Backblaze qui partage les machines qu'ils 
utilisent quotidiennement.

https://www.backblaze.com/blog/open-source-data-storage-server/
Je ne sais pas ce que ça vaut, mais l'article n'est pas inintéressant et 
Backblaze a un petit peu d'expérience.
Et comme ils partagent les infos sur comment le faire, c'est top pour 
ceux qui veulent bricoler :)

Alexis

Le 29/02/2020 à 12:12, Maxime De Berraly a écrit :
> Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est
> pour s'amuser pourquoi ne pas partir sur un storinator?
> https://www.45drives.com/
>
> Maxime
> Le sam. 29 févr. 2020 à 06:34, Michel Py
>  a écrit :
>> Trolldi un peu en retard, mais néanmoins sérieux : combien çà coute, un 
>> pétaoctet, en 2020 ?
>>
>> Capacité brute. La perte due au RAID ou au ZRAID et consorts étant un 
>> compromis, il faut comparer ce qui est comparable.
>> Les disques : 63 fois 
>> https://www.newegg.com/seagate-exos-x16-st16000nm001g-16tb/p/1Z4-002P-015K6
>> Environ $25K. Neuf, garantie 5 ans.
>>
>> Je pousse mémé dans les orties : on les mets dans quoi ?
>> Dans 3 fois çà : https://www.ebay.com/itm/202404952486
>> A ce niveau, c'est gratuit. Avec les spares pour 10 ans.
>>
>> Contrôleurs : Fois 3 aussi, mais autant dire gratuit aussi. Avec le firmware 
>> P20.
>> LSI 9200-8E https://www.ebay.com/itm/123884149778
>> ou LSI SAS9200-16E  https://www.ebay.com/itm/323724809849
>>
>> Carte réseau : Intel 10G à moins de 100 balles.
>>
>> Serveur : pas trop daubique, 2K ou 3K à allonger avec de la mémoire.
>>
>> OS : Freenas (je prends les suggestions; je suis en train d'en monter un 
>> avec 16 disques de daube, pour voir si çà prend feu. Les spares SAS 72GO, 
>> c'est vachement efficace comme chauffage en hiver).
>>
>> Est-ce que çà marche ? c'est trolldi !!!
>>
>> Michel.
>>
>>
>> ---
>> Liste de diffusion du FRnOG
>> http://www.frnog.org/
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/

---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[x.roca]

Bonjour Michel,

Au vu des besoins de mettre de tout et n'importe quoi donc de la donnée chaude 
et froide, pourquoi pas un Qnap avec la gestion Qtier
ES2486dc avec double contrôleur (actif-actif) 24 Disques SSD et des Jbod 
EJ1600v2 (max 7) avec disques mécaniques
Il y a les softs qui vont bien inclus.
Tu arrives à allier perf (gestion de l'over provisioning SSD), déduplication, 
compression, compactage, coût maitrisé, tolérance de panne avec l'approche 
hybrides pour le 1 Po visé !

En faisant une estimation rapide du prix, sur prix liste, donc hors cotation 
possible sur ce genre de use case, je dirais 77K€ la configuration en 1 Po
Ce n'est peut-être pas du purestorage mais niveau budget 

Seulement, ça prend un peu de place dans la baie vu que les Jbod ne sont pas 
hyper dense en nombre de disques.

Xavier


-Message d'origine-
De : Michel Py  
Envoyé : samedi 29 février 2020 06:33
À : frnog@frnog.org
Objet : [FRnOG] [MISC] le pétaoctet du pauvre

Trolldi un peu en retard, mais néanmoins sérieux : combien çà coute, un 
pétaoctet, en 2020 ?

Capacité brute. La perte due au RAID ou au ZRAID et consorts étant un 
compromis, il faut comparer ce qui est comparable.
Les disques : 63 fois 
https://www.newegg.com/seagate-exos-x16-st16000nm001g-16tb/p/1Z4-002P-015K6 
Environ $25K. Neuf, garantie 5 ans.

Je pousse mémé dans les orties : on les mets dans quoi ?
Dans 3 fois çà : https://www.ebay.com/itm/202404952486
A ce niveau, c'est gratuit. Avec les spares pour 10 ans.

Contrôleurs : Fois 3 aussi, mais autant dire gratuit aussi. Avec le firmware 
P20.
LSI 9200-8E https://www.ebay.com/itm/123884149778
ou LSI SAS9200-16E  https://www.ebay.com/itm/323724809849

Carte réseau : Intel 10G à moins de 100 balles.

Serveur : pas trop daubique, 2K ou 3K à allonger avec de la mémoire.

OS : Freenas (je prends les suggestions; je suis en train d'en monter un avec 
16 disques de daube, pour voir si çà prend feu. Les spares SAS 72GO, c'est 
vachement efficace comme chauffage en hiver).

Est-ce que çà marche ? c'est trolldi !!!

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/



---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Stéphane Rivière]

>> https://github.com/ewwhite/zfs-ha/wiki 
>> 
> 
>   Ah c'est pas mal ça :) Merci du pointeur.

+1, merci :)

-- 
Be Seeing You
Number Six


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Phil Regnauld]

Michel Py (michel) writes:
> La partie client me fait peur. NFS, iSCSI et SMB tout le monde comprend et 
> c'est testé depuis la nuit des temps. J'ai pas envie d'essuyer les plâtres à 
> tester un truc genre SMB Gateway pour Ceph.

Pas obligé de faire du CephFS, tu peux avoir une VM ou un serveur
physique qui monte une image RBD (CEPH block device), tu formates
ça en ZFS ou ce que tu veux, et tu colles Samba dessus.

Faut jamais exposer CephFS directement aux utilisateurs finaux de
toute façon.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Phil Regnauld]

Michel Py (michel) writes:
> 
> > En fonction du besoin, fe ferais deux machines et du ZFS avec répliction 
> > croisées.
> 
> Avec quel logiciel ?

/bin/sh et HuileDeCoude :) Ou le ZFS/HA cité plus tôt maintenant que je
connais.

> > Si on veut vraiment 1 TO de stockage contigu/agregé,
> 
> J'ai pas besoin de contigu. Un RAID60 / RAIDZ2 stripe de 300TO c'est 
> suffisant pour moi.

C'est pour faire de la VM ? Du stockage object ? Archiver FRNOG ?

> > faut regarder CEPH plutôt
> 
> J'ai regardé, pas encore essayé. Cà a l'air un peu usine à gaz sur les bords.

Ça l'est, mais ça peut valoir le temps de s'y investir, encore une fois,
en fonction du besoin.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Phil Regnauld]

Michel 'ic' Luczak (lists) writes:
> > 
> > Oui, ça marche, si on veut mettre tous ses oeufs dans un seul panier :)
> 
> Sinon...
> 
> https://github.com/ewwhite/zfs-ha/wiki 
> 

Ah c'est pas mal ça :) Merci du pointeur.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

> Raphael Mazelier a écrit :
> La bonne question : c'est que tu veux stocker dans tes 1Po ?

Personne ne le sait et surtout pas moi :-( Un ramassis de trucs dont 90% 
personne ne se servira jamais, mais les données c'est comme le parachute : tu 
n'en a pas besoin souvent mais le jour ou tu en as besoin, si tu ne l'a pas, tu 
n'en auras plus jamais besoin. Du genre : faut garder un truc pour 5 ans ou 10 
ans, faut que çà soit disponible "online" sans avoir à restaurer d'une 
cartouche Ultrium (dans laquelle je n'ai d'ailleurs qu'une confiance limitée) 
ou RDX qui coute un bras. La dédup çà serait probablement utile; la compression 
j'y crois pas trop. Et puis évidemment il va y avoir des trucs qui sont actifs 
tout le temps, donc un cache genre L2ARC en flash çà pourrait être sympa.

> et comment tu veux y accéder ?

Les trois classiques : NFS, iSCSI et Samba. iSCSI probablement pas trop et 
possiblement dans un pool séparé. NFS principalement pour les VM et Samba pour 
les clients Windows natifs.
10 Gbps avec évolution possible sur 40Gbps. Rien que la partie Samba 
utilisateur j'ai au moins 10 millions de fichiers; j'ai pas encore décidé si çà 
serait du SMB ou du NTFS/iSCSI mais iSCSI c'est pas partageable, donc Samba 4 a 
encore de beaux jours.

> Sur ce genre de volumétrie j’éviterais le filer pur, je partirais plutôt sur 
> du stockage objet (ceph, scality, openio).

La partie client me fait peur. NFS, iSCSI et SMB tout le monde comprend et 
c'est testé depuis la nuit des temps. J'ai pas envie d'essuyer les plâtres à 
tester un truc genre SMB Gateway pour Ceph.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Raphael Mazelier]

Concernant le hardware Maxime est un spécialiste ;)

La bonne question : c'est que tu veux stocker dans tes 1Po ? et comment 
tu veux y accéder ?


Sur ce genre de volumétrie j’éviterais le filer pur, je partirais plutôt 
sur du stockage objet (ceph, scality, openio).


--

Raphael Mazelier

On 29/02/2020 19:51, Michel Py wrote:

Maxime De Berraly a écrit :
Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est pour 
s'amuser
pourquoi ne pas partir sur un storinator? https://www.45drives.com/

J'ai regardé avec beaucoup d'intérêt; vu de mon coté il y a 3 inconvénients 
majeurs :
1. C'est super profond; pour remplacer les disques il faut avoir les mégas 
rails avec les bras articulés pour les cables.
2. Impossible de remplacer les expanders SAS à chaud. Est-ce que çà fait le 
double-port SAS (multipath IO) ?
3. Ca chauffe. Les disques dans la dernière rangée, j'aimerais pas être à leur 
place.

J'ai des MDS 600 : 
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-c01671885
70 disques chacun, plein d'emmerdes. Mécaniquement c'est naze.

J'ai aussi regardé çà :
https://www.supermicro.com/en/products/chassis/4U/847/SC847E2C-R1K28JBOD
Problème : single point of failure : l'expander SAS n'est pas remplaçable et la 
même carte fait les deux ports SAS.



Michel 'ic' Luczak a écrit :
https://github.com/ewwhite/zfs-ha/wiki

J'ai regardé avec beaucoup d'intérêt aussi, au niveau hardware c'est l'idéal : 
tout est hot-swap.
Inconvénient : il n'y a que NFS. Pas de iSCSI target ni de Samba :-(



Phil Regnauld a écrit :
Oui, ça marche, si on veut mettre tous ses oeufs dans un seul panier :)

Le failover du stockage, c'est comme le failover de data center : çà marche des 
fois, des fois pas, faut tester souvent, et le jour ou t'en as vraiment besoin 
généralement il y a une surprise.
C'est pas quand t'es dans la mouise qu'il faut commencer à regarder pourquoi 
pacemaker et corosync n'ont pas marché.
En plus, le failover n'est pas immédiat, et il est plus que probable qu'il y a 
des trucs qui vont se planter.
Je dis pas que çà sert à rien, mais faut que çà soit fait super bien.


J'ai aussi regardé çà :
https://www.synology.com/en-us/products/RC18015xs+ avec 
https://www.synology.com/en-us/products/RXD1215sas
Problème : 1 seul port SAS qu'il faut cascader, en performance c'est nul.
Le mettre dans son propre serveur c'est possible : https://xpenology.org/
Mais même s'il n'y avait pas l'aspect légal, c'est la galère avec les MAJ et le 
support.



En fonction du besoin, fe ferais deux machines et du ZFS avec répliction 
croisées.

Avec quel logiciel ?


Si on veut vraiment 1 TO de stockage contigu/agregé,

J'ai pas besoin de contigu. Un RAID60 / RAIDZ2 stripe de 300TO c'est suffisant 
pour moi.


faut regarder CEPH plutôt

J'ai regardé, pas encore essayé. Cà a l'air un peu usine à gaz sur les bords.

Michel.



---
Liste de diffusion du FRnOG
http://www.frnog.org/



---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel Py]

> Maxime De Berraly a écrit :
> Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est pour 
> s'amuser
> pourquoi ne pas partir sur un storinator? https://www.45drives.com/

J'ai regardé avec beaucoup d'intérêt; vu de mon coté il y a 3 inconvénients 
majeurs :
1. C'est super profond; pour remplacer les disques il faut avoir les mégas 
rails avec les bras articulés pour les cables.
2. Impossible de remplacer les expanders SAS à chaud. Est-ce que çà fait le 
double-port SAS (multipath IO) ?
3. Ca chauffe. Les disques dans la dernière rangée, j'aimerais pas être à leur 
place.

J'ai des MDS 600 : 
https://support.hpe.com/hpesc/public/docDisplay?docId=emr_na-c01671885
70 disques chacun, plein d'emmerdes. Mécaniquement c'est naze.

J'ai aussi regardé çà :
https://www.supermicro.com/en/products/chassis/4U/847/SC847E2C-R1K28JBOD
Problème : single point of failure : l'expander SAS n'est pas remplaçable et la 
même carte fait les deux ports SAS.


> Michel 'ic' Luczak a écrit :
> https://github.com/ewwhite/zfs-ha/wiki

J'ai regardé avec beaucoup d'intérêt aussi, au niveau hardware c'est l'idéal : 
tout est hot-swap.
Inconvénient : il n'y a que NFS. Pas de iSCSI target ni de Samba :-(


> Phil Regnauld a écrit :
> Oui, ça marche, si on veut mettre tous ses oeufs dans un seul panier :)

Le failover du stockage, c'est comme le failover de data center : çà marche des 
fois, des fois pas, faut tester souvent, et le jour ou t'en as vraiment besoin 
généralement il y a une surprise.
C'est pas quand t'es dans la mouise qu'il faut commencer à regarder pourquoi 
pacemaker et corosync n'ont pas marché.
En plus, le failover n'est pas immédiat, et il est plus que probable qu'il y a 
des trucs qui vont se planter.
Je dis pas que çà sert à rien, mais faut que çà soit fait super bien.


J'ai aussi regardé çà :
https://www.synology.com/en-us/products/RC18015xs+ avec 
https://www.synology.com/en-us/products/RXD1215sas
Problème : 1 seul port SAS qu'il faut cascader, en performance c'est nul.
Le mettre dans son propre serveur c'est possible : https://xpenology.org/
Mais même s'il n'y avait pas l'aspect légal, c'est la galère avec les MAJ et le 
support.


> En fonction du besoin, fe ferais deux machines et du ZFS avec répliction 
> croisées.

Avec quel logiciel ?

> Si on veut vraiment 1 TO de stockage contigu/agregé,

J'ai pas besoin de contigu. Un RAID60 / RAIDZ2 stripe de 300TO c'est suffisant 
pour moi.

> faut regarder CEPH plutôt

J'ai regardé, pas encore essayé. Cà a l'air un peu usine à gaz sur les bords.

Michel.



---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [MISC] le pétaoctet du pauvre

[Richard Baret]

Ou la version LTT :
https://youtu.be/EtZXMj_gUjU
https://youtu.be/fbipJUJLzpE

Richard


-Message d'origine-
De : frnog-requ...@frnog.org  De la part de Maxime De 
Berraly
Envoyé : samedi 29 février 2020 12:12
À : Michel Py 
Cc : frnog@frnog.org
Objet : Re: [FRnOG] [MISC] le pétaoctet du pauvre

Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est pour 
s'amuser pourquoi ne pas partir sur un storinator?
https://www.45drives.com/

Maxime
Le sam. 29 févr. 2020 à 06:34, Michel Py  a 
écrit :
>
> Trolldi un peu en retard, mais néanmoins sérieux : combien çà coute, un 
> pétaoctet, en 2020 ?
>
> Capacité brute. La perte due au RAID ou au ZRAID et consorts étant un 
> compromis, il faut comparer ce qui est comparable.
> Les disques : 63 fois 
> https://www.newegg.com/seagate-exos-x16-st16000nm001g-16tb/p/1Z4-002P-
> 015K6
> Environ $25K. Neuf, garantie 5 ans.
>
> Je pousse mémé dans les orties : on les mets dans quoi ?
> Dans 3 fois çà : https://www.ebay.com/itm/202404952486
> A ce niveau, c'est gratuit. Avec les spares pour 10 ans.
>
> Contrôleurs : Fois 3 aussi, mais autant dire gratuit aussi. Avec le firmware 
> P20.
> LSI 9200-8E https://www.ebay.com/itm/123884149778
> ou LSI SAS9200-16E  https://www.ebay.com/itm/323724809849
>
> Carte réseau : Intel 10G à moins de 100 balles.
>
> Serveur : pas trop daubique, 2K ou 3K à allonger avec de la mémoire.
>
> OS : Freenas (je prends les suggestions; je suis en train d'en monter un avec 
> 16 disques de daube, pour voir si çà prend feu. Les spares SAS 72GO, c'est 
> vachement efficace comme chauffage en hiver).
>
> Est-ce que çà marche ? c'est trolldi !!!
>
> Michel.
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/


smime.p7s
Description: S/MIME cryptographic signature

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Maxime De Berraly]

Si tu a des DS4246 en trop je peut comprendre :D , mais sauf si c'est
pour s'amuser pourquoi ne pas partir sur un storinator?
https://www.45drives.com/

Maxime
Le sam. 29 févr. 2020 à 06:34, Michel Py
 a écrit :
>
> Trolldi un peu en retard, mais néanmoins sérieux : combien çà coute, un 
> pétaoctet, en 2020 ?
>
> Capacité brute. La perte due au RAID ou au ZRAID et consorts étant un 
> compromis, il faut comparer ce qui est comparable.
> Les disques : 63 fois 
> https://www.newegg.com/seagate-exos-x16-st16000nm001g-16tb/p/1Z4-002P-015K6
> Environ $25K. Neuf, garantie 5 ans.
>
> Je pousse mémé dans les orties : on les mets dans quoi ?
> Dans 3 fois çà : https://www.ebay.com/itm/202404952486
> A ce niveau, c'est gratuit. Avec les spares pour 10 ans.
>
> Contrôleurs : Fois 3 aussi, mais autant dire gratuit aussi. Avec le firmware 
> P20.
> LSI 9200-8E https://www.ebay.com/itm/123884149778
> ou LSI SAS9200-16E  https://www.ebay.com/itm/323724809849
>
> Carte réseau : Intel 10G à moins de 100 balles.
>
> Serveur : pas trop daubique, 2K ou 3K à allonger avec de la mémoire.
>
> OS : Freenas (je prends les suggestions; je suis en train d'en monter un avec 
> 16 disques de daube, pour voir si çà prend feu. Les spares SAS 72GO, c'est 
> vachement efficace comme chauffage en hiver).
>
> Est-ce que çà marche ? c'est trolldi !!!
>
> Michel.
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Michel 'ic' Luczak]

> On 29 Feb 2020, at 07:55, Phil Regnauld  wrote:
> 
> Michel Py (michel) writes:
>> 
>> Est-ce que çà marche ? c'est trolldi !!!
> 
>   Oui, ça marche, si on veut mettre tous ses oeufs dans un seul panier :)
> 

Sinon...

https://github.com/ewwhite/zfs-ha/wiki 



---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Olivier Lange]

Le sam. 29 févr. 2020 à 11:15, Phil Regnauld  a écrit :

> Michel Py (michel) writes:
> >
> > Est-ce que çà marche ? c'est trolldi !!!
>
> Oui, ça marche, si on veut mettre tous ses oeufs dans un seul
> panier :)
>
> En fonction du besoin, fe ferais deux machines et du ZFS avec
> répliction
> croisées.
>
> Si on veut vraiment 1 TO de stockage contigu/agregé, faut regarder
> CEPH plutôt (soit en replication 3x ou en EC avec parité). Mais ça
> dépend de l'usage et des besoins en perfs. Un pool 1 TO de SSD avec
> des concat. de raidz3, ça va plutôt vite :)
>

1 to de SSD en replica 3 ceph, ça commence a faire un joli budget, car même
avec des SSD de 4To, vu les ressources nécessaires par machine, il va
pouvoir multiplier sont budget par pas mal!

Olivier

>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [MISC] le pétaoctet du pauvre

[Phil Regnauld]

Michel Py (michel) writes:
> 
> Est-ce que çà marche ? c'est trolldi !!!

Oui, ça marche, si on veut mettre tous ses oeufs dans un seul panier :)

En fonction du besoin, fe ferais deux machines et du ZFS avec répliction
croisées.

Si on veut vraiment 1 TO de stockage contigu/agregé, faut regarder
CEPH plutôt (soit en replication 3x ou en EC avec parité). Mais ça
dépend de l'usage et des besoins en perfs. Un pool 1 TO de SSD avec
des concat. de raidz3, ça va plutôt vite :)


---
Liste de diffusion du FRnOG
http://www.frnog.org/