Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Les algos de hash d'un LACP ne permettent quasiment jamais d'étaler une connexion TCP sur plusieurs liens. Les algos de hash peuvent remonter jusqu'aux infos L4 (port source/dest en general en plus des ip/src dest) et donc ça ne permet pas de splitter une connexion sur plusieurs lien. Petit parenthèse sur Vxlan qui a pas mal causé de problème au début à cause de la faible entropie de l'en-tête et qui montre bien le problème de ces algos de hash et de l'efficacité du LACP qui est tributaire du trafic (et donc pas vraiment déterministe, i.e. réussir à remplir 70% de la somme des liens d'un LACP c'est déjà pas mal). D'ailleurs c'est pas du tout dans l'esprit de LACP à la base de faire ça (meme si linux a un mode balance-rr dans la couche d'agrégation de lien) ça reviendrait à dispatcher les paquets d'une connexion sur n'importe quel lien en fait, et du coup ça devient plus une problématique de scheduling de paquets sur de multiples interfaces pour pas perturber la connexion TCP et en fait il y a un standard pour ça c'est FlexE mais c'est pour gérer des liens backbone (balance-rr sous linux autant ça marche avec deux serveurs face à face autant si y'a un peu de de chemin réseau -genre ECMP et/ou du LACP *normal*- ça fera rien gagner, voir pire et dégrader le débit TCP). Le lun. 10 juil. 2023 à 10:28, Dominique Rousseau a écrit : > > Le Sun, Jul 09, 2023 at 09:06:57PM +, Jérôme Quintard > [jquint...@outlook.com] a écrit: > > Hello, > > > > J'ai deux NAS identiques dont la performance "théorique" totale est > > estimée à 1 Go/s en lecture et 432 Mo/s en écriture. > > > > Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. > (...) > > > > * Est-ce que le LACP est bien limité à un seul canal par session ? > > LACP a permet de definir un lien "virtuel" compose de plusieurs liens > physiques avec la meme adresse MAC. > Mais en soi, ca ne definit pas comment la repartition se fait entre eux. > Ca c'est l'algorithme de hachage qui va le definir, et ca se joue du > cote de celui qui emet. > Il faut donc regarder ce que tes NAS supportent pour ca. > En general, pour un echange ( une session TCP ) entre 2 peripheriques, > ton LACP ne t'apporte qu'une redondance des liens, et pas l'aggregation > du debit. > > Cote reseau, le mieux serait donc d'avoir au moins 2 flux ( avec 2 > adresses ips source et destinations differentes ), pour utiliser les > liens. > En faisant ca, tu vas aussi causer des lectures et ecritures a 2 > endroits differents sur tes NAS. Ca peut etre benefique ( les disques > physiques sollicietes sont differents) ou non ( si les disques sont les > memes ... ) > > > > > * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et > > surtout comment calculer la différence avec du jumbo frames ? > > Tu pourrais certainement ameliorer les choses en utilisant des jumbo, > oui. Il faut bien sur que le switch le supporte. Ce qui peut jouer > aussi, c'est la capacite des NAS a augmenter la taille de la fenetre > TCP. > > -- > Dominique Rousseau > Neuronnexion, Prestataire Internet & Intranet > 6 rue des Hautes cornes - 8 Amiens > tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Le Sun, Jul 09, 2023 at 09:06:57PM +, Jérôme Quintard [jquint...@outlook.com] a écrit: > Hello, > > J'ai deux NAS identiques dont la performance "théorique" totale est > estimée à 1 Go/s en lecture et 432 Mo/s en écriture. > > Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. (...) > > * Est-ce que le LACP est bien limité à un seul canal par session ? LACP a permet de definir un lien "virtuel" compose de plusieurs liens physiques avec la meme adresse MAC. Mais en soi, ca ne definit pas comment la repartition se fait entre eux. Ca c'est l'algorithme de hachage qui va le definir, et ca se joue du cote de celui qui emet. Il faut donc regarder ce que tes NAS supportent pour ca. En general, pour un echange ( une session TCP ) entre 2 peripheriques, ton LACP ne t'apporte qu'une redondance des liens, et pas l'aggregation du debit. Cote reseau, le mieux serait donc d'avoir au moins 2 flux ( avec 2 adresses ips source et destinations differentes ), pour utiliser les liens. En faisant ca, tu vas aussi causer des lectures et ecritures a 2 endroits differents sur tes NAS. Ca peut etre benefique ( les disques physiques sollicietes sont differents) ou non ( si les disques sont les memes ... ) > > * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et > surtout comment calculer la différence avec du jumbo frames ? Tu pourrais certainement ameliorer les choses en utilisant des jumbo, oui. Il faut bien sur que le switch le supporte. Ce qui peut jouer aussi, c'est la capacite des NAS a augmenter la taille de la fenetre TCP. -- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 6 rue des Hautes cornes - 8 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Hello, * Est-ce que le LACP est bien limité à un seul canal par session ? -> Oui mais tu peux garder ton "Port Channel" côté switch (pour éviter que la MAC change surtout et que ça flood), et mettre du RR côté client (du coup quand ça envoie les données ça utilise bien tous les liens). Fonctionne sans soucis on fait ça partout chez nous et on l'a même fait y'a 8ans sur du 8x1Gbps pour des raisons économiques à l'époque. Le seul inconvénient que je vois c'est qu'en cas de soucis sur un lien ça peut vite faire n'importe quoi, mais bon, sur un truc pas critique extrème ça passe facile. * Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la dernière écriture donc sans le délai nécessaire pour générer la liste des fichiers). Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. A l'inverse 10 To en 68h nous donne 40 Mo/s. -> On connait pas tes HDD (combien, type..) ni le type de fichiers, peut être eux qui limitent. En séquentiel, même des vieux HDD feront plus de 100Mo/s (R/W), des HDD récents approcheront les 300Mo/s (285Mo/s sur les 22To). Mais en random, ça devient vite plus compliqué hein. * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout comment calculer la différence avec du jumbo frames ? -> tu peux mais par expérience tu ne gagneras rien. Je pense pour le point numéro 2, perf des HDD et type de transfert. Comme dit rsync c'est vite cancer surtout que les NAS (grand publics) ont des cpu peu puissants généralement (dans une logique de basse consommation et de prix). On Mon, 10 Jul 2023 at 11:09, Paul Rolland (ポール・ロラン) wrote: > Bonjour, > > On Mon, 10 Jul 2023 09:01:07 +0200 > l...@51514.fr wrote: > > > Si rsync, sa vitesse global va dépendre de la taille et du nombre de > > fichier. Un rsync avec quelques gros fichier ne va pas perdre beaucoup > > de temps en test, ouverture et lecture de fichier et la compression va > > être plus performante. A contrario, un rsync sur beaucoup de petit > > fichier va demander des test, ouverture de fichier en pagaille, c'est du > > Et selon les options donnees a rsync, le calcul du checksum pour faire un > controle en plus des attributs du fichier afin de savoir si il a ete > modifie. > Checksum sur 10To -> surement chaud cote CPU... > > De maniere generale, les NAS "recents" ont quasiment tous le necessaire > pour suivre a la fois le CPU, le reseau, la memoire, au moins en local > (mais avec un historique limite), et tu as peut-etre aussi un monitoring > SNMP externe. > Ca dit quoi sur tes deux NAS pendant la restauration ? > > Paul > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > -- *Cordialement / Best regards,Gwenaël OBERLINGER* -- Uptobox.com CTO / Vulnerator Phone: (+33) 6 29 65 35 52 https://twitter.com/starouille --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Bonjour, On Mon, 10 Jul 2023 09:01:07 +0200 l...@51514.fr wrote: > Si rsync, sa vitesse global va dépendre de la taille et du nombre de > fichier. Un rsync avec quelques gros fichier ne va pas perdre beaucoup > de temps en test, ouverture et lecture de fichier et la compression va > être plus performante. A contrario, un rsync sur beaucoup de petit > fichier va demander des test, ouverture de fichier en pagaille, c'est du Et selon les options donnees a rsync, le calcul du checksum pour faire un controle en plus des attributs du fichier afin de savoir si il a ete modifie. Checksum sur 10To -> surement chaud cote CPU... De maniere generale, les NAS "recents" ont quasiment tous le necessaire pour suivre a la fois le CPU, le reseau, la memoire, au moins en local (mais avec un historique limite), et tu as peut-etre aussi un monitoring SNMP externe. Ca dit quoi sur tes deux NAS pendant la restauration ? Paul --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Bonjour Oui, le LACP fait un partage de la bande "statistique". Souvent c'est simplement un algorithme de parité avec les adresses Mac, du genre si la somme des adresse mac est paire, tu passes sur le premier lien, sinon sur le second. Y a d'autres algos implantés, mais c'est souvent comme ça de base. Il ne faut pas oublier que balancer du trafic d'une même session TCP sur deux liens s'avèrent souvent contre-productif. Thierry Le 09/07/2023 à 23:06, Jérôme Quintard a écrit : Hello, J'ai deux NAS identiques dont la performance "théorique" totale est estimée à 1 Go/s en lecture et 432 Mo/s en écriture. Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. Lors d'une restauration de l'un sur l'autre nous sommes limités par la plus petite bande passante... c'est le port du switch avec ses 128 Mo/s (sauf erreur la session utilise un seul canal LACP). Un iperf entre les deux NAS me donne raison : 117 Mo/s. Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la dernière écriture donc sans le délai nécessaire pour générer la liste des fichiers). Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. A l'inverse 10 To en 68h nous donne 40 Mo/s. D'où 3 questions : * Est-ce que le LACP est bien limité à un seul canal par session ? * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout comment calculer la différence avec du jumbo frames ? * Vu que le site était off pendant la restauration (qui s'est déroulé un weekend) qu'est-ce qui pourrait expliquer cette limite à 40 Mo/s en dehors du MTU ? Merci pour vos avis. Jerome -- --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Le 2023-07-09 23:06, Jérôme Quintard a écrit : Hello, J'ai deux NAS identiques dont la performance "théorique" totale est estimée à 1 Go/s en lecture et 432 Mo/s en écriture. Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. Lors d'une restauration de l'un sur l'autre nous sommes limités par la plus petite bande passante... c'est le port du switch avec ses 128 Mo/s (sauf erreur la session utilise un seul canal LACP). Un iperf entre les deux NAS me donne raison : 117 Mo/s. Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la dernière écriture donc sans le délai nécessaire pour générer la liste des fichiers). Ça semble être un rsync ou un truc dans le genre. Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. A l'inverse 10 To en 68h nous donne 40 Mo/s. Si rsync, sa vitesse global va dépendre de la taille et du nombre de fichier. Un rsync avec quelques gros fichier ne va pas perdre beaucoup de temps en test, ouverture et lecture de fichier et la compression va être plus performante. A contrario, un rsync sur beaucoup de petit fichier va demander des test, ouverture de fichier en pagaille, c'est du temps où il ne transmet rien. L'initialisation de la compression va aussi prendre du temps et ne sera pas très efficace. Il va aussi attendre la fermeture du fichier côté cible. Il y a aussi le chiffrement qui peut jouer. Si tu as toutefois, de gros fichiers, il se peut que la compression et/ou le chiffrement sature, normalement du côté de l'envoyeur. D'où 3 questions : * Est-ce que le LACP est bien limité à un seul canal par session ? Si le switch est simple, il ne va attribuer une MAC à un seul port. Tu pourra envoyer avec 2 ports mais ne recevoir que sur un seul. Il peut y avoir d'autre mode qui vont limiter une connexion à un seul port. On peut s'amuser à gagner en débit en mettant en jouant avec les MAC et autre. * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout comment calculer la différence avec du jumbo frames ? Cela peut aider si les cpus sont limit, sinon, pas de gros gain à prévoir. Quelques pourcent au pire. * Vu que le site était off pendant la restauration (qui s'est déroulé un weekend) qu'est-ce qui pourrait expliquer cette limite à 40 Mo/s en dehors du MTU ? Cf paragraphe rsync. Merci pour vos avis. Jerome --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Hello, Avant de chercher un problème de réseau, ce n'est pas simplement tes disques qui seraient tous arrivés au bout de leur cache lors de la restauration et dont les performances auraient simplement dégringolé ? On voit souvent ça avec des restaurations complètes, tu n'as pas une courbe du trafic sur la durée de la restauration ? -- Cordialement, Best regards, __ Nicolas Simond Ingénieur Systèmes et réseaux https://www.nicolas-simond.ch/ --- Original Message --- On Sunday, July 9th, 2023 at 11:06 PM, Jérôme Quintard wrote: > Hello, > > J'ai deux NAS identiques dont la performance "théorique" totale est estimée à > 1 Go/s en lecture et 432 Mo/s en écriture. > > Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. > > Lors d'une restauration de l'un sur l'autre nous sommes limités par la plus > petite bande passante... c'est le port du switch avec ses 128 Mo/s (sauf > erreur la session utilise un seul canal LACP). > > Un iperf entre les deux NAS me donne raison : 117 Mo/s. > > Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la > dernière écriture donc sans le délai nécessaire pour générer la liste des > fichiers). > > Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. > A l'inverse 10 To en 68h nous donne 40 Mo/s. > > D'où 3 questions : > > * Est-ce que le LACP est bien limité à un seul canal par session ? > > * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout > comment calculer la différence avec du jumbo frames ? > > * Vu que le site était off pendant la restauration (qui s'est déroulé un > weekend) qu'est-ce qui pourrait expliquer cette limite à 40 Mo/s en dehors du > MTU ? > > Merci pour vos avis. > > Jerome > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ publickey - me+frnog@nicolas-simond.ch - 0x756F19C4.asc Description: application/pgp-keys signature.asc Description: OpenPGP digital signature
Re: [FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
1/ c’est quoi la vitesse réelle max en écriture du NAS qui reçoit ? 2/ tu parles de restauration, mais c’est quoi le protocole ? 3/ si tu fais un scp de l’un vers l’autre, tu as tes 117Mo/s ou plutôt 40 ? David Ponzone > Le 9 juil. 2023 à 23:07, Jérôme Quintard a écrit : > > Hello, > > J'ai deux NAS identiques dont la performance "théorique" totale est estimée à > 1 Go/s en lecture et 432 Mo/s en écriture. > > Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. > > Lors d'une restauration de l'un sur l'autre nous sommes limités par la plus > petite bande passante... c'est le port du switch avec ses 128 Mo/s (sauf > erreur la session utilise un seul canal LACP). > > Un iperf entre les deux NAS me donne raison : 117 Mo/s. > > Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la > dernière écriture donc sans le délai nécessaire pour générer la liste des > fichiers). > > Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. > A l'inverse 10 To en 68h nous donne 40 Mo/s. > > D'où 3 questions : > > * Est-ce que le LACP est bien limité à un seul canal par session ? > > * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout > comment calculer la différence avec du jumbo frames ? > > * Vu que le site était off pendant la restauration (qui s'est déroulé un > weekend) qu'est-ce qui pourrait expliquer cette limite à 40 Mo/s en dehors du > MTU ? > > Merci pour vos avis. > > Jerome > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [MISC] LACP / MTU et restauration entre deux NAS
Hello, J'ai deux NAS identiques dont la performance "théorique" totale est estimée à 1 Go/s en lecture et 432 Mo/s en écriture. Les NAS sont connectés à un switch en 2 x1 Gb/s via du LACP. Lors d'une restauration de l'un sur l'autre nous sommes limités par la plus petite bande passante... c'est le port du switch avec ses 128 Mo/s (sauf erreur la session utilise un seul canal LACP). Un iperf entre les deux NAS me donne raison : 117 Mo/s. Sauf que les 10 To que l'on a restauré ont pris 68h (de la première à la dernière écriture donc sans le délai nécessaire pour générer la liste des fichiers). Avec 117 Mo/s on arrivera logiquement à restaurer 28To en 68h. A l'inverse 10 To en 68h nous donne 40 Mo/s. D'où 3 questions : * Est-ce que le LACP est bien limité à un seul canal par session ? * Le MTU par défaut de 1500 n'est pas top. Est-ce la raison et surtout comment calculer la différence avec du jumbo frames ? * Vu que le site était off pendant la restauration (qui s'est déroulé un weekend) qu'est-ce qui pourrait expliquer cette limite à 40 Mo/s en dehors du MTU ? Merci pour vos avis. Jerome --- Liste de diffusion du FRnOG http://www.frnog.org/
