Re: [FRnOG] [MISC] Technologie d'Aspera
Le 27 déc. 2013 à 10:42, Radu-Adrian Feurdean fr...@radu-adrian.feurdean.net a écrit : On Fri, Dec 27, 2013, at 9:54, Philippe Bourcier wrote: Sinon question subsidiaire: est-ce que ca peut gerer des aggregats (rotation des ports source par exemple) ? Je ne comprends pas la question... Avec un trasfer standard (une seule connexion, TCP ou UDP), la connexion n'est PAS distribue sur les liens d'un aggregat (ca passe toujours par le meme lien). La question etait donc : Est-ce qu'il ge(ne)re des paquets ou le tuple (src_ip, dst_ip, src_port, dst_port) ne sont pas tous les memes pendant tout le transfer ?. Sachant que les IPs et le port destination restent fixes, ca implique une rotation/variation des ports source. Est-ce que le protocole peut faire ca ? Hello, J’avais justement eu le plaisir (…) de regarder d’un point de vue on net comment Aspera fonctionnait y’a une 10 aines de jours, ca ressemble a ca: 3 flux de contrôle tcp / 3 flux de data. Il est fort possible selon les hash utilisés que les paires srcpt, dstpt variants favorisent la ventilations de charge sur du lag, meme si 3 ne serait probablement pas idéal dans la plupart des cas. Le nombre de flux et des ports doivent être ajustables je suppose, tout comme ca vitesse désirée de transfert (udp powered), mais j’ai pas encore provoqué l’occasion de voir comment on joue à ce jeu. Capture sur Cisco ASA, flux INTERNET-CORPO, c’est le peer distant qui poussait il me semble: UDP CORPO x.x.x.x:33003 INTERNET y.y.y.y:49745, idle 0:00:00, bytes 1221238972, flags - TCP CORPO x.x.x.x(x.x.x.x):33001 INTERNET y.y.y.y:41641, idle 0:00:00, bytes 25548, flags UIOB UDP CORPO x.x.x.x:33002 INTERNET y.y.y.y:39492, idle 0:00:00, bytes 2630163460, flags - TCP CORPO x.x.x.x(x.x.x.x):33001 INTERNET y.y.y.y:41344, idle 0:00:03, bytes 24364, flags UIOB UDP CORPO x.x.x.x:33001 INTERNET y.y.y.y:55324, idle 0:00:00, bytes 1878670600, flags - TCP CORPO x.x.x.x(x.x.x.x):33001 INTERNET y.y.y.y:42626, idle 0:00:03, bytes 25624, flags UIOB ++ daf --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Re, Ok, c'est limite, mais au moins en mode pull/get ca existe bel et bien. Ce n'est pas courant mais ca existe au moins cote FTP et HTTP(s). Le HTTP avec Range, ca va être relou à utiliser, à la moindre failure, t'es obligé de te re-taper tout le morceau. Avec UDT, le checksum est fait à chaque paquet (ou ensemble de quelques paquets), du coup ton packet loss est vachement moins impactant, c'est quand même carrément mieux. Il y aurait-il donc des third-parties qui le supportent comme mode de transfert ? Tous les gens à qui tu va demander d'installer cette solution toute faite vs demander d'installer/utiliser un script :) Globalement, ils préféreront. Sinon question subsidiaire: est-ce que ca peut gerer des aggregats (rotation des ports source par exemple) ? Je ne comprends pas la question... C'est exactement la commande SCP, donc tu peux faire tout ce que tu peux faire d'habitude avec SCP. Cdt, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
On Fri, Dec 27, 2013, at 9:54, Philippe Bourcier wrote: Sinon question subsidiaire: est-ce que ca peut gerer des aggregats (rotation des ports source par exemple) ? Je ne comprends pas la question... Avec un trasfer standard (une seule connexion, TCP ou UDP), la connexion n'est PAS distribue sur les liens d'un aggregat (ca passe toujours par le meme lien). La question etait donc : Est-ce qu'il ge(ne)re des paquets ou le tuple (src_ip, dst_ip, src_port, dst_port) ne sont pas tous les memes pendant tout le transfer ?. Sachant que les IPs et le port destination restent fixes, ca implique une rotation/variation des ports source. Est-ce que le protocole peut faire ca ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
On Thu, Dec 26, 2013, at 11:37, Philippe Bourcier wrote: Le parallélisme applicatif / multiplexing ça n'existe juste pas... troll Si, BitTorrent ! /troll --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Bonjour, Oui tu peux faire pleins de choses en prenant le temps de découper tes fichiers, scripter tout cela, etc... Mais si tu dois copier des fichiers de centaines de Go toutes les heures avec 140ms de latence (par ex Paris - San Francisco (ou Hollywood)) avec 0.1% de loss en pointe sur ton lien giga (comme tout lien longue distance), tu vas bien rigoler avec une seule connexion TCP et ta window size a 16M (disclosure: on a essayé). Donc ça c'est l'option 1... je suis le meilleur et TCP on peut le tweaker à mort pour que ca fasse ce que je veux, ça va être long et pénible, mais je suis le meilleur. Le parallélisme applicatif / multiplexing ça n'existe juste pas... ce serait en effet une bonne solution pour tout faire en TCP, mais très très peu de softs sont prévus en ce sens et ils sont très orientés logs et pas du tout tous types de fichiers (on parlait de vidéo(s) au début). Du coup tu dois tout coder/scripter... Et sinon tu as l'option 2, pragmatique et bien moins génératrice de problèmes (par ex vs découpage + multiplexing TCP), tu lis ce que des gens à priori assez smart et reconnus dans le monde du HPC ont écrit pour résoudre le problème (http://udt.sourceforge.net/people.html), tu vois que c'est exactement ce que fait la solution commerciale leader du marché et tu essayes... Comme tu es humble, une fois que tu as pu vérifier que ça fonctionne, que c'est compatible multi-plateformes / multi-partenaires et que ça te simplifie la vie, tu te dis ah bah oui, on va faire ça... et tu passes au problème suivant ;) Bonnes fêtes à tous, Philippe Bourcier On 2013-12-24 21:28, Radu-Adrian Feurdean wrote: On Tue, Dec 24, 2013, at 19:54, Philippe Bourcier wrote: En gros si t'as des liens à forte latence (100+ ms) entre 2 DCs, c'est bien utile car ça transforme ton transfert TCP des technos de transfert les plus courantes en transfert UDP, ce qui de fait te permet de maxer ton lien (iperf style)... ou de définir un débit max que tu veux utiliser sur ton lien (et ça c'est très pratique). Pour un lien satelitte (500+ ms) pourquoi pas, surtout en cas de conditions meteo defavorables (precipitations, nuages et vent - pas le meilleur traitement pour une parabole). Mais pour des liens terrestres, il faut aller quand-meme assez loin pour que ca a un vrai sens. On peut jouer avec le parametrage de la pile TCP (tcp memory, congestion window, sack, tcp_hybla, tcp_westwood, .) et on peut jouer aussi avec le paralellisme applicatif. Il y a dans la majorite des cas des choses a faire avant d'arriver au trasnfert via UDP. Un lien giga a 100ms, ca se rempli sans trop de difficultes en TCP. Bonnes fetes ! --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [MISC] Technologie d'Aspera
Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) qui vient de racheter la société Aspera, responsable de cette révolution. Si IBM n'avait pas racheté la société et s'ils n'avaient pas un client français prestigieux (France Télévision), je ne dérangerais pas la liste avec ça. Techniquement, ils remplacent la couche TCP par leur propre couche : fasp (http://asperasoft.com/technology/transport/fasp/) et évitent ainsi les ralentissements dû à des taux de paquets perdus importants ou des latences importantes. Evidemment cela nécessite du logiciel côté client (extension du navigateur ou application) et serveur, donc ce n'est pas tout de suite que Free va pouvoir résoudre ses problème avec YouTube avec ça ! Que pensez-vous de cette technologie ? Est-ce que ça peut vraiment marcher ? Merci. Joyeux noël. Ithier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Bonjour, AMHA, c'est largement exagéré. 2Go en 5mn, ce n'est que du 55Mbs. Je cite : As a result, fasp transfers achieve speeds that are hundreds of times faster than FTP/HTTP Je comparerais ca à SDP (Sockets Direct Protocol) sur Infiniband. Pour avoir utilisé, en effet, c'est rapide, la latence est vraiment diminuée par rapport à TCP, mais par par un facteur 100. Tu peux certainement gagner un facteur 2-3 au maximum (ce qui est déjà pas mal). On 24/12/2013 14:46, Ithier de LESTRANGE a utilisé son clavier pour écrire: Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) qui vient de racheter la société Aspera, responsable de cette révolution. Si IBM n'avait pas racheté la société et s'ils n'avaient pas un client français prestigieux (France Télévision), je ne dérangerais pas la liste avec ça. Techniquement, ils remplacent la couche TCP par leur propre couche : fasp (http://asperasoft.com/technology/transport/fasp/) et évitent ainsi les ralentissements dû à des taux de paquets perdus importants ou des latences importantes. Evidemment cela nécessite du logiciel côté client (extension du navigateur ou application) et serveur, donc ce n'est pas tout de suite que Free va pouvoir résoudre ses problème avec YouTube avec ça ! Que pensez-vous de cette technologie ? Est-ce que ça peut vraiment marcher ? Merci. Joyeux noël. Ithier --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Bonjour; ca devrait être une variante du Fast TCP de Steven Low (voir http://netlab.caltech.edu/FAST/) qui a été racheté si je me trompe pas par Akamai. Il y’a multitude d’autres solutions de transfert rapide non compatible TCP dont le Fast Data Transfer du CERN. Il yu’a aussi TCP VEGAS qui est standardisé à l’IETF et qui est la base fondamentale de Fast TCP. Grosso il n’y a pas de solution générique. Cela dépend du scénario et de la config. en particulier si il y’a du multipath c’est MultiTCP qui tient la chandelle (http://multipath-tcp.org/pmwiki.php?n=Main.50Gbps) Kavé Salamatian Le 24 déc. 2013 à 14:46, Ithier de LESTRANGE ithier.de.lestra...@gesco.fr a écrit : Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) qui vient de racheter la société Aspera, responsable de cette révolution. Si IBM n'avait pas racheté la société et s'ils n'avaient pas un client français prestigieux (France Télévision), je ne dérangerais pas la liste avec ça. Techniquement, ils remplacent la couche TCP par leur propre couche : fasp (http://asperasoft.com/technology/transport/fasp/) et évitent ainsi les ralentissements dû à des taux de paquets perdus importants ou des latences importantes. Evidemment cela nécessite du logiciel côté client (extension du navigateur ou application) et serveur, donc ce n'est pas tout de suite que Free va pouvoir résoudre ses problème avec YouTube avec ça ! Que pensez-vous de cette technologie ? Est-ce que ça peut vraiment marcher ? Merci. Joyeux noël. Ithier --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Bonjour, Plutôt un UDP/UDP-alike à mettre au côtés des UDT, Tsunami et autres... JaXX./. Le 24/12/2013 15:10, Kavé Salamatian a écrit : Bonjour; ca devrait être une variante du Fast TCP de Steven Low (voir http://netlab.caltech.edu/FAST/) qui a été racheté si je me trompe pas par Akamai. Il y’a multitude d’autres solutions de transfert rapide non compatible TCP dont le Fast Data Transfer du CERN. Il yu’a aussi TCP VEGAS qui est standardisé à l’IETF et qui est la base fondamentale de Fast TCP. Grosso il n’y a pas de solution générique. Cela dépend du scénario et de la config. en particulier si il y’a du multipath c’est MultiTCP qui tient la chandelle (http://multipath-tcp.org/pmwiki.php?n=Main.50Gbps) Kavé Salamatian Le 24 déc. 2013 à 14:46, Ithier de LESTRANGE ithier.de.lestra...@gesco.fr a écrit : Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) qui vient de racheter la société Aspera, responsable de cette révolution. Si IBM n'avait pas racheté la société et s'ils n'avaient pas un client français prestigieux (France Télévision), je ne dérangerais pas la liste avec ça. Techniquement, ils remplacent la couche TCP par leur propre couche : fasp (http://asperasoft.com/technology/transport/fasp/) et évitent ainsi les ralentissements dû à des taux de paquets perdus importants ou des latences importantes. Evidemment cela nécessite du logiciel côté client (extension du navigateur ou application) et serveur, donc ce n'est pas tout de suite que Free va pouvoir résoudre ses problème avec YouTube avec ça ! Que pensez-vous de cette technologie ? Est-ce que ça peut vraiment marcher ? Merci. Joyeux noël. Ithier --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Le Tue, Dec 24, 2013 at 02:46:32PM +0100, Ithier de LESTRANGE [ithier.de.lestra...@gesco.fr] a écrit: Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) Faut pas lire texto le bullshit marketing. Comme dit ailleurs dans le fil, 2Go en 5 minutes, ça fait un débit moyen de 57Mbps. Ça ne me semble pas extraordinaire... Sur un transfert FTP/HTTP quelconque, en transcontinental (US - FR), j'arrive facilement à 25 Mo/s (soit 200Mbps) J'espère pour eux qu'il n'y a que le marketo-droide qui a rédigé le communiqué de presse qui ne comprend pas les chiffres qu'il cite :o) -- Dominique Rousseau Neuronnexion, Prestataire Internet Intranet 21 rue Frédéric Petit - 8 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [MISC] Technologie d'Aspera
Il est sur que pour des liens à forte latence, le TCP pose des soucis d'acknowledge, ce qui diminue le débit réel. Après, pas besoin de technologies révolutionnaires pour contourner c problème pour du transfert de fichier. Un simple download manager permettant d'ouvrir plusieurs espions divise par 10 sans pbm le temps de téléchargement sur du ftp simple. La vraie difficulté n'est pas de trouver un super protocole qui remplace le ftp, et nécessite que client et servers soient en phase, mais plutôt de trouver des solutions indépendantes du client/serveur, permettant de diminuer la latence sur du http/tcp standard Martin Vigneau De : frnog-requ...@frnog.org frnog-requ...@frnog.org de la part de Dominique Rousseau d.rouss...@nnx.com Envoyé : mardi 24 décembre 2013 18:27 À : frnog-m...@frnog.org Objet : Re: [FRnOG] [MISC] Technologie d'Aspera Le Tue, Dec 24, 2013 at 02:46:32PM +0100, Ithier de LESTRANGE [ithier.de.lestra...@gesco.fr] a écrit: Bonjour, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) Faut pas lire texto le bullshit marketing. Comme dit ailleurs dans le fil, 2Go en 5 minutes, ça fait un débit moyen de 57Mbps. Ça ne me semble pas extraordinaire... Sur un transfert FTP/HTTP quelconque, en transcontinental (US - FR), j'arrive facilement à 25 Mo/s (soit 200Mbps) J'espère pour eux qu'il n'y a que le marketo-droide qui a rédigé le communiqué de presse qui ne comprend pas les chiffres qu'il cite :o) -- Dominique Rousseau Neuronnexion, Prestataire Internet Intranet 21 rue Frédéric Petit - 8 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Merci beaucoup pour vos avis éclairées cela a illuminé le mien sur le sujet. Bonne fêtes Ithier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
On Tue, Dec 24, 2013, at 15:05, patrick amiel wrote: AMHA, c'est largement exagéré. 2Go en 5mn, ce n'est que du 55Mbs. Je cite : As a result, fasp transfers achieve speeds that are hundreds of times faster than FTP/HTTP Sachant que FTP/HTTP avec des trasfers parallelizes peuvent deja faire des miracles (lftp, commande pget) --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
Bonsoir, C'est limite hors liste mais bon nous sommes le 24 décembre alors peut-être certains auront - ils un avis technique sur cette technologie révolutionnaire qui permet de transférer une vidéo de 2Go d'un bout à l'autre des Etats Unis en 5 minutes alors qu'il faut en général 3 heures et demi ... enfin dixit le le communiqué de presse d'IBM ( http://www-01.ibm.com/software/info/aspera/) Aspera, c'est un sujet que je connais un peu. J'en ai eu en production et ça marchait vraiment très bien. En gros si t'as des liens à forte latence (100+ ms) entre 2 DCs, c'est bien utile car ça transforme ton transfert TCP des technos de transfert les plus courantes en transfert UDP, ce qui de fait te permet de maxer ton lien (iperf style)... ou de définir un débit max que tu veux utiliser sur ton lien (et ça c'est très pratique). Et puis, comme c'est pas donné, on a étudié d'autres solutions et on utilise désormais HSCP : http://sourceforge.net/projects/hscp/files/0.9.21/ C'est SCP (SSH) mais en UDP au lieu de TCP... ça fait le job aussi et de fait c'est moins chère. Par contre tu ne peux pas limiter le débit. Par contre il ne faut pas rêver, ça ne diminue pas la taille des fichiers... mais il y a des systèmes qui font cela... notamment chez Riverbed et Cisco, les fameux WAN optimizer. Voilà, si ca peut éclairer les gens que ce sujet intéresse :) Joyeux Noël à vous tous. Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [MISC] Technologie d'Aspera
On Tue, Dec 24, 2013, at 19:54, Philippe Bourcier wrote: En gros si t'as des liens à forte latence (100+ ms) entre 2 DCs, c'est bien utile car ça transforme ton transfert TCP des technos de transfert les plus courantes en transfert UDP, ce qui de fait te permet de maxer ton lien (iperf style)... ou de définir un débit max que tu veux utiliser sur ton lien (et ça c'est très pratique). Pour un lien satelitte (500+ ms) pourquoi pas, surtout en cas de conditions meteo defavorables (precipitations, nuages et vent - pas le meilleur traitement pour une parabole). Mais pour des liens terrestres, il faut aller quand-meme assez loin pour que ca a un vrai sens. On peut jouer avec le parametrage de la pile TCP (tcp memory, congestion window, sack, tcp_hybla, tcp_westwood, .) et on peut jouer aussi avec le paralellisme applicatif. Il y a dans la majorite des cas des choses a faire avant d'arriver au trasnfert via UDP. Un lien giga a 100ms, ca se rempli sans trop de difficultes en TCP. Bonnes fetes ! --- Liste de diffusion du FRnOG http://www.frnog.org/
