Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
On Fri, Sep 4, 2020 at 8:25 AM Fabien H wrote: > > > > Alors comment faire ? > > Une solution facile est d'embarquer ta propre pile TCP modernisée dans > ton > > logiciel client qui lui va encapsuler le tout dans de l'UDP en sortie > pour > > limiter l'overhead. > > > > > OK et donc QUIC en est un exemple > > Du coup les fournisseurs type Netflix recherchent avec l'UDP un certaine > réactivité / diminution de la latence ? Parce qu'avec l'augmentation des > débits des liens Internet, l'overhead TCP devient moins problématique ? > > Pour l'amélioration de la réactivité, et donc ceci ne concerne que l'interface de navigation, il suffit d'augmenter la densité de son CDN pour réduire la latence au maximum (en rapprochant les serveurs des clients). Concernant l'overhead TCP, j'ai du mal m'exprimer: Le comportement de la pile TCP (donc son overhead) existe toujours, mais elle est embarquée dans le logiciel client (qui réimplémente sa propre pile TCP en espace utilisateur). Le logiciel client va encapsuler son TCP personnalisé dans de l'UDP «standard» géré par n'importe quel OS. Le but ici étant d'avoir, comme mentionné dans ce thread, un algorithme de congestion TCP adapté à l'usage: Vu les quantités de données servies, l'impact des améliorations, même insignifiantes, ont des répercussions très importantes. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Pour ce qui est QUIC et de HTTP/3 (qui n'est pas QUIC, c'est comme spdy et HTTP/2, c'est différent), il y a le blog du créateur de curl : https://daniel.haxx.se/blog/tag/http3/ et https://http3-explained.haxx.se/en/ avec des talk etc... c'est vachement bien fait. Ce que j'ai retenu des différents blog post sur QUIC (donc de chez google) et de Daniel, c'est que l'algo de congestion de TCP est généraliste, conviens à tout monde, donc à personne. Les gens de chez Google ont donc inventé un algo de congestion sur UDP qui convenait a leur usage. C'est comme recoder son implémentation de malloc, c'est souvent pas utile (mais formateur) mais pour quelques cas le gain est important (tcmalloc/jemalloc etc...) Sur les histoires de DDoS je lis ça : > QUIC has built-in mitigation against amplification attacks by requiring that > the initial packet must be at least 1200 bytes and > by restriction in the > protocol that says that a server must not send more than three times the size > of the request in response > without receiving a packet from the client in response. https://http3-explained.haxx.se/en/criticism Cordialement/Best Regards, Rémi Desgrange On Sep 4 2020, at 8:32 am, David Ponzone wrote: > > Pour moi Netflix a rien à faire de la latence. Ils envoient le traffic par > gros paquets, tu as donc plusieurs secondes voir minutes de contenu en local, > une bascule de lien ne se sent pas. > David Ponzone > > > > Le 4 sept. 2020 à 08:25, Fabien H a écrit : > > > > > >> > >> > >> Alors comment faire ? > >> Une solution facile est d'embarquer ta propre pile TCP modernisée dans ton > >> logiciel client qui lui va encapsuler le tout dans de l'UDP en sortie pour > >> limiter l'overhead. > >> > >> > > OK et donc QUIC en est un exemple > > > > Du coup les fournisseurs type Netflix recherchent avec l'UDP un certaine > > réactivité / diminution de la latence ? Parce qu'avec l'augmentation des > > débits des liens Internet, l'overhead TCP devient moins problématique ? > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Pour moi Netflix a rien à faire de la latence. Ils envoient le traffic par gros paquets, tu as donc plusieurs secondes voir minutes de contenu en local, une bascule de lien ne se sent pas. David Ponzone > Le 4 sept. 2020 à 08:25, Fabien H a écrit : > > >> >> >> Alors comment faire ? >> Une solution facile est d'embarquer ta propre pile TCP modernisée dans ton >> logiciel client qui lui va encapsuler le tout dans de l'UDP en sortie pour >> limiter l'overhead. >> >> > OK et donc QUIC en est un exemple > > Du coup les fournisseurs type Netflix recherchent avec l'UDP un certaine > réactivité / diminution de la latence ? Parce qu'avec l'augmentation des > débits des liens Internet, l'overhead TCP devient moins problématique ? > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
> > Alors comment faire ? > Une solution facile est d'embarquer ta propre pile TCP modernisée dans ton > logiciel client qui lui va encapsuler le tout dans de l'UDP en sortie pour > limiter l'overhead. > > OK et donc QUIC en est un exemple Du coup les fournisseurs type Netflix recherchent avec l'UDP un certaine réactivité / diminution de la latence ? Parce qu'avec l'augmentation des débits des liens Internet, l'overhead TCP devient moins problématique ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
On 03/09/2020 16:54, Olivier Cochard-Labbé wrote: En plus d'avoir une équipe dédiée à l'optimisation des codecs audio/vidéo, tu en as une dédiée a améliorer les différents protocoles de congestion TCP (BBR, RACK). Il va être simple de faire évoluer la pile TCP de tes propres serveurs, mais tu vas très vite être bloqué par le côté client: Il faut déjà une certaine taille avant de pouvoir avoir ce genre d'équipe. Youtube, Netflix et peut être quelques autre ont la taille suffisante et un intérêt à le faire. Après de ma connaissance sur le pseudo streaming l'effort se porte plutôt sur les codecs que sur le transport, ou du moins je ne pas le sentiment qu'on aille au delà d'optimiser tes serveurs CDNs (couverture et coût). Dans le cas de la svod on travaille sur des chunks plutôt très gros, et ou la latence n'est pas un gros soucis. Donc l'overhead de TCP me semble plutôt marginal. Cela pourrait être différent sur des use case de low-latency. -- Raphael Mazelier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
On Thu, Sep 3, 2020 at 9:49 AM Fabien H wrote: > > Bien sur cela va à l'encontre de la neutralité du net, et l'utilisateur qui > veut utiliser des services UDP (VoIP, NTP, ..) chez un autre opérateur > risque de ne plus avoir accès aux services. > > Bonjour, j'ai l'impression que l'usage de l'UDP risque au contraire d'augmenter, et voici pourquoi: Prenons l'exemple où tu offres un service SVOD et que tu sois donc en recherche constante d'offrir la meilleure qualité possible à tes abonnées. En plus d'avoir une équipe dédiée à l'optimisation des codecs audio/vidéo, tu en as une dédiée a améliorer les différents protocoles de congestion TCP (BBR, RACK). Il va être simple de faire évoluer la pile TCP de tes propres serveurs, mais tu vas très vite être bloqué par le côté client: Ton logiciel client étant déployé sur un ensemble très exotique de matériel plus ou moins vieux (de la Wii U à l'ensemble des télés connectées, en passant par les STB des FAI et smartphones), il t’est impossible de faire évoluer leur pile TCP car gérée par l'OS de ces clients auquel tu n'as pas la main. Alors comment faire ? Une solution facile est d'embarquer ta propre pile TCP modernisée dans ton logiciel client qui lui va encapsuler le tout dans de l'UDP en sortie pour limiter l'overhead. Cordialement, Olivier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Bonjour, Comme ce qui a été dit, même moi qui ne suis pas dans l'opérationnel mais dans un labo, je ne crois pas à un changement global et universel sur ce point. Il faut vivre avec (c'est à la mode), comme ça a été dit les gros hébergeurs savent s'en dépatouiller mais c'est en effet une menace pour un internet fédéré, avec des gros et des petits acteurs (qui, eux, ne savent pas vraiment s'en dépatouiller tous seuls). Comme je ne crois pas qu'on peut changer les choses d'un coup en proposant un nouveau truc qui viendrait en remplacement d'un protocole actuel, on travaille avec une thésarde à la caractérisation des relais de DDoS (botnets, amplifications). On trouve plutôt pas mal d'infos sur les pays hébergeant des relais (typiquement dans des publications des gros hébergeurs) mais on a trouvé assez peu de choses publiques sur les types de relais (derrière quel type d'accès sont les résolveurs DNS ouverts ? domestiques, universitaires, entreprises ?) et de manière la plus transparente possible (et claire sur la méthode / les hypothèses). Le spoofing, bien sûr, est une difficulté, mais en croisant des données on a de premiers résultats pour l'estimer (et donc, établir des intervalles de confiance sur nos résultats). Ainsi, sur nos premières données, on peut afficher les % d'impact de différents types d'acteurs (résidentiel, cloud, entreprise, etc.), et ainsi pouvoir justifier de la sécurité au niveau de résidentiel, ou d'autres choses (bref, analyser ce qui aurait un impact à améliorer) J'avais fait un mail sur cette liste il y a quelques temps, j'ai eu quelques réponses (merci encore à eux !) et on a aujourd'hui quelques traces d'attaques / quelques partenaires côté captures d'attaques. Suffisamment pour commencer à travailler, mais si d'autres personnes ayant des données d'attaques sont intéressées par ce type d'analyse, une discussion sera avec plaisir ! Cordialement, François Lesueur Le 03/09/2020 à 09:48, Fabien H a écrit : > Bonjour, > > je rebondis sur le sujet précedent avec ce sujet : j'ai peur de lancer un > gros troll mais pour être sur que c'est techniquement impossible je demande > quand même : > > Les attaques DDOS les plus méchantes se font en UDP pour les raisons qu'on > connait : usurpation de l'IP source car pas de contrôle de sa validité sur > ce protocole + amplification sur les services ouverts sur Internet > > Ma question est simple et innocente : si tous les opérateurs mondiaux (et > notamment les hébergeurs de serveurs VPS mais pas que) se mettaient > d'accord sur des ACL (voir QoS rate limit sur certains flux UDP) bien > pensées à appliquer en routeurs de bordure, peut-être pourrait on endiguer > le phénomène ? > > Bien sur cela va à l'encontre de la neutralité du net, et l'utilisateur qui > veut utiliser des services UDP (VoIP, NTP, ..) chez un autre opérateur > risque de ne plus avoir accès aux services. > > Cela parait donc compromis. Mais n'y a t'il vraiment aucune solution > technique simple et efficace si tout le monde se mettait d'accord en > permettant malgré tout l'utilisation raisonnée des services UDP sur > Internet ? > > L'évolution du protocole UDP est bien entendue exclue, ça parait totalement > impossible. > > Si vous avez des remarques sur le sujet.. > > Merci, > Fabien > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > -- François Lesueur Maître de conférences INSA de Lyon / Département Télécommunications CITI-Inria / Équipe "DynaMid" Web : http://perso.citi-lab.fr/flesueur/ Tél : +33 4 72 43 73 20 --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
On Thu, 3 Sep 2020 10:01:29 +0200 David Ponzone wrote: > Au passage, j’ai jamais pris le temps de sniffer, les appels > audio/vidéo dans WhatsApp/FB/Facetime/etc…. sont en RTP/UDP aussi ? C'est WebRTC, donc UDP et si ça ne passe pas, TCP. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Euh SCTP dans le monde de la téléphonie mobile ou c'est littéralement utilisé partout tout le temps. Rare en dehors de ces infras c'est malheureusement vrai. Le jeu. 3 sept. 2020 à 09:57, Mathias a écrit : > Bonjour, > > Le respect de la neutralité du net me semble essentielle, mais tu > abordes de vrai problèmes. > > Certains services sont aujourd'hui en UDP, mais gagneraient à passer en > TCP. Par exemple la VoIP que tu cites, la partie signalisation n'a que > peu d'intérêt en UDP et gagnerait grandement en utilisant TCP voir même > TLS (mais là, je rêve pour la mise en oeuvre à grande échelle). > > Une évolution protocolaire intéressante est SCTP, mais la mise en oeuvre > est rare. > > Bonne journée > > Mathias > > Le 03/09/2020 à 09:48, Fabien H a écrit : > > Bonjour, > > > > je rebondis sur le sujet précedent avec ce sujet : j'ai peur de lancer un > > gros troll mais pour être sur que c'est techniquement impossible je > demande > > quand même : > > > > Les attaques DDOS les plus méchantes se font en UDP pour les raisons > qu'on > > connait : usurpation de l'IP source car pas de contrôle de sa validité > sur > > ce protocole + amplification sur les services ouverts sur Internet > > > > Ma question est simple et innocente : si tous les opérateurs mondiaux (et > > notamment les hébergeurs de serveurs VPS mais pas que) se mettaient > > d'accord sur des ACL (voir QoS rate limit sur certains flux UDP) bien > > pensées à appliquer en routeurs de bordure, peut-être pourrait on > endiguer > > le phénomène ? > > > > Bien sur cela va à l'encontre de la neutralité du net, et l'utilisateur > qui > > veut utiliser des services UDP (VoIP, NTP, ..) chez un autre opérateur > > risque de ne plus avoir accès aux services. > > > > Cela parait donc compromis. Mais n'y a t'il vraiment aucune solution > > technique simple et efficace si tout le monde se mettait d'accord en > > permettant malgré tout l'utilisation raisonnée des services UDP sur > > Internet ? > > > > L'évolution du protocole UDP est bien entendue exclue, ça parait > totalement > > impossible. > > > > Si vous avez des remarques sur le sujet.. > > > > Merci, > > Fabien > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Bonjour, Le 03/09/2020 à 09:48, Fabien H a écrit : > je rebondis sur le sujet précedent avec ce sujet : j'ai peur de lancer un > gros troll mais pour être sur que c'est techniquement impossible je demande > quand même : > > Les attaques DDOS les plus méchantes se font en UDP pour les raisons qu'on > connait : usurpation de l'IP source car pas de contrôle de sa validité sur > ce protocole + amplification sur les services ouverts sur Internet > > Ma question est simple et innocente : si tous les opérateurs mondiaux (et > notamment les hébergeurs de serveurs VPS mais pas que) se mettaient > d'accord sur des ACL (voir QoS rate limit sur certains flux UDP) bien > pensées à appliquer en routeurs de bordure, peut-être pourrait on endiguer > le phénomène ? Côté usurpation, pour réduire la voilure, une première étape importante consiste à suivre BCP 38. https://www.bortzmeyer.org/bcp38.html Tu ne laisses plus sortir de paquets usurpés de ton réseau ! Et si tout le monde le fait, cela complique singulièrement la tache de l'attaquant :-) Certes, ce n'est pas forcément évident pour un tier 1 (ou équivalent), mais pour les autres, c'est un effort à faire. -- *Emmanuel DECAEN* --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Pourquoi pas pour le VoIP mais ce n'est pas le service UDP qui m'inquiète le plus car il est rarement utilisé pour les DDOS ( surement pour des raisons de protocole justement ?) Le problème ce sont tous les autres services UDP exotiques qui deviennent à la mode pour faire les DDOS car il y'en a pas mal qui font des bonnes amplifications. Par exemple maintenant ils utilisent des serveurs memcache ouverts..Donc demain n'importe quelle nouvelle application qui sert en UDP pourra servir pour l'amplification DDOS .. @David : Oui je sais mais je tente quand même .. arriver à un accord global de l'ensemble des acteurs de l'internet c'est surement croire au père noël. Ou alors il faut que les GAFA imposent et tout le monde sera obligé de suivre (exemple : durée de validité de certificat récemment) Le jeu. 3 sept. 2020 à 09:57, Mathias a écrit : > Bonjour, > > Le respect de la neutralité du net me semble essentielle, mais tu > abordes de vrai problèmes. > > Certains services sont aujourd'hui en UDP, mais gagneraient à passer en > TCP. Par exemple la VoIP que tu cites, la partie signalisation n'a que > peu d'intérêt en UDP et gagnerait grandement en utilisant TCP voir même > TLS (mais là, je rêve pour la mise en oeuvre à grande échelle). > > Une évolution protocolaire intéressante est SCTP, mais la mise en oeuvre > est rare. > > Bonne journée > > Mathias > > Le 03/09/2020 à 09:48, Fabien H a écrit : > > Bonjour, > > > > je rebondis sur le sujet précedent avec ce sujet : j'ai peur de lancer un > > gros troll mais pour être sur que c'est techniquement impossible je > demande > > quand même : > > > > Les attaques DDOS les plus méchantes se font en UDP pour les raisons > qu'on > > connait : usurpation de l'IP source car pas de contrôle de sa validité > sur > > ce protocole + amplification sur les services ouverts sur Internet > > > > Ma question est simple et innocente : si tous les opérateurs mondiaux (et > > notamment les hébergeurs de serveurs VPS mais pas que) se mettaient > > d'accord sur des ACL (voir QoS rate limit sur certains flux UDP) bien > > pensées à appliquer en routeurs de bordure, peut-être pourrait on > endiguer > > le phénomène ? > > > > Bien sur cela va à l'encontre de la neutralité du net, et l'utilisateur > qui > > veut utiliser des services UDP (VoIP, NTP, ..) chez un autre opérateur > > risque de ne plus avoir accès aux services. > > > > Cela parait donc compromis. Mais n'y a t'il vraiment aucune solution > > technique simple et efficace si tout le monde se mettait d'accord en > > permettant malgré tout l'utilisation raisonnée des services UDP sur > > Internet ? > > > > L'évolution du protocole UDP est bien entendue exclue, ça parait > totalement > > impossible. > > > > Si vous avez des remarques sur le sujet.. > > > > Merci, > > Fabien > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
> Le 3 sept. 2020 à 09:56, Mathias a écrit : > > Bonjour, > > Le respect de la neutralité du net me semble essentielle, mais tu abordes de > vrai problèmes. > > Certains services sont aujourd'hui en UDP, mais gagneraient à passer en TCP. > Par exemple la VoIP que tu cites, la partie signalisation n'a que peu > d'intérêt en UDP et gagnerait grandement en utilisant TCP voir même TLS (mais > là, je rêve pour la mise en oeuvre à grande échelle). Ca vient petit à petit quand même. > Une évolution protocolaire intéressante est SCTP, mais la mise en oeuvre est > rare. Oui le problème ça reste RTP. Il faudrait effectivement sortir de ça, mais ça fait beaucoup beaucoup de systèmes à mettre à jour, chez les gros carrier entre autres. Au passage, j’ai jamais pris le temps de sniffer, les appels audio/vidéo dans WhatsApp/FB/Facetime/etc…. sont en RTP/UDP aussi ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
Bonjour, Le respect de la neutralité du net me semble essentielle, mais tu abordes de vrai problèmes. Certains services sont aujourd'hui en UDP, mais gagneraient à passer en TCP. Par exemple la VoIP que tu cites, la partie signalisation n'a que peu d'intérêt en UDP et gagnerait grandement en utilisant TCP voir même TLS (mais là, je rêve pour la mise en oeuvre à grande échelle). Une évolution protocolaire intéressante est SCTP, mais la mise en oeuvre est rare. Bonne journée Mathias Le 03/09/2020 à 09:48, Fabien H a écrit : Bonjour, je rebondis sur le sujet précedent avec ce sujet : j'ai peur de lancer un gros troll mais pour être sur que c'est techniquement impossible je demande quand même : Les attaques DDOS les plus méchantes se font en UDP pour les raisons qu'on connait : usurpation de l'IP source car pas de contrôle de sa validité sur ce protocole + amplification sur les services ouverts sur Internet Ma question est simple et innocente : si tous les opérateurs mondiaux (et notamment les hébergeurs de serveurs VPS mais pas que) se mettaient d'accord sur des ACL (voir QoS rate limit sur certains flux UDP) bien pensées à appliquer en routeurs de bordure, peut-être pourrait on endiguer le phénomène ? Bien sur cela va à l'encontre de la neutralité du net, et l'utilisateur qui veut utiliser des services UDP (VoIP, NTP, ..) chez un autre opérateur risque de ne plus avoir accès aux services. Cela parait donc compromis. Mais n'y a t'il vraiment aucune solution technique simple et efficace si tout le monde se mettait d'accord en permettant malgré tout l'utilisation raisonnée des services UDP sur Internet ? L'évolution du protocole UDP est bien entendue exclue, ça parait totalement impossible. Si vous avez des remarques sur le sujet.. Merci, Fabien --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] UDP - DDOS : Solution globale possible ?
La faille de ton idée est là: > technique simple et efficace si tout le monde se mettait d'accord en Moi aussi, j’étais idéaliste avant :) --- Liste de diffusion du FRnOG http://www.frnog.org/
