Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
https://downdetector.fr/statut/facebook/ On dirait bien que Facebook a encore des petits problèmes ? > Le 7 oct. 2021 à 13:33, Férasse Mathieu a écrit : > > un peu de lecture supplementaire sur ce sujet : > https://www.thousandeyes.com/blog/facebook-outage-analysis > > bonne journée à tous !! > Mathieu > >> On Wed, 6 Oct 2021 at 16:26, Nicolas Parpandet wrote: >> >> >> C'est assez étonnant qu'un seul point d'entrée soit capable de faire >> tomber l'intégralité du réseau, >> il m'arrive de ne pas mettre des switchs en stack, ou de ne pas mettre 2 >> serveurs en cluster, >> en cas de bug logiciel, update moisie ou erreur humaine... (toute la stack >> plantée, ou tout le cluster au tas, vécu quelques fois en 20 ans...) >> au moins tu as encore la moitié qui tourne ... >> >> pour le OOB, il y a quelques années on bossait avec Verizon, ils posaient >> une RTC par équipement actif, un truc assez fou, >> mais au moins ils pouvaient reprendre le contrôle quoi qu'il arrive, ça >> devait leur couter un bras ;), en version 2021, j'ai déjà proposé un point >> 4G en salle >> quand il y a du réseau, mais jamais accepté pour l'instant ;) >> >> A+ >> >> Nicolas >> >> - Mail original - >>> De: "David Ponzone" >>> À: "Aymeric" >>> Cc: "Pierre DOLIDON" , "frnog" >>> Envoyé: Mercredi 6 Octobre 2021 15:59:01 >>> Objet: Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down >> >>> En filigrane, je pense qu’on peut deviner quelques trucs: >>> >>> 1/ ils ont un réseau OOB pas du tout isolé du réseau principal donc >> inutile en >>> cas de crash, ça va gueuler…. >>> >>> 2/ ça semble confirmer que leurs DNS autoritaires sont anycastés, et >> qu’ils >>> annoncent eux-même le /24 dans lequel ils sont (aujourd’hui dans les >> tables, on >>> retrouve bien un /24 par DNS) >>> >>> Ce qui est plus obscur, c’est la commande magique qui a tout viandé. Un >> outil « >>> SDN » automagique qui reconfigure leur réseau pour virer le trafic d’un >> lien >>> qui va subir une maintenance, et un stagiaire fou envoyé par Tiktok qui >> a accès >>> à l’outil ? >>> >>>> Le 6 oct. 2021 à 15:38, Aymeric a écrit : >>>> >>>> On 2021-10-05 10:32, David Ponzone wrote: >>>>> On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD >>>>> et qui bosse comme une startup, ça pas plaire aux marchés (ils ont >>>>> déjà perdu 5% hier). >>>> >>>> C’est là : >>>> >> https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/ >>>> >>>> Si vous voulez du vrai technique poilu faudra passer votre chemin.. >>>> >>>>>> Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : >>>>>> si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé >> moins de >>>>>> questions bête ^_^ >>> >>> >>> --- >>> Liste de diffusion du FRnOG >>> http://www.frnog.org/ >> >> >> --- >> Liste de diffusion du FRnOG >> http://www.frnog.org/ >> > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
un peu de lecture supplementaire sur ce sujet : https://www.thousandeyes.com/blog/facebook-outage-analysis bonne journée à tous !! Mathieu On Wed, 6 Oct 2021 at 16:26, Nicolas Parpandet wrote: > > C'est assez étonnant qu'un seul point d'entrée soit capable de faire > tomber l'intégralité du réseau, > il m'arrive de ne pas mettre des switchs en stack, ou de ne pas mettre 2 > serveurs en cluster, > en cas de bug logiciel, update moisie ou erreur humaine... (toute la stack > plantée, ou tout le cluster au tas, vécu quelques fois en 20 ans...) > au moins tu as encore la moitié qui tourne ... > > pour le OOB, il y a quelques années on bossait avec Verizon, ils posaient > une RTC par équipement actif, un truc assez fou, > mais au moins ils pouvaient reprendre le contrôle quoi qu'il arrive, ça > devait leur couter un bras ;), en version 2021, j'ai déjà proposé un point > 4G en salle > quand il y a du réseau, mais jamais accepté pour l'instant ;) > > A+ > > Nicolas > > - Mail original - > > De: "David Ponzone" > > À: "Aymeric" > > Cc: "Pierre DOLIDON" , "frnog" > > Envoyé: Mercredi 6 Octobre 2021 15:59:01 > > Objet: Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down > > > En filigrane, je pense qu’on peut deviner quelques trucs: > > > > 1/ ils ont un réseau OOB pas du tout isolé du réseau principal donc > inutile en > > cas de crash, ça va gueuler…. > > > > 2/ ça semble confirmer que leurs DNS autoritaires sont anycastés, et > qu’ils > > annoncent eux-même le /24 dans lequel ils sont (aujourd’hui dans les > tables, on > > retrouve bien un /24 par DNS) > > > > Ce qui est plus obscur, c’est la commande magique qui a tout viandé. Un > outil « > > SDN » automagique qui reconfigure leur réseau pour virer le trafic d’un > lien > > qui va subir une maintenance, et un stagiaire fou envoyé par Tiktok qui > a accès > > à l’outil ? > > > >> Le 6 oct. 2021 à 15:38, Aymeric a écrit : > >> > >> On 2021-10-05 10:32, David Ponzone wrote: > >>> On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD > >>> et qui bosse comme une startup, ça pas plaire aux marchés (ils ont > >>> déjà perdu 5% hier). > >> > >> C’est là : > >> > https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/ > >> > >> Si vous voulez du vrai technique poilu faudra passer votre chemin.. > >> > >>>> Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : > >>>> si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé > moins de > >>>> questions bête ^_^ > > > > > > --- > > Liste de diffusion du FRnOG > > http://www.frnog.org/ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
C'est assez étonnant qu'un seul point d'entrée soit capable de faire tomber l'intégralité du réseau, il m'arrive de ne pas mettre des switchs en stack, ou de ne pas mettre 2 serveurs en cluster, en cas de bug logiciel, update moisie ou erreur humaine... (toute la stack plantée, ou tout le cluster au tas, vécu quelques fois en 20 ans...) au moins tu as encore la moitié qui tourne ... pour le OOB, il y a quelques années on bossait avec Verizon, ils posaient une RTC par équipement actif, un truc assez fou, mais au moins ils pouvaient reprendre le contrôle quoi qu'il arrive, ça devait leur couter un bras ;), en version 2021, j'ai déjà proposé un point 4G en salle quand il y a du réseau, mais jamais accepté pour l'instant ;) A+ Nicolas - Mail original - > De: "David Ponzone" > À: "Aymeric" > Cc: "Pierre DOLIDON" , "frnog" > Envoyé: Mercredi 6 Octobre 2021 15:59:01 > Objet: Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down > En filigrane, je pense qu’on peut deviner quelques trucs: > > 1/ ils ont un réseau OOB pas du tout isolé du réseau principal donc inutile en > cas de crash, ça va gueuler…. > > 2/ ça semble confirmer que leurs DNS autoritaires sont anycastés, et qu’ils > annoncent eux-même le /24 dans lequel ils sont (aujourd’hui dans les tables, > on > retrouve bien un /24 par DNS) > > Ce qui est plus obscur, c’est la commande magique qui a tout viandé. Un outil > « > SDN » automagique qui reconfigure leur réseau pour virer le trafic d’un lien > qui va subir une maintenance, et un stagiaire fou envoyé par Tiktok qui a > accès > à l’outil ? > >> Le 6 oct. 2021 à 15:38, Aymeric a écrit : >> >> On 2021-10-05 10:32, David Ponzone wrote: >>> On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD >>> et qui bosse comme une startup, ça pas plaire aux marchés (ils ont >>> déjà perdu 5% hier). >> >> C’est là : >> https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/ >> >> Si vous voulez du vrai technique poilu faudra passer votre chemin.. >> >>>> Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : >>>> si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé moins >>>> de >>>> questions bête ^_^ > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
En filigrane, je pense qu’on peut deviner quelques trucs: 1/ ils ont un réseau OOB pas du tout isolé du réseau principal donc inutile en cas de crash, ça va gueuler…. 2/ ça semble confirmer que leurs DNS autoritaires sont anycastés, et qu’ils annoncent eux-même le /24 dans lequel ils sont (aujourd’hui dans les tables, on retrouve bien un /24 par DNS) Ce qui est plus obscur, c’est la commande magique qui a tout viandé. Un outil « SDN » automagique qui reconfigure leur réseau pour virer le trafic d’un lien qui va subir une maintenance, et un stagiaire fou envoyé par Tiktok qui a accès à l’outil ? > Le 6 oct. 2021 à 15:38, Aymeric a écrit : > > On 2021-10-05 10:32, David Ponzone wrote: >> On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD >> et qui bosse comme une startup, ça pas plaire aux marchés (ils ont >> déjà perdu 5% hier). > > C’est là : > https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/ > > Si vous voulez du vrai technique poilu faudra passer votre chemin.. > >>> Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : >>> si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé moins >>> de questions bête ^_^ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On 2021-10-05 10:32, David Ponzone wrote: On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD et qui bosse comme une startup, ça pas plaire aux marchés (ils ont déjà perdu 5% hier). C’est là : https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/ Si vous voulez du vrai technique poilu faudra passer votre chemin.. Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé moins de questions bête ^_^ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On va attendre le rapport officiel, car une boite qui pèse 800MdsUSD et qui bosse comme une startup, ça pas plaire aux marchés (ils ont déjà perdu 5% hier). > Le 5 oct. 2021 à 10:13, Pierre DOLIDON a écrit : > > si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé moins de > questions bête ^_^ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
si je savais qu'on pouvait telnet route-server.he.net, j'aurai posé moins de questions bête ^_^ Le 05/10/2021 à 09:34, David Ponzone a écrit : Moi j’ai vu des flaps hier sur certaines annonces: 185.89.218.0/24 185.89.219.0/24 157.240.0.0/17 Mais je suis formel: il y a des moments où les annonces étaient là mais les DNS n’étaient pas joignbles. Un peu comme si leur réseau était coupé en 2, mais que les routes étaient annoncées par des routeurs de chaque côté de la coupure. Le 5 oct. 2021 à 09:21, Pierre DOLIDON a écrit : Le 05/10/2021 à 09:06, Nicolas Vigier a écrit : On Tue, 05 Oct 2021, Xavier Beaudouin via frnog wrote: C'est pour moi un double travail d'amateur d'avoir : - tous les NS sur le même TLD - tous les NS dans le même AS Mais quand la plupars de tes serveurs ont disparus, est ce que cela change grand chose d'avoir encore un NS ou pas ? --- Liste de diffusion du FRnOG http://www.frnog.org/ j'ai cru lire par-ci par-là que c'était le réseau des résolveurs justement qui a disparu de BGP https://blog.cloudflare.com/october-2021-facebook-outage/ là c'est les NS qui ont disparu justement, donc s'ils étaient répartis dans plusieurs AS, le soucis aurait pu être évité, probablement. (coucou Agarik) --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Visiblement, si j'en crois la configuration actuelle, cela n'a pas touché que la partie DNS. Car, par exemple, les NS pour Instagram sont hébergés chez AWS, et pourtant, cela ne marchait pas... $ dig NS instagram.com [...] ;; ANSWER SECTION: instagram.com. 86399 IN NS ns-384.awsdns-48.com. instagram.com. 86399 IN NS ns-868.awsdns-44.net. instagram.com. 86399 IN NS ns-1349.awsdns-40.org. instagram.com. 86399 IN NS ns-2016.awsdns-60.co.uk. Le 2021-10-05 09:21, Pierre DOLIDON a écrit : Le 05/10/2021 à 09:06, Nicolas Vigier a écrit : j'ai cru lire par-ci par-là que c'était le réseau des résolveurs justement qui a disparu de BGP https://blog.cloudflare.com/october-2021-facebook-outage/ là c'est les NS qui ont disparu justement, donc s'ils étaient répartis dans plusieurs AS, le soucis aurait pu être évité, probablement. (coucou Agarik) --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Moi j’ai vu des flaps hier sur certaines annonces: 185.89.218.0/24 185.89.219.0/24 157.240.0.0/17 Mais je suis formel: il y a des moments où les annonces étaient là mais les DNS n’étaient pas joignbles. Un peu comme si leur réseau était coupé en 2, mais que les routes étaient annoncées par des routeurs de chaque côté de la coupure. > Le 5 oct. 2021 à 09:21, Pierre DOLIDON a écrit : > > Le 05/10/2021 à 09:06, Nicolas Vigier a écrit : >> On Tue, 05 Oct 2021, Xavier Beaudouin via frnog wrote: >> >>> C'est pour moi un double travail d'amateur d'avoir : >>> - tous les NS sur le même TLD >>> - tous les NS dans le même AS >> Mais quand la plupars de tes serveurs ont disparus, est ce que cela >> change grand chose d'avoir encore un NS ou pas ? >> >> >> --- >> Liste de diffusion du FRnOG >> http://www.frnog.org/ > > j'ai cru lire par-ci par-là que c'était le réseau des résolveurs justement > qui a disparu de BGP > https://blog.cloudflare.com/october-2021-facebook-outage/ > > là c'est les NS qui ont disparu justement, donc s'ils étaient répartis dans > plusieurs AS, le soucis aurait pu être évité, probablement. (coucou Agarik) > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Ma fille et ses colocs, qui font leurs études en Province, pensaient que ni le wifi ni leur 4G ne marchaient. C’est dire l'usage varié qu’on a de son mobile à 18-20 ans :) Quelqu’un veut monter une startup avec moi ? On va fabriquer des smartphones qui n’ont que FB/WA/IG comme apps. Je suis sûr que Mark nous financera. Ca éloignera la concurrence. > Le 5 oct. 2021 à 08:25, Toussaint OTTAVI a écrit : > > > Le 04/10/2021 à 22:58, David Ponzone a écrit : >> Ceci dit, ce qui leur arrive semble encore plus énorme. > > Quelques heures de répit pour l'humanité... Chez vous, je ne sais pas, mais > chez moi, hier soir, c'était ambiance de révolte ! J'ai dû faire obstacle de > mon corps pour éviter la lapidation de la box Internet :-D > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Le 05/10/2021 à 09:06, Nicolas Vigier a écrit : On Tue, 05 Oct 2021, Xavier Beaudouin via frnog wrote: C'est pour moi un double travail d'amateur d'avoir : - tous les NS sur le même TLD - tous les NS dans le même AS Mais quand la plupars de tes serveurs ont disparus, est ce que cela change grand chose d'avoir encore un NS ou pas ? --- Liste de diffusion du FRnOG http://www.frnog.org/ j'ai cru lire par-ci par-là que c'était le réseau des résolveurs justement qui a disparu de BGP https://blog.cloudflare.com/october-2021-facebook-outage/ là c'est les NS qui ont disparu justement, donc s'ils étaient répartis dans plusieurs AS, le soucis aurait pu être évité, probablement. (coucou Agarik) --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Le 05/10/2021 à 08:25, Toussaint OTTAVI a écrit : > > Le 04/10/2021 à 22:58, David Ponzone a écrit : >> Ceci dit, ce qui leur arrive semble encore plus énorme. > > Quelques heures de répit pour l'humanité... Chez vous, je ne sais pas, > mais chez moi, hier soir, c'était ambiance de révolte ! J'ai dû faire > obstacle de mon corps pour éviter la lapidation de la box Internet :-D résumé du début de soirée «chéri, comment on installe telegram ?» plus de problèmes après... --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On Tue, 05 Oct 2021, Xavier Beaudouin via frnog wrote: > > C'est pour moi un double travail d'amateur d'avoir : > - tous les NS sur le même TLD > - tous les NS dans le même AS Mais quand la plupars de tes serveurs ont disparus, est ce que cela change grand chose d'avoir encore un NS ou pas ? --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
> On 5 Oct 2021, at 08:25, Toussaint OTTAVI wrote: > > > Le 04/10/2021 à 22:58, David Ponzone a écrit : >> Ceci dit, ce qui leur arrive semble encore plus énorme. > > Quelques heures de répit pour l'humanité... Chez vous, je ne sais pas, mais > chez moi, hier soir, c'était ambiance de révolte ! J'ai dû faire obstacle de > mon corps pour éviter la lapidation de la box Internet :-D Ah ben non, ici, c’était normal. Perso, je ne suis sur aucun réseau social, à part Discord… Les autres de membres de la famille s’en sont facilement passé des leurs. Quelques heures de détoxication toutes les semaines seraient sans doute les bienvenues… Guardati del malocchio :) V. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Le 04/10/2021 à 22:58, David Ponzone a écrit : Ceci dit, ce qui leur arrive semble encore plus énorme. Quelques heures de répit pour l'humanité... Chez vous, je ne sais pas, mais chez moi, hier soir, c'était ambiance de révolte ! J'ai dû faire obstacle de mon corps pour éviter la lapidation de la box Internet :-D --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Hello, J'arrive après le bazar, normal je n'utilise pas leur trucs mais... [...] >> Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur >> d'avoir mis les 4 NS sous le même TLD) > un supposé employé de facebook a posté sur reddit avant d'effacer son message > et son compte pour indiquer que la cause de la panne serait un changement de > configuration vers 1540 UTC, affectant les annonces BGP, entrainant la chute > des NS et le reste en cascade. C'est pour moi un double travail d'amateur d'avoir : - tous les NS sur le même TLD - tous les NS dans le même AS Mais bon... peut-être qu'ils vont y réfléchir... :) Xavier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Oh on oubli le plus "drôle", c'est qu'ils utilisent Workplace by Facebook pour leur communication interne, aka leur propre solution comme tout bon adepte du dogfooding qui se respectent, sauf que c'est down comme tout le reste On Oct 4, 2021 23:46, frnog.kap...@antichef.net wrote:On lundi 4 octobre 2021 18:09:32 CEST Pierre DOLIDON - sn...@sn4ky.net wrote: > hello > > OK alert, mais on s'en ballec un peu du fait que ça soit down, mais ce > qui m'intrigue c'est pourquoi. > > J'ai l'impression que c'est les serveurs whois du registrar > (registrarsafe.com) qui ne répondent plus, et du coup, comme les NS de > facebook.com c'est A B C et D.NS.FACEBOOK.COM impossible d'obtenir le > glue record. (idem pour whatsapp et instagram bien sur) > > Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur > d'avoir mis les 4 NS sous le même TLD) > D'après la journaliste Sheera Frenkel du new york times il y a un effet de bord intéréssant: les employés ne peuvent pas entrer dans le batiment pour évaluer l'étendue de la panne et entamer une remise en service parce que le système de badge leur refuse l'entrée: https://twitter.com/sheeraf/status/1445099150316503057 soit on est dans un flim d'hollywood où les hackers chinois du FBI ont attaqué EViL Corp pour réaliser le projet mayhem, soit quelqu'un n'avait pas bien évalué les conséquences de certains choix techniques et va avoir chaud à ses fesses. On leur souhaite d'avoir conservé une porte qui s'ouvre avec des clés ou que quelqu'un soit à l'intérieur pour leur ouvrir. -update- un supposé employé de facebook a posté sur reddit avant d'effacer son message et son compte pour indiquer que la cause de la panne serait un changement de configuration vers 1540 UTC, affectant les annonces BGP, entrainant la chute des NS et le reste en cascade. Étant donné la nature du problème il faut intervenir physiquement sur les routeurs de peering, le souci étant que ceux qui ont l'accès physique n'ont pas les connaissances pour s'authentifier sur le système, et ceux là n'ont pas les compétences pour refaire tomber tout ça en marche. https://www.reddit.com/r/sysadmin/comments/q181fv/looks_like_facebook_is_down/ hfdkk2n/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Mea culpa. J’étais en train de promener mon chien et j’ai lu en diagonale. Ceci dit, ce qui leur arrive semble encore plus énorme. Si un mec chez eux a eu l’idée brillante de mettre un contrôle d’accès qui utilise l’auth FB… > Le 4 oct. 2021 à 22:43, Archange a écrit : > > Le 05/10/2021 à 00:21, David Ponzone a écrit : >> https://twitter.com/amritabhinder/status/1445092340847177729?s=21 >> >> La coïncide semble énorme… > > Tu as ouvert l’article ? Il y a un gros “This is completely unrelated to the > global Facebook outage experienced on 4 October 2021.” en haut, et > effectivement la vente de données annoncée (et non confirmée, l’auteur > lui-même dit que c’est peut-être bidon) date du 22 septembre… > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On lundi 4 octobre 2021 18:09:32 CEST Pierre DOLIDON - sn...@sn4ky.net wrote: > hello > > OK alert, mais on s'en ballec un peu du fait que ça soit down, mais ce > qui m'intrigue c'est pourquoi. > > J'ai l'impression que c'est les serveurs whois du registrar > (registrarsafe.com) qui ne répondent plus, et du coup, comme les NS de > facebook.com c'est A B C et D.NS.FACEBOOK.COM impossible d'obtenir le > glue record. (idem pour whatsapp et instagram bien sur) > > Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur > d'avoir mis les 4 NS sous le même TLD) > D'après la journaliste Sheera Frenkel du new york times il y a un effet de bord intéréssant: les employés ne peuvent pas entrer dans le batiment pour évaluer l'étendue de la panne et entamer une remise en service parce que le système de badge leur refuse l'entrée: https://twitter.com/sheeraf/status/1445099150316503057 soit on est dans un flim d'hollywood où les hackers chinois du FBI ont attaqué EViL Corp pour réaliser le projet mayhem, soit quelqu'un n'avait pas bien évalué les conséquences de certains choix techniques et va avoir chaud à ses fesses. On leur souhaite d'avoir conservé une porte qui s'ouvre avec des clés ou que quelqu'un soit à l'intérieur pour leur ouvrir. -update- un supposé employé de facebook a posté sur reddit avant d'effacer son message et son compte pour indiquer que la cause de la panne serait un changement de configuration vers 1540 UTC, affectant les annonces BGP, entrainant la chute des NS et le reste en cascade. Étant donné la nature du problème il faut intervenir physiquement sur les routeurs de peering, le souci étant que ceux qui ont l'accès physique n'ont pas les connaissances pour s'authentifier sur le système, et ceux là n'ont pas les compétences pour refaire tomber tout ça en marche. https://www.reddit.com/r/sysadmin/comments/q181fv/looks_like_facebook_is_down/ hfdkk2n/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Le 05/10/2021 à 00:21, David Ponzone a écrit : https://twitter.com/amritabhinder/status/1445092340847177729?s=21 La coïncide semble énorme… Tu as ouvert l’article ? Il y a un gros “This is completely unrelated to the global Facebook outage experienced on 4 October 2021.” en haut, et effectivement la vente de données annoncée (et non confirmée, l’auteur lui-même dit que c’est peut-être bidon) date du 22 septembre… --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
https://twitter.com/amritabhinder/status/1445092340847177729?s=21 La coïncide semble énorme… David Ponzone > Le 4 oct. 2021 à 21:09, frnog.kap...@antichef.net a écrit : > > On lundi 4 octobre 2021 19:36:39 CEST JCLB - j...@jclb.net wrote: >> En parlant de mettre tous ses œufs dans le même panier, les inscriptions >> signal et telegram devraient grimper. > > C'est ce que rapportait india today il y a 1h sur la base des comptes > officiels respectifs sur twitter: > > https://twitter.com/signalapp/status/1445062426739855366 > https://twitter.com/telegram/status/1445065109286658053 > > Peut on vraiment penser qu'il s'agit là de migration massive d'usagers ou > plutôtde trouver une alternative temporaire le temps de la panne ? Difficile > à > dire. > > Par contre en 2-3h on constate un sursaut d'activité et un imaginaire en > ébullition qui pense que peut-être facebook a disparu définitivement, des > gens > qui prenne la mesure de leur dépendance, des réflexion sur ce qu'il y a à > gagner à ne plus avoir facebook ou ce qu'il y aurait à perdre à avoir > centraliser autant de leurs contacts sur ce seul acteur. > On en voit aussi découvrir que whatsapp et instagram en fait c'est aussi > facebook. > > L'outil COST (Cost of Shutdown Tool) de netblock donne une estimation de 160 > millions de dollars par heure de perte pour l'économie globale: > https://netblocks.org/reports/facebook-whatsapp-instagram-messenger-down-globally-in-extended-service-outage-JA6pPkyQ > > > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On lundi 4 octobre 2021 19:36:39 CEST JCLB - j...@jclb.net wrote: > En parlant de mettre tous ses œufs dans le même panier, les inscriptions > signal et telegram devraient grimper. C'est ce que rapportait india today il y a 1h sur la base des comptes officiels respectifs sur twitter: https://twitter.com/signalapp/status/1445062426739855366 https://twitter.com/telegram/status/1445065109286658053 Peut on vraiment penser qu'il s'agit là de migration massive d'usagers ou plutôtde trouver une alternative temporaire le temps de la panne ? Difficile à dire. Par contre en 2-3h on constate un sursaut d'activité et un imaginaire en ébullition qui pense que peut-être facebook a disparu définitivement, des gens qui prenne la mesure de leur dépendance, des réflexion sur ce qu'il y a à gagner à ne plus avoir facebook ou ce qu'il y aurait à perdre à avoir centraliser autant de leurs contacts sur ce seul acteur. On en voit aussi découvrir que whatsapp et instagram en fait c'est aussi facebook. L'outil COST (Cost of Shutdown Tool) de netblock donne une estimation de 160 millions de dollars par heure de perte pour l'économie globale: https://netblocks.org/reports/facebook-whatsapp-instagram-messenger-down-globally-in-extended-service-outage-JA6pPkyQ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
> On 4 Oct 2021, at 19:36, JCLB wrote: > > Et entre l'entrée de l'AS et les Serveurs il doit y'avoir une flopée de load > balancers virtuels, possiblement gérés avec la même config synchronisée... Certainement. > En parlant de mettre tous ses œufs dans le même panier, les inscriptions > signal et telegram devraient grimper. Ça va faire bientôt deux ou trois heures, non ? D’ici à ce qu’on apprenne qu’ils se sont fait hacker leurs routeurs BGP… effectivement, les autres doivent se frotter les mains. V. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
"Kevin Decherf" wrote: > En revanche les 4 NS ne répondent clairement plus. Ça risque pas puisque les réseaux sur lesquels ils sont ne sont plus visibles. --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Et entre l'entrée de l'AS et les Serveurs il doit y'avoir une flopée de load balancers virtuels, possiblement gérés avec la même config synchronisée... Un Tier 1 a fait le coup de RTBH aussi y'a quelques mois si je me souviens bien. Plus efficace que prévu cette nouvelle autorité ARCOM en tout cas... En parlant de mettre tous ses œufs dans le même panier, les inscriptions signal et telegram devraient grimper. JC Bisecco -Message d'origine- De : frnog-requ...@frnog.org De la part de Vincent Habchi Envoyé : lundi 4 octobre 2021 19:03 À : Liste FRnoG Objet : Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down > On 4 Oct 2021, at 18:28, Stephane Bortzmeyer wrote: > > On Mon, Oct 04, 2021 at 06:23:54PM +0200, Stephane Bortzmeyer > wrote a message of 23 lines which said: > >>> Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur >>> d'avoir mis les 4 NS sous le même TLD) >> >> Ce point de vue est très discuté (cf. les recommandations ANSSI sur >> la gestion sécurisée de noms de domaine). Je vais peut-être parler au travers de mon chapeau, comme disent les Anglais, mais de toute façon, à quoi bon héberger les DNS ailleurs si tous les serveurs dépendent d’un unique AS ? Si cet AS tombe, l’intérêt que les DNS soient toujours disponibles me paraît assez maigre. V. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
> On 4 Oct 2021, at 18:28, Stephane Bortzmeyer wrote: > > On Mon, Oct 04, 2021 at 06:23:54PM +0200, > Stephane Bortzmeyer wrote > a message of 23 lines which said: > >>> Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur d'avoir >>> mis les 4 NS sous le même TLD) >> >> Ce point de vue est très discuté (cf. les recommandations ANSSI sur la >> gestion sécurisée de noms de domaine). Je vais peut-être parler au travers de mon chapeau, comme disent les Anglais, mais de toute façon, à quoi bon héberger les DNS ailleurs si tous les serveurs dépendent d’un unique AS ? Si cet AS tombe, l’intérêt que les DNS soient toujours disponibles me paraît assez maigre. V. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
J'ai ça avec mtr (depuis Orange) : [...] 6. AS???facebook-7.gw.opentransit.net 0.0% 1344.2 7.5 3.5 118.1 11.3 7. (waiting for reply) 8. AS32934 157.240.43.1720.0% 1343.2 6.6 3.2 122.2 11.1 9. AS32934 173.252.64.2100.0% 1348.5 6.5 4.1 79.1 6.4 10. AS32934 74.119.77.183 2.2% 134 22.6 23.7 20.5 133.0 10.0 11. AS32934 157.240.35.86 0.0% 134 31.5 42.4 30.1 210.1 22.6 12. (waiting for reply) On Mon, Oct 4, 2021, at 18:50, David Ponzone wrote: > C’est très étrange. > > Depuis un routeur qui peer avec FB, je peux faire un traceroute vers > l’IP 157.240.21.35: > traceroute to 157.240.21.35 (157.240.21.35), 30 hops max, 60 byte > packets > 1 * * * > 2 129.134.38.62 (129.134.38.62) 0.518 ms 0.569 ms 129.134.37.194 > (129.134.37.194) 0.530 ms > 3 157.240.50.13 (157.240.50.13) 0.547 ms 157.240.49.225 > (157.240.49.225) 0.512 ms 31.13.25.123 (31.13.25.123) 0.570 ms > 4 173.252.67.147 (173.252.67.147) 0.560 ms 173.252.67.59 > (173.252.67.59) 0.583 ms 157.240.38.173 (157.240.38.173) 0.550 ms > 5 157.240.21.35 (157.240.21.35) 0.502 ms 0.492 ms 0.517 ms > > > Par contre, vers un des DNS: > > traceroute to 129.134.30.12 (129.134.30.12), 30 hops max, 60 byte packets > 1 * * * > 2 * * * > 3 * * * > 4 * * * > 5 * * * > > Si c’est normal, c’est qu’ils ont une politique de filtrage ingress > très très poussée. > Je confirme après quelques essais, ça semble normal. > > QQun sait s’ils anycastent leurs DNS ? > >> Le 4 oct. 2021 à 18:35, Kevin Decherf a écrit : >> >> On Mon, Oct 4, 2021, at 18:19, Hugo COLLIGNON wrote: >>> Hello >>> >>> Selon la liste des peerings https://www.peeringdb.com/net/979, on peut >>> s'apercevoir sur quelques looking glass : >>> https://tools.franceix.net/birdlg/par/rs1/v4, https://lg.ams-ix.net/ que >>> l'AS Facebook n'est plus dans les listes. >>> Aucune route n'existe vers leurs DNS entre autres. >> >> Je doute que ce soit un problème de route, un traceroute/mtr va assez loin >> dans le réseau fb mais timeout sur les 4 IP de leurs DNS. >> >> Btw, une IP de www.facebook.com ping bien : 157.240.21.35 >> >> -- >> Kevin Decherf - @Kdecherf >> GPG 0x108ABD75A81E6E2F >> https://kdecherf.com >> >> >> --- >> Liste de diffusion du FRnOG >> http://www.frnog.org/ -- Kevin Decherf - @Kdecherf GPG 0x108ABD75A81E6E2F https://kdecherf.com --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
C’est très étrange. Depuis un routeur qui peer avec FB, je peux faire un traceroute vers l’IP 157.240.21.35: traceroute to 157.240.21.35 (157.240.21.35), 30 hops max, 60 byte packets 1 * * * 2 129.134.38.62 (129.134.38.62) 0.518 ms 0.569 ms 129.134.37.194 (129.134.37.194) 0.530 ms 3 157.240.50.13 (157.240.50.13) 0.547 ms 157.240.49.225 (157.240.49.225) 0.512 ms 31.13.25.123 (31.13.25.123) 0.570 ms 4 173.252.67.147 (173.252.67.147) 0.560 ms 173.252.67.59 (173.252.67.59) 0.583 ms 157.240.38.173 (157.240.38.173) 0.550 ms 5 157.240.21.35 (157.240.21.35) 0.502 ms 0.492 ms 0.517 ms Par contre, vers un des DNS: traceroute to 129.134.30.12 (129.134.30.12), 30 hops max, 60 byte packets 1 * * * 2 * * * 3 * * * 4 * * * 5 * * * Si c’est normal, c’est qu’ils ont une politique de filtrage ingress très très poussée. Je confirme après quelques essais, ça semble normal. QQun sait s’ils anycastent leurs DNS ? > Le 4 oct. 2021 à 18:35, Kevin Decherf a écrit : > > On Mon, Oct 4, 2021, at 18:19, Hugo COLLIGNON wrote: >> Hello >> >> Selon la liste des peerings https://www.peeringdb.com/net/979, on peut >> s'apercevoir sur quelques looking glass : >> https://tools.franceix.net/birdlg/par/rs1/v4, https://lg.ams-ix.net/ que >> l'AS Facebook n'est plus dans les listes. >> Aucune route n'existe vers leurs DNS entre autres. > > Je doute que ce soit un problème de route, un traceroute/mtr va assez loin > dans le réseau fb mais timeout sur les 4 IP de leurs DNS. > > Btw, une IP de www.facebook.com ping bien : 157.240.21.35 > > -- > Kevin Decherf - @Kdecherf > GPG 0x108ABD75A81E6E2F > https://kdecherf.com > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
On Mon, Oct 4, 2021, at 18:19, Hugo COLLIGNON wrote: > Hello > > Selon la liste des peerings https://www.peeringdb.com/net/979, on peut > s'apercevoir sur quelques looking glass : > https://tools.franceix.net/birdlg/par/rs1/v4, https://lg.ams-ix.net/ que > l'AS Facebook n'est plus dans les listes. > Aucune route n'existe vers leurs DNS entre autres. Je doute que ce soit un problème de route, un traceroute/mtr va assez loin dans le réseau fb mais timeout sur les 4 IP de leurs DNS. Btw, une IP de www.facebook.com ping bien : 157.240.21.35 -- Kevin Decherf - @Kdecherf GPG 0x108ABD75A81E6E2F https://kdecherf.com --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Hello Selon la liste des peerings https://www.peeringdb.com/net/979, on peut s'apercevoir sur quelques looking glass : https://tools.franceix.net/birdlg/par/rs1/v4, https://lg.ams-ix.net/ que l'AS Facebook n'est plus dans les listes. Aucune route n'existe vers leurs DNS entre autres. Pas choqué de voir les 4 NS sous le même TLD, d'ailleurs ils sont même sous deux préfixes différents. En revanche, ça reste le même AS :/ A+ On Mon, 4 Oct 2021 at 18:10, Pierre DOLIDON wrote: > hello > > OK alert, mais on s'en ballec un peu du fait que ça soit down, mais ce > qui m'intrigue c'est pourquoi. > > J'ai l'impression que c'est les serveurs whois du registrar > (registrarsafe.com) qui ne répondent plus, et du coup, comme les NS de > facebook.com c'est A B C et D.NS.FACEBOOK.COM impossible d'obtenir le > glue record. (idem pour whatsapp et instagram bien sur) > > Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur > d'avoir mis les 4 NS sous le même TLD) > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ > --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Facebook Whatsapp Instagram down
Les glues sont toujours dispo sur les root .com : ~ % dog @192.5.6.30 a.ns.facebook.com NS facebook.com. 2d0h00m00s A "a.ns.facebook.com." NS facebook.com. 2d0h00m00s A "b.ns.facebook.com." NS facebook.com. 2d0h00m00s A "c.ns.facebook.com." NS facebook.com. 2d0h00m00s A "d.ns.facebook.com." A a.ns.facebook.com. 2d0h00m00s + 129.134.30.12 a.ns.facebook.com. 2d0h00m00s + 2a03:2880:f0fc:c:face:b00c:0:35 A b.ns.facebook.com. 2d0h00m00s + 129.134.31.12 b.ns.facebook.com. 2d0h00m00s + 2a03:2880:f0fd:c:face:b00c:0:35 A c.ns.facebook.com. 2d0h00m00s + 185.89.218.12 c.ns.facebook.com. 2d0h00m00s + 2a03:2880:f1fc:c:face:b00c:0:35 A d.ns.facebook.com. 2d0h00m00s + 185.89.219.12 d.ns.facebook.com. 2d0h00m00s + 2a03:2880:f1fd:c:face:b00c:0:35 En revanche les 4 NS ne répondent clairement plus. On Mon, Oct 4, 2021, at 18:09, Pierre DOLIDON wrote: > hello > > OK alert, mais on s'en ballec un peu du fait que ça soit down, mais ce > qui m'intrigue c'est pourquoi. > > J'ai l'impression que c'est les serveurs whois du registrar > (registrarsafe.com) qui ne répondent plus, et du coup, comme les NS de > facebook.com c'est A B C et D.NS.FACEBOOK.COM impossible d'obtenir le > glue record. (idem pour whatsapp et instagram bien sur) > > Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur > d'avoir mis les 4 NS sous le même TLD) > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ -- Kevin Decherf - @Kdecherf GPG 0x108ABD75A81E6E2F https://kdecherf.com --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [ALERT] Facebook Whatsapp Instagram down
hello OK alert, mais on s'en ballec un peu du fait que ça soit down, mais ce qui m'intrigue c'est pourquoi. J'ai l'impression que c'est les serveurs whois du registrar (registrarsafe.com) qui ne répondent plus, et du coup, comme les NS de facebook.com c'est A B C et D.NS.FACEBOOK.COM impossible d'obtenir le glue record. (idem pour whatsapp et instagram bien sur) Qu'en pensez vous ? (outre le fait que c'est du travail d'amateur d'avoir mis les 4 NS sous le même TLD) --- Liste de diffusion du FRnOG http://www.frnog.org/
