Re: [FRnOG] [ALERT] Nerim is dead ?
Le 2 déc. 2014 à 13:13, Antoine Versini antoine.vers...@corp.nerim.net a écrit : Un ticket constructeur va être ouvert, et je ferai un follow-up avec la raison du plantage. Comme promis, l'épilogue. Il s'agit d'un problème connu chez le constructeur de nos routeurs de service lié à l'utilisation de BGP Flowspec. Ce problème avait déjà été corrigé sur d'autres trains logiciels, mais pas encore intégré dans celui que nous utilisons (notre version de production étant pourtant datée courant 2014.) L'intégration du correctif dans notre train va être réalisée, dans l'intérim nous savons comment éviter qu'il se reproduise (mais pas encore pourquoi il s'est toutefois produit qu'après 14 mois d'utilisation.) J'en profite pour remercier leurs équipes SE, commerciales, support et ingénierie qui ont été très promptes et efficaces pour comprendre et tâcher de résoudre nos problèmes. Ils se reconnaîtront ;-) -- Antoine Versini - Nerim --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 05/12/2014 14:52, Vincent Bernat a écrit : ❦ 5 décembre 2014 13:00 +0100, Antoine Versini antoine.vers...@corp.nerim.net : L'intégration du correctif dans notre train va être réalisée, dans l'intérim nous savons comment éviter qu'il se reproduise (mais pas encore pourquoi il s'est toutefois produit qu'après 14 mois d'utilisation.) Le bug est présent sur le 12.3R8.7 sorti le mois dernier ? Yop, Merci Antoine, effectivement si t'as un PR a faire tourner, merci :) ++ Fabien --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Vous aussi ? Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Bonjour, Je confirme. C'est up de nouveau pour moi 2014-12-02 11:59 GMT+01:00 Christophe t...@stuxnet.org: Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Vous aussi ? Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Mariam El Bekkari System and Network Administrator [image: TRADING CENTRAL] http://www.tradingcentral.com/D+33 1 5528 8398E mariam.elbekk...@tradingcentral.comwtradingcentral.com http://www.tradingcentral.com/Paris 11 bis rue Scribe 75009 Paris T +33 1 5528 8040New York 1150 6th Ave - 6th Floor New York, NY 10036 T +1 212 847 2387London 36 Old Jewry London. EC2R 8DD T +44 203 440 7615Hong Kong 60 Wyndham Street, 2003B Central, Hong Kong T +852 2522 3988[image: The Most Awarded Technical Analysts Team in the World]*© TRADING CENTRAL* The information contained in this publication is not intended as an offer or solicitation for the purchase or sale of any financial instrument. Any opinion offered herein reflects TRADING CENTRAL current judgment and may change without notice. Users acknowledge and agree to the fact that, by its very nature, any investment in shares, stock options and similar and assimilated products is characterised by a certain degree of uncertainty and that, consequently, any investment of this nature involves risks for which the user is solely responsible and liable. Services in the U.S. are offered through TRADING CENTRAL Americas, Inc. This message is intended for recipient only and not for further distribution without the consent of TRADING CENTRAL. Although TRADING CENTRAL attempts to sweep e-mail and attachments for viruses, it does not guarantee that either are virus-free and accepts no liability for any damage sustained as a result of viruses. --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [ALERT] Nerim is dead ?
Je confirme, pendant environ 5 minutes. De notre côté on a reçu aucune explication pour le problème précédent. -Message d'origine- De : frnog-requ...@frnog.org [mailto:frnog-requ...@frnog.org] De la part de Christophe Envoyé : mardi 2 décembre 2014 11:59 À : frnog@frnog.org Objet : Re: [FRnOG] [ALERT] Nerim is dead ? Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Vous aussi ? Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Je confirme. Josselin Lecocq Quantic Telecom Le 02/12/2014 11:59, Christophe a écrit : Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Vous aussi ? Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [ALERT] Nerim is dead ?
On dirait que c'est retombé à l'instant ... -Message d'origine- De : frnog-requ...@frnog.org [mailto:frnog-requ...@frnog.org] De la part de Josselin Lecocq Envoyé : mardi 2 décembre 2014 12:05 À : frnog@frnog.org Objet : Re: [FRnOG] [ALERT] Nerim is dead ? Je confirme. Josselin Lecocq Quantic Telecom Le 02/12/2014 11:59, Christophe a écrit : Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Vous aussi ? Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 2 déc. 2014 à 11:59, Christophe t...@stuxnet.org a écrit : Bonjour, Il semblerait que cela soit retombé (11h53) , symptômes identiques . Bonjour, Le problème n'est pas le même, nous n'avons pas perdu massivement nos sessions eBGP. Cette fois-ci il s'agit du plantage du processus de routage (rpd) sur un routeur qui accueille un lien de transit assez important. Cela a provoqué une instabilité dans le routage des destinations de la DFZ ainsi que des perturbations sur les services d'hébergement, connectivité et collecte transitant par nos DC à St-Denis. La machine n'assurait plus ses tâches de routage de façon permanente, continuait à s'annoncer comme passerelle à d'autres routeurs alors qu'elle était incapable d'assurer le routage vers les destinations. Cela donne (heures UTC) : Dec 2 10:51:11 edg-sde-3 /kernel: pid 1404 (rpd), uid 0: exited on signal 11 (core dumped) Dec 2 10:51:11 edg-sde-3 init: routing (PID 1404) terminated by signal number 11. Core dumped! Dec 2 10:51:11 edg-sde-3 /kernel: edg-sde-3 init: routing (PID 1404) terminated by signal number 11. Core dumped! Dec 2 10:51:11 edg-sde-3 init: routing (PID 84024) started Un ticket constructeur va être ouvert, et je ferai un follow-up avec la raison du plantage. -- Antoine Versini - Nerim --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 02/12/2014 13:13, Antoine Versini a écrit : Bonjour, Le problème n'est pas le même, nous n'avons pas perdu massivement nos sessions eBGP. Cette fois-ci il s'agit du plantage du processus de routage (rpd) sur un routeur qui accueille un lien de transit assez important. Cela a provoqué une instabilité dans le routage des destinations de la DFZ ainsi que des perturbations sur les services d'hébergement, connectivité et collecte transitant par nos DC à St-Denis. La machine n'assurait plus ses tâches de routage de façon permanente, continuait à s'annoncer comme passerelle à d'autres routeurs alors qu'elle était incapable d'assurer le routage vers les destinations. Cela donne (heures UTC) : Dec 2 10:51:11 edg-sde-3 /kernel: pid 1404 (rpd), uid 0: exited on signal 11 (core dumped) Dec 2 10:51:11 edg-sde-3 init: routing (PID 1404) terminated by signal number 11. Core dumped! Dec 2 10:51:11 edg-sde-3 /kernel: edg-sde-3 init: routing (PID 1404) terminated by signal number 11. Core dumped! Dec 2 10:51:11 edg-sde-3 init: routing (PID 84024) started Un ticket constructeur va être ouvert, et je ferai un follow-up avec la raison du plantage. Merci pour cette transparence Antoine, en espérant que vous trouverez rapidement la cause. Bon courage et a bientôt. Christophe. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
On Thu, 2014-11-20 at 19:18 +0100, Antoine Versini wrote: Nous en cherchons la cause, mais nous savons déjà que l'origine n'est pas un changement de configuration d'un équipement, aucun commit ou clear quelconques n'ayant été effectués pendant les heures avant l'évènement. Je sens que nos amis de Junipe(u)r vont encore en prendre pour leur grade... Il serait intéressant de savoir exactement ce qui s'est passé (en privé, si tu préfères), pour la culture. -- Clément Cavadore --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Bonjour, Je plusoie, on-list ou off-list. Bon courage aux équipes NERIM. Y. Le 21 novembre 2014 09:00, Clement Cavadore clem...@cavadore.net a écrit : On Thu, 2014-11-20 at 19:18 +0100, Antoine Versini wrote: Nous en cherchons la cause, mais nous savons déjà que l'origine n'est pas un changement de configuration d'un équipement, aucun commit ou clear quelconques n'ayant été effectués pendant les heures avant l'évènement. Je sens que nos amis de Junipe(u)r vont encore en prendre pour leur grade... Il serait intéressant de savoir exactement ce qui s'est passé (en privé, si tu préfères), pour la culture. -- Clément Cavadore --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Youssef BENGELLOUN-ZAHR --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 21 nov. 2014 à 09:00, Clement Cavadore clem...@cavadore.net a écrit : Je sens que nos amis de Junipe(u)r vont encore en prendre pour leur grade... Il serait intéressant de savoir exactement ce qui s'est passé (en privé, si tu préfères), pour la culture. Hello Clément, Je n'ai pas l'intention de jeter l'opprobre sur un constructeur ou l'autre. Nous ne pratiquons pas ce type de communication. D'autant plus que pour le moment la seule chose apparente se sont des messages assez laconiques dans les journaux qui indiquent des pertes simultanées de sessions eBGP dans *une seule VRF* (la pire, certes) sur un bon nombre de machines et sans action associée. Tous nos partenaires de peerings ont pu s'en apercevoir ;) See you! -- Antoine Versini - Nerim --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Salut, Le 20/11/2014 16:57, Eddy Minet a écrit : L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... J'ai l'impression que c'est à l'AMS-IX que ça merdoie, les clients Nerim sont coupés de certaines choses (free et online pour seuls exemples que j'ai tout de suite mais pas que amha), mais d'autres choses sont ok (8.8.8.8 par exemple). J'ai même pas osé crée de ticket vu l'ampleur, on va attendre que ça remonte... ou pas... -- Guillaume Rousseau --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Je confirme ! :-( - Mail original - De: Eddy Minet eddy.mi...@rsi-informatique.fr À: frnog-al...@frnog.org Envoyé: Jeudi 20 Novembre 2014 16:57:33 Objet: [FRnOG] [ALERT] Nerim is dead ? Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Bonjour, Le 20/11/2014 16:57, Eddy Minet a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy Je confirme : premiers symptômes à 16h44. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 20/11/14 17:01, Guillaume Rousseau a écrit : J'ai même pas osé crée de ticket vu l'ampleur, on va attendre que ça remonte... ou pas... C'est remonté chez moi (toutes les sessions BGP on fait flip/flap) Laissons les bosser. -- Raphael Mazelier --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Bonjour, On Thu, 2014-11-20 at 15:57 +, Eddy Minet wrote: Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... En IPv4, il y a des problèmes apparamment. En IPv6 par contre, ca me semble OK (à première vue)... -- Clément Cavadore signature.asc Description: This is a digitally signed message part
Re: [FRnOG] [ALERT] Nerim is dead ?
Salut, Session BGP avec Nerim coupée sur l'Equinix-IX. Nerim injoignable via Cogent également. Ça merde à plusieurs endroits on dirait. Josselin Lecocq Quantic Telecom Le 20/11/2014 17:01, Guillaume Rousseau a écrit : Salut, Le 20/11/2014 16:57, Eddy Minet a écrit : L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... J'ai l'impression que c'est à l'AMS-IX que ça merdoie, les clients Nerim sont coupés de certaines choses (free et online pour seuls exemples que j'ai tout de suite mais pas que amha), mais d'autres choses sont ok (8.8.8.8 par exemple). J'ai même pas osé crée de ticket vu l'ampleur, on va attendre que ça remonte... ou pas... --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [ALERT] Nerim is dead ?
Je confirme aussi. -Message d'origine- De : frnog-requ...@frnog.org [mailto:frnog-requ...@frnog.org] De la part de François Otho Envoyé : jeudi 20 novembre 2014 17:02 À : Eddy Minet Cc : frnog-al...@frnog.org Objet : Re: [FRnOG] [ALERT] Nerim is dead ? Je confirme ! :-( - Mail original - De: Eddy Minet eddy.mi...@rsi-informatique.fr À: frnog-al...@frnog.org Envoyé: Jeudi 20 Novembre 2014 16:57:33 Objet: [FRnOG] [ALERT] Nerim is dead ? Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ - Aucun virus trouvé dans ce message. Analyse effectuée par AVG - www.avg.fr Version: 2015.0.5315 / Base de données virale: 4213/8599 - Date: 20/11/2014 - Aucun virus trouvé dans ce message. Analyse effectuée par AVG - www.avg.fr Version: 2015.0.5315 / Base de données virale: 4213/8599 - Date: 20/11/2014 --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 20/11/2014 17:04, Clement Cavadore a écrit : Bonjour, On Thu, 2014-11-20 at 15:57 +, Eddy Minet wrote: Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... En IPv4, il y a des problèmes apparamment. En IPv6 par contre, ca me semble OK (à première vue)... Au début en tout cas, là l'IPv6 a l'air de merdouiller aussi -- Guillaume Rousseau --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Je confirme aussi. Le 20/11/2014 17:05, Josselin Lecocq a écrit : Salut, Session BGP avec Nerim coupée sur l'Equinix-IX. Nerim injoignable via Cogent également. Ça merde à plusieurs endroits on dirait. Josselin Lecocq Quantic Telecom Le 20/11/2014 17:01, Guillaume Rousseau a écrit : Salut, Le 20/11/2014 16:57, Eddy Minet a écrit : L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... J'ai l'impression que c'est à l'AMS-IX que ça merdoie, les clients Nerim sont coupés de certaines choses (free et online pour seuls exemples que j'ai tout de suite mais pas que amha), mais d'autres choses sont ok (8.8.8.8 par exemple). J'ai même pas osé crée de ticket vu l'ampleur, on va attendre que ça remonte... ou pas... --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 20/11/2014 17:04, Raphael Mazelier a écrit : C'est remonté chez moi (toutes les sessions BGP on fait flip/flap) Laissons les bosser. Ici ça a l'air d'aller mieux à l'instant (17h20) -- Guillaume Rousseau --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [ALERT] Nerim is dead ?
Ça revient de mon côté ... --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Pour moi, Paris est revenu, pas encore Bordeaux Le 20/11/2014 17:22, « Pierre Colombier » pcdw...@pcdwarf.net a écrit : Pour moi aussi , à 17H20 Le 20/11/2014 17:21, Guillaume Rousseau a écrit : Le 20/11/2014 17:04, Raphael Mazelier a écrit : C'est remonté chez moi (toutes les sessions BGP on fait flip/flap) Laissons les bosser. Ici ça a l'air d'aller mieux à l'instant (17h20) --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [ALERT] Nerim is dead ?
Depuis la suisse on les voit “encore”: leur site marche bien, mais le traceroute s’arrête au DE-CIX traceroute to www1.nerim.net (195.5.228.3), 64 hops max, 52 byte packets 1 vpn-gw.lsn1.edsi-tech.com (185.50.188.33) 120.272 ms 138.661 ms 120.051 ms 2 br1.lsn1.edsi-tech.com (185.50.188.10) 132.452 ms 156.743 ms 143.113 ms 3 10gigabitethernet1-4.core1.zrh1.he.net (91.206.52.170) 134.973 ms 124.824 ms 125.068 ms 4 10ge15-2.core1.fra1.he.net (72.52.92.29) 137.226 ms 187.025 ms 132.575 ms 5 * * * 6 * * * 7 * * * 8 * * * 9 * * * On 20 Nov 2014, at 11:05, Fabien GARZIANO fabien.garzi...@groupe-ocealis.com wrote: Je confirme aussi. -Message d'origine- De : frnog-requ...@frnog.org [mailto:frnog-requ...@frnog.org] De la part de François Otho Envoyé : jeudi 20 novembre 2014 17:02 À : Eddy Minet Cc : frnog-al...@frnog.org Objet : Re: [FRnOG] [ALERT] Nerim is dead ? Je confirme ! :-( - Mail original - De: Eddy Minet eddy.mi...@rsi-informatique.fr À: frnog-al...@frnog.org Envoyé: Jeudi 20 Novembre 2014 16:57:33 Objet: [FRnOG] [ALERT] Nerim is dead ? Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Eddy --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ - Aucun virus trouvé dans ce message. Analyse effectuée par AVG - www.avg.fr Version: 2015.0.5315 / Base de données virale: 4213/8599 - Date: 20/11/2014 - Aucun virus trouvé dans ce message. Analyse effectuée par AVG - www.avg.fr Version: 2015.0.5315 / Base de données virale: 4213/8599 - Date: 20/11/2014 --- Liste de diffusion du FRnOG http://www.frnog.org/ smime.p7s Description: S/MIME cryptographic signature
Re: [FRnOG] [ALERT] Nerim is dead ?
Le 20 nov. 2014 à 16:57, Eddy Minet eddy.mi...@rsi-informatique.fr a écrit : Bonjour, L'opérateur Nerim viendrait-il de disparaitre de l'Internet ? Tous nos clients Nerim sont dans le rouge et leur site Web injoignable ... Bonsoir, Je confirme que nous avons rencontré un problème dans la VRF qui porte les routes Internet. Nous en cherchons la cause, mais nous savons déjà que l'origine n'est pas un changement de configuration d'un équipement, aucun commit ou clear quelconques n'ayant été effectués pendant les heures avant l'évènement. (Nous excluons donc l'erreur humaine.) Le plus gros de la coupure est liée au temps de re-convergence des PE portant la production des services faisant usage des routes de la DFZ d'Internet. -- Antoine Versini - Nerim --- Liste de diffusion du FRnOG http://www.frnog.org/
