Re: [FRnOG] Plantage atos
On Tue, Oct 28, 2008 at 02:41:46AM +0100, Raphael Maunier wrote: Sebastien WILLEMIJNS a écrit : On Tue, 28 Oct 2008 01:14:50 +0100, Raphael Maunier [EMAIL PROTECTED] said: Tu ne peux pas garantir que les mecs en face en cas d incident soient capable de transporter le trafic ailleurs. en cas de pannes à cascade, OK je comprends l'éffet de solidarité/interdépendance mais la il n'y avait qu'un gros bleme pas plusieurs... Comment tu appelle ca toi : Deux circuits longhaul au depart de la meme ville down, et un des plus gros IX qui tombe ? Ca fait un peu panne a cascade ca non ? Comme beaucoup depend d'un seul site incontournable, les dommages collateraux sont importants. Mais bon pour repondre a ta question : Dans le cas de Free, je ne sais pas ce qu'il s'est passe :) ben on essaye un nouveau systeme le filtrage anti raleur ca filtre uniquement les raleurs de service spécifiquement pour les faire raler. tout les autres ils voient rien ;) A+ Imagine que le mec en face soit un content sur Amsterdam et il a 4 ports 10G sur l Amsix et que 2 sur le Decix ou Linx. Quand il paume tout sur ce site, et bien ca va ramer. bah oui, mais l'idée est aussi d'en mettre 3 et 3 ;) arf aussi si on a tendance a tout equilibrer il n'y a plus trop de concurrences entre les IX je l'avoue aussi :) Et les couts des circuits longhaul ? tu oublies ca, et puis redonder avec un chiffre impair si t'es en etherchannel , c'est pas top :) Bref on s'ecarte du sujet de depart, qui reflete bien tout ca. L'impact d'un site/fournisseur trop omnipresent ... --- Liste de diffusion du FRnOG http://www.frnog.org/ Raphael ( qui va dormir maintenant que ca migration est terminee :) ) -- Raphaël Maunier NEO TELECOMS Engineering Manager --- Liste de diffusion du FRnOG http://www.frnog.org/ -- GANDER Frédéric [EMAIL PROTECTED] - http://www.free.fr --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
Par exemple, Il y a eu plusieures coupures fibres ces derniere semaines entre Francfort , Amsterdam ou Paris. La premiere fois, j'ai perdu 2 liaisons sur Amsterdam ( une depuis Paris et l'autre depuis Francfort), il y avait donc un troncon commun. L'impact pour tout le monde a ete assez desastreux. Et bien on a demande un reroutage et ca a ete fait. Ensuite, deuxieme coupure, la un seul operateur impacte, donc tu te dis OUAIS ok cool, et la coupure electrique, 2 de mes 4 circuits vers Amsterdam sont tombes surement a cause d'un regen ou d'un equipement wdm sur ce site. Donc rebelotte, il faut revoir tes fournisseurs Longhaul. Celle de 22 octobre à minuit pile, ce sont des travaux GC surprise entre Bruxelles et Anvers. Il ne s'agit pas d'un arrachement accidentel mais d'une opération de détournement en urgence qui implique de couper le lien puis de le resouder. Pour aller à Amsterdam (de Bruxelles, Londres ou Frankfurt) tu peux avoir 2 chemins differents. Si mes souvenirs sont bons, il fallait que GBLX fasse des travaux GC pour faire une derivation de quelques km pas loin de Rotterdam. Avoir plusieurs chemin de fibre optique ça coute cher et il faut réellement avoir besoins, alias avoir de coin du trou perdu comme Lille par rapport à Paris. Tu peux bien boucler Lyon, par Bordeaux pour revenir à Paris, mais tu vas pas boucler Lille par Calais pour revenir à Paris. Bref, ça coute cher Lille. Nous on a 2 chemins differents (j'ai comparé la carte km par km) et qui aboutissent dans 2 datacentres differents à Paris avec 4 routeurs au cul et ça a déjà servi 2 fois: 1er coupure de 48h, 2ème coupure de 24h. pendant ce temps tu sautes de joie que ça marche par l'autre côté et que tu as fait le cheque pour les 10G remplit à 45% dans le max de la journée. mais ce que tu dis c'est une vraie question. imaginons que tu fais tout le necessaire pour aller à Amsterdam, 2 chemins differents, double capa, fini dans 2 datacentres differents, 2 routeurs, 2 x la connexion à Amsix, le reseau parfait. et au finale, le mec en face n'a pas tout ça. quand nikhef tombe il tombe aussi et tu te retrouves avec les mêmes merdes qu'avec un simple reseau. tu n'as rien gagné à part dire c'est pas de ma faute. et ça me rappele les discutions avec EDF quand on a construit le datacentre à Roubaix, on leur dit on veut 2 arrivées electriques moyenne tension en plus de groupes electrogenes, qui arrivent de 2 sources differentes, car on veut avoir du courant tout le temps même quand il y a un blackout à Lille/Roubaixco. Les mecs nous regardent et nous disent monsieur, ça ne sert à rien d'avoir du courant quand Lille n'a pas de courant, car de tout façon vous passez par Lille et donc si à Lille s'il n'y a pas de courant, vous êtes down aussi. Sollac a eu ce genre de reflexion et quand l'EDF a coupé pendant 6 heures, la fonte liquide est devenu solide. Plusieurs semaines d'arret de l'usine pour sortir la fonte. Ils ont acheté les groupes après. L'investissement a couté moins cher que les pertes liés aux travaux et l'arret de l'usine. En bref, je pense que ça depend. Il n'y a pas de solution generale. Il faut reflechir et gerer les risques. Ne pas prendre certains risques (dans notre cas Paris/Roubaix), prendre d'autres risques en prevoyant de gerer ce risque là un jour (dans notre cas Roubaix/Amsterdam, ça passera par Paris ou Londres). --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Tue, 28 Oct 2008 07:50:56 +0100, Frédéric Gander [EMAIL PROTECTED] said: ben on essaye un nouveau systeme le filtrage anti raleur ca filtre uniquement les raleurs de service spécifiquement pour les faire raler. tout les autres ils voient rien ;) Remettez vos graphiques sur le site http://www.free.fr/reseau/ à jour plutot que de m'écrire cela ;) Bonne journée. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
pas con ;-) pourvu qu il reste des places prems, hehe :) Désolé si j ai généré du bruit. Cela invitait juste à se poser la question de la forte inter independance du net marchand francais a seulement quelques gros operateurs de paiement. Denis Le 27 octobre 2008 21:41, Mathieu Arnold [EMAIL PROTECTED] a écrit : +--On 27 octobre 2008 21:07:45 +0100 Denis Alligand [EMAIL PROTECTED] wrote: | Bonjour, | | je sais que ce n'est pas vraiement du net, mais ca en fait partie un peu. | | Atos est planté sévère depuis 19h05, plus de paiement a la sncf, plus | de paiement chez ovh, les interfaces bancaires comme sherlock, banque pop | sont plantés ainsi que tout les clients qui les utilises, pareil pour le | offices serveur, | | bref en clair un tres gros % des transaction de paiement CB bancaire | francaise sont rejetés. Ca fait froid dansle dos, quelqu un a des infos | chaude a ce sujet? Bah, tu achètera tes billets de train demain :-) -- Mathieu Arnold
Re: [FRnOG] Plantage atos
On Mon, 27 Oct 2008 21:07:45 +0100, Denis Alligand [EMAIL PROTECTED] said: Bonjour, je sais que ce n'est pas vraiement du net, mais ca en fait partie un peu. Atos est planté sévère depuis 19h05, plus de paiement a la sncf, plus de paiement chez ovh, les interfaces bancaires comme sherlock, banque pop sont plantés ainsi que tout les clients qui les utilises, pareil pour le offices serveur, FREE aussi ca foire sec ce soir... impossible d'uploader mes pages WEB... les pings sont excecrables... mon batch d'upload tourne depuis 30 minutes en boucle encore un lundi noir (mais pas dans le meme domaine qu'il y a X semaines) ? oh ! --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Mon, 27 Oct 2008 22:10:00 +0100, Denis Alligand [EMAIL PROTECTED] said: Le but etait seulement d'initier une discussion sur l interindependance du net marchand a qques gros operateurs comme atos qui represente a lui seul une large majorité des solutions de paiement francaise. même soucis avec les 3 copains opérateurs GSM... Un panne de 2H ne peut pas passer inapercue et en visant plus loin que l 'aspect: je me plains car j'arrive pas a acheter mes prems (ca je m en tape), mais de plutot extrapoler a: aujourd'hui les clients ont un usage d'achat sur le net et on se rend compte que le simple fait qu un seul operateur puisse au dela de ce probleme avoir un soucis plus important (sécurité des transactions, numero des cartes bancaires) , font que cela m interpelle. un gros plantage signifie généralement panne ou perte d'informations et non de tentative de piratage... --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
Grosse coupure sur au NIKHEF a Amsterdam ( le site est totalement down) Impact Majeur en Europe sur les peerings , AMSIX NLIX and cie sont down. Ce qui n'ont pas la capa sur les autres ix ont des soucis ce soir ( coupure a 21h ce soir) Voila :) -- Raphaël Maunier NEO TELECOMS Engineering Manager Sebastien WILLEMIJNS a écrit : On Mon, 27 Oct 2008 22:10:00 +0100, Denis Alligand [EMAIL PROTECTED] said: Le but etait seulement d'initier une discussion sur l interindependance du net marchand a qques gros operateurs comme atos qui represente a lui seul une large majorité des solutions de paiement francaise. même soucis avec les 3 copains opérateurs GSM... Un panne de 2H ne peut pas passer inapercue et en visant plus loin que l 'aspect: je me plains car j'arrive pas a acheter mes prems (ca je m en tape), mais de plutot extrapoler a: aujourd'hui les clients ont un usage d'achat sur le net et on se rend compte que le simple fait qu un seul operateur puisse au dela de ce probleme avoir un soucis plus important (sécurité des transactions, numero des cartes bancaires) , font que cela m interpelle. un gros plantage signifie généralement panne ou perte d'informations et non de tentative de piratage... --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
Raphael Maunier a écrit : Grosse coupure sur au NIKHEF a Amsterdam ( le site est totalement down) Impact Majeur en Europe sur les peerings , AMSIX NLIX and cie sont down. Que mes propos ne soient pas mal interpretes, ils sont down uniquement sur NIKHEF pas sur tous les sites. Ce qui n'ont pas la capa sur les autres ix ont des soucis ce soir ( coupure a 21h ce soir) Voila :) -- Raphaël Maunier NEO TELECOMS Engineering Manager --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
L'impact est majeur. La chute sur le graph de l'ams-ix est impresionnant... http://www.ams-ix.net/technical/stats/ Il y a meme une incidence sur mon port au PAIX a NY :) Une pensee pour nos collegues a Amsterdam qui passeront une nuit agitee (souvenir, souvenir) Raphael Raphaël Jacquot a écrit : Raphael Maunier wrote: Grosse coupure sur au NIKHEF a Amsterdam ( le site est totalement down) Impact Majeur en Europe sur les peerings , AMSIX NLIX and cie sont down. Ce qui n'ont pas la capa sur les autres ix ont des soucis ce soir ( coupure a 21h ce soir) Voila :) aux dernieres nouvelles, l'alim electrique est tombée... c'est un probleme récurrent ces temps cis ;) --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Raphaël Maunier NEO TELECOMS Engineering Manager --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Plantage atos
Ca y est ils viennent de remettre le power à NIKHEF. Michael -Original Message- From: [EMAIL PROTECTED] [mailto:[EMAIL PROTECTED] On Behalf Of Raphael Maunier Sent: lundi 27 octobre 2008 22:12 To: frnog@frnog.org Subject: Re: [FRnOG] Plantage atos L'impact est majeur. La chute sur le graph de l'ams-ix est impresionnant... http://www.ams-ix.net/technical/stats/ Il y a meme une incidence sur mon port au PAIX a NY :) Une pensee pour nos collegues a Amsterdam qui passeront une nuit agitee (souvenir, souvenir) Raphael Raphaël Jacquot a écrit : Raphael Maunier wrote: Grosse coupure sur au NIKHEF a Amsterdam ( le site est totalement down) Impact Majeur en Europe sur les peerings , AMSIX NLIX and cie sont down. Ce qui n'ont pas la capa sur les autres ix ont des soucis ce soir ( coupure a 21h ce soir) Voila :) aux dernieres nouvelles, l'alim electrique est tombée... c'est un probleme récurrent ces temps cis ;) --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Raphaël Maunier NEO TELECOMS Engineering Manager --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Plantage atos
On Mon, 27 Oct 2008 23:13:46 +0100, Michael Ourabah [EMAIL PROTECTED] said: Ca y est ils viennent de remettre le power à NIKHEF. oui l'effet chez FREE est fini... cela me surprend qu'un gros opérateur télécom comme ce dernier ait ete autant impacté cela montre que la répartition des charges est pas tres equilibré pour se taper des timeouts durant 1 heure ;) --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Mon, Oct 27, 2008 at 11:46:31PM +0100, Sebastien WILLEMIJNS wrote: On Mon, 27 Oct 2008 23:13:46 +0100, Michael Ourabah [EMAIL PROTECTED] said: Ca y est ils viennent de remettre le power à NIKHEF. oui l'effet chez FREE est fini... cela me surprend qu'un gros opérateur télécom comme ce dernier ait ete autant impacté cela montre que la répartition des charges est pas tres equilibré pour se taper des timeouts durant 1 heure ;) hein ? pourrais-tu etre plus explicite ? -- Romain --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Mon, 27 Oct 2008 23:55:51 +0100, Raphael Maunier [EMAIL PROTECTED] said: L impact est majeur, pour ma part j'ai eu de la chance que mon port ne soit pas sur ce dacatencer. Meme si tu as la capa pour prendre la charge ailleurs ( genre NLIX, Decix, Linx) il n'est pas dit que les mecs en face soient capable de prendre toute la charge. désolé je ne te suis pas, quand on as de la BP reservé ailleurs on ne doit pas sentir de telles secousses comme cela non ? Regarde le graph de l'amsix, tu verras le drop. vivi la moitié ;) Mais bon c'est vrai que la pour le coup, on voit tres clairement que le role central de NIKHEF est trop important. y'as pas photo... d'ailleurs http://www.ams-ix.net/graphics/topology1.jpg drôle de topologie réseau... du 6/2/6 D'ailleurs Free est connecte sur Telecity Amsterdam :) donc pas impacte directement par cette coupure, c'est donc les mecs en face qui ramaient c'est cela la solidarité arf... --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Mon, 27 Oct 2008 23:54:39 +0100, Romain Tournier [EMAIL PROTECTED] said: Ca y est ils viennent de remettre le power à NIKHEF. oui l'effet chez FREE est fini... cela me surprend qu'un gros opérateur télécom comme ce dernier ait ete autant impacté cela montre que la répartition des charges est pas tres equilibré pour se taper des timeouts durant 1 heure ;) hein ? pourrais-tu etre plus explicite ? bah en résumé le but de la manoeuvre c'est pas de mettre tous ses oeufs dans le meme panier (sur un gros datacenter ou/et des grosses liaisons) ca permet de ne pas ressentir ce type de problème quand on pense surtout qu'un datacenter en rade à l'étranger a foutu le binz indirectement sur des liaison nationales... --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
Sebastien WILLEMIJNS a écrit : On Mon, 27 Oct 2008 23:55:51 +0100, Raphael Maunier [EMAIL PROTECTED] said: L impact est majeur, pour ma part j'ai eu de la chance que mon port ne soit pas sur ce dacatencer. Meme si tu as la capa pour prendre la charge ailleurs ( genre NLIX, Decix, Linx) il n'est pas dit que les mecs en face soient capable de prendre toute la charge. désolé je ne te suis pas, quand on as de la BP reservé ailleurs on ne doit pas sentir de telles secousses comme cela non ? C'est pourtant simple :) Tu ne peux pas garantir que les mecs en face en cas d incident soient capable de transporter le trafic ailleurs. Imagine que le mec en face soit un content sur Amsterdam et il a 4 ports 10G sur l Amsix et que 2 sur le Decix ou Linx. Quand il paume tout sur ce site, et bien ca va ramer. Et le point d'echange n'est pas tout. Par exemple, Il y a eu plusieures coupures fibres ces derniere semaines entre Francfort , Amsterdam ou Paris. La premiere fois, j'ai perdu 2 liaisons sur Amsterdam ( une depuis Paris et l'autre depuis Francfort), il y avait donc un troncon commun. L'impact pour tout le monde a ete assez desastreux. Et bien on a demande un reroutage et ca a ete fait. Ensuite, deuxieme coupure, la un seul operateur impacte, donc tu te dis OUAIS ok cool, et la coupure electrique, 2 de mes 4 circuits vers Amsterdam sont tombes surement a cause d'un regen ou d'un equipement wdm sur ce site. Donc rebelotte, il faut revoir tes fournisseurs Longhaul. Donc, non tu ne peux jamais garantir a 100% la capa , meme en faisant tous les efforts du monde, et meme si tu es a 30% de capa sur tes liens :) ( ou sinon refaire les erreurs du passe en prenant 40 000 liens ) C'etait mon cas sur cet incident, et bien il y a des mecs avec qui j'etais plateau ailleurs et je suis sur que c'est pareil pour d'autres reseaux ici. Raphael Regarde le graph de l'amsix, tu verras le drop. vivi la moitié ;) Mais bon c'est vrai que la pour le coup, on voit tres clairement que le role central de NIKHEF est trop important. y'as pas photo... d'ailleurs http://www.ams-ix.net/graphics/topology1.jpg drôle de topologie réseau... du 6/2/6 D'ailleurs Free est connecte sur Telecity Amsterdam :) donc pas impacte directement par cette coupure, c'est donc les mecs en face qui ramaient c'est cela la solidarité arf... --- Liste de diffusion du FRnOG http://www.frnog.org/ -- Raphaël Maunier NEO TELECOMS Engineering Manager --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Tue, Oct 28, 2008 at 01:09:59AM +0100, Sebastien WILLEMIJNS wrote: On Mon, 27 Oct 2008 23:54:39 +0100, Romain Tournier [EMAIL PROTECTED] said: Ca y est ils viennent de remettre le power à NIKHEF. oui l'effet chez FREE est fini... cela me surprend qu'un gros opérateur télécom comme ce dernier ait ete autant impacté cela montre que la répartition des charges est pas tres equilibré pour se taper des timeouts durant 1 heure ;) hein ? pourrais-tu etre plus explicite ? bah en résumé le but de la manoeuvre c'est pas de mettre tous ses oeufs dans le meme panier (sur un gros datacenter ou/et des grosses liaisons) ca permet de ne pas ressentir ce type de problème quand on pense surtout qu'un datacenter en rade à l'étranger a foutu le binz indirectement sur des liaison nationales... les abonnés ADSL d'amsterdam reliés sur le pop de NIKHEF ont eu une coupure de service, les autres n'ont eu aucun soucis, a moins que tu nous donnes plus de details sur les soucis rencontrés. -- Romain --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Tue, 28 Oct 2008 01:14:50 +0100, Raphael Maunier [EMAIL PROTECTED] said: Tu ne peux pas garantir que les mecs en face en cas d incident soient capable de transporter le trafic ailleurs. en cas de pannes à cascade, OK je comprends l'éffet de solidarité/interdépendance mais la il n'y avait qu'un gros bleme pas plusieurs... Imagine que le mec en face soit un content sur Amsterdam et il a 4 ports 10G sur l Amsix et que 2 sur le Decix ou Linx. Quand il paume tout sur ce site, et bien ca va ramer. bah oui, mais l'idée est aussi d'en mettre 3 et 3 ;) arf aussi si on a tendance a tout equilibrer il n'y a plus trop de concurrences entre les IX je l'avoue aussi :) --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Plantage atos
On Tue, 28 Oct 2008 02:06:14 +0100, Arthur Fernandez [EMAIL PROTECTED] said: désolé je ne te suis pas, quand on as de la BP reservé ailleurs on ne doit pas sentir de telles secousses comme cela non ? bhé un réseau surdimensionné et up au sein d'un réseau écroulé est un réseau mort. internet ayant une topologie à interdépendance entre les réseaux. exact il ne faut pas l'oublier ;) --- Liste de diffusion du FRnOG http://www.frnog.org/
