Re: [FRnOG] Panne electrique a Equinix St Denis
On Thu, 2 Jul 2009 18:36:31 +0200, cam.la...@azerttyu.net cam.la...@azerttyu.net said: Parmi les infos glanées, on me dit que l'incident aurais eu lieu de 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je doute que le decalage horaire soit du à un pb d'horloge. Etant au 2eme tage, pas impacte par la coupure, je peux confirmer qu'elle avait commence entre 10h15 et 10h30, et elle a du durer moins de 2 minutes Jul 2 10:28:30:I:System: Interface ethernet 3/20, state up Jul 2 10:24:31:I:System: Interface ethernet 3/19, state up Jul 2 10:21:44:I:System: Interface ethernet 3/20, state down - link down- Cisco Jul 2 10:21:44:I:System: Interface ethernet 3/19, state down - link down- Foundry Les temps de down-up correspondent bien aux temps de boot des equipements de l'autre cote. -- Radu-Adrian Feurdean raf (a) ftml ! net --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
On Thu, 02 Jul 2009 17:49:58 +0200, Spyou r...@spyou.org said: Et accessoirement y a plus de clim ça peut être gênant pour les mux CWDM aussi :) Meme quand tout le reste est arrete ? Bon, il y a la chaleur radiee par les morts (actif) le temps qu'ils se refroidissent, mais ca prend du temps pour faire son effet -- Radu-Adrian Feurdean raf (a) ftml ! net --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit : De notre coté une coupure electrique sur de nombreuses arrivées electriques à été constaté. Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une maintenance electrique. Ca aurait impacté tout le RDC. Cordialement, -- David CHANIAL - Euro Web SARL http://www.sd-france.com/ Conseil Infogérance Location de serveurs
Re: [FRnOG] Panne electrique a Equinix St Denis
2009/7/2 David CHANIAL david...@euro-web.fr: Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit : De notre coté une coupure electrique sur de nombreuses arrivées electriques à été constaté. Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une maintenance electrique. Il aurait été étonnant que ce soit pas la faute d'un gueux d'un sous traitant ! Peut etre meme c'était un stagiaire ! Damn; Chez Equinix, les clients forment un écosystème vital dans lequel leurs actifs informatiques critiques sont protégés et connectés Bref pipo pipo pipo comme partout quoi ... -- We're not lost, Private... We're in Normandy. --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Panne electrique a Equinix St Denis
En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au RDC et ne semble pas plus protégé électriquement que le reste... Tout est tombé au niveau réseau. Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet et la casse a ses clients qui forment un écosystème vital dans lequel leurs actifs informatiques critiques sont protégés et connectés A plus, je retourne checker des bases MyIsam .. :( -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Alain Thivillon Envoyé : jeudi 2 juillet 2009 13:20 À : David CHANIAL Cc : frnog@frnog.org Objet : Re: [FRnOG] Panne electrique a Equinix St Denis 2009/7/2 David CHANIAL david...@euro-web.fr: Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit : De notre coté une coupure electrique sur de nombreuses arrivées electriques à été constaté. Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une maintenance electrique. Il aurait été étonnant que ce soit pas la faute d'un gueux d'un sous traitant ! Peut etre meme c'était un stagiaire ! Damn; Chez Equinix, les clients forment un écosystème vital dans lequel leurs actifs informatiques critiques sont protégés et connectés Bref pipo pipo pipo comme partout quoi ... -- We're not lost, Private... We're in Normandy. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Sébastien FOUTREL a écrit : Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet et la casse a ses clients qui forment un écosystème vital dans lequel leurs actifs informatiques critiques sont protégés et connectés Euh, en la matière, avant d'être fair ou pas, il y a déjà à vérifier les petites lignes des contrats... -- Pierre Col --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Le Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL [sfout...@gmail.com] a écrit: Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet et Ben, Redbus, à l'époque avait la clause dans ses contrats. Pour Aquinix, faut regarder quelles sont les SLA contractuelles :) -- Dominique Rousseau Neuronnexion, Prestataire Internet Intranet 50, rue Riolan 8 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote: En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au RDC et ne semble pas plus protégé électriquement que le reste... Tout est tombé au niveau réseau. heu... on a pas la meme notion de réseau... la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ? donc la coupure elec dans la MMR... au pire y a plus de clim... -- Romain --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Romain Tournier wrote: On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote: En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au RDC et ne semble pas plus protégé électriquement que le reste... Tout est tombé au niveau réseau. heu... on a pas la meme notion de réseau... la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ? donc la coupure elec dans la MMR... au pire y a plus de clim... la MMR est une suite au rdc (au fond à droite lorsque tu rentres) qui renfermes les baies opérateurs ainsi que les baies de brassages où passe toutes les interco inter-client. A noter qu'il y a aussi du brassage au 1er dans une ODC. Les baies opérateurs sont sensées avoir une vraie redondance (une arrivée de chaque coté du batiment, etc)... dixit le directeur tech.. -- --- Arthur Fernandez http://www.toile-libre.org/ Hebergeur Libre, à Prix Libre. 06.61.66.89.54 - 09.53.42.54.60 --- --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Hello, http://www.theinquirer.fr/2009/07/02/panne-electrique-sur-un-centre-de-donnees.html À suivre... Simon Morvan wrote: Le 02/07/2009 11:38, David CHANIAL a écrit : Bonjour, Si quelqu'un a des infos ? De notre coté une coupure electrique sur de nombreuses arrivées electriques à été constaté. Si vous avez des infos à partager. Cordialement, -- David CHANIAL - Euro Web SARL http://www.sd-france.com/ Conseil Infogérance Location de serveurs Hello, Si quelqu'un a des infos ou un début d'info un peu officielles sur l'incident, ca m'intéresse. Mon hébergeur, intermédiaire entre moi et equinix ne lache rien. Merci d'avance. -- Hervé COMMOWICK, EXOSEC (http://www.exosec.fr/) ZAC des Metz - 3 Rue du petit robinson - 78350 JOUY EN JOSAS Tel: +33 1 30 67 60 65 - Fax: +33 1 75 43 40 70 mailto:hcommow...@exosec.fr --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Romain Tournier a écrit : On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote: En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au RDC et ne semble pas plus protégé électriquement que le reste... Tout est tombé au niveau réseau. heu... on a pas la meme notion de réseau... la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ? donc la coupure elec dans la MMR... au pire y a plus de clim... Comme disait Arthur, il y a aussi de l'actif chez pas mal d'opérateur en salle réseau (DWDM roulez ..) Et accessoirement y a plus de clim ça peut être gênant pour les mux CWDM aussi :) --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
Bonjour Parmi les infos glanées, on me dit que l'incident aurais eu lieu de 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je doute que le decalage horaire soit du à un pb d'horloge. Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre la cause de cette anomalie, des idées ? Km --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Panne electrique a Equinix St Denis
cam.la...@azerttyu.net wrote: Bonjour Parmi les infos glanées, on me dit que l'incident aurais eu lieu de 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je doute que le decalage horaire soit du à un pb d'horloge. Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre la cause de cette anomalie, des idées ? Bonjour, Ce n'est clairement pas 11h34 mais plutôt 11h17 (ou 11h16 et un paquet de secondes). La coupure aurait durée moins d'une minute, étant donnée qu'il faut compter le temps d'initialisation (des routeurs et serveurs), je pense qu'on en est pas loin. En tout cas à 11:26, c'était largement repartie. -- Mikaël --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Panne electrique a Equinix St Denis
To the FRnOG: Desole pour le delai (j'ai du m'inscrire) et la mauvaise orthographe... Ce jour à 11: 33, l'ensemble de nos alimentations ondulées du Rez de Chaussée a connu une interruption de service durant 1 minute. La référence de ce rapport d'incident est le: 00162927. Nous sommes conscients de la gêne que cela a pu occasionner à votre service et vous prions de bien vouloir nous en excuser. Nos clients directs etaient contactes plusieurs fois après l'incident, specifiquement par email: 1st report sent at 11h44, 2sd sent at 12h08, 3rd sent at 15h06. Une sommaire de l'incident est dessous. Pour un rapport plus complet, veuillez contacter notre Service Desk : servicedesk.fra...@eu.equinix.com . Summary of Report Information Notification Incident Report Reference No IR reference 00162927 Date of Incident Report June the 2th 2009 Incident Report Prepared By Jacques BEKDA Summary of Incident on Services Equinix IBX Location PA2 Rez de Chaussée Services Affected Date Time June the 2th 2009 à 11h33 Services Affected Chaîne de 6 UPS Services Impacted L'alimentation ondulée de l'ensemble de notre Rez de Chaussée, Services Restored Date Time June the 2th 2009 at 11:34 am Details of Incident Descriptions / Overview of Incidents * Ce jour à 11: 33, l'ensemble de nos alimentations ondulées du Rez de Chaussée a connu une interruption de service durant 1 minute. * Today at 1133 hrs all UPS power provision from the Ground floor system experienced a one minute interuption. Root Cause of Incident * Ce jour, notre prestataire de maintenance, qui est le fabricant, est intervenu pour procéder à la vérification et la réparation des afficheurs locaux de notre chaîne d'UPS du Rez de Chaussée qui est composée de 6 machines. Suite à la réalisation de ces opérations sur les 5 premiers modules, et durant l'intervention sur la 6ème machine que le prestataire a effectué une erreur de manipulation dans les commandes des UPS. Au lieu d'isoler le composant sur lequel il était prévu d'intervenir, le technicien a provoqué l'arrêt de l'ensemble de la chaîne d'UPS. * Today our specialist maintenece provider attended site to replace a defective screen to one of the UPS modules on the system comprised of six modules. The specialist engineer carried out diagnostic checks on the first five screens and it was during the final check, using his laptop, that the interruption occurred. Instead of isolating the device to one module he shut down the output of the UPS string output Incident Resolution or Corrective Action * La commande d'arrêt effectuée par erreur par le prestataire a agit directement sur le soft de l'outil de pilotage des machines par le niveau « Administrateur » et a bloqué le fonctionnement du by-pass dont la fonction est d'assurer la continuité de service. Lorsque le technicien s'est rendu compte de son erreur, il a immédiatement tenté d'interrompre la procédure en redémarrant les machines. Le fonctionnement des UPS a été rétabli une minute après soit à 11:34. * As the engineer was connected to the UPS system at « Administrator » level, he had complete control of the UPS and so the system did not go to automatic by pass as it would in normal operation . The engineer immediately recognised his error and reconnected the output of the UPS. UPS power provision was restored at 1134 hrs. Recommended or Preventive Action * Revérification des outils de contrôle et des validations de chaque étape du processus en coordination entre les équipes techniques d'Equinix et du prestataire, * We will review the control tools that our specialist provider utilise and insist on a physical validation, as agreed, to be made at every stage Cordialement, Michael Winterson Vice President, Sales Marketing, Europe michael.winter...@eu.equinix.com +44 845 373 2931 TEL +44 7881 588 246 MOB EQUINIX 51-53 Great Marlborough Street London, W1F 7JT U.K. -Original Message- From: owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] On Behalf Of Mikael Poussard Sent: 02 July 2009 18:04 To: frnog@frnog.org Subject: Re: [FRnOG] Panne electrique a Equinix St Denis cam.la...@azerttyu.net wrote: Bonjour Parmi les infos glanées, on me dit que l'incident aurais eu lieu de 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je doute que le decalage horaire soit du à un pb d'horloge. Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre la cause de cette anomalie, des idées ? Bonjour, Ce n'est clairement pas 11h34 mais plutôt 11h17 (ou 11h16 et un paquet de secondes). La coupure aurait durée moins d'une minute, étant donnée qu'il faut compter le temps d'initialisation (des routeurs et serveurs), je pense qu'on en est pas loin. En tout cas à 11:26, c'était largement repartie. -- Mikaël --- Liste de diffusion du FRnOG http://www.frnog.org/ This email is from Equinix Europe Limited