Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-04 Par sujet Radu-Adrian Feurdean

On Thu, 2 Jul 2009 18:36:31 +0200, cam.la...@azerttyu.net
cam.la...@azerttyu.net said:

 Parmi les infos glanées, on me dit que l'incident aurais eu lieu de
 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un
 coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je
 doute que le decalage horaire soit du à un pb d'horloge.

Etant au 2eme tage, pas impacte par la coupure, je peux confirmer
qu'elle avait commence entre 10h15 et 10h30, et elle a du durer moins
de 2 minutes

Jul  2 10:28:30:I:System: Interface ethernet 3/20, state up
Jul  2 10:24:31:I:System: Interface ethernet 3/19, state up
Jul  2 10:21:44:I:System: Interface ethernet 3/20, state down - link
down- Cisco
Jul  2 10:21:44:I:System: Interface ethernet 3/19, state down - link
down- Foundry

Les temps de down-up correspondent bien aux temps de boot des
equipements de l'autre cote.

-- 
Radu-Adrian Feurdean
 raf (a) ftml ! net

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-04 Par sujet Radu-Adrian Feurdean

On Thu, 02 Jul 2009 17:49:58 +0200, Spyou r...@spyou.org said:

 Et accessoirement y a plus de clim ça peut être gênant pour les mux 
 CWDM aussi :)

Meme quand tout le reste est arrete ? Bon, il y a la chaleur radiee par
les morts (actif) le temps qu'ils se refroidissent, mais ca prend du
temps pour faire son effet

-- 
Radu-Adrian Feurdean
 raf (a) ftml ! net

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet David CHANIAL
Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit :
 De notre coté une coupure electrique sur de nombreuses arrivées electriques
 à été constaté.

Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une 
maintenance electrique.

Ca aurait impacté tout le RDC.

Cordialement,
-- 
David CHANIAL - Euro Web SARL
 http://www.sd-france.com/
 Conseil  Infogérance
 Location de serveurs


Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Alain Thivillon
2009/7/2 David CHANIAL david...@euro-web.fr:
 Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit :
 De notre coté une coupure electrique sur de nombreuses arrivées
 electriques
 à été constaté.

 Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une
 maintenance electrique.


Il aurait été étonnant que ce soit pas la faute d'un gueux d'un sous
traitant ! Peut etre meme c'était un stagiaire !

Damn; Chez Equinix, les clients forment un écosystème vital dans
lequel leurs actifs informatiques critiques sont protégés et
connectés

Bref pipo pipo pipo comme partout quoi ...

-- 
We're not lost, Private... We're in Normandy.
---
Liste de diffusion du FRnOG
http://www.frnog.org/



RE: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Sébastien FOUTREL
En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au
RDC et ne semble pas plus protégé électriquement que le reste...
Tout est tombé au niveau réseau.

Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet et
la casse a ses clients qui forment un écosystème vital dans
lequel leurs actifs informatiques critiques sont protégés et connectés

A plus, je retourne checker des bases MyIsam .. :(



-Message d'origine-
De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de
Alain Thivillon
Envoyé : jeudi 2 juillet 2009 13:20
À : David CHANIAL
Cc : frnog@frnog.org
Objet : Re: [FRnOG] Panne electrique a Equinix St Denis

2009/7/2 David CHANIAL david...@euro-web.fr:
 Le Thursday 02 July 2009 11:38:07 David CHANIAL, vous avez écrit :
 De notre coté une coupure electrique sur de nombreuses arrivées
 electriques
 à été constaté.

 Visiblement une erreur humaine d'un sous-traitant d'Equinix lors d'une
 maintenance electrique.


Il aurait été étonnant que ce soit pas la faute d'un gueux d'un sous
traitant ! Peut etre meme c'était un stagiaire !

Damn; Chez Equinix, les clients forment un écosystème vital dans
lequel leurs actifs informatiques critiques sont protégés et
connectés

Bref pipo pipo pipo comme partout quoi ...

-- 
We're not lost, Private... We're in Normandy.
---
Liste de diffusion du FRnOG
http://www.frnog.org/

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Pierre Col

Sébastien FOUTREL a écrit :

Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet 
et

la casse a ses clients qui forment un écosystème vital dans
lequel leurs actifs informatiques critiques sont protégés et connectés


Euh, en la matière, avant d'être fair ou pas, il y a déjà à vérifier les 
petites lignes des contrats...


--
Pierre Col



---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Dominique Rousseau
Le Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL 
[sfout...@gmail.com] a écrit:
 Esperons que comme RedBus, EQUINIX soit fair et rembourse le mois complet et

Ben, Redbus, à l'époque avait la clause dans ses contrats.

Pour Aquinix, faut regarder quelles sont les SLA contractuelles :)


-- 
Dominique Rousseau 
Neuronnexion, Prestataire Internet  Intranet
50, rue Riolan 8 Amiens
tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Romain Tournier
On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote:
 En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au
 RDC et ne semble pas plus protégé électriquement que le reste...
 Tout est tombé au niveau réseau.

heu... on a pas la meme notion de réseau...
la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ?
donc la coupure elec dans la MMR... au pire y a plus de clim...

-- 
Romain

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Arthur Fernandez

Romain Tournier wrote:

On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote:
  

En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au
RDC et ne semble pas plus protégé électriquement que le reste...
Tout est tombé au niveau réseau.



heu... on a pas la meme notion de réseau...
la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ?
donc la coupure elec dans la MMR... au pire y a plus de clim...

  
la MMR est une suite au rdc (au fond à droite lorsque tu rentres) qui 
renfermes les baies opérateurs ainsi que les baies de brassages où passe 
toutes les interco inter-client.

A noter qu'il y a aussi du brassage au 1er dans une ODC.

Les baies opérateurs sont sensées avoir une vraie redondance (une 
arrivée de chaque coté du batiment, etc)...


dixit le directeur tech..

--
---
Arthur Fernandez
http://www.toile-libre.org/
Hebergeur Libre, à Prix Libre.
06.61.66.89.54 - 09.53.42.54.60
---

---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Hervé COMMOWICK
Hello,

http://www.theinquirer.fr/2009/07/02/panne-electrique-sur-un-centre-de-donnees.html

À suivre...

Simon Morvan wrote:
 Le 02/07/2009 11:38, David CHANIAL a écrit :
 Bonjour,


 Si quelqu'un a des infos ?


 De notre coté une coupure electrique sur de nombreuses arrivées
 electriques à
 été constaté.


 Si vous avez des infos à partager.


 Cordialement,
 -- 
 David CHANIAL - Euro Web SARL
 http://www.sd-france.com/
 Conseil  Infogérance
 Location de serveurs


 Hello,
 
 Si quelqu'un a des infos ou un début d'info un peu officielles sur
 l'incident, ca m'intéresse. Mon hébergeur, intermédiaire entre moi et
 equinix ne lache rien.
 
 Merci d'avance.
 

-- 
Hervé COMMOWICK, EXOSEC (http://www.exosec.fr/)
ZAC des Metz - 3 Rue du petit robinson - 78350 JOUY EN JOSAS
Tel: +33 1 30 67 60 65  -  Fax: +33 1 75 43 40 70
mailto:hcommow...@exosec.fr
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Spyou

Romain Tournier a écrit :

On Thu, Jul 02, 2009 at 01:42:14PM +0200, Sébastien FOUTREL wrote:
  

En fait la coupure électrique n'a touché que le RDC mais comme la MMR est au
RDC et ne semble pas plus protégé électriquement que le reste...
Tout est tombé au niveau réseau.



heu... on a pas la meme notion de réseau...
la MMR, ce n'est pas une simple salle ou il y a du brassage de fibre ?
donc la coupure elec dans la MMR... au pire y a plus de clim...
  


Comme disait Arthur, il y a aussi de l'actif chez pas mal d'opérateur en 
salle réseau (DWDM roulez ..)


Et accessoirement y a plus de clim ça peut être gênant pour les mux 
CWDM aussi :)


---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet cam.la...@azerttyu.net
Bonjour

Parmi les infos glanées, on me dit que l'incident aurais eu lieu de
11:33 à 11:34 (précisement) or si je regarde mes logs je vois un
coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je
doute que le decalage horaire soit du à un pb d'horloge.

Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre
la cause de cette anomalie, des idées ?

Km
---
Liste de diffusion du FRnOG
http://www.frnog.org/



Re: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Mikael Poussard


cam.la...@azerttyu.net wrote:
 Bonjour
 
 Parmi les infos glanées, on me dit que l'incident aurais eu lieu de
 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un
 coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je
 doute que le decalage horaire soit du à un pb d'horloge.
 
 Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre
 la cause de cette anomalie, des idées ?


Bonjour,

Ce n'est clairement pas 11h34 mais plutôt 11h17 (ou 11h16 et
un paquet de secondes).

La coupure aurait durée moins d'une minute, étant donnée qu'il faut
compter le temps d'initialisation (des routeurs et serveurs), je
pense qu'on en est pas loin.

En tout cas à 11:26, c'était largement repartie.

-- 
Mikaël

---
Liste de diffusion du FRnOG
http://www.frnog.org/



RE: [FRnOG] Panne electrique a Equinix St Denis

2009-07-02 Par sujet Michael Winterson
To the FRnOG:

Desole pour le delai (j'ai du m'inscrire) et la mauvaise orthographe...

Ce jour à 11: 33, l'ensemble de nos alimentations ondulées du Rez de Chaussée a 
connu une interruption de service durant 1 minute.

La référence de ce rapport d'incident est le: 00162927.

Nous sommes conscients de la gêne que cela a pu occasionner à votre service et  
vous prions de bien vouloir nous en excuser.

Nos clients directs etaient contactes plusieurs fois après l'incident, 
specifiquement par email: 1st report sent at 11h44, 2sd sent at 12h08, 3rd sent 
at 15h06.

Une sommaire de l'incident est dessous.  Pour un rapport plus complet, veuillez 
contacter notre Service Desk : servicedesk.fra...@eu.equinix.com .

Summary of Report Information  Notification
Incident Report Reference No IR reference 00162927
Date of Incident Report June the 2th 2009
Incident Report Prepared By Jacques BEKDA
Summary of Incident on Services
Equinix IBX Location PA2 Rez de Chaussée
Services Affected Date  Time June the 2th 2009 à 11h33
Services Affected Chaîne de 6 UPS
Services Impacted L'alimentation ondulée de l'ensemble de notre Rez de Chaussée,
Services Restored Date  Time June the 2th 2009 at 11:34 am

Details of Incident
Descriptions / Overview of Incidents
* Ce jour à 11: 33, l'ensemble de nos alimentations ondulées du Rez de Chaussée 
a connu une interruption de
service durant 1 minute.
* Today at 1133 hrs all UPS power provision from the Ground floor system 
experienced a one minute
interuption.

Root Cause of Incident
* Ce jour, notre prestataire de maintenance, qui est le fabricant, est 
intervenu pour procéder à la vérification et la
réparation des afficheurs locaux de notre chaîne d'UPS du Rez de Chaussée qui 
est composée de 6 machines.
Suite à la réalisation de ces opérations sur les 5 premiers modules, et durant 
l'intervention sur la 6ème machine que le
prestataire a effectué une erreur de manipulation dans les commandes des UPS. 
Au lieu d'isoler le composant sur
lequel il était prévu d'intervenir, le technicien a provoqué l'arrêt de 
l'ensemble de la chaîne d'UPS.
* Today our specialist maintenece provider attended site to replace a defective 
screen to one of the UPS modules on
the system comprised of six modules.
The specialist engineer carried out diagnostic checks on the first five screens 
and it was during the final check, using
his laptop, that the interruption occurred. Instead of isolating the device to 
one module he shut down the output of
the UPS string output

Incident Resolution or Corrective Action
* La commande d'arrêt effectuée par erreur par le prestataire a agit 
directement sur le soft de l'outil de pilotage des
machines par le niveau « Administrateur » et a bloqué le fonctionnement du 
by-pass dont la fonction est d'assurer la
continuité de service.
Lorsque le technicien s'est rendu compte de son erreur, il a immédiatement 
tenté d'interrompre la procédure en
redémarrant les machines.
Le fonctionnement des UPS a été rétabli une minute après soit à 11:34.
* As the engineer was connected to the UPS system at « Administrator » level, 
he had complete control of the UPS
and so the system did not go to automatic by pass as it would in normal 
operation .
The engineer immediately recognised his error and reconnected the output of the 
UPS.
UPS power provision was restored at 1134 hrs.

Recommended or Preventive Action
* Revérification des outils de contrôle et des validations de chaque étape du 
processus en coordination entre les
équipes techniques d'Equinix et du prestataire,
* We will review the control tools that our specialist provider utilise and 
insist on a physical validation, as agreed,
to be made at every stage

Cordialement,

Michael Winterson
Vice President, Sales  Marketing, Europe
michael.winter...@eu.equinix.com 
+44 845 373 2931 TEL
+44 7881 588 246 MOB

EQUINIX
51-53 Great Marlborough Street
London, W1F 7JT U.K.
-Original Message-
From: owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] On Behalf Of Mikael 
Poussard
Sent: 02 July 2009 18:04
To: frnog@frnog.org
Subject: Re: [FRnOG] Panne electrique a Equinix St Denis



cam.la...@azerttyu.net wrote:
 Bonjour
 
 Parmi les infos glanées, on me dit que l'incident aurais eu lieu de
 11:33 à 11:34 (précisement) or si je regarde mes logs je vois un
 coupure de service de 11:16 à 11:26, et comme il y a synchro ntp je
 doute que le decalage horaire soit du à un pb d'horloge.
 
 Bien qu'en soit cela a peu d'importance, je suis curieux de comprendre
 la cause de cette anomalie, des idées ?


Bonjour,

Ce n'est clairement pas 11h34 mais plutôt 11h17 (ou 11h16 et
un paquet de secondes).

La coupure aurait durée moins d'une minute, étant donnée qu'il faut
compter le temps d'initialisation (des routeurs et serveurs), je
pense qu'on en est pas loin.

En tout cas à 11:26, c'était largement repartie.

-- 
Mikaël

---
Liste de diffusion du FRnOG
http://www.frnog.org/



This email is from Equinix Europe Limited