RE: [FRnOG] [TECH] Update firmware sur switch root RSTP
> Duchet Rémy a écrit : > La bascule d'un path est souvent un peu "lente", surtout si les timeout sont > élevés > (coté serveur), et j'ai déjà vu des VM (sous VMWARE) qui freeze dans des > conditions > identiques. Bref, pour un upgrade serein, avec le moins d'IO possible, vu le > design. +1 > Rémi Holveck a écrit : > Je suis presque serein maintenant ! Il ne faut pas avoir peur du problème. T'as fait tes devoirs, t'as fait un schéma, t'as posé des question. Suivant la taille de ton équipe, faut choisir l'heure. Moi, je fais ce genre de truc à 10 heures du matin un mardi, quand tout le monde est sur le pont. Pas d'IO sortant de l'ordinaire, possiblement stopper 2 ou 3 trucs qui sont pas critiques, et mon ingé VM et Nimble regarde son truc pendant que je fais le mien. Aussi important que de préparer la manip en elle-même : préparer comment minimiser la casse et redémarrer le machin s'il y a un gros plantage. > Je vous ferai un retour après l'opération qui aura lieu d'ici quelques > semaines. Un des pièges pourtant évident c'est d'oublier de sauver la config avec les ports down avant de rebooter. Avoir le portable sur le port console. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [TECH] Update firmware sur switch root RSTP
Hello, Pour les N4032, il faut aussi vérifier si l'iSCSI est activé, avec le session-monitoring. Autre chose, la liaison stockage <-> serveurs doit probablement utiliser du multipath. Si c'est une seule fabrique (comme le disait Michel) il faut aussi vérifier que les serveurs aient bien tous les "path" actifs. La bascule d'un path est souvent un peu "lente", surtout si les timeout sont élevés (coté serveur), et j'ai déjà vu des VM (sous VMWARE) qui freeze dans des conditions identiques. Bref, pour un upgrade serein, avec le moins d'IO possible, vu le design. Rémy -Original Message- From: frnog-requ...@frnog.org On Behalf Of Rémi Holveck Sent: Monday, 9 September 2019 10:51 Cc: frnog-t...@frnog.org Subject: Re: [FRnOG] [TECH] Update firmware sur switch root RSTP Bonjour, Merci pour vos réponses. En y ayant un peu plus réfléchi et en prenant en compte l'astuce de Michel je comprends mieux ce que fera RSTP à chaque étape. Je suis presque serein maintenant ! Je vous ferai un retour après l'opération qui aura lieu d'ici quelques semaines. On est d'accord que ce genre de réseau pour du stockage c'est pas idéal. Mais, "c'est comme ça pour le moment", pas le choix.. Ça a le mérite de faire se creuser un peu la tête ;) J'aurai appris des choses. Cordialement, Rémi Holveck Ingénieur Infrastucture SMILE OPS - https://ops.smile.eu --- Liste de diffusion du FRnOG http://www.frnog.org/ smime.p7s Description: S/MIME cryptographic signature
Re: [FRnOG] [TECH] Update firmware sur switch root RSTP
Bonjour, Merci pour vos réponses. En y ayant un peu plus réfléchi et en prenant en compte l'astuce de Michel je comprends mieux ce que fera RSTP à chaque étape. Je suis presque serein maintenant ! Je vous ferai un retour après l'opération qui aura lieu d'ici quelques semaines. On est d'accord que ce genre de réseau pour du stockage c'est pas idéal. Mais, "c'est comme ça pour le moment", pas le choix.. Ça a le mérite de faire se creuser un peu la tête ;) J'aurai appris des choses. Cordialement, Rémi Holveck Ingénieur Infrastucture SMILE OPS - https://ops.smile.eu --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [TECH] Update firmware sur switch root RSTP
> Christophe Lesur a écrit : > Je comprend que ton but est d’avoir de la redondance pour "le jour ou un > switch meurt, le stockage fonctionne". Pas seulement, lire plus bas. > Mon retour d’expérience c’est que, a part une alimentation qui meurt, c’est > souvent des comas. Le > switch est pas mort complément, il marchouille. Et la, avec une typologie > 802.1w, c’est Verdun. Je plussoie cette partie. Faut pas s'attendre à un miracle quand il y a un switch ou une linecard qui déconne sans être mort. Et spanning-tree çà aggrave le problème. > Je suis plus preneur d’avoir deux réseaux distincts (deux fabrics) chaque > réseau étant la redondance de l’autre, > mais dans le réseau, que des trucs simple et donc pas de 802.1w. Tu ne te > poserais pas ses questions et tu > aurais la certitude de pouvoir toucher à l’un des deux réseaux sans crainte. > Et ça te coute pas plus cher. Pas toujours possible ou pratique. En plus de çà, la redondance pour "le jour ou un switch meurt", ce n'est que la moitié de la raison. L'autre moitié c'est "le jour ou un abruti coupe ma fibre". Remplacer une optique, çà prends quelques minutes. Remplacer un switch, çà prend 1/2 heure. Re-souder de la fibre noire, çà peut prendre des heures. Surtout quand tu n'as pas de réflectomètre, que le con qui a coupé va essayer de sauver sa tête et ne va pas reporter la coupure, etc etc. J'ai des centaines de kilomètres de fibre noire en interne. Spanning-tree c'est un des trucs dont je me passerais volontiers, mais j'ai pas vraiment le choix. Les coupures de fibre çà n'arrive pas souvent, mais çà arrive. Je reconnais que dans bien des cas çà se rapproche de ISO-1664, mais c'est un problème profond. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] Update firmware sur switch root RSTP
+1 sur l’idée de Michel; Pour avoir longtemps pratiqué le MSTP/RSTP, sur un réseau de stockage, franchement, t’es chaud à utiliser cette techno. La meilleure façon de prédire ce qu’il va se passer, c’est de maitriser le shutdown des ports pour être certain que quand ton switch va revenir il n’existe pas de boucle physique. Je comprend que ton but est d’avoir de la redondance pour « le jour ou un switch meurt, le stockage fonctionne ». Mon retour d’expérience c’est que, a part une alimentation qui meurt, c’est souvent des comas. Le switch est pas mort complément, il marchouille. Et la, avec une typologie 802.1w, c’est Verdun. Je suis plus preneur d’avoir deux réseaux distincts (deux fabrics) chaque réseau étant la redondance de l’autre, mais dans le réseau, que des trucs simple et donc pas de 802.1w. Tu ne te poserais pas ses questions et tu aurais la certitude de pouvoir toucher à l’un des deux réseaux sans crainte. Et ça te coute pas plus cher. Preneur de ton retour d’expérience. Bon courage. Chris. > Le 7 sept. 2019 à 05:07, Michel Py a > écrit : > >> Rémi Holveck a écrit : >> Pour cela, deux possibilités : augmenter la priorité de sw-core1 à 12288, ou >> baisser celle de sw-core2 à 0. > > Note : je ne connais pas les switch Dell. Mais si c'était du Cisco : aucune > de tes deux options. > > La manière dont je ferais çà : shutdown des ports. Il n'y a rien de plus > rapide pour faire spanning-tree réaliser que quelque chose a changé. > Tu mets ton portable sur le port console, tu fais un shutdown du ou des > ports. T'as gagné quelques millisecondes avant que les paquets STP soient > envoyés. > Sur un Cisco, l'évènement du port qui passe en shut va immédiatement > provoquer un recalcul de spanning-tree. > > Quand tu rebootes sw-core1, tous tes ports sont en shut donc rien ne se > passe. Tu les mets en no-shut 1 par 1. > > Au pif, sur sw-core1 je ferais un shutdown sur le port vers sw-san1, puis le > reste, mais c'est ton réseau. > Démerdes-toi, le ciel t'aidera. Si tu survis, çà serait cool de poster là ou > tu as merdé et là ou t'avais raison. > > Michel. > > > > --- > Liste de diffusion du FRnOG > http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] [TECH] Update firmware sur switch root RSTP
> Rémi Holveck a écrit : > Pour cela, deux possibilités : augmenter la priorité de sw-core1 à 12288, ou > baisser celle de sw-core2 à 0. Note : je ne connais pas les switch Dell. Mais si c'était du Cisco : aucune de tes deux options. La manière dont je ferais çà : shutdown des ports. Il n'y a rien de plus rapide pour faire spanning-tree réaliser que quelque chose a changé. Tu mets ton portable sur le port console, tu fais un shutdown du ou des ports. T'as gagné quelques millisecondes avant que les paquets STP soient envoyés. Sur un Cisco, l'évènement du port qui passe en shut va immédiatement provoquer un recalcul de spanning-tree. Quand tu rebootes sw-core1, tous tes ports sont en shut donc rien ne se passe. Tu les mets en no-shut 1 par 1. Au pif, sur sw-core1 je ferais un shutdown sur le port vers sw-san1, puis le reste, mais c'est ton réseau. Démerdes-toi, le ciel t'aidera. Si tu survis, çà serait cool de poster là ou tu as merdé et là ou t'avais raison. Michel. --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [TECH] Update firmware sur switch root RSTP
Bonjour à tous,
J'ai besoin de faire une mise à jour de firmware sur un switch Dell N4032
("sw-core1"). Ce switch est actuellement root RSTP. Le schéma suivant
représente une version simplifiée du réseau :
root RSTP
prio 4096prio 8192
+--+ +--+
| |dsg root| |
| sw-core1 +-+ sw-core2 |
| | poids:250 | |
+--+ +--+
|dsg|dsg
| |
|poids:2000 |poids:2000
| |
|root |root
+--+ +--+
| |dsg alt| |
| sw-san1 +-+ sw-san2 |
| | poids:1000 | |
+--+ +--+
prio 32768 prio 32768
Lors de l'update de firmware le switch devra redémarrer sur son nouveau
firmware et sera donc temporairement isolé du réseau.
La première étape me semble être de passer sw-core2 root RSTP. Ainsi lors de
l'extinction et du rallumage de sw-core1 les recalculs RSTP n'impliqueront
(d'après moi) aucun timer et seront quasi immédiats.
Pour cela, deux possibilités : augmenter la priorité de sw-core1 à 12288, ou
baisser celle de sw-core2 à 0.
La première possibilité, d'après ce que j'ai lu est une mauvaise idée puisque
cela implique un type de recalcul RSTP avec des timers en jeu (donc un temps
d'indisponibilité plus élevé).
La seconde possibilité semble donc celle à privilégier. Mais lors du retour de
sw-core1 dans le réseau avec sa priorité à 4096, je voudrai alors repasser la
priorité de sw-core2 de 0 à 8192, et je me retrouve donc avec le même problème
que précédemment.
Ma question : Quelle est selon vous la meilleur manière de procéder pour
minimiser le temps d'indisponibilité du réseau lié aux changements de topologie
RSTP ?
Quelques infos de contexte qui peuvent être utiles : C'est un réseau de
storage, PortFast est activé sur tous les ports Edge, et d'autre boucles
similaires sont reliées aux sw-core.
--
Cordialement,
Rémi Holveck
Ingénieur Infrastucture
SMILE OPS - https://ops.smile.eu
---
Liste de diffusion du FRnOG
http://www.frnog.org/
