Re: [FRnOG] [TECH] MPLS dans un réseau métropolitain/régional ?
Le 2016-11-02 17:22, Jérôme Nicolle a écrit : Bonjour Steven, La réponse est MPLS. Quelle était la question ? Le problème que tu décris est le pain quotidien d'un opérateur B2B. C'est pas insoluble. Il n'y en a plus des masses qui se permettent de tourner sans MPLS, et de plus en plus qui lorgnent vers de l'automatisation. Il y a des alternatives, dont la plupart ne sont finalement pas arrivé au niveau de maturité ou à la couverture fonctionnelle suffisante pour percer. Trill est de celles-là. Il y a d'autres approches plus récentes, comme E-VPN/VXLAN qui pourraient aussi convenir (surtout si tu te fais mettre le grappin dessus par un commercial Arista, mais gaffe, pour le coup ils ne font ni MPLS ni support des optiques WDM dont tu pourrais avoir besoin). Hum sur ISIS si ? Comme n'importe quel constructeur, ils ne supportent pas les optiques tierces, mais il suffit d'un konami code. En terme de coûts, tu as un moyen simple de contenir ça : stratifier. L'idée est de construire une topologie de transport à base de switchs/routeurs qui causent E-VPN, SPRING ou LDP/RSVP - peu importe le dataplane - mais avec 400Gbps+ d'interfaces pour moins de 20k€ licences comprises. Inconvénient : pas de routage multicast, pas beaucoup de routes, limite en nombre de VRF… Donc tu fous des routeurs plus light (physiques ou virtuels) par dessus. Rajoute une couche logicielle pour orchestrer tout ça et tu seras plus hype qu'un bon 95% des abonnés de la liste. @+ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] MPLS dans un réseau métropolitain/régional ?
Hello, Nous avons eu besoin récemment de connectivité entre plusieurs DC en se passant du control plane STP. On a opté pour du VXLAN avec MP-BGP Les châssis pour un tel BB restent "bon marché" au sens où un Nexus 9372 fait ça très bien pour un tarif GPL de 22000 euros, rien à voir avec un ASR 1001-2X. A+ Emmanuel > Le 02/11/2016 à 17:24, Nicolas Parpandet a écrit : >> Pour l'unicast flooding, attention au routage asymétrique, mais si vous êtes >> en couche 2... >> pour la topologie spanning tree le plus interopérable me semble le MST >> (expérience...) >> J'ai des clients qui montent jusqu'à 1500 postes par vlan, et ça tiens, avec >> répartition sur plusieurs sites (milieu hospitalier) >> >> Pas plus d'infos à rajouter de mon côté ;) >> >> Nicolas >> >> >> - Mail original - >>> De: "steven brock" <ef14...@gmail.com> >>> À: "frnog-tech" <frnog-t...@frnog.org> >>> Envoyé: Mercredi 2 Novembre 2016 16:07:29 >>> Objet: [FRnOG][TECH] MPLS dans un réseau métropolitain/régional ? >>> Bonjour à tous, >>> >>> Nous opérons un réseau métropolitain « multi-tenant » raccordant plus d’une >>> centaine de bâtiments répartis sur 5 sites pour 7 utilisateurs. Nous >>> opérons également un réseau régional constitué d'une dizaine de sites ou de >>> bâtiments isolés sur des liaisons louées, ainsi que la connectivité vers >>> notre transitaire (deux interconnexions avec full view BGP) et un peering. >>> >>> Notre architecture actuelle repose sur un backbone de niveau 2 et de >>> quelques routeurs, le tout raccordé en 10 Gbps. >>> >>> La plupart des bâtiments sont raccordés sur des fibres nous appartement à 1 >>> Gbps (quelques-uns à 10 Gbps, ce nombre pouvant être amené à évoluer). La >>> capacité fibre disponible est confortable. >>> >>> >>> Dans quelques dizaines de bâtiments nous opérons le réseau jusqu’à la prise >>> dans un environnement multi constructeurs. Dans chaque bâtiment nous >>> fournissons au moins un commutateur marquant la limite de responsabilité >>> entre nous et le client, où nous fournissons les différents services sur >>> des ports Ethernet. >>> >>> Nous offrons les services suivants : >>> >>> - >>> >>> Routage de trafic IPv4/IPv6 unicast et multicast (plusieurs centaines de >>> réseaux), >>> - >>> >>> Connectivité niveau 2 étendu vers tous les points du réseau (L2L). 400 >>> vlans sont livrés sur plus de 2 sites (dont quelques uns sur l’ensemble >>> des >>> sites), >>> - >>> >>> Isolation de routage basé sur des VRF Lite (5 VRF pour le moment). Le >>> nombre de VRF est amené à évoluer prochainement dans le cadre de >>> réorganisations de réseaux, >>> - >>> >>> VPN L2 ou L3 pour différents besoins de clients, remontés sur le >>> backbone de notre opérateur. Ces VPN pourraient idéalement être >>> implémentée >>> par du BGP Labeled Unicast avec notre opérateurs de transit. La plupart >>> sont actuellement livrés sous forme d’un VLAN par notre opérateur. Ils >>> sont >>> prolongés dans les bâtiments sur du Vlan, >>> - >>> >>> Classes de services pour tous types de flux (TOIP, stockage, transferts >>> de gros volumes de données), >>> - >>> >>> Filtrage et load balancing basé sur des Firewalls Open Source (15 >>> plateformes), >>> - >>> >>> Plateforme VPN partagée permettant aux utilisateurs d’accéder à distance >>> dans leur propres réseaux en prolongeant le Vlan du réseau vers le serveur >>> VPN, >>> - >>> >>> Accès au réseau Wi-Fi sur 1300 AP contrôlés et répartis sur l’ensemble >>> des sites, permettant à un utilisateur identifié d'accéder directement à >>> son propre réseau, >>> - >>> >>> Services d'authentification des utilisateurs avec gestion des profils >>> notamment pour l’accès aux services VPN et Wi-Fi >>> >>> >>> Nous ne sommes pas satisfaits du design actuel de notre réseau en >>> particulier ce qui concerne la partie niveau 2 basée sur de la commutation >>> Ethernet et du Spanning Tree. Depuis sa mise en oeuvre nous rencontrons les >>> traditionnels problèmes des réseaux de niveau 2 : >>>- problèmes de charge CPU : nombre trop important de Vlans, >
Re: [FRnOG] [TECH] MPLS dans un réseau métropolitain/régional ?
Pour l'unicast flooding, attention au routage asymétrique, mais si vous êtes en couche 2... pour la topologie spanning tree le plus interopérable me semble le MST (expérience...) J'ai des clients qui montent jusqu'à 1500 postes par vlan, et ça tiens, avec répartition sur plusieurs sites (milieu hospitalier) Pas plus d'infos à rajouter de mon côté ;) Nicolas - Mail original - > De: "steven brock" <ef14...@gmail.com> > À: "frnog-tech" <frnog-t...@frnog.org> > Envoyé: Mercredi 2 Novembre 2016 16:07:29 > Objet: [FRnOG][TECH] MPLS dans un réseau métropolitain/régional ? > Bonjour à tous, > > Nous opérons un réseau métropolitain « multi-tenant » raccordant plus d’une > centaine de bâtiments répartis sur 5 sites pour 7 utilisateurs. Nous > opérons également un réseau régional constitué d'une dizaine de sites ou de > bâtiments isolés sur des liaisons louées, ainsi que la connectivité vers > notre transitaire (deux interconnexions avec full view BGP) et un peering. > > Notre architecture actuelle repose sur un backbone de niveau 2 et de > quelques routeurs, le tout raccordé en 10 Gbps. > > La plupart des bâtiments sont raccordés sur des fibres nous appartement à 1 > Gbps (quelques-uns à 10 Gbps, ce nombre pouvant être amené à évoluer). La > capacité fibre disponible est confortable. > > > Dans quelques dizaines de bâtiments nous opérons le réseau jusqu’à la prise > dans un environnement multi constructeurs. Dans chaque bâtiment nous > fournissons au moins un commutateur marquant la limite de responsabilité > entre nous et le client, où nous fournissons les différents services sur > des ports Ethernet. > > Nous offrons les services suivants : > > - > > Routage de trafic IPv4/IPv6 unicast et multicast (plusieurs centaines de > réseaux), > - > > Connectivité niveau 2 étendu vers tous les points du réseau (L2L). 400 > vlans sont livrés sur plus de 2 sites (dont quelques uns sur l’ensemble des > sites), > - > > Isolation de routage basé sur des VRF Lite (5 VRF pour le moment). Le > nombre de VRF est amené à évoluer prochainement dans le cadre de > réorganisations de réseaux, > - > > VPN L2 ou L3 pour différents besoins de clients, remontés sur le > backbone de notre opérateur. Ces VPN pourraient idéalement être implémentée > par du BGP Labeled Unicast avec notre opérateurs de transit. La plupart > sont actuellement livrés sous forme d’un VLAN par notre opérateur. Ils sont > prolongés dans les bâtiments sur du Vlan, > - > > Classes de services pour tous types de flux (TOIP, stockage, transferts > de gros volumes de données), > - > > Filtrage et load balancing basé sur des Firewalls Open Source (15 > plateformes), > - > > Plateforme VPN partagée permettant aux utilisateurs d’accéder à distance > dans leur propres réseaux en prolongeant le Vlan du réseau vers le serveur > VPN, > - > > Accès au réseau Wi-Fi sur 1300 AP contrôlés et répartis sur l’ensemble > des sites, permettant à un utilisateur identifié d'accéder directement à > son propre réseau, > - > > Services d'authentification des utilisateurs avec gestion des profils > notamment pour l’accès aux services VPN et Wi-Fi > > > Nous ne sommes pas satisfaits du design actuel de notre réseau en > particulier ce qui concerne la partie niveau 2 basée sur de la commutation > Ethernet et du Spanning Tree. Depuis sa mise en oeuvre nous rencontrons les > traditionnels problèmes des réseaux de niveau 2 : >- problèmes de charge CPU : nombre trop important de Vlans, > d’adresses mac et “bruit” propagé sur l’ensemble du réseau, > > - > > problèmes d'interopérabilité et de changement de topologie Spanning Tree, > - > > problèmes de flooding de trafic Unicast sur le coeur provoqués par des > bugs sur les commutateurs backbone, > - > > tempêtes de broadcast : erreurs de configuration ou boucles formées dans > les réseaux de bâtiment, > - > > temps de convergence trop longs en cas de ruptures de liens posant des > problèmes à certaines applications. > > > A ce jour le réseau est globalement stable grâce à la mise en place d’un > arsenal important de protections en bordure de réseau (storm control, bpdu > filtering, root guard, …) et à la diminution des domaines de broadcast dans > certains réseaux, étendus au fil du temps de manière anarchique > (segmentation dans des VRF Lite). > > La propagation des Vlans et la configuration de VRF lite est néanmoins > fastidieuse et donc parfois incohérente. Nous nous confrontons également > aux problèmes de provisionning et de dé-configuration. > > Nous red
Re: [FRnOG] [TECH] MPLS dans un réseau métropolitain/régional ?
Bonjour Steven, La réponse est MPLS. Quelle était la question ? Le problème que tu décris est le pain quotidien d'un opérateur B2B. C'est pas insoluble. Il n'y en a plus des masses qui se permettent de tourner sans MPLS, et de plus en plus qui lorgnent vers de l'automatisation. Il y a des alternatives, dont la plupart ne sont finalement pas arrivé au niveau de maturité ou à la couverture fonctionnelle suffisante pour percer. Trill est de celles-là. Il y a d'autres approches plus récentes, comme E-VPN/VXLAN qui pourraient aussi convenir (surtout si tu te fais mettre le grappin dessus par un commercial Arista, mais gaffe, pour le coup ils ne font ni MPLS ni support des optiques WDM dont tu pourrais avoir besoin). En terme de coûts, tu as un moyen simple de contenir ça : stratifier. L'idée est de construire une topologie de transport à base de switchs/routeurs qui causent E-VPN, SPRING ou LDP/RSVP - peu importe le dataplane - mais avec 400Gbps+ d'interfaces pour moins de 20k€ licences comprises. Inconvénient : pas de routage multicast, pas beaucoup de routes, limite en nombre de VRF… Donc tu fous des routeurs plus light (physiques ou virtuels) par dessus. Rajoute une couche logicielle pour orchestrer tout ça et tu seras plus hype qu'un bon 95% des abonnés de la liste. @+ -- Jérôme Nicolle 06 19 31 27 14 --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [TECH] MPLS dans un réseau métropolitain/régional ?
Bonjour à tous, Nous opérons un réseau métropolitain « multi-tenant » raccordant plus d’une centaine de bâtiments répartis sur 5 sites pour 7 utilisateurs. Nous opérons également un réseau régional constitué d'une dizaine de sites ou de bâtiments isolés sur des liaisons louées, ainsi que la connectivité vers notre transitaire (deux interconnexions avec full view BGP) et un peering. Notre architecture actuelle repose sur un backbone de niveau 2 et de quelques routeurs, le tout raccordé en 10 Gbps. La plupart des bâtiments sont raccordés sur des fibres nous appartement à 1 Gbps (quelques-uns à 10 Gbps, ce nombre pouvant être amené à évoluer). La capacité fibre disponible est confortable. Dans quelques dizaines de bâtiments nous opérons le réseau jusqu’à la prise dans un environnement multi constructeurs. Dans chaque bâtiment nous fournissons au moins un commutateur marquant la limite de responsabilité entre nous et le client, où nous fournissons les différents services sur des ports Ethernet. Nous offrons les services suivants : - Routage de trafic IPv4/IPv6 unicast et multicast (plusieurs centaines de réseaux), - Connectivité niveau 2 étendu vers tous les points du réseau (L2L). 400 vlans sont livrés sur plus de 2 sites (dont quelques uns sur l’ensemble des sites), - Isolation de routage basé sur des VRF Lite (5 VRF pour le moment). Le nombre de VRF est amené à évoluer prochainement dans le cadre de réorganisations de réseaux, - VPN L2 ou L3 pour différents besoins de clients, remontés sur le backbone de notre opérateur. Ces VPN pourraient idéalement être implémentée par du BGP Labeled Unicast avec notre opérateurs de transit. La plupart sont actuellement livrés sous forme d’un VLAN par notre opérateur. Ils sont prolongés dans les bâtiments sur du Vlan, - Classes de services pour tous types de flux (TOIP, stockage, transferts de gros volumes de données), - Filtrage et load balancing basé sur des Firewalls Open Source (15 plateformes), - Plateforme VPN partagée permettant aux utilisateurs d’accéder à distance dans leur propres réseaux en prolongeant le Vlan du réseau vers le serveur VPN, - Accès au réseau Wi-Fi sur 1300 AP contrôlés et répartis sur l’ensemble des sites, permettant à un utilisateur identifié d'accéder directement à son propre réseau, - Services d'authentification des utilisateurs avec gestion des profils notamment pour l’accès aux services VPN et Wi-Fi Nous ne sommes pas satisfaits du design actuel de notre réseau en particulier ce qui concerne la partie niveau 2 basée sur de la commutation Ethernet et du Spanning Tree. Depuis sa mise en oeuvre nous rencontrons les traditionnels problèmes des réseaux de niveau 2 : - problèmes de charge CPU : nombre trop important de Vlans, d’adresses mac et “bruit” propagé sur l’ensemble du réseau, - problèmes d'interopérabilité et de changement de topologie Spanning Tree, - problèmes de flooding de trafic Unicast sur le coeur provoqués par des bugs sur les commutateurs backbone, - tempêtes de broadcast : erreurs de configuration ou boucles formées dans les réseaux de bâtiment, - temps de convergence trop longs en cas de ruptures de liens posant des problèmes à certaines applications. A ce jour le réseau est globalement stable grâce à la mise en place d’un arsenal important de protections en bordure de réseau (storm control, bpdu filtering, root guard, …) et à la diminution des domaines de broadcast dans certains réseaux, étendus au fil du temps de manière anarchique (segmentation dans des VRF Lite). La propagation des Vlans et la configuration de VRF lite est néanmoins fastidieuse et donc parfois incohérente. Nous nous confrontons également aux problèmes de provisionning et de dé-configuration. Nous redéfinissons notre architecture réseau. Nous avons suffisamment de liens optiques pour imaginer plusieurs façons de raccorder le cœur. MPLS pourrait répondre à l'ensemble de nos besoins. Confrontés à un problème d’engorgement des liens (laboratoires de recherche très consommateurs en bande passante) nous pensons nous orienter vers des liens à au moins 40Gbs. MPLs n'est cependant pas bon marché lorsque l'on considère le prix d'une interface 40G ou 100G sur un routeur. Comparé à du MPLS, une solution de niveau 2 avec des interfaces backbone à 100Gbs et des bâtiments attachés à 10Gbs peut potentiellement être meilleurs marché. Nous nous interrogeons donc sur la fiabilité et l’exploitabilité dans notre contexte de technos alternatives du type Trill, SPB, ou des solutions magiques propriétaires. Si vous avez dû faire un choix récemment, avez vous choisi un design basé sur de MPLS quitte à sacrifier de la bande passante ? Comment avez vous justifié à votre encadrement que MPLS est la meilleure solution ? Si vous vous êtes tournés vers d’autres technos dans un contexte proche du nôtre, quel
