Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-08 Par sujet Guillaume Barrot 
Le 6 décembre 2017 à 21:37, Vincent Jardin  a
écrit :

> Question naïve : pourquoi un ASIC ?
> Combien de ports 10G 25G 100G ?
>

Densité de ports : minimum 48 x 10G/25G, pour un cout au port pas
déconnant.

---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-08 Par sujet Ali Djidjelli 
Salut

ça fait un lookup par cycle

Cdt

Ali

Le 7 décembre 2017 à 19:07, Michel Py 
a écrit :

> > Guillaume Barrot a écrit :
> > En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on
> peut chainer les TCAM,
>
> Merci pour les liens intéressants, j'avais jamais réalisé qu'on pouvait
> chainer les TCAM.
> J'ai une question bête à propos de la TCAM, d'ailleurs : Ca fait un lookup
> en combien de cycles d'horloge ? 1 cycle ?
>
> > [..] et beaucoup (beaucoup) d'huile de coude pour faire tomber tout ça
> en marche.
>
> +1
>
>
> > un switch 48 x 10G à 5k€, ça tiendra pas la full route
>
> Je viens d'acheter des Nexus n3064PQ 48 x 10G + 4 x 40G d'occase pour 1k€
> ;-) il y a que 8000 routes, mais çà suffit à mes petits besoins. Je crois
> que c'est du Trident comme chipset, le processeur est un Celeron.
>
> Michel.
>
>
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-07 Par sujet Michel Py 
> Guillaume Barrot a écrit :
> En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on peut 
> chainer les TCAM,

Merci pour les liens intéressants, j'avais jamais réalisé qu'on pouvait chainer 
les TCAM.
J'ai une question bête à propos de la TCAM, d'ailleurs : Ca fait un lookup en 
combien de cycles d'horloge ? 1 cycle ?

> [..] et beaucoup (beaucoup) d'huile de coude pour faire tomber tout ça en 
> marche.

+1


> un switch 48 x 10G à 5k€, ça tiendra pas la full route

Je viens d'acheter des Nexus n3064PQ 48 x 10G + 4 x 40G d'occase pour 1k€ ;-) 
il y a que 8000 routes, mais çà suffit à mes petits besoins. Je crois que c'est 
du Trident comme chipset, le processeur est un Celeron.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-06 Par sujet Franck Jonas 
Bonsoir Messieurs
Ravi de pouvoir vous eclairer cote Mellanox
Contactez moi des que possible.
Amt

Franck Jonas
Channel Sales Manager Southern Europe
Mobile: +33 786 497 456
Email : fran...@mellanox.com
Website: www.mellanox.com

From: frnog-requ...@frnog.org <frnog-requ...@frnog.org> on behalf of Vincent 
Jardin <vincent.jar...@6wind.com>
Sent: Wednesday, December 6, 2017 9:37:05 PM
To: guillaume.bar...@gmail.com; Sylvain COUTANT
Cc: frnog-t...@frnog.org
Subject: Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

Question naïve : pourquoi un ASIC ?
Combien de ports 10G 25G 100G ?


Le 6 décembre 2017 9:28:23 PM Guillaume Barrot <guillaume.bar...@gmail.com>
a écrit :

> Cadeau :
>
> https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fblog.ipspace.net%2F2016%2F05%2Fwhat-are-problems-with-broadcom.html=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332=hMSB1Jie1SwRB1onb6s0vBy52R1GASeT8DYJE3z0G0s%3D=0
>
> Un constructeur qui n'est pas transparent sur les capa de son chip, déjà
> c'est pas rassurant.
>
> Ce qu'il faut voir, c'est le support historique du Trident, et pourquoi un
> projet comme SAI 
> <https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FBroadcom-Switch%2FSAI=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332=Hekns9og%2BuPxTPjILRTLYLFCt7ihsMOjZhrgJUC%2Fh%2F8%3D=0>est
>  un semi fail.
> Bon, en rapide ? Ben si tu veux pouvoir coder sur l'ASIC, faut payer
> Broadcom pour avoir le droit de toucher le SDK. Et plus tu payes, plus tu
> as accès au SDK. Donc forcément, le mec qui paye pas beaucoup (Cisco Nexus
> basés sur du Broadcom) n'a pas accès à tout le SDK, donc à moins de feature
> qu'un "bon payeur" sur le même ASIC (Arista).
>
> Ensuite, les Qumran sont une sous gamme des StrataDNX. Pour les comparer
> aux Tridents, tu peux lire cet article qui est pas mal (mais un peu orienté
> quand même)
>
> https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.linkedin.com%2Fpulse%2Fcomparing-broadcom-silicons-used-datacenter-switches-reza-toghraee%2F=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332=cOEVqSxixZNEEHQCk277r8TGlWYWLgNXzH6Pzih8iyw%3D=0
>
> En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on
> peut chainer les TCAM, et qu'on peut utiliser de la simple DDR4 en buffer.
> Pari pas forcément déconnant quand on voit les niveaux de perf possibles
> sur ces différents matos.
> Cependant, ça veut aussi dire que les StrataDNX ne sont même pas
> comparables entre deux plateformes équipées du même ASIC, car, si
> l'intégrateur a ajouté une secondary TCAM et/ou de la DDR4 en plus, il n'a
> clairement pas les mêmes perfs max que son voisin.
> Edge Core est un bon mauvais exemple, vu que leur Datasheet est clairement
> vide sur le sujet performance, et qu'on voit aussi qu'ils sont déjà à la R5
> sur cette gamme de switchs, donc quels ont été les modifs apportées entre
> les 5 révisions ? Mystère.
> Si tu regardes un autre fournisseur basé sur le même ASIC
>
> https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.xentech.nl%2Fnetworking%2Fswitches%2Fagema-agc7648a.html=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332=CfDOXCJ5MYkmLEytzwnHUkzZzQnl%2BMKEnUCn%2Bsgw%2BHw%3D=0
>
> y a un peu plus niveau performance, notamment : L3 LPM: Max 128K (LPM mode)
> 16K (TCAM-only mode)
> Donc là, joie et bonheur, y a deux modes pour le lookup L3, un mode TCAM
> only, et un autre mode, plus performant. Comment ça peut marcher ? No se.
> Mais bon, on sent le "bah vas y met les routes dans la DDR4, ils verront
> pas la différence". Et là, c'est quoi tes perfs en lookup (donc en
> forwarding L3) ? Bah faut y coller un IXIA et tester, mais bon la latence
> d'une excellente DDR4 est quand même loin derrière la latence d'une TCAM
> (cf cet article,
> <https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fnetworkengineering.stackexchange.com%2Fquestions%2F5632%2Ftcam-relationships-in-hardware-switching-architecture=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332=ijxXcgCh2fVsR9zQX309KLLHZSRpQDu%2B%2BfRYJ0QLkLs%3D=0>
> première réponse, qui est pas mal pour bien comprendre la différence
> fondamentale entre TCAM et xRAM, et pourquoi une TCAM sera toujours plus
> chère, mais beaucoup plus performante pour ce genre de besoin).
>
> Conclusion de tout ça ?
> Y a pas

Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-06 Par sujet Vincent Jardin 

Question naïve : pourquoi un ASIC ?
Combien de ports 10G 25G 100G ?


Le 6 décembre 2017 9:28:23 PM Guillaume Barrot  
a écrit :



Cadeau :

http://blog.ipspace.net/2016/05/what-are-problems-with-broadcom.html

Un constructeur qui n'est pas transparent sur les capa de son chip, déjà
c'est pas rassurant.

Ce qu'il faut voir, c'est le support historique du Trident, et pourquoi un
projet comme SAI est un semi fail.
Bon, en rapide ? Ben si tu veux pouvoir coder sur l'ASIC, faut payer
Broadcom pour avoir le droit de toucher le SDK. Et plus tu payes, plus tu
as accès au SDK. Donc forcément, le mec qui paye pas beaucoup (Cisco Nexus
basés sur du Broadcom) n'a pas accès à tout le SDK, donc à moins de feature
qu'un "bon payeur" sur le même ASIC (Arista).

Ensuite, les Qumran sont une sous gamme des StrataDNX. Pour les comparer
aux Tridents, tu peux lire cet article qui est pas mal (mais un peu orienté
quand même)

https://www.linkedin.com/pulse/comparing-broadcom-silicons-used-datacenter-switches-reza-toghraee/

En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on
peut chainer les TCAM, et qu'on peut utiliser de la simple DDR4 en buffer.
Pari pas forcément déconnant quand on voit les niveaux de perf possibles
sur ces différents matos.
Cependant, ça veut aussi dire que les StrataDNX ne sont même pas
comparables entre deux plateformes équipées du même ASIC, car, si
l'intégrateur a ajouté une secondary TCAM et/ou de la DDR4 en plus, il n'a
clairement pas les mêmes perfs max que son voisin.
Edge Core est un bon mauvais exemple, vu que leur Datasheet est clairement
vide sur le sujet performance, et qu'on voit aussi qu'ils sont déjà à la R5
sur cette gamme de switchs, donc quels ont été les modifs apportées entre
les 5 révisions ? Mystère.
Si tu regardes un autre fournisseur basé sur le même ASIC

http://www.xentech.nl/networking/switches/agema-agc7648a.html

y a un peu plus niveau performance, notamment : L3 LPM: Max 128K (LPM mode)
16K (TCAM-only mode)
Donc là, joie et bonheur, y a deux modes pour le lookup L3, un mode TCAM
only, et un autre mode, plus performant. Comment ça peut marcher ? No se.
Mais bon, on sent le "bah vas y met les routes dans la DDR4, ils verront
pas la différence". Et là, c'est quoi tes perfs en lookup (donc en
forwarding L3) ? Bah faut y coller un IXIA et tester, mais bon la latence
d'une excellente DDR4 est quand même loin derrière la latence d'une TCAM
(cf cet article,

première réponse, qui est pas mal pour bien comprendre la différence
fondamentale entre TCAM et xRAM, et pourquoi une TCAM sera toujours plus
chère, mais beaucoup plus performante pour ce genre de besoin).

Conclusion de tout ça ?
Y a pas de magie, un Nexus 9k ou un QFX, bien négocié, c'est le même prix
qu'un Open networking switch. (je raisonne sur le hardware pur, sans
licence)
Donc un ASR9K ou un MX, bien négocié, ça te donne le prix que tu vas sortir
pour construire une plateforme aux performances équivalentes sur de
l'opennetworking. (idem, hardware pur, sans licence)
Il ne faut pas réver, un switch 48 x 10G à 5k€, ça tiendra pas la full
route et ça permettra pas de faire le même job qu'un PE à 15k€, de la même
façon que tu tournes pas la même chose sur un X86 dual proc à 5k€ et un
P690 à 64 CPU multicores à 1M€ pièce.
Pas les mêmes besoins, pas le même hardware, pas les mêmes perfs.

Pour faire du PE sous Linux, là, maintenant, tu as un serveur X86, des
bonnes cartes réseaux, du DPDK, du FRR, et beaucoup (beaucoup) d'huile de
coude pour faire tomber tout ça en marche. Ou passer par une boite qui te
fournit direct le soft pour que ça marche.
Mais y a pas de miracle, niveau densité de ports, et limitations dues au
bus PCI, t'es loin derrière un PE Junisco.

Y a-t-il des ASICs magiques qui existent ou vont exister avec une
profondeur de TCAM permettant de tenir la full route ? Surement. (J'en
connais au moins un)
Faudrait demander à Broadcom, Mellanox, Marvell/Cavium et autres de venir
en parler au prochain FRNog par exemple



Le 6 décembre 2017 à 11:38, Sylvain COUTANT  a
écrit :


Bonjour à tous,

Je suis à la recherche de retours d'expérience sur l'utilisation possible
de switchs ONIE L2/L3 en edge.

Le modèle qui attire notre attention actuellement est un EdgeCore
AS5912-54X basé sur un chipset Broadcom QumranMX BCM88370. Ce qui est assez
surprenant déjà, c'est l'absence d'informations détaillées sur ce chipset
(même pas référencé sur le site Broadcom !). On trouve des specs dans
quelques rares documents qui font état d'un support jusqu'à 8 millions de
routes IPv4, d'une capa de switching de 800 Gbps, du support VXLAN/NVGRE,
etc. Mais cela reste un peu flou.

Y-a-t-il ici des équipes qui ont testé et/ou mis en prod autre chose que
le classique Trident/Trident2/Trident2+ (et donc en

Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-06 Par sujet Guillaume Barrot 
Cadeau :

http://blog.ipspace.net/2016/05/what-are-problems-with-broadcom.html

Un constructeur qui n'est pas transparent sur les capa de son chip, déjà
c'est pas rassurant.

Ce qu'il faut voir, c'est le support historique du Trident, et pourquoi un
projet comme SAI est un semi fail.
Bon, en rapide ? Ben si tu veux pouvoir coder sur l'ASIC, faut payer
Broadcom pour avoir le droit de toucher le SDK. Et plus tu payes, plus tu
as accès au SDK. Donc forcément, le mec qui paye pas beaucoup (Cisco Nexus
basés sur du Broadcom) n'a pas accès à tout le SDK, donc à moins de feature
qu'un "bon payeur" sur le même ASIC (Arista).

Ensuite, les Qumran sont une sous gamme des StrataDNX. Pour les comparer
aux Tridents, tu peux lire cet article qui est pas mal (mais un peu orienté
quand même)

https://www.linkedin.com/pulse/comparing-broadcom-silicons-used-datacenter-switches-reza-toghraee/

En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on
peut chainer les TCAM, et qu'on peut utiliser de la simple DDR4 en buffer.
Pari pas forcément déconnant quand on voit les niveaux de perf possibles
sur ces différents matos.
Cependant, ça veut aussi dire que les StrataDNX ne sont même pas
comparables entre deux plateformes équipées du même ASIC, car, si
l'intégrateur a ajouté une secondary TCAM et/ou de la DDR4 en plus, il n'a
clairement pas les mêmes perfs max que son voisin.
Edge Core est un bon mauvais exemple, vu que leur Datasheet est clairement
vide sur le sujet performance, et qu'on voit aussi qu'ils sont déjà à la R5
sur cette gamme de switchs, donc quels ont été les modifs apportées entre
les 5 révisions ? Mystère.
Si tu regardes un autre fournisseur basé sur le même ASIC

http://www.xentech.nl/networking/switches/agema-agc7648a.html

y a un peu plus niveau performance, notamment : L3 LPM: Max 128K (LPM mode)
16K (TCAM-only mode)
Donc là, joie et bonheur, y a deux modes pour le lookup L3, un mode TCAM
only, et un autre mode, plus performant. Comment ça peut marcher ? No se.
Mais bon, on sent le "bah vas y met les routes dans la DDR4, ils verront
pas la différence". Et là, c'est quoi tes perfs en lookup (donc en
forwarding L3) ? Bah faut y coller un IXIA et tester, mais bon la latence
d'une excellente DDR4 est quand même loin derrière la latence d'une TCAM
(cf cet article,

première réponse, qui est pas mal pour bien comprendre la différence
fondamentale entre TCAM et xRAM, et pourquoi une TCAM sera toujours plus
chère, mais beaucoup plus performante pour ce genre de besoin).

Conclusion de tout ça ?
Y a pas de magie, un Nexus 9k ou un QFX, bien négocié, c'est le même prix
qu'un Open networking switch. (je raisonne sur le hardware pur, sans
licence)
Donc un ASR9K ou un MX, bien négocié, ça te donne le prix que tu vas sortir
pour construire une plateforme aux performances équivalentes sur de
l'opennetworking. (idem, hardware pur, sans licence)
Il ne faut pas réver, un switch 48 x 10G à 5k€, ça tiendra pas la full
route et ça permettra pas de faire le même job qu'un PE à 15k€, de la même
façon que tu tournes pas la même chose sur un X86 dual proc à 5k€ et un
P690 à 64 CPU multicores à 1M€ pièce.
Pas les mêmes besoins, pas le même hardware, pas les mêmes perfs.

Pour faire du PE sous Linux, là, maintenant, tu as un serveur X86, des
bonnes cartes réseaux, du DPDK, du FRR, et beaucoup (beaucoup) d'huile de
coude pour faire tomber tout ça en marche. Ou passer par une boite qui te
fournit direct le soft pour que ça marche.
Mais y a pas de miracle, niveau densité de ports, et limitations dues au
bus PCI, t'es loin derrière un PE Junisco.

Y a-t-il des ASICs magiques qui existent ou vont exister avec une
profondeur de TCAM permettant de tenir la full route ? Surement. (J'en
connais au moins un)
Faudrait demander à Broadcom, Mellanox, Marvell/Cavium et autres de venir
en parler au prochain FRNog par exemple



Le 6 décembre 2017 à 11:38, Sylvain COUTANT  a
écrit :

> Bonjour à tous,
>
> Je suis à la recherche de retours d'expérience sur l'utilisation possible
> de switchs ONIE L2/L3 en edge.
>
> Le modèle qui attire notre attention actuellement est un EdgeCore
> AS5912-54X basé sur un chipset Broadcom QumranMX BCM88370. Ce qui est assez
> surprenant déjà, c'est l'absence d'informations détaillées sur ce chipset
> (même pas référencé sur le site Broadcom !). On trouve des specs dans
> quelques rares documents qui font état d'un support jusqu'à 8 millions de
> routes IPv4, d'une capa de switching de 800 Gbps, du support VXLAN/NVGRE,
> etc. Mais cela reste un peu flou.
>
> Y-a-t-il ici des équipes qui ont testé et/ou mis en prod autre chose que
> le classique Trident/Trident2/Trident2+ (et donc en particulier du QumranMX
> !) et qui pourraient partager leur expérience ?
>
>
> /Sylvain.
>
>
>
> ---
> Liste de

[FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge

2017-12-06 Par sujet Sylvain COUTANT 

Bonjour à tous,

Je suis à la recherche de retours d'expérience sur l'utilisation 
possible de switchs ONIE L2/L3 en edge.


Le modèle qui attire notre attention actuellement est un EdgeCore 
AS5912-54X basé sur un chipset Broadcom QumranMX BCM88370. Ce qui est 
assez surprenant déjà, c'est l'absence d'informations détaillées sur ce 
chipset (même pas référencé sur le site Broadcom !). On trouve des specs 
dans quelques rares documents qui font état d'un support jusqu'à 8 
millions de routes IPv4, d'une capa de switching de 800 Gbps, du support 
VXLAN/NVGRE, etc. Mais cela reste un peu flou.


Y-a-t-il ici des équipes qui ont testé et/ou mis en prod autre chose que 
le classique Trident/Trident2/Trident2+ (et donc en particulier du 
QumranMX !) et qui pourraient partager leur expérience ?



/Sylvain.



---
Liste de diffusion du FRnOG
http://www.frnog.org/