Bonsoir Messieurs Ravi de pouvoir vous eclairer cote Mellanox Contactez moi des que possible. Amt
Franck Jonas Channel Sales Manager Southern Europe Mobile: +33 786 497 456 Email : [email protected] Website: www.mellanox.com ________________________________ From: [email protected] <[email protected]> on behalf of Vincent Jardin <[email protected]> Sent: Wednesday, December 6, 2017 9:37:05 PM To: [email protected]; Sylvain COUTANT Cc: [email protected] Subject: Re: [FRnOG] [TECH] Switchs/Routeurs "Bare Metal" Edge Question naïve : pourquoi un ASIC ? Combien de ports 10G 25G 100G ? Le 6 décembre 2017 9:28:23 PM Guillaume Barrot <[email protected]> a écrit : > Cadeau : > > https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fblog.ipspace.net%2F2016%2F05%2Fwhat-are-problems-with-broadcom.html&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=hMSB1Jie1SwRB1onb6s0vBy52R1GASeT8DYJE3z0G0s%3D&reserved=0 > > Un constructeur qui n'est pas transparent sur les capa de son chip, déjà > c'est pas rassurant. > > Ce qu'il faut voir, c'est le support historique du Trident, et pourquoi un > projet comme SAI > <https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FBroadcom-Switch%2FSAI&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=Hekns9og%2BuPxTPjILRTLYLFCt7ihsMOjZhrgJUC%2Fh%2F8%3D&reserved=0>est > un semi fail. > Bon, en rapide ? Ben si tu veux pouvoir coder sur l'ASIC, faut payer > Broadcom pour avoir le droit de toucher le SDK. Et plus tu payes, plus tu > as accès au SDK. Donc forcément, le mec qui paye pas beaucoup (Cisco Nexus > basés sur du Broadcom) n'a pas accès à tout le SDK, donc à moins de feature > qu'un "bon payeur" sur le même ASIC (Arista). > > Ensuite, les Qumran sont une sous gamme des StrataDNX. Pour les comparer > aux Tridents, tu peux lire cet article qui est pas mal (mais un peu orienté > quand même) > > https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.linkedin.com%2Fpulse%2Fcomparing-broadcom-silicons-used-datacenter-switches-reza-toghraee%2F&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=cOEVqSxixZNEEHQCk277r8TGlWYWLgNXzH6Pzih8iyw%3D&reserved=0 > > En clair, pour ajouter de la capa de lookup, Broadcom fait le pari qu'on > peut chainer les TCAM, et qu'on peut utiliser de la simple DDR4 en buffer. > Pari pas forcément déconnant quand on voit les niveaux de perf possibles > sur ces différents matos. > Cependant, ça veut aussi dire que les StrataDNX ne sont même pas > comparables entre deux plateformes équipées du même ASIC, car, si > l'intégrateur a ajouté une secondary TCAM et/ou de la DDR4 en plus, il n'a > clairement pas les mêmes perfs max que son voisin. > Edge Core est un bon mauvais exemple, vu que leur Datasheet est clairement > vide sur le sujet performance, et qu'on voit aussi qu'ils sont déjà à la R5 > sur cette gamme de switchs, donc quels ont été les modifs apportées entre > les 5 révisions ? Mystère. > Si tu regardes un autre fournisseur basé sur le même ASIC > > https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.xentech.nl%2Fnetworking%2Fswitches%2Fagema-agc7648a.html&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=CfDOXCJ5MYkmLEytzwnHUkzZzQnl%2BMKEnUCn%2Bsgw%2BHw%3D&reserved=0 > > y a un peu plus niveau performance, notamment : L3 LPM: Max 128K (LPM mode) > 16K (TCAM-only mode) > Donc là, joie et bonheur, y a deux modes pour le lookup L3, un mode TCAM > only, et un autre mode, plus performant. Comment ça peut marcher ? No se. > Mais bon, on sent le "bah vas y met les routes dans la DDR4, ils verront > pas la différence". Et là, c'est quoi tes perfs en lookup (donc en > forwarding L3) ? Bah faut y coller un IXIA et tester, mais bon la latence > d'une excellente DDR4 est quand même loin derrière la latence d'une TCAM > (cf cet article, > <https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fnetworkengineering.stackexchange.com%2Fquestions%2F5632%2Ftcam-relationships-in-hardware-switching-architecture&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=ijxXcgCh2fVsR9zQX309KLLHZSRpQDu%2B%2BfRYJ0QLkLs%3D&reserved=0> > première réponse, qui est pas mal pour bien comprendre la différence > fondamentale entre TCAM et xRAM, et pourquoi une TCAM sera toujours plus > chère, mais beaucoup plus performante pour ce genre de besoin). > > Conclusion de tout ça ? > Y a pas de magie, un Nexus 9k ou un QFX, bien négocié, c'est le même prix > qu'un Open networking switch. (je raisonne sur le hardware pur, sans > licence) > Donc un ASR9K ou un MX, bien négocié, ça te donne le prix que tu vas sortir > pour construire une plateforme aux performances équivalentes sur de > l'opennetworking. (idem, hardware pur, sans licence) > Il ne faut pas réver, un switch 48 x 10G à 5k€, ça tiendra pas la full > route et ça permettra pas de faire le même job qu'un PE à 15k€, de la même > façon que tu tournes pas la même chose sur un X86 dual proc à 5k€ et un > P690 à 64 CPU multicores à 1M€ pièce. > Pas les mêmes besoins, pas le même hardware, pas les mêmes perfs. > > Pour faire du PE sous Linux, là, maintenant, tu as un serveur X86, des > bonnes cartes réseaux, du DPDK, du FRR, et beaucoup (beaucoup) d'huile de > coude pour faire tomber tout ça en marche. Ou passer par une boite qui te > fournit direct le soft pour que ça marche. > Mais y a pas de miracle, niveau densité de ports, et limitations dues au > bus PCI, t'es loin derrière un PE Junisco. > > Y a-t-il des ASICs magiques qui existent ou vont exister avec une > profondeur de TCAM permettant de tenir la full route ? Surement. (J'en > connais au moins un) > Faudrait demander à Broadcom, Mellanox, Marvell/Cavium et autres de venir > en parler au prochain FRNog par exemple > > > > Le 6 décembre 2017 à 11:38, Sylvain COUTANT <[email protected]> a > écrit : > >> Bonjour à tous, >> >> Je suis à la recherche de retours d'expérience sur l'utilisation possible >> de switchs ONIE L2/L3 en edge. >> >> Le modèle qui attire notre attention actuellement est un EdgeCore >> AS5912-54X basé sur un chipset Broadcom QumranMX BCM88370. Ce qui est assez >> surprenant déjà, c'est l'absence d'informations détaillées sur ce chipset >> (même pas référencé sur le site Broadcom !). On trouve des specs dans >> quelques rares documents qui font état d'un support jusqu'à 8 millions de >> routes IPv4, d'une capa de switching de 800 Gbps, du support VXLAN/NVGRE, >> etc. Mais cela reste un peu flou. >> >> Y-a-t-il ici des équipes qui ont testé et/ou mis en prod autre chose que >> le classique Trident/Trident2/Trident2+ (et donc en particulier du QumranMX >> !) et qui pourraient partager leur expérience ? >> >> >> /Sylvain. >> >> >> >> --------------------------- >> Liste de diffusion du FRnOG >> https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.frnog.org%2F&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=HTSLyivQ2J5wyO5em6tjlWXhOqMRp8uxjYv8Lb1DBFY%3D&reserved=0 >> > > > > -- > Cordialement, > > Guillaume BARROT > > --------------------------- > Liste de diffusion du FRnOG > https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.frnog.org%2F&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=HTSLyivQ2J5wyO5em6tjlWXhOqMRp8uxjYv8Lb1DBFY%3D&reserved=0 --------------------------- Liste de diffusion du FRnOG https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fwww.frnog.org%2F&data=02%7C01%7Cfranckj%40mellanox.com%7C76825fcf0ab1416bca3b08d53ce9482e%7Ca652971c7d2e4d9ba6a4d149256f461b%7C0%7C0%7C636481894998081332&sdata=HTSLyivQ2J5wyO5em6tjlWXhOqMRp8uxjYv8Lb1DBFY%3D&reserved=0 --------------------------- Liste de diffusion du FRnOG http://www.frnog.org/
