RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Michel Py via frnog 
> Arnaud Launay a écrit :
> A noter, des modules fs.com de 1G ou 10G "génériques" fonctionnent, par 
> contre des modules
> fs.com (ou autre) en 1G bidi ne fonctionnent pas, mais de façon 
> silencieuse... C'est très curieux.

C'est pas inconnu en bidi; est-ce que tu as essayé de recoder l'optique en LR ?

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Arnaud Launay 
Le Fri, Aug 27, 2021 at 01:50:08PM +0200, Hugues Voiturier a écrit:
> J’ai du deb9-11 en prod avec ce paramètre, j’imagine que ce dont tu parles 
> devait être antérieur a ces versions ? 

En ixbge, le paramètre est bien présent.

En i40e, utilisé sur les x710, ça n'existe pas...

if ((status->link_info & I40E_AQ_MEDIA_AVAILABLE) && (!(status->an_info & 
I40E_AQ_QUALIFIED_MODULE)) && (!(status->link_info & I40E_AQ_LINK_UP)) && 
(!(pf->flags & I40E_FLAG_LINK_DOWN_ON_CLOSE_ENABLED))) {
dev_err(>pdev->dev, "Rx/Tx is disabled on this device because an 
unsupported SFP module type was detected.\n");
dev_err(>pdev->dev, "Refer to the Intel(R) Ethernet Adapters and 
Devices User Guide for a list of supported modules.\n");
}

A noter, des modules fs.com de 1G ou 10G "génériques" fonctionnent, par contre 
des modules
fs.com (ou autre) en 1G bidi ne fonctionnent pas, mais de façon silencieuse... 
C'est très curieux.

Arnaud.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Michel Py via frnog 
> Hugues Voiturier a écrit :
> Heu non, sur x520 tu peux assez facilement mettre ce que tu veux avec le 
> paramètre "GRUB_CMDLINE_LINUX_DEFAULT="quiet ixgbe.allow_unsupported_sfp=1” 
> dans ton /etc/default/grub 

Je ne connaissais pas, merci du tuyau !

Pour en revenir aux questions d'origine :
- Optiques 80km supportées même si rien de plus de 10km n'est listé ?
- rdma ça sert à quelque chose pour faire du routage, ou pas ?

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Hugues Voiturier 
J’ai du deb9-11 en prod avec ce paramètre, j’imagine que ce dont tu parles 
devait être antérieur a ces versions ? 


Hugues Voiturier
Consultant en architecture réseau
AS57199

> On 27 Aug 2021, at 13:49, Jérôme Nicolle  wrote:
> 
> Hugues,
> 
> Le 27/08/2021 à 13:47, Hugues Voiturier a écrit :
>> Heu non, sur x520 tu peux assez facilement mettre ce que tu veux avec le 
>> paramètre "GRUB_CMDLINE_LINUX_DEFAULT="quiet ixgbe.allow_unsupported_sfp=1” 
>> dans ton /etc/default/grub
>> Testé et approuvé :D
> 
> La feature avait été supprimée à un moment, elle a été réintroduite ?
> 
> @+
> 
> -- 
> Jérôme Nicolle
> +33 6 19 31 27 14


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Jérôme Nicolle 

Hugues,

Le 27/08/2021 à 13:47, Hugues Voiturier a écrit :
Heu non, sur x520 tu peux assez facilement mettre ce que tu veux avec le 
paramètre "GRUB_CMDLINE_LINUX_DEFAULT="quiet 
ixgbe.allow_unsupported_sfp=1” dans ton /etc/default/grub

Testé et approuvé :D


La feature avait été supprimée à un moment, elle a été réintroduite ?

@+

--
Jérôme Nicolle
+33 6 19 31 27 14


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Hugues Voiturier 
Heu non, sur x520 tu peux assez facilement mettre ce que tu veux avec le 
paramètre "GRUB_CMDLINE_LINUX_DEFAULT="quiet ixgbe.allow_unsupported_sfp=1” 
dans ton /etc/default/grub 
Testé et approuvé :D


Hugues Voiturier
Consultant en architecture réseau
AS57199

> On 27 Aug 2021, at 13:40, Jérôme Nicolle  wrote:
> 
> Michel,
> 
> Le 21/08/2021 à 18:05, Michel Py via frnog a écrit :
>> Il ne faut pas se fier à la liste des SFP+ supportés
> 
> Malheureusement avec le driver Intel, il faut. Cette saletté bloque les 
> modules tiers en dur lors de l'initialisation du slot, il faut patcher le 
> driver pour supprimer la vérification des modules… Et tu n'auras pas accès à 
> l'I2C pour remonter les valeurs DOM. En tout cas pas sur les X520 et X710.
> 
> Franchement, les moins chiantes que j'ai sous le coude sont des Mellanox 
> Connect-X4, les plus anciennes se trouvent pas cher en broke, et elles sont 
> pas chiantes sur les modules.
> 
> @+
> 
> -- 
> Jérôme Nicolle
> +33 6 19 31 27 14
> 
> 
> ---
> Liste de diffusion du FRnOG
> http://www.frnog.org/


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-27 Par sujet Jérôme Nicolle 

Michel,

Le 21/08/2021 à 18:05, Michel Py via frnog a écrit :

Il ne faut pas se fier à la liste des SFP+ supportés


Malheureusement avec le driver Intel, il faut. Cette saletté bloque les 
modules tiers en dur lors de l'initialisation du slot, il faut patcher 
le driver pour supprimer la vérification des modules… Et tu n'auras pas 
accès à l'I2C pour remonter les valeurs DOM. En tout cas pas sur les 
X520 et X710.


Franchement, les moins chiantes que j'ai sous le coude sont des Mellanox 
Connect-X4, les plus anciennes se trouvent pas cher en broke, et elles 
sont pas chiantes sur les modules.


@+

--
Jérôme Nicolle
+33 6 19 31 27 14


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet Michel Py via frnog 
> Jacques a écrit :
> pour faire du routage. Contraintes : supporter des modules optiques 80km et 
> supporter le rdma
> (si je ne dis pas de bêtises* cela optimise le passage des flux d'une 
> interface à une autre).

Quand j'ai répondu hier c'était pourtant avant la teuf, pas après, mais je ne 
vois pas le rapport entre rdma et le routage. Conceptuellement, je ne vois pas 
ce que rdma pourrait faire pour optimiser le passage d'une interface à l'autre. 
Tu confondrais pas avec DPDK des fois ?


> Dernière contrainte être facile à intégrer sous un Linux récent (mais a 
> priori on trouvera des solutions)

Question pour les gourous de FRR et de Bird : est-ce que rdma sert à quelque 
chose ?

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet Michel Py via frnog 
>> Jacques a écrit :
>> Mais je pense que l'on peut mettre que des modules 10km dessus
>> https://downloadmirror.intel.com/28410/eng/adapter_user_guide_26.4.pdf

> ic a écrit :
> Je retrouve la même limite chez Mellanox (qui s’en fout royalement du codage
> sur les NICs)… peut être une histoire de puissance / dissipation

Perso je n'ai jamais vu d'équipement SFP+ qui n'avait pas les 1.5W 3.3V 
standard. Ca ne demande rien de spécial.

Michel.





---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet ic 
io

> On 21 Aug 2021, at 15:45, loutre Mini  wrote:
> 
> Mais je pense que l'on peut mettre que des modules 10km dessus
> https://downloadmirror.intel.com/28410/eng/adapter_user_guide_26.4.pdf 
> 
Je retrouve la même limite chez Mellanox (qui s’en fout royalement du codage 
sur les NICs)… peut être une histoire de puissance / dissipation…

++ ic


---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet Michel Py via frnog 
>>> Jacques a écrit :
>>> Je suis à la recherche de cartes 10Gb pour intégrer à des r720 dell pour 
>>> faire du routage.
>>> Contraintes : supporter des modules optiques 80km et supporter le rdma

>> Intel X722-DA2
>> https://ark.intel.com/content/www/us/en/ark/products/139350/intel-ethernet-network-adapter-x722-da2.html
>> J'ai jamais fait de rdma mais c'est supporté sur cette carte.

> Merci michel pour ce retour, Mais je pense que l'on peut mettre que des 
> modules 10km dessus 
> https://downloadmirror.intel.com/28410/eng/adapter_user_guide_26.4.pdf

Il ne faut pas se fier à la liste des SFP+ supportés; si ce n'est pas listé 
c'est simplement parce que un SFP+ 10G il n'y a rien de plus courant et que la 
liste des possibilités est trop longue. Je ne dirais pas ça de n'importe quel 
SFP, par exemple le fiber-channel ou le PON ce n'est pas aussi universel donc 
on peut avoir des surprises, mais le SFP+ 10G c'est un produit banalisé.

On rentre dans le domaine de la bidouille.
Il faut probablement que le module soit codé Intel. En regardant chez fs.com et 
en sélectionnant Intel comme vendeur, en effet il n'y a aucune optique de plus 
de 10km listée.

Ce n'est pas garanti, mais il y a une bonne possibilité que cette optique 
marche :
https://www.fs.com/fr/products/36436.html (80 km ZR)

Et si ça ne marche pas tout de suite, ça va grandement améliorer tes chances de 
prendre l'optique ci-dessus et de la coder comme celle ci-dessous :
https://www.fs.com/fr/products/36432.html (10 km LR)
Recoder les optiques, on fait ça tout le temps, en particulier les BiDi qu'on 
recode en LR. Ca marche souvent.

Encore une fois, si 80km codé Intel ce n'est pas disponible c'est probablement 
que personne n'a demandé cette combinaison particulière avant. Je dirais ceci : 
fais tes essais avec du 10km, quand çà marche essaie les optiques 80km.

Par contre, il y a une chose qui peut être fatale : 80 km, à la vitesse de la 
propagation de la lumière dans la fibre (2/3 c), ça fait presque 1 ms de 
latence. Pour de l'accès mémoire, c'est ENORME comme délai.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet Yannick Palanque 
À 2021-08-20T20:50:46+0200,
loutre Mini  écrivit :

> Je suis à la recherche de cartes 10Gb pour intégrer à des r720 dell
> pour faire du routage. Contraintes : supporter des modules optiques
> 80km et supporter le rdma (si je ne dis pas de bêtises* cela optimise
> le passage des flux d'une interface à une autre).
> *Dites moi si j'ai faux
> Dernière contrainte être facile à intégrer sous un Linux récent (mais
> a priori on trouvera des solutions)

Bonjour loutre Mini,

À tout hasard :
https://www.lr-link.com/products/lres1005pf-4sfp_.html
https://www.lr-link.com/products/lres1004pf-2sfp_.html

Ou regarder directement chez Marvell (qui a racheté QLogic), le
fabricant du chipset ?


---
Liste de diffusion du FRnOG
http://www.frnog.org/

Re: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-21 Par sujet loutre Mini 
Merci michel pour ce retour,

Mais je pense que l'on peut mettre que des modules 10km dessus
https://downloadmirror.intel.com/28410/eng/adapter_user_guide_26.4.pdf


Le sam. 21 août 2021 à 00:18, Michel Py 
a écrit :

> > Jacques a écrit :
> > Je suis à la recherche de cartes 10Gb pour intégrer à des r720 dell pour
> faire du routage.
> > Contraintes : supporter des modules optiques 80km et supporter le rdma
>
> Intel X722-DA2
>
> https://ark.intel.com/content/www/us/en/ark/products/139350/intel-ethernet-network-adapter-x722-da2.html
>
> J'ai jamais fait de rdma mais c'est supporté sur cette carte.
>
> Michel.
>
>

---
Liste de diffusion du FRnOG
http://www.frnog.org/

RE: [FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-20 Par sujet Michel Py via frnog 
> Jacques a écrit :
> Je suis à la recherche de cartes 10Gb pour intégrer à des r720 dell pour 
> faire du routage.
> Contraintes : supporter des modules optiques 80km et supporter le rdma

Intel X722-DA2
https://ark.intel.com/content/www/us/en/ark/products/139350/intel-ethernet-network-adapter-x722-da2.html

J'ai jamais fait de rdma mais c'est supporté sur cette carte.

Michel.


---
Liste de diffusion du FRnOG
http://www.frnog.org/

[FRnOG] [TECH] carte ethernet 10gb sfp+ pour routeur

2021-08-20 Par sujet loutre Mini 
Bonjour la liste,

Je suis à la recherche de cartes 10Gb pour intégrer à des r720 dell pour
faire du routage. Contraintes : supporter des modules optiques 80km et
supporter le rdma (si je ne dis pas de bêtises* cela optimise le passage
des flux d'une interface à une autre).
*Dites moi si j'ai faux
Dernière contrainte être facile à intégrer sous un Linux récent (mais a
priori on trouvera des solutions)

Merci

Jacques

---
Liste de diffusion du FRnOG
http://www.frnog.org/