RE: [FRnOG] Outil netflow
Bonsoir, Pour la fin de la petite histoire, finalement ce sera du manageengine et à priori sous linux. Reste à obtenir un hard... Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de ci...@etbweb.net Envoyé : lundi 18 mai 2009 21:10 À : 'Leland Vandervort'; 'Jean-Edouard Babin' Cc : 'frnog FRnoG' Objet : RE: [FRnOG] Outil netflow J'ai maquetté cette après midi sur trois clients d'une dizaine de site en MPLS, cela fonctionne bien j'ai intégré les droits avec la notion de groupe de routeur très pratique... Croisé au NBAR et au CBWFQ ca donne un synthèse parlante, pour voir la tenue à la charge j'ai mis un PE avec 300 sous interfaces ATM et çà va, par contre en terme de cout ca fait mal !!! Le licencing à l'interface et pas à la sonde... Je vais creuser encore un peu. Par contre, je suis preneur de vos expériences sur les devs. maison, nous avons entamé le dév. de notre propre outil de monitoring, la partie latence et disponibilité est géré, on s'attaque à la partie conso en SNMP. Pour ma part, j'avais développé un petit script perl pour avoir une vision rapide de la QoS CBWFQ d'une ligne client très pratique car las de la lourdeur de cacti. Un des prochains chantier sera donc la collecte Netflow. Eric -Message d'origine- De : Leland Vandervort [mailto:lel...@gandi.net] Envoyé : lundi 18 mai 2009 08:41 À : Jean-Edouard Babin Cc : ci...@etbweb.net; frnog FRnoG Objet : Re: [FRnOG] Outil netflow [je suis desole pour ecrire en francais 'sans accents' .. clavier QWERTY et tout ca ...] Merci pour le recapitualtif ;) Je confirme que le service de support technique chez AdventNet est TOP :) Pour notre installation, on capte uniquement nos interfaces externes (Transitaire + Peering, dont seulement une dizaine d'interfaces) et celles-ci montent jusqu'environs 12000 a 14000 flux/seconde. Nous travaillons avec AdventNet pour faire des tests des nouveaux patches afin d'augmenter la performance du systeme. Pour le moment, ca tient bien. On avait regarde un peu la version entreprise/distribuee, mais le seul probleme avec la version entreprise est ce qu'elle manque certaines fonctionalites presente dans la version professionelle (facturation/billing, etc.). On bosse egalement avec AdventNet pour compiler une liste des fonctions a ajouter dans la version entreprise aussi. Pour faire suite a mon mail d'hier, voici les modifications a faire si vous l'installez sous linux: 1. Lancer l'installation avec --console.. i.e. './nfa.bin --console' 2. Apres installation, lancer le script pour generer les init-script: i.e. 'cd /opt/NetFlow/bin ./linkAsService.sh' 3. modifier le script run.sh -- DISPLAY SETTINGS: COMMENT OUT : if [ $DISPLAY ... and: fi ## DISPLAY settings ## AWT_HEADLESS= # Checking whether DISPLAY variable set the system or not. #if [ $DISPLAY = ]; then AWT_HEADLESS=-Djava.awt.headless=true #fi JAVA_OPTS=$JAVA_OPTS $AWT_HEADLESS Voila.. on peut ensuite lancer le collector. /etc/init.d/netflowanalyzer start Recommandation: modifier les paremetres de Java et MySQL pour mieux gerer la utilisation de memoire -- howto sur leur site web... Enfin, si on veut appliquer des patches/service-packs, il faut lancer UpdateManager.sh avec '-c', sinon, ca va essayer d'utiliser un GUI en Java.. i.e. 'cd /opt/NetFlow/bin ./UpdateManager.sh -c' Voila :) A+ Leland Jean-Edouard Babin wrote: Salut, Comme je l'utilise aussi, je te répond également. J'utilise le produit depuis 1 an avec 50 interfaces au début, plus de 150 maintenant. J'ai une 30aine de groupes et 550 flow/s actuellement, mais c'est le WE... il faudrait que je regarde en semaine, mais au vu de la difference de traffic on doit atteindre au moins 5000 flow/s. Concernant la stabilité, depuis bientôt un an d'utilisation, j'ai eu un crash de l'application (avec la version 6), il a suffit de relancer le soft (en revanche il n'y a pas un process de collect, un pour l'interface web, etc... donc si la partie Web fait planter l'application, tu ne collecte plus rien). Après l'upgrade en version 7 j'ai eu un petit problème et les graphs n'était plus du tout cohérent. J'ai pu tester le support qui est d'une efficacité irreprochable de mon point de vue ; en 2h c'était corrigé avec un patch et une serie de requêtes SQL, le tout sans perte de data. En revanche il y a pas mal de petit bug ou de défaut, par exemple dans la version 7 sans patch, un guest peut voir les communautés snmp des équipements. Et il y des défaut du type liste des devices non triés par ordre alphabétique dans la gestion des groupes. (mais la encore, en 1h le support envoie le patch qui va bien). Concernant les performances , j'ai du augmenter les valeurs par défaut du MySQL integré. Avec la BDD qui prend 2Go en ram c'est rapide. La machine a un Dual Xeon 2.6Ghz et le cpu dépasse jamais les 30% (et encore, j'ai
Re: [FRnOG] Outil netflow
d'expérience sur ce produit : * Stabilité ? * Performance après plusieurs mois de statistiques et plusieurs centaines d'interface monitorées (suite à ma mauvaise expérience de Crannog) * Au niveau des droits, on peut fournir accès à un utilisateur à certain groupe IP et Interface, as-tu l'expérience de placer une sonde sur un PE et de donner accès à quelques dizaines de sous interface ATM à un utilisateur ? * Au niveau pricing, cela reste raisonnable ? En tout cas merci de m'avoir découvrir ce produit, je vois déjà d'autres applications pour chez nous :) Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Leland Vandervort Envoyé : samedi 16 mai 2009 19:07 À : eberkut Cc : frnog FRnoG Objet : Re: [FRnOG] Outil netflow Voila ce que j'utilise: http://www.manageengine.com/products/netflow/ eberkut wrote: Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de RAM par instance, ça devient problématique. Sans compter que ça veut dire une interface web par instance... La solution la plus propre en open source ça consiste à se trouver un collecteur assez léger qui gère bien plusieurs exporteurs (genre flow-tools) et qui dump ça par exemple dans des RRD. Derrière il y a quelques outils pas mal pour visualiser ces données comme flow-scan ou flowviewer. Sinon il suffit de grapher soi-même ces RRD par exemple avec Cacti. Ca marche bien. Du coup si le but est d'éviter de s'embêter à construire soi-même son lego avec les problèmes d'intégration que ça peut impliquer, ça doit valoir le coup de regarder du côté des solutions proprio. Mais là j'ai pas de retour, chez moi on est pauvre. -- Vincent Morel--- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Bonjour, Je suis étonné que personne n'ait parlé du couteau Suisse qu'est NFSEN/NFDUMP. cf : http://nfdump.sourceforge.net/ http://nfsen.sourceforge.net/ Outil pour lequel Pascal avait dev nfsplit : http://cvs.spale.com/webcvs/public/nfsplit/ (je ne sais pas si cette fonctionnalité à été intégrée à nfdump depuis) Bon par contre la dernière fois que je l'ai utilisé c'était quand même méga gourmand en ressources... Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Hello Philippe, Ca fonctionne tres bien et ca ne bouffe maintenant plus trop de ressource. Les machines sont tres puissante et elles ne souffrent plus. Il faut ensuite faire tout ce qui est IHM a la mano. Ca devient un projet beaucoup plus complexe :) -- Raphaël Maunier NEO TELECOMS Engineering Manager Le 18 mai 09 à 10:52, Philippe Bourcier a écrit : Bonjour, Je suis étonné que personne n'ait parlé du couteau Suisse qu'est NFSEN/NFDUMP. cf : http://nfdump.sourceforge.net/ http://nfsen.sourceforge.net/ Outil pour lequel Pascal avait dev nfsplit : http://cvs.spale.com/webcvs/public/nfsplit/ (je ne sais pas si cette fonctionnalité à été intégrée à nfdump depuis) Bon par contre la dernière fois que je l'ai utilisé c'était quand même méga gourmand en ressources... Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Bonjour, Il y a aussi le produit de INMON qui est intéressant. http://www.inmon.com/ Cordialement Fabien Le 18 mai 09 à 10:52, Philippe Bourcier a écrit : Bonjour, Je suis étonné que personne n'ait parlé du couteau Suisse qu'est NFSEN/NFDUMP. cf : http://nfdump.sourceforge.net/ http://nfsen.sourceforge.net/ Outil pour lequel Pascal avait dev nfsplit : http://cvs.spale.com/webcvs/public/nfsplit/ (je ne sais pas si cette fonctionnalité à été intégrée à nfdump depuis) Bon par contre la dernière fois que je l'ai utilisé c'était quand même méga gourmand en ressources... Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Outil netflow
J'ai maquetté cette après midi sur trois clients d'une dizaine de site en MPLS, cela fonctionne bien j'ai intégré les droits avec la notion de groupe de routeur très pratique... Croisé au NBAR et au CBWFQ ca donne un synthèse parlante, pour voir la tenue à la charge j'ai mis un PE avec 300 sous interfaces ATM et çà va, par contre en terme de cout ca fait mal !!! Le licencing à l'interface et pas à la sonde... Je vais creuser encore un peu. Par contre, je suis preneur de vos expériences sur les devs. maison, nous avons entamé le dév. de notre propre outil de monitoring, la partie latence et disponibilité est géré, on s'attaque à la partie conso en SNMP. Pour ma part, j'avais développé un petit script perl pour avoir une vision rapide de la QoS CBWFQ d'une ligne client très pratique car las de la lourdeur de cacti. Un des prochains chantier sera donc la collecte Netflow. Eric -Message d'origine- De : Leland Vandervort [mailto:lel...@gandi.net] Envoyé : lundi 18 mai 2009 08:41 À : Jean-Edouard Babin Cc : ci...@etbweb.net; frnog FRnoG Objet : Re: [FRnOG] Outil netflow [je suis desole pour ecrire en francais 'sans accents' .. clavier QWERTY et tout ca ...] Merci pour le recapitualtif ;) Je confirme que le service de support technique chez AdventNet est TOP :) Pour notre installation, on capte uniquement nos interfaces externes (Transitaire + Peering, dont seulement une dizaine d'interfaces) et celles-ci montent jusqu'environs 12000 a 14000 flux/seconde. Nous travaillons avec AdventNet pour faire des tests des nouveaux patches afin d'augmenter la performance du systeme. Pour le moment, ca tient bien. On avait regarde un peu la version entreprise/distribuee, mais le seul probleme avec la version entreprise est ce qu'elle manque certaines fonctionalites presente dans la version professionelle (facturation/billing, etc.). On bosse egalement avec AdventNet pour compiler une liste des fonctions a ajouter dans la version entreprise aussi. Pour faire suite a mon mail d'hier, voici les modifications a faire si vous l'installez sous linux: 1. Lancer l'installation avec --console.. i.e. './nfa.bin --console' 2. Apres installation, lancer le script pour generer les init-script: i.e. 'cd /opt/NetFlow/bin ./linkAsService.sh' 3. modifier le script run.sh -- DISPLAY SETTINGS: COMMENT OUT : if [ $DISPLAY ... and: fi ## DISPLAY settings ## AWT_HEADLESS= # Checking whether DISPLAY variable set the system or not. #if [ $DISPLAY = ]; then AWT_HEADLESS=-Djava.awt.headless=true #fi JAVA_OPTS=$JAVA_OPTS $AWT_HEADLESS Voila.. on peut ensuite lancer le collector. /etc/init.d/netflowanalyzer start Recommandation: modifier les paremetres de Java et MySQL pour mieux gerer la utilisation de memoire -- howto sur leur site web... Enfin, si on veut appliquer des patches/service-packs, il faut lancer UpdateManager.sh avec '-c', sinon, ca va essayer d'utiliser un GUI en Java.. i.e. 'cd /opt/NetFlow/bin ./UpdateManager.sh -c' Voila :) A+ Leland Jean-Edouard Babin wrote: Salut, Comme je l'utilise aussi, je te répond également. J'utilise le produit depuis 1 an avec 50 interfaces au début, plus de 150 maintenant. J'ai une 30aine de groupes et 550 flow/s actuellement, mais c'est le WE... il faudrait que je regarde en semaine, mais au vu de la difference de traffic on doit atteindre au moins 5000 flow/s. Concernant la stabilité, depuis bientôt un an d'utilisation, j'ai eu un crash de l'application (avec la version 6), il a suffit de relancer le soft (en revanche il n'y a pas un process de collect, un pour l'interface web, etc... donc si la partie Web fait planter l'application, tu ne collecte plus rien). Après l'upgrade en version 7 j'ai eu un petit problème et les graphs n'était plus du tout cohérent. J'ai pu tester le support qui est d'une efficacité irreprochable de mon point de vue ; en 2h c'était corrigé avec un patch et une serie de requêtes SQL, le tout sans perte de data. En revanche il y a pas mal de petit bug ou de défaut, par exemple dans la version 7 sans patch, un guest peut voir les communautés snmp des équipements. Et il y des défaut du type liste des devices non triés par ordre alphabétique dans la gestion des groupes. (mais la encore, en 1h le support envoie le patch qui va bien). Concernant les performances , j'ai du augmenter les valeurs par défaut du MySQL integré. Avec la BDD qui prend 2Go en ram c'est rapide. La machine a un Dual Xeon 2.6Ghz et le cpu dépasse jamais les 30% (et encore, j'ai une autre application sur la machine...). Niveau disque, j'ai 7000 fichiers de données pour 2Go avec une retention de 6 mois des données a 1 minutes. La base prend 10Go. J'ai pas mesuré l'I/O disque mais je pense qu'entre les fichiers de données et la base c'est plutôt haut. Les prerequis ram/cpu que donne ME sont à mon avis bien pessimiste. Je ferais plus attention à avoir un
RE: [FRnOG] Outil netflow
J'ai l'impression que c'est un outil fait pour l'exploitation en mode debug à la PRTG. Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Fabien Delmotte Envoyé : lundi 18 mai 2009 11:09 À : Philippe Bourcier Cc : frnog@frnog.org Objet : Re: [FRnOG] Outil netflow Bonjour, Il y a aussi le produit de INMON qui est intéressant. http://www.inmon.com/ Cordialement Fabien Le 18 mai 09 à 10:52, Philippe Bourcier a écrit : Bonjour, Je suis étonné que personne n'ait parlé du couteau Suisse qu'est NFSEN/NFDUMP. cf : http://nfdump.sourceforge.net/ http://nfsen.sourceforge.net/ Outil pour lequel Pascal avait dev nfsplit : http://cvs.spale.com/webcvs/public/nfsplit/ (je ne sais pas si cette fonctionnalité à été intégrée à nfdump depuis) Bon par contre la dernière fois que je l'ai utilisé c'était quand même méga gourmand en ressources... Cordialement, -- Philippe Bourcier web : http://sysctl.org/ blog : http://zsysctl.blogspot.com --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Outil netflow
Au vu des délais de mise en service, je ne me sens pas de me lancer dans une solution open source pour le moment. Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Fabien Delmotte Envoyé : samedi 16 mai 2009 19:31 À : Mathieu Goessens Cc : Jean-Edouard Babin; frnog@frnog.org; Eric Objet : Re: [FRnOG] Outil netflow Bonjour, J'ai testé NTOP et il manque cruellement de stabilité pour ma part. Fabien Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Cdlt, Mathieu Jean-Edouard Babin wrote: Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? En continuant dans les soft payant il y a http://www.manageengine.com/products/netflow/ Tu peux faire des groupes par IP ce qui peut potentiellement résoudre ton problème d'interface mutualité. Sinon des soft NetFlow y'en a pas mal, après ca depend quel type de stats tu veux. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Outil netflow
Dans le cadre du développement de notre outil de supervision pour l'exploitation, ce collecteur pourrait nous servir de base. Mais la vocation serait davantage pour détecter des comportements anormaux que du réel audit temps réels. Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Fabien Delmotte Envoyé : samedi 16 mai 2009 12:20 À : Eric Cc : frnog@frnog.org Objet : Re: [FRnOG] Outil netflow Bonjour, Il est possible d'utiliser de l'opensource : Comme PMACCT (que j'utilise pour SFLOW) mais qui collecte du NetFlow et tu peux refaire des graphes vers un CACTI (par exemple). Fabien Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? Merci de votre aide, Eric --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Par rapport au prix, c'est bien raisonnable par rapport a la fonctionalite donnees, ainsi que la simplicite de mettre en place. (sauf que la version entreprise et un peu chere... genre 7k Euro pour jusqu'a 250 interfaces collectees...) Pour les questions: 1. Stabilite: archi-stable si on reste dans les limitations du produit. (par exemple, si on essaye de faire 15,000 flow/sec avec la version Professional/Professional-Plus, la stabilite n'est pas du tout garantie ;)) 2. Pour plusieurs mois de de statistiques - on y est pas encore ;) mais en gros, ca a l'air de bien fonctionner aussi. 3. droits d'acces: Toute-a fait.. j'ai support qui a le droit uniquement sur un seule groupe-IP. Nous n'avons pas d'ATM chez nous, donc je n'ai pas pu tester l'acces aux sous-interfaces. Actuellement, nous depassons la limite theorique de performance/stabilite de ce logiciel qui tourne sur une grosse machine Linux avec pleine de memoire/CPU/disque. Je travaille avec le fabriquant, par contre, pour faire de testing sur des patches qui permettent une amelioration de performance avec des flux entre 12 et 15k flux/seconde, et aussi pour developper des wish-list pour inclure certaines fonctionalites de la version professional dans la version entreprise (qui n'a pas de limitation de flux/seconde car c'est basee sur une archi distribuee...) Pour le moment, ca va ... mais nous sommes aussi des cochons-d'inde pour certaines modifications de ce produit :) Leland ci...@etbweb.net wrote: Je viens de monter rapidement une maquette, ce produit est étonnant de simplicité. J'ai rapidement pu collecter les informations d'un routeur, obtenir les infos CBWQ... L'interface n'est pas fouilli, simple à prendre en main. De prime abord, ce produit semble être correspondre à mon besoin, par contre je souhaitais avoir ton retour d'expérience sur ce produit : * Stabilité ? * Performance après plusieurs mois de statistiques et plusieurs centaines d'interface monitorées (suite à ma mauvaise expérience de Crannog) * Au niveau des droits, on peut fournir accès à un utilisateur à certain groupe IP et Interface, as-tu l'expérience de placer une sonde sur un PE et de donner accès à quelques dizaines de sous interface ATM à un utilisateur ? * Au niveau pricing, cela reste raisonnable ? En tout cas merci de m'avoir découvrir ce produit, je vois déjà d'autres applications pour chez nous :) Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Leland Vandervort Envoyé : samedi 16 mai 2009 19:07 À : eberkut Cc : frnog FRnoG Objet : Re: [FRnOG] Outil netflow Voila ce que j'utilise: http://www.manageengine.com/products/netflow/ eberkut wrote: Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de RAM par instance, ça devient problématique. Sans compter que ça veut dire une interface web par instance... La solution la plus propre en open source ça consiste à se trouver un collecteur assez léger qui gère bien plusieurs exporteurs (genre flow-tools) et qui dump ça par exemple dans des RRD. Derrière il y a quelques outils pas mal pour visualiser ces données comme flow-scan ou flowviewer. Sinon il suffit de grapher soi-même ces RRD par exemple avec Cacti. Ca marche bien. Du coup si le but est d'éviter de s'embêter à construire soi-même son lego avec les problèmes d'intégration que ça peut impliquer, ça doit valoir le coup de regarder du côté des solutions proprio. Mais là j'ai pas de retour, chez moi on est pauvre. -- Vincent Morel--- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Pour l'installation sous linux, c'est assez simple. Tout ce qu'il faut est compris dans le telechargement. Si on n'utilise pas un GUI (KDE, Gnome, etc.) il faut lancer l'installation avec --console et puis faire une petite modification du script de lancement apres installation, mais c'est assez facile. Je l'ai installe sous debian, mais a priori ca doit marcher sous n'importe quelle distribution. Attention -- ca va installer une version de MySQL, donc il faut s'assurer qu'il n'y a pas encore une installation MySQL qui tourne. Je pense que pour les sous-interfaces (sous reserve qu'elles soient chaque'une avec une configuration L3) ca poserait pas de probleme... faut tester, par contre. Pour les droits d'acces, on peut permettre par groupe-IP ou bien aussi par groupe-interface ou groupe d'equipements. A+ Leland ci...@etbweb.net wrote: Tu n'as pas rencontré de difficulté particulière pour l'intégration sous linux ? As-tu une recommandations pour une distrib. particulières ? Pour ce qui des accès par sous interface, ca me semble plus problèmatique que par IP reste à voir si il vaut mieux prendre le PE ou les CE, je dis peut être une grosse aberration mais je débute sous netflow. Si on part la dessus, pour les besoins d'une mise en prod. rapide je pense que je vais l'intégrer sur un virtuel dans une lame. Merci pour tes réponses ;) Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Leland Vandervort Envoyé : dimanche 17 mai 2009 12:22 À : ci...@etbweb.net Cc : 'frnog FRnoG' Objet : Re: [FRnOG] Outil netflow Par rapport au prix, c'est bien raisonnable par rapport a la fonctionalite donnees, ainsi que la simplicite de mettre en place. (sauf que la version entreprise et un peu chere... genre 7k Euro pour jusqu'a 250 interfaces collectees...) Pour les questions: 1. Stabilite: archi-stable si on reste dans les limitations du produit. (par exemple, si on essaye de faire 15,000 flow/sec avec la version Professional/Professional-Plus, la stabilite n'est pas du tout garantie ;)) 2. Pour plusieurs mois de de statistiques - on y est pas encore ;) mais en gros, ca a l'air de bien fonctionner aussi. 3. droits d'acces: Toute-a fait.. j'ai support qui a le droit uniquement sur un seule groupe-IP. Nous n'avons pas d'ATM chez nous, donc je n'ai pas pu tester l'acces aux sous-interfaces. Actuellement, nous depassons la limite theorique de performance/stabilite de ce logiciel qui tourne sur une grosse machine Linux avec pleine de memoire/CPU/disque. Je travaille avec le fabriquant, par contre, pour faire de testing sur des patches qui permettent une amelioration de performance avec des flux entre 12 et 15k flux/seconde, et aussi pour developper des wish-list pour inclure certaines fonctionalites de la version professional dans la version entreprise (qui n'a pas de limitation de flux/seconde car c'est basee sur une archi distribuee...) Pour le moment, ca va ... mais nous sommes aussi des cochons-d'inde pour certaines modifications de ce produit :) Leland ci...@etbweb.net wrote: Je viens de monter rapidement une maquette, ce produit est étonnant de simplicité. J'ai rapidement pu collecter les informations d'un routeur, obtenir les infos CBWQ... L'interface n'est pas fouilli, simple à prendre en main. De prime abord, ce produit semble être correspondre à mon besoin, par contre je souhaitais avoir ton retour d'expérience sur ce produit : * Stabilité ? * Performance après plusieurs mois de statistiques et plusieurs centaines d'interface monitorées (suite à ma mauvaise expérience de Crannog) * Au niveau des droits, on peut fournir accès à un utilisateur à certain groupe IP et Interface, as-tu l'expérience de placer une sonde sur un PE et de donner accès à quelques dizaines de sous interface ATM à un utilisateur ? * Au niveau pricing, cela reste raisonnable ? En tout cas merci de m'avoir découvrir ce produit, je vois déjà d'autres applications pour chez nous :) Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Leland Vandervort Envoyé : samedi 16 mai 2009 19:07 À : eberkut Cc : frnog FRnoG Objet : Re: [FRnOG] Outil netflow Voila ce que j'utilise: http://www.manageengine.com/products/netflow/ eberkut wrote: Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de
Re: [FRnOG] Outil netflow
Salut, Comme je l'utilise aussi, je te répond également. J'utilise le produit depuis 1 an avec 50 interfaces au début, plus de 150 maintenant. J'ai une 30aine de groupes et 550 flow/s actuellement, mais c'est le WE... il faudrait que je regarde en semaine, mais au vu de la difference de traffic on doit atteindre au moins 5000 flow/s. Concernant la stabilité, depuis bientôt un an d'utilisation, j'ai eu un crash de l'application (avec la version 6), il a suffit de relancer le soft (en revanche il n'y a pas un process de collect, un pour l'interface web, etc... donc si la partie Web fait planter l'application, tu ne collecte plus rien). Après l'upgrade en version 7 j'ai eu un petit problème et les graphs n'était plus du tout cohérent. J'ai pu tester le support qui est d'une efficacité irreprochable de mon point de vue ; en 2h c'était corrigé avec un patch et une serie de requêtes SQL, le tout sans perte de data. En revanche il y a pas mal de petit bug ou de défaut, par exemple dans la version 7 sans patch, un guest peut voir les communautés snmp des équipements. Et il y des défaut du type liste des devices non triés par ordre alphabétique dans la gestion des groupes. (mais la encore, en 1h le support envoie le patch qui va bien). Concernant les performances , j'ai du augmenter les valeurs par défaut du MySQL integré. Avec la BDD qui prend 2Go en ram c'est rapide. La machine a un Dual Xeon 2.6Ghz et le cpu dépasse jamais les 30% (et encore, j'ai une autre application sur la machine...). Niveau disque, j'ai 7000 fichiers de données pour 2Go avec une retention de 6 mois des données a 1 minutes. La base prend 10Go. J'ai pas mesuré l'I/O disque mais je pense qu'entre les fichiers de données et la base c'est plutôt haut. Les prerequis ram/cpu que donne ME sont à mon avis bien pessimiste. Je ferais plus attention à avoir un disque qui supporte un bon nombre d'I/O (et quand tu parles de VM ca me fait un peu peur) plutôt que d'avoir un gros CPU. Pour les droits tu peux faire des groupes d'interfaces et associer un groupe a un utilisateur. (Device groups - interface group) Il faut juste verifier que ton PE puisse bien exporter du netflow par sous interface. Entre collecte sur le PE ou CE. La question ne se pose pas dans mon cas. Mais je vois une grande difference, le sens des flux. Si tu collectes sur ton PE ton client aura peut-être du mal à comprendre pourquoi 'in' c'est son upload et 'out' le download. Les prix publique sont la : https://store.adventnet.com/jsp/fp.jsp?filter=10014p=ManageEngine%20Netflow%20%20Analyzer Le 17 mai 09 à 10:44, ci...@etbweb.net a écrit : Je viens de monter rapidement une maquette, ce produit est étonnant de simplicité. J'ai rapidement pu collecter les informations d'un routeur, obtenir les infos CBWQ... L'interface n'est pas fouilli, simple à prendre en main. De prime abord, ce produit semble être correspondre à mon besoin, par contre je souhaitais avoir ton retour d'expérience sur ce produit : * Stabilité ? * Performance après plusieurs mois de statistiques et plusieurs centaines d'interface monitorées (suite à ma mauvaise expérience de Crannog) * Au niveau des droits, on peut fournir accès à un utilisateur à certain groupe IP et Interface, as-tu l'expérience de placer une sonde sur un PE et de donner accès à quelques dizaines de sous interface ATM à un utilisateur ? * Au niveau pricing, cela reste raisonnable ? En tout cas merci de m'avoir découvrir ce produit, je vois déjà d'autres applications pour chez nous :) Eric -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Leland Vandervort Envoyé : samedi 16 mai 2009 19:07 À : eberkut Cc : frnog FRnoG Objet : Re: [FRnOG] Outil netflow Voila ce que j'utilise: http://www.manageengine.com/products/netflow/ eberkut wrote: Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de RAM par instance, ça devient problématique. Sans compter que ça veut dire une interface web par instance... La solution la plus propre en open source ça consiste à se trouver un collecteur assez léger qui gère bien plusieurs exporteurs (genre flow-tools) et qui dump ça par exemple dans des RRD. Derrière il y a quelques outils pas mal pour visualiser ces données comme flow-scan ou flowviewer. Sinon il suffit de grapher soi-même ces RRD par exemple avec Cacti. Ca marche bien. Du coup si le but est
[FRnOG] Outil netflow
Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? Merci de votre aide, Eric --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Bonjour, Il est possible d'utiliser de l'opensource : Comme PMACCT (que j'utilise pour SFLOW) mais qui collecte du NetFlow et tu peux refaire des graphes vers un CACTI (par exemple). Fabien Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? Merci de votre aide, Eric --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? En continuant dans les soft payant il y a http://www.manageengine.com/products/netflow/ Tu peux faire des groupes par IP ce qui peut potentiellement résoudre ton problème d'interface mutualité. Sinon des soft NetFlow y'en a pas mal, après ca depend quel type de stats tu veux. smime.p7s Description: S/MIME cryptographic signature
Re: [FRnOG] Outil netflow
Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Cdlt, Mathieu Jean-Edouard Babin wrote: Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? En continuant dans les soft payant il y a http://www.manageengine.com/products/netflow/ Tu peux faire des groupes par IP ce qui peut potentiellement résoudre ton problème d'interface mutualité. Sinon des soft NetFlow y'en a pas mal, après ca depend quel type de stats tu veux. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de RAM par instance, ça devient problématique. Sans compter que ça veut dire une interface web par instance... La solution la plus propre en open source ça consiste à se trouver un collecteur assez léger qui gère bien plusieurs exporteurs (genre flow-tools) et qui dump ça par exemple dans des RRD. Derrière il y a quelques outils pas mal pour visualiser ces données comme flow-scan ou flowviewer. Sinon il suffit de grapher soi-même ces RRD par exemple avec Cacti. Ca marche bien. Du coup si le but est d'éviter de s'embêter à construire soi-même son lego avec les problèmes d'intégration que ça peut impliquer, ça doit valoir le coup de regarder du côté des solutions proprio. Mais là j'ai pas de retour, chez moi on est pauvre. -- Vincent Morel--- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] Outil netflow
Bonjour, J'ai testé NTOP et il manque cruellement de stabilité pour ma part. Fabien Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Cdlt, Mathieu Jean-Edouard Babin wrote: Le 16 mai 09 à 10:06, Eric a écrit : Bonjour à tous, Dans le cadre du déploiement pour un gros client, j'ai besoin de mettre à disposition un accès à des stats Netflow, la volumétrie des sondes est de l'ordre de 50. Pour anticiper, la question : je ne peux pas utiliser mes PE car ils sont mutualisés pour des autres clients sauf si le produit peux gérer des acls par sous interface (et non interface comme crannog). L'outil Whatsup est sympa (il me permettrait d'inclure les latentes et conso) mais est très couteux, avez-vous des retours d'expérience sur ce sujet ? En continuant dans les soft payant il y a http://www.manageengine.com/products/netflow/ Tu peux faire des groupes par IP ce qui peut potentiellement résoudre ton problème d'interface mutualité. Sinon des soft NetFlow y'en a pas mal, après ca depend quel type de stats tu veux. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
RE: [FRnOG] Outil netflow
Renetcol est de très bonne qualité, on peut aussi citer IPFLOW de l'UTC. Nprobe je l'ai utilisé, c'est pratique si on veut utiliser un portail homemade derrière.. en ce qui concerne la charge je n'ai pas suffisamment de flux pour juger. Il y a aussi netfix unne initiative du CRIHAN (SYRHANO) : http://www.crihan.fr/applications/collecteur-netfix/ Yann Jouanin http://www.yannj.fr -Message d'origine- De : owner-fr...@frnog.org [mailto:owner-fr...@frnog.org] De la part de Jean-Edouard Babin Envoyé : dimanche 17 mai 2009 01:07 À : eberkut Cc : frnog FRnoG Objet : Re: [FRnOG] Outil netflow Le 16 mai 09 à 18:02, eberkut a écrit : Le 16 mai 09 à 17:18, Mathieu Goessens a écrit : Bonjour, Bien que je ne l'ai jamais utilisé pour cet usage ntop (www.ntop.org) à un support du Netflow, et permet de générer pas mal de stats différentes. Il existe également un outils nProbe (payant et sur lequel je n'ai aucun retour). Pas de retour non plus sur nProbe. Par contre, la dernière que j'ai essayé d'utiliser NTop en collecteur Netflow c'était vraiment pas conçu pour recevoir de plus d'un seul exporteur Netflow. Du coup la solution c'était une instance NTop par exporteur. A 50 exporteurs et à 300 Mo de RAM par instance, ça devient problématique. Sans compter que ça veut dire une interface web par instance... La solution la plus propre en open source ça consiste à se trouver un collecteur assez léger qui gère bien plusieurs exporteurs (genre flow-tools) et qui dump ça par exemple dans des RRD. Derrière il y a quelques outils pas mal pour visualiser ces données comme flow-scan ou flowviewer. Sinon il suffit de grapher soi-même ces RRD par exemple avec Cacti. Ca marche bien. La question est aussi de savoir ce qu'on veut faire. Personelement je n'utilise pas netflow dans le but principale de faire des graphs mais plutôt en mode troubleshooting pour trouver quel flux provoque la saturation d'un lien wan ou recevoir une alerte si un type de traffic dépasse un certain seuil pendant une certaine durée. Ou d'une façon general detecter les anomalie de consommation. On peut aussi juste vouloir avoir la volumetrie par IP, ou par type de Protocole pour suivre les evolutions de consommation sur du long terme. On peut utiliser netflow pour faire de la detection de flux illicite (type detection de virus/vers/trojan/..) etc... Dans tous les cas je ne connais pas d'outils qui fasse tout correctement Voir aussi : http://renetcol.renater.fr/ qui peut répondre à certain besoin. --- Liste de diffusion du FRnOG http://www.frnog.org/
