Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-29 Par sujet Jérôme Quintard
A titre personnel j’ai laissé tomber ELK. Il y avait à intervalle régulier des soucis et le support s’emmêlait lui même les pinceaux sur des soucis de cohérence des valeurs remontées. J’utilise ntopng, il existe une version communautaire et la version payante la plus conséquente coûte 1000€.

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-29 Par sujet Hervé BRY
Le mar. 28 avr. 2020 à 23:09, Quentin Grandemange < quentin.grandema...@gmail.com> a écrit : > En revanche, je ne comprends pas pourquoi on parle souvent de Grafana mais > jamais de Kibana dans l'histoire (bien que dans la stack ELK). > Il y a une différence fondamentale entre les deux produits

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Raphael Mazelier
On 28/04/2020 13:21, Remi Desgrange wrote: Il est vrais que les outils de la stack ELK bouffe beaucoup (trop) de ressources. Mais quand tu a beaucoup de données, La JVM tu t'y retrouve. C'est pas pour rien que les stacks big data tourne sur la JVM (le log de 700 équipements c'est pas du big

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Raphael Mazelier
On 28/04/2020 12:47, Xavier Beaudouin wrote: Okay rrdtool ne permet pas d'avoir des stats journalières précises a plus d'un mois mais donnent largement ce qu'il faut pour avoir des métriques d'utilisation d'une plateforme. Il y a un truc qui est vrai dans ce que tu dis c'est que toutes les

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Raphael Mazelier
Bonsoir, Tu parles de deux choses complètement différentes : la centralisation de logs d'équipements et la collection de flow réseaux. Pour les logs la plupart des équipements ne savent encore que parler syslog, mais ce n'est pas le problème. Ensuite tu dois choisir une solution pour

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Quentin Grandemange
t; De : David Ponzone > Envoyé : mardi 28 avril 2020 14:59 > À : Sébastien 65 > Cc : Christian d'Autume ; frnog-t...@frnog.org < > frnog-t...@frnog.org> > Objet : Re: [FRnOG] [TECH] Stack de logs / netflow > > Et ntop-ng avec tous les plugins payants ne faisaient pas le bou

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Sébastien 65
___ De : David Ponzone Envoyé : mardi 28 avril 2020 14:59 À : Sébastien 65 Cc : Christian d'Autume ; frnog-t...@frnog.org Objet : Re: [FRnOG] [TECH] Stack de logs / netflow Et ntop-ng avec tous les plugins payants ne faisaient pas le boulot ? > Le 28 avr. 2020 à 14:57, Sébastien 65 a écr

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet David Ponzone
Et ntop-ng avec tous les plugins payants ne faisaient pas le boulot ? > Le 28 avr. 2020 à 14:57, Sébastien 65 a écrit : > > J'ai passé beaucoup de temps à analyser des produits et consulter pour dire > que le produit n'est pas excessif comparé à d'autres solutions... > > Chez nous cela a

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Sébastien 65
À : Sébastien 65 Cc : Christian d'Autume ; frnog-t...@frnog.org Objet : Re: [FRnOG] [TECH] Stack de logs / netflow Et en gros (© Génération Z), c’est cher ? > Le 28 avr. 2020 à 14:30, Sébastien 65 a écrit : > > Bonjour Christian, > > Chez nous on utilise une solution big data t

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Denis Fondras
Quelqu'un aurait testé https://www.elastic.co/beats/packetbeat ? (en remplacement d'elastiflow) On Tue, Apr 28, 2020 at 11:58:10AM +0200, Remi Desgrange wrote: > Log ou métrique ? Pour transformer les logs en métriques, logstash et > surement le plus flexible. Mais ça bouffe masse CPU. > >

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet David Ponzone
Et en gros (© Génération Z), c’est cher ? > Le 28 avr. 2020 à 14:30, Sébastien 65 a écrit : > > Bonjour Christian, > > Chez nous on utilise une solution big data telemetry éditée par PRAGMA > Innovation. > Notre usage est d'avoir une appli capable de collecter notre trafic IN/OUT > sur nos

RE: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Sébastien 65
Bonjour Christian, Chez nous on utilise une solution big data telemetry éditée par PRAGMA Innovation. Notre usage est d'avoir une appli capable de collecter notre trafic IN/OUT sur nos routeurs backbone afin de pouvoir tirer des graphs et infos pertinentes au travers d'un dashboard... L'appli

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Remi Desgrange
Il est vrais que les outils de la stack ELK bouffe beaucoup (trop) de ressources. Mais quand tu a beaucoup de données, La JVM tu t'y retrouve. C'est pas pour rien que les stacks big data tourne sur la JVM (le log de 700 équipements c'est pas du big data, on est d'accord). Si tu essai de faire

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Xavier Beaudouin
Hello, >> Sachant d'ES ne sais pas tirer partie de bécanes avec +64Go de RAM (JVM >> heap toussa) t'es parti sur au moins 5/7 bécanes >> > > Les dernières versions d'ES sont capables d'utiliser plus de RAM: une > grande partie des données ont été sortie du heap JVM pour passer sur du > memory

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Hervé BRY
Le mar. 28 avr. 2020 à 11:58, Remi Desgrange a écrit : > Sachant d'ES ne sais pas tirer partie de bécanes avec +64Go de RAM (JVM > heap toussa) t'es parti sur au moins 5/7 bécanes > Les dernières versions d'ES sont capables d'utiliser plus de RAM: une grande partie des données ont été sortie du

RE: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet x.roca
Bonjour, PI : Il y a eu une discussion en début 2019 sur le même sujet [Analyser de traffic] https://www.mail-archive.com/search?q=+Analyser+de+traffic=frnog%40frnog.org Xavier -Message d'origine- De : Christian d'Autume Envoyé : mardi 28 avril 2020 11:38 À : frnog-t...@frnog.org

Re: [FRnOG] [TECH] Stack de logs / netflow

2020-04-28 Par sujet Remi Desgrange
Log ou métrique ? Pour transformer les logs en métriques, logstash et surement le plus flexible. Mais ça bouffe masse CPU. Pour netflow sur étagère : https://github.com/robcowart/elastiflow mais attention, si tu a 700 routeur/sw tu ne pourra pas avoir une grosse rétention ou alors va falloir