Re: Lire ses logs rapidement de façon efficace

[G2PC]

J'en resterais à ce partage pour Rsyslog :
https://www.visionduweb.eu/wiki/index.php?title=Adiscon_Rsyslog

J'ai posté une demande de relecture sur le groupe
debian-l10n-fre...@lists.debian.org pour l'article :
https://wiki.debian.org/fr/Rsyslog

Re: Lire ses logs rapidement de façon efficace

[G2PC]

> D'après la page https://wiki.debian.org/fr/Rsyslog#preview
>
> rsyslog  est intégré dans Debian
> Lenny  pour remplacer sysklogd
>  qui était alors installé par
> défaut. Voir le Lenny release notes
> 
> et quelques arguments issus des discussions 1
>  2
>  3
> 
>
>
> Seulement, je me pose la question suivante :
>
> Est ce que rsyslog est réellement intégré ?
> D'après mes lectures, si je souhaite utiliser rsyslog, je dois ajouter
> un dépôt qui n'est pas un dépôt debian.
>
> Qu'en est t'il de ce paquet sysklogd ? Il a été retiré définitivement,
> fin de support ?
>
###

Sur le wiki officiel Debian, et, depuis d'autres sources, j'ai lu que
Rsyslog a été implémenté par défaut depuis Lenny.

Hors, si c'est le cas, pourquoi est ce que je peux tout de même
installer rsyslog depuis un paquet ou sa source ? Il me semble que ce
paquet rsyslog n'est pas implémenté par défaut.
Si je comprend bien, c'est rsyslogd , le service, qui remplaceSysklogd,
et, c'est rsyslogd qui est implémenté par défaut.
Le paquet Rsyslog lui, n'est donc pas ajouté par défaut ?

Un avis sur ce point de vocabulaire technique, svp :
Le paquet Rsyslog *(Ou le service rsyslogd ?) *a été intégré à partir de
Debian Lenny ...

J'ai l'impression qu'on ne parle pas de la même chose, si on évoque le
paquet, ou, le service, et, de nombreux sites semblent mélanger cette
nomination.

###

D'après la release note de Lenny :
Nouveau démon syslog par défaut : Le paquet |rsyslog| devient le démon
syslog par défaut de Lenny à la place de *syslogd* et *klogd*

###

Mon paragraphe en rédaction :


  Historique du passage de Sysklogd vers Rsyslog(d ?)

Le paquet Rsyslog *(Ou le service rsyslogd ?) *a été intégré à partir de Debian 
Lenny ( https://wiki.debian.org/DebianLenny ) pour remplacer l'ancien syslog : 
sysklogd ( https://packages.debian.org/search?keywords=sysklogd ).
Les règles de journalisation existantes dans syslog.conf peuvent être 
simplement copiées dans /etc/rsyslog.conf ou dans le dossier 
/etc/rsyslog.conf.d.
Sysklogd qui était installé par défaut n’est pas mauvais mais le paquet n’a 
presque pas été entretenu ses dernières années.
Voir la note d'information partagée de Debian Lenny release notes : 
https://www.debian.org/releases/lenny/i386/release-notes/ch-whats-new#system-changes

Quelques arguments en faveur de Rsyslog dans les discussions suivantes :
* https://lists.debian.org/debian-devel/2008/01/thrd3.html#01002
* https://lists.debian.org/debian-release/2008/07/msg00117.html
* https://lists.debian.org/debian-devel/2008/01/msg01002.html

Source :
https://www.visionduweb.eu/wiki/index.php?title=Gestion_des_logs#Historique_du_passage_de_Sysklogd_vers_Rsyslog

Re: Lire ses logs rapidement de façon efficace

[G2PC]

D'après la page https://wiki.debian.org/fr/Rsyslog#preview

rsyslog  est intégré dans Debian
Lenny  pour remplacer sysklogd
 qui était alors installé par
défaut. Voir le Lenny release notes

et quelques arguments issus des discussions 1
 2
 3



Seulement, je me pose la question suivante :

Est ce que rsyslog est réellement intégré ?
D'après mes lectures, si je souhaite utiliser rsyslog, je dois ajouter
un dépôt qui n'est pas un dépôt debian.

Qu'en est t'il de ce paquet sysklogd ? Il a été retiré définitivement,
fin de support ?

Re: Lire ses logs rapidement de façon efficace

[G2PC]

L'ensemble des listes Debian : https://lists.debian.org
Rejoindre le groupe de news Debian debian-l10n-french-request :
https://lists.debian.org/debian-l10n-french/ pour s'inscrire à la liste
debian-l10n-french-requ...@lists.debian.org
Rejoindre le groupe de news Debian debian-user-french :
https://lists.debian.org/debian-user-french/ pour s'inscrire à la liste
debian-user-french@lists.debian.org

Ok, c'est fait.

Re: Lire ses logs rapidement de façon efficace

[G2PC]

Le 15/11/2018 à 14:21, Yves Rutschle a écrit :
> Ceci n'est-il pas du domaine de l10n-french?
>
> On Thu, Nov 15, 2018 at 03:40:10AM +0100, G2PC wrote:
>> https://wiki.debian.org/fr/Rsyslog
> SSL => SSL (C'est un acronyme comme TCP et TLS)
> databses => base de données
> email => courriel
>
> donc "pour stocker dans des bases de données ou emettre des
> alertes par courriel"
>
> drop-in replacement: replaçant direct?
>
> Y.


Je tente de m'inscrire sur debian-l10n-fre...@lists.debian.org
j'ai envoyé un mail, pour le moment, aucun retour.
J'ai continué de poster ici, puisque Debian user French.

Je ne suis pas sur de comprendre la tournure de cette phrase, " writing
to *databases*, *email* alerting. "
Ce sont les alertes courriel qui sont écrites en base de données ?
Dans ma compréhension, Rsyslog récupère les alertes de Syslog, dans sa
base de données. Je n'ai pas vu ou il est question de mail d'alerte.

" Rsyslog is an enhanced multi-threaded syslogd with a focus on security
and reliability. Among others, it offers support for on-demand disk
buffering, reliable syslog over TCP, *SSL*, TLS and RELP, writing to
*databases*, *email* alerting. It is a *drop-in replacement* for syslogd. "

Re: Lire ses logs rapidement de façon efficace

[Yves Rutschle]

Ceci n'est-il pas du domaine de l10n-french?

On Thu, Nov 15, 2018 at 03:40:10AM +0100, G2PC wrote:
> https://wiki.debian.org/fr/Rsyslog

SSL => SSL (C'est un acronyme comme TCP et TLS)
databses => base de données
email => courriel

donc "pour stocker dans des bases de données ou emettre des
alertes par courriel"

drop-in replacement: replaçant direct?

Y.

Re: Lire ses logs rapidement de façon efficace

[G2PC]

J'ai créé la page suivante en français sur le wiki de Debian.
Si quelqu'un pouvait faire une relecture technique pour vérifier
quelques lignes, des mots anglais a passer en français :

https://wiki.debian.org/fr/Rsyslog

J'ai ajouté un lien vers mon wiki, vers la synthèse que j'ai avancée sur
Rsyslog.
https://www.visionduweb.eu/wiki/index.php?title=Gestion_des_logs#Rsyslog_et_Loganalyzer

J'ai créé le menu sur la page en anglais, en italien, et, en français.
La page française doit être relue et corrigée des mots anglais que j'ai
laissé.

Merci.

Re: Lire ses logs rapidement de façon efficace

[Eric Degenetais]

bonjour,
pourquoi pas injecter les logs dans  mysql, mais la pile dite 'ELK'
(Elastic search Logstache Kibana) pour la centralisation et l'exploitation
des logs de multiples serveur, est un candidat solide.

Cordialement
__
Éric Dégenètais
Henix

http://www.henix.com
http://www.squashtest.org


__
Éric Dégenètais
Henix

http://www.henix.com
http://www.squashtest.org



Le mar. 13 nov. 2018 à 21:48, G2PC  a écrit :

> Pour l'intérêt d'utiliser MySQL pour le stockage de ses logs, c'est de
> pouvoir créer un serveur de logs, qui récupérerait les logs d'autres
> serveurs.
> Externaliser les logs des serveurs, pour utiliser un client pour
> consulter les logs.
>
> J'ai modifié l'emplacement de mes notes sur les Logs, donc, les liens
> précédents ne sont plus valides.
> https://www.visionduweb.eu/wiki/index.php?title=Gestion_des_logs
>
>

Re: Lire ses logs rapidement de façon efficace

[G2PC]

Pour l'intérêt d'utiliser MySQL pour le stockage de ses logs, c'est de
pouvoir créer un serveur de logs, qui récupérerait les logs d'autres
serveurs.
Externaliser les logs des serveurs, pour utiliser un client pour
consulter les logs.

J'ai modifié l'emplacement de mes notes sur les Logs, donc, les liens
précédents ne sont plus valides.
https://www.visionduweb.eu/wiki/index.php?title=Gestion_des_logs

Re: Lire ses logs rapidement de façon efficace

[G2PC]

> Une solution pas facile facile à mettre en oeuvre mais efficace une
> fois la solution mise en place,  le triplet "elasticsearch,  logstach
> et kibana"

C'est  noté :
https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Aller_plus_loin_avec_les_logs

Re: Lire ses logs rapidement de façon efficace

[Alexandre Goethals]

J'allais justement évoquer le triplet ElasticSearch.

Par contre c'est très très gourmand en ressources, donc pour une machine 
personnelle, c'est pas la peine: 
https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html


Le 12/11/2018 à 13:57, Belaïd a écrit :

Bonjour,

Une solution pas facile facile à mettre en oeuvre mais efficace une 
fois la solution mise en place,  le triplet "elasticsearch,  logstach 
et kibana"


Le dim. 11 nov. 2018 13:58, G2PC > a écrit :


Bonjour,

Bernard m'avait partagé le paquet ccze pour lire les logs en couleur.
Ça fonctionne très bien, mais, ça nécessite tout de même de gérer les
fichiers un après l'autre, ce qui prend du temps.

https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Des_logs_color.C3.A9s_avec_ccze

N'auriez vous pas une méthode plus facile à utiliser, rapide à
mettre en
oeuvre, simple d'utilisation ?
( Voir une intelligence artificielle, capable de faire tout le
travail à
ma place ? )

Merci pour vos avis.
C'était la question "Linux pour les nuls" du dimanche 11 Novembre
2018.
( Le dimanche, tout est permis. )

Re: Lire ses logs rapidement de façon efficace

[Belaïd]

Bonjour,

Une solution pas facile facile à mettre en oeuvre mais efficace une fois la
solution mise en place,  le triplet "elasticsearch,  logstach et kibana"

Le dim. 11 nov. 2018 13:58, G2PC  a écrit :

> Bonjour,
>
> Bernard m'avait partagé le paquet ccze pour lire les logs en couleur.
> Ça fonctionne très bien, mais, ça nécessite tout de même de gérer les
> fichiers un après l'autre, ce qui prend du temps.
>
> https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Des_logs_color.C3.A9s_avec_ccze
>
> N'auriez vous pas une méthode plus facile à utiliser, rapide à mettre en
> oeuvre, simple d'utilisation ?
> ( Voir une intelligence artificielle, capable de faire tout le travail à
> ma place ? )
>
> Merci pour vos avis.
> C'était la question "Linux pour les nuls" du dimanche 11 Novembre 2018.
> ( Le dimanche, tout est permis. )
>
>

Re: Lire ses logs rapidement de façon efficace

[G2PC]

>> Ensuite, je tenterais de stocker les données dans mysql.
> Quel intérêt, franchement ?


Faire compliqué, quand on peut faire simple !

Bernard m'en avait parlé. J'avais aussi pu lire déjà des articles à ce
sujet.
Je crois que ça peut être pratique, lors de sauvegardes, pour conserver
les logs dans une base de données, et, étudier les logs après un plantage.
C'est pour aller plus loin, et, ne pas faire simple ...
Peut être que ce n'est pas tellement nécessaire que ça, mais, j'ai
presque réussi à mettre ça en place, avec rsyslog et Loganalyzer, donc,
autant tester, sur une VM, pour bien être sur que ça puisse fonctionner
normalement.

https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Adiscon_LogAnalyzer

Re: Lire ses logs rapidement de façon efficace

[G2PC]

>> 4). Un script maison qui plante…
>> Tout juste ! J'ai pas mal d'utilisateur fantomes qui font toc toc, et, je 
>> veux pouvoir suivre la montée en charge du serveur.
>> Je cherche aussi à analyser mes propres attaques Dos, et, voir ce que 
>> retourne les logs en fonction des outils utilisés pour Dos.
> Tu peux utiliser Ossec (ossec.net) pour analyser des logs, générer des
> alertes et éventuellement des actions sur ces dernières.
>
> Pour le monitoring, j'utilise Icinga2.


Ok, merci, j'avais déjà pu faire une ligne sur Ossec, Icinga2 je n'en
avais pas entendu parler, je rajoute ça à ma petite liste.

Re: Lire ses logs rapidement de façon efficace

[Ph. Gras]

Salut,

> 4). Un script maison qui plante…
> Tout juste ! J'ai pas mal d'utilisateur fantomes qui font toc toc, et, je 
> veux pouvoir suivre la montée en charge du serveur.
> Je cherche aussi à analyser mes propres attaques Dos, et, voir ce que 
> retourne les logs en fonction des outils utilisés pour Dos.

Fail2ban est un logiciel que tu devrais connaître, dont le rôle est de passer à 
iptables les IP de tout un tas d'emmerdeurs…

Il analyse les logs selon des expressions régulières correspondant à des 
(filtres) scénarii d'attaques, que tu peux enrichir.
Lorsqu'une IP est détectée selon tel filtre, il l'intègre dans une règle 
iptables qui les bannit.

Ça diminue vachement le trafic parasite, et du coup tu es nettement plus serein 
question charge du serveur.

> Je cherche en parallèle a finir mon tutoriel sur mod_evasive, en testant 
> cette mod.

Ce qui rendrait par conséquent le module évasive d'Apache quelque peu superflu…

Il existe d'autres outils du même genre, mais dont je ne me souviens plus des 
noms.

> Ensuite, j'ai le redmine qui tourne depuis quelques semaines, je voudrais 
> suivre les éventuels problèmes liés à ruby.
> J'ai aussi les Vhosts à améliorer un peu il me semble, donc, si d'éventuelles 
> erreurs s'ajoutent au log, j'aimerais pouvoir les consulter sans devoir 
> toujours aller sur le terminal.
> 
> Pour cela, comme déjà évoqué dans ma précédente réponse, j'ai installé 
> Loganalyzer.
> J'ai préféré commencer par une lecture directe du fichier syslog, je dois 
> attendre une première rotation de log pour voir si loganalyzer va bien avoir 
> les droits de lire syslog.

Pour ce faire, Logwatch me semble tout à fait adéquat. Il t'envoie tous les 
matins un rapport de tout ce qui a déconné lors
de la journée précédente, ce qui t'évite de perdre un temps fou sur le 
terminal, tu y vas juste pour vérifier, comprendre, et
enfin réparer d'éventuelles erreurs de configuration, ou prendre les mesures 
qui s'imposent dans tel cas précis.

> Ensuite, je tenterais de stocker les données dans mysql.

Quel intérêt, franchement ?

Bonne journée,

Ph. Gras

Re: Lire ses logs rapidement de façon efficace

[Jean-Michel OLTRA]

Bonjour,


Le lundi 12 novembre 2018, G2PC a écrit...


> 4). Un script maison qui plante…
> Tout juste ! J'ai pas mal d'utilisateur fantomes qui font toc toc, et, je 
> veux pouvoir suivre la montée en charge du serveur.
> Je cherche aussi à analyser mes propres attaques Dos, et, voir ce que 
> retourne les logs en fonction des outils utilisés pour Dos.

Tu peux utiliser Ossec (ossec.net) pour analyser des logs, générer des
alertes et éventuellement des actions sur ces dernières.

Pour le monitoring, j'utilise Icinga2.

-- 
jm

Re: Lire ses logs rapidement de façon efficace

[G2PC]

> Salut la liste,
>
> on devrait d'abord te demander la raison qui te pousse à lire tes logs :
> 1). Problèmes d'insomnie ?
> 2). La nécessité de vendre ta bibliothèque pour remplir ton réservoir 
> d'essence ?
> 3). La police te demande qui s'est connecté sur ta machine le 11 novembre 
> 1918 à 12:45 ?
> 4). Un script maison qui plante…
>
> Pour la veille, j'utilise Logwatch.

1). Problèmes d'insomnie ?
Oui, hyperactif, et, des douleurs neuropathiques.

2). La nécessité de vendre ta bibliothèque pour remplir ton réservoir d'essence 
?
Non, avec les nouvelles technologies, il suffit d'écrire " bombe, attentat, 
paris " pour que le projet échelon nous fasse envoyer un taxi. Cela minimise 
les frais d'essence. ;)

3). La police te demande qui s'est connecté sur ta machine le 11 novembre 1918 
à 12:45 ?
Inutile, avec les lois renseignement, ils se servent sans demander ;)

4). Un script maison qui plante…
Tout juste ! J'ai pas mal d'utilisateur fantomes qui font toc toc, et, je veux 
pouvoir suivre la montée en charge du serveur.
Je cherche aussi à analyser mes propres attaques Dos, et, voir ce que retourne 
les logs en fonction des outils utilisés pour Dos.
Je cherche en parallèle a finir mon tutoriel sur mod_evasive, en testant cette 
mod.
Ensuite, j'ai le redmine qui tourne depuis quelques semaines, je voudrais 
suivre les éventuels problèmes liés à ruby.
J'ai aussi les Vhosts à améliorer un peu il me semble, donc, si d'éventuelles 
erreurs s'ajoutent au log, j'aimerais pouvoir les consulter sans devoir 
toujours aller sur le terminal.

Pour cela, comme déjà évoqué dans ma précédente réponse, j'ai installé 
Loganalyzer.
J'ai préféré commencer par une lecture directe du fichier syslog, je dois 
attendre une première rotation de log pour voir si loganalyzer va bien avoir 
les droits de lire syslog.
Ensuite, je tenterais de stocker les données dans mysql.

Merci pour ton retour pour Logwatch. Je l'avais classé également dans "le 
monitoring" mais j'en profite pour le déplacer dans la "gestion des logs".
Pour moi, Nagios est d'avantage un outil de monitoring au sens large.
Loganalyzer et logwatch sont plutôt orienté gestion des logs " à l'ancienne " 
si je ne me trompe pas, même si, loganalyzer semble tout de même assez complet 
après une visite rapide de son interface.

Bonne semaine,

Re: Lire ses logs rapidement de façon efficace

[G2PC]

Le 11/11/2018 à 16:44, Raphaël POITEVIN a écrit :
> Haricophile  writes:
>> Pour la bêtise artificielle je ne sais pas, mais si on cherche quelque chose 
>> de
>> plus synthétique, voir avec des stats, des joli graphiques et tout, il faut 
>> voir
>> sur les différentes solutions de monitoring : il y a des choses très 
>> complètes
>> et d'autres plus simples, mais on sort de la simple lecture d'un fichier log.
>> Il y a un peu de mise en place.
> Nagios ?
Je crois que Nagios n'est plus intégré par défaut dans Debian Stretch ?

Je l'avais répertorié, comme étant un logiciel de monitoring.
Effectivement, il a l'air très complet, capable, et, adapté au monitoring.

Tu répond presque bien au delà de ma demande, mais, merci de ce rappel,
puisque Nagios semble être incontournable.

Toutefois, pour gérer les logs soit même, et, avoir un visuel, je ne
connais pas Nagios pour savoir ce qu'il propose.

J'ai avancé en attendant, sur Loganalyser.
Je dois attendre la prochaine rotation de logs, pour voir si je l'ai
correctement installé.
https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Installer_LogAnalyzer

Re: Lire ses logs rapidement de façon efficace

[Ph. Gras]

Salut la liste,

on devrait d'abord te demander la raison qui te pousse à lire tes logs :
1). Problèmes d'insomnie ?
2). La nécessité de vendre ta bibliothèque pour remplir ton réservoir d'essence 
?
3). La police te demande qui s'est connecté sur ta machine le 11 novembre 1918 
à 12:45 ?
4). Un script maison qui plante…

Car pour chaque raison, il y a une manière différente d'effectuer ces
consultations, et en effet quelquefois des solutions logicielles offrant
une épargne de temps intéressante.

Pour la veille, j'utilise Logwatch.

Bon dimanche,

Ph. Gras

Re: Lire ses logs rapidement de façon efficace

[Raphaël POITEVIN]

Haricophile  writes:
> Pour la bêtise artificielle je ne sais pas, mais si on cherche quelque chose 
> de
> plus synthétique, voir avec des stats, des joli graphiques et tout, il faut 
> voir
> sur les différentes solutions de monitoring : il y a des choses très complètes
> et d'autres plus simples, mais on sort de la simple lecture d'un fichier log.
> Il y a un peu de mise en place.

Nagios ?
-- 
Raphaël

Re: Lire ses logs rapidement de façon efficace

[G2PC]

Le 11/11/2018 à 15:22, Haricophile a écrit :
> Le Sun, 11 Nov 2018 13:58:30 +0100,
> G2PC  a écrit :
>
>> N'auriez vous pas une méthode plus facile à utiliser, rapide à mettre en
>> oeuvre, simple d'utilisation ?
>> ( Voir une intelligence artificielle, capable de faire tout le travail à
>> ma place ? )
> Pour la bêtise artificielle je ne sais pas, mais si on cherche quelque chose 
> de
> plus synthétique, voir avec des stats, des joli graphiques et tout, il faut 
> voir
> sur les différentes solutions de monitoring : il y a des choses très complètes
> et d'autres plus simples, mais on sort de la simple lecture d'un fichier log.
> Il y a un peu de mise en place.

Ok, je continue donc mes recherches pour les joulis logs en couleur, et,
un monitoring des logs simplifié.
Lire ses logs avec Linux :
https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Gestion_des_logs

Re: Lire ses logs rapidement de façon efficace

[Haricophile]

Le Sun, 11 Nov 2018 13:58:30 +0100,
G2PC  a écrit :

> N'auriez vous pas une méthode plus facile à utiliser, rapide à mettre en
> oeuvre, simple d'utilisation ?
> ( Voir une intelligence artificielle, capable de faire tout le travail à
> ma place ? )

Pour la bêtise artificielle je ne sais pas, mais si on cherche quelque chose de
plus synthétique, voir avec des stats, des joli graphiques et tout, il faut voir
sur les différentes solutions de monitoring : il y a des choses très complètes
et d'autres plus simples, mais on sort de la simple lecture d'un fichier log.
Il y a un peu de mise en place.

Lire ses logs rapidement de façon efficace

[G2PC]

Bonjour,

Bernard m'avait partagé le paquet ccze pour lire les logs en couleur.
Ça fonctionne très bien, mais, ça nécessite tout de même de gérer les
fichiers un après l'autre, ce qui prend du temps.
https://www.visionduweb.eu/wiki/index.php?title=Sommaire_S%C3%A9curit%C3%A9#Des_logs_color.C3.A9s_avec_ccze

N'auriez vous pas une méthode plus facile à utiliser, rapide à mettre en
oeuvre, simple d'utilisation ?
( Voir une intelligence artificielle, capable de faire tout le travail à
ma place ? )

Merci pour vos avis.
C'était la question "Linux pour les nuls" du dimanche 11 Novembre 2018.
( Le dimanche, tout est permis. )