Re: [FRsAG] Recherche ordonnanceur libre

2017-06-07 Par sujet Stéphane Cottin 


J'exploite plusieurs clusters mesos, avec chronos en production depuis 
environ 2 ans.


Si tu as des 50+ jobs a exécuter, avec des dépendances, sur plusieurs 
timezones, et avec des ressources insuffisantes pour tout lancer en //, 
chronos fait (très bien) le job.


Si tu n'as pas déjà un cluster mesos en production, et que tu as moins 
de 30 taches à gérer, monter et maintenir un cluster dédié est 
difficile à justifier.


En framework mesos pour du scheduling, tu peux aussi regarder 
https://github.com/dcos/metronome  et 
https://github.com/dangdangdotcom/elastic-job, que je n'utilise pas, 
chronos me convient.


Stéphane

On 7 Jun 2017, at 19:07, Alexandre wrote:


Bonjour à tous,

je me permets de vous solliciter car je souhaiterai mettre un
ordonnanceur pour pouvoir planifier/exécuter des tâches sur 
plusieurs

machines. L'environnement est full Linux. Auriez-vous des infos ?

J'ai un collègue qui m'a proposé Chronos
https://mesos.github.io/chronos/, ca semble très bien.

Merci pour vos retour.

Alex.

___
Liste de diffusion du FRsAG
http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Recherche de retour d'expériences sur l'orchestration docker

2016-10-18 Par sujet Stéphane Cottin 

mesos.apache.org

Utilisé en preprod / prod depuis 2 ans sur plusieurs plateformes, en 
cluster ou serveur isolé pour de la QA.

Associé a marathon/chronos pour les usages basiques.
N'a même plus besoin de docker-engine depuis la version 1.0.0, il 
supporte nativement les images docker / appc.


Peut paraitre complexe a priori, mais l'essayer, c'est l'adopter.


On 18 Oct 2016, at 11:37, Corentin Bonneton wrote:

Je cherche aussi plus ou moins la même chose, j’ai environ 800CT en 
prod, je suis a la recherche d’une solution pour pouvoir pop / 
migrate des CT sur certains node suivant la consommation de CPU / RAM 
ou même en cas de panne du node.


Les CT utilisent 1 Volumes en NFS et un un volume via un driver rbd 
(pour ceph).

--
Cordialement,
Corentin BONNETON

Le 18 oct. 2016 à 11:06, Nicolas Steinmetz 
 a écrit :


Hello,

18 octobre 2016 10:58 "Cedric Mallet"  a écrit:

Je suis en train de me creuser la tête pour trouver un 
orchestrateur docker.


Le but étant d'instancier à la volée des containers docker pour 
les équipes de dev.


Mis à part Kubernetes, j'avoue ne pas trop avoir d'idée.


Tu les instancies pour eux ou sont-ils autonomes ?

Kubernetes n'est pas forcément évident à prendre en main mais a 
pas mal de fonctionnalités intéressantes. Cela reste plutôt un 
outil orienté Ops même si la 1.4 cherche à simplifier pas mal de 
choses (avec kubeadm ou minikub ou le dashboard)


Si tes devs doivent être indépendants :
* Rancher - pour avoir une belle Web UI au dessus de Docker / 
Kubernetes / ...
* Docker-Swarm (avec une version 1.12+ de Docker), tu arrives à 
faire des choses sympa. Par contre cela demande vraiment une version 
1.12+ de Docker.


Nicolas
___
Liste de diffusion du FRsAG
http://www.frsag.org/




___
Liste de diffusion du FRsAG
http://www.frsag.org/___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Alternatives à "cron"

2016-07-26 Par sujet Stéphane Cottin 

On 26 Jul 2016, at 9:56, Joël DEREFINKO wrote:


Surement overkill, mais je suis tombé sur ca :
https://mesos.github.io/chronos/


c'est un framework mesos, pas un "simple" remplaçant de cron.
Si tu utilises mesos, n'hésite pas, chronos fait le job.

Très pratique de pouvoir lui parler en iso8601, qu'une tache ne soit 
jamais lancée en double, les dépendances entre taches, et l'epsilon ( 
fenêtre de tir, si par manque de ressources ou retard d'une tache 
parente/précédente le temps imparti est dépassé, on abandonne et on 
attend la prochaine planification).

Les logs de chaque tache sont collectés par mesos.
Il supporte également les notifications (mail, sentry, slack) en cas 
d'erreur.


Lorsque tu commences à avoir beaucoup de taches, ces fonctionnalités 
ne sont pas du tout overkill :)





Joël DEREFINKO

De : FRsAG [mailto:frsag-boun...@frsag.org] De la part de Benoît 
VILAIN

Envoyé : mardi 26 juillet 2016 08:17
À : Greg 
Cc : French SysAdmin Group 
Objet : Re: [FRsAG] Alternatives à "cron"

Bonjour,

Il existe des services payants comme celui-ci : 
https://www.easycron.com/ mais je ne sais pas eu le temps de tester...


Cordialement

Le 25 juillet 2016 à 18:08, Greg 
> a écrit 
:

J'ai évoqué ces 2 techniques dans mon 1er message ...

Le 25 juillet 2016 à 17:23, Jeremie Le Hen 
> a écrit :

On Mon, Jul 25, 2016 at 02:22:13PM +0200, Greg wrote:
- pas d'outil natif permettant de vérifier la syntaxe d'une crontab. 
On
peut lancer la commande "crontab fichier" et voir si elle ne retourne 
pas
d'erreur, mais ça installe la crontab, il faut ensuite la supprimer 
et la
déplacer dans /etc/cron.d/ ... Ou alors il existe quelques scripts 
Bash ou
Python mais ils ne prennent pas tous les cas en charge, par exemple 
la

ligne suivante est invalide mais passe les checks:

MAILTO="t...@domain.com"  # commentaire


Un hack rapide qui me vient a l'esprit pour "crontab $file", alors tu
peux probablement creer un user dedie au test.  Peu importe que ca
installe la crontab, ou au pire tu la remplaces juste apres par une
crontab vide.

--
Jeremie Le Hen

My PIN is the last four digits of Pi.



--
Greg

___
Liste de diffusion du FRsAG
http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] MariaDB + Docker

2015-08-04 Par sujet Stéphane Cottin 

 Le 4 août 2015 à 13:19, Rémy Sanchez remy.sanc...@hyperthese.net a écrit :
 
 Bonjour à tous,
 
 Je suis plutôt intéressé par les promesses de Docker et en particulier de 
 CoreOS, et effectivement de premiers essais montrent que c'est plutôt 
 pratique pour des applis web sans persistence.
 
 Maintenant voilà, je ne suis vraiment pas rassuré d'y mettre ma base de 
 données car on a vraiment l'impression que même si l'image se lance, les data 
 vont se vaporiser au prochain reboot.

tu as plusieurs possibilités, créer un container data ou un simple dossier et 
l'attacher, mais cela ne fonctionne que sur la même machine.
en mode cluster, tu es obligé de passer par un stockage externe ( NAS / S3 / 
etc ... )  ou partagé ( glusterfs par ex ) afin que le volume soit disponible 
pour tous les hosts.

concernant coreos, cela a été testé et non approuvé chez nous ( repose sur 
systemd, le test fut rapide ;) ).
Si tu veux faire du clustering docker simple, utilise rancheros. Pour les 
projets plus gros/sérieux/critiques, je te conseille apache mesos.

 
 La question est donc, est-ce que quelqu'un l'a fait dans la vraie vie ? 
 Est-ce que c'est viable ? Est-ce qu'il ne vaudrait pas plutôt mettre les 
 serveurs de BDD sur des machines à part dans lesquelles on a invité etcd ?
 
 Merci pour les retours
 -- 
 Rémy Sanchez
 http://hyperthese.net/ 
 http://hyperthese.net/___
 Liste de diffusion du FRsAG
 http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] ClamWin + ClamSentinel

2015-06-22 Par sujet Stéphane Cottin 
Ancien utilisateur de dspam, effectivement non maintenu et complètement dépassé 
par les techniques de spam actuelles, je teste https://rspamd.com/ 
https://rspamd.com/ depuis qqs semaines, développement actif et bonnes 
performances.
Reste a le mettre a l'épreuve du feu, sur un serveur avec des utilisateurs qui 
aiment les bons de réduction et les super affaires, font des régimes et 
achètent des pilules bleues :)
Qqn aurait'il un retour d'exp significatif avec rspamd ?

 Le 22 juin 2015 à 08:36, adrien nayrat adrien.nayrat.ax...@gmail.com a 
 écrit :
 
 Le 21 juin 2015 11:48, Arnaud Launay a...@launay.org a écrit :
 Le Tue, Jun 16, 2015 at 03:15:53PM +0200, GROS Jerome a écrit:
 Sanesecurity a été cité comme signatures complémentaires pour
 clamav, j'utilise
 https://www.securiteinfo.com/services/improve-detection-rate-of-zero-day-malwares-for-clamav.shtml
 pour compléter le bon clamav !
 
 Je vais un peu voler le fil, mais ça reste dans la même veine...
 J'utilise toujours spamassassin pour l'antispam, mais il laisse
 passer de plus en plus de @#! . L'état de l'art au niveau des
 règles et de l'antispam à utiliser, c'est quoi, de nos jours ?
 
 J'ai lu du bien de dspam :
 http://wiki.linuxwall.info/doku.php/fr:ressources:dossiers:dspam
 http://www.planet-libre.org/index.php?post_id=14683
 
 Mais je crois qu'il n'est plus maintenu :
 http://linuxfr.org/users/glandos/journaux/antispam-sans-dspam
 ___
 Liste de diffusion du FRsAG
 http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Centralisation/analyse de logs

2013-09-06 Par sujet Stéphane Cottin 

Le 6 sept. 2013 à 14:10, Rémy Sanchez remy.sanc...@hyperthese.net a écrit :

 On 03.09.2013 14:46, Stéphane Cottin wrote:
 Bonjour,
 
 Pour les applicatifs, on envoi les messages au format gelf, afin de
 ne pas subir  la limite a 1024 octets de syslog, avoir des traces
 complètes et pouvoir ajouter tagger les messages.
 Le tout (gelf + syslog pour les logs système) est filtré par logstash
 qui distribue ensuite vers un cluster elasticsearch pour le stockage,
 et riemann pour la gestion des alertes.
 
 Riemann est juste parfait pour traiter des flux, faire de l'analyse
 en temps réèl et générer les notifications sans flooder les serveurs
 mails, et les humains qui sont derrière, petit détail, le projet est
 écrit en clojure, et dans la logique code is data, le fichier de
 config est du code clojure. la prise en main est dc un peu
 inhabituelle, il faut apprendre les bases d'un language fonctionnel,
 mais clairement, c'est un super outil.
 
 on utilise kibana3 comme interface de consultation pour
 elasticsearch, attention, c'est de l'alpha/beta, j'ai déjà du refaire
 2 fois mes dashboards pour cause de changements incompatibles.
 
 L'ensemble se comporte bien, et a clairement amélioré la qualité de
 service globale depuis sa mise en place.
 Comme tout ceci utilise la JVM, RAM/CPU/IO sont a provisionner avec
 générosité si l'on veut conserver de bonnes performances sur la durée.
 
 
 Stéphane
 
 Merci à tous pour vos retours, je vois que le consensus est plutôt vers 
 Logstash/Kibana3, et effectivement ça a l'air plutôt sympa.
 
 Merci aussi pour le tuyau sur Riemann, qui a l'air effectivement vraiment 
 adapté à ce que je veux faire, voire même donne des idées pour la suite. Par 
 contre ça n'a pas l'air d'être une sinécure à mettre en place, et encore 
 moins si on veut créer des alertes/indicateurs pertinents. J'imagine que le 
 projet est trop récent pour être muni d'une littérature digne de ce nom ?

Riemann est totalement lié au langage qu'il utilise, clojure, il faut 
obligatoirement le connaitre pour sortir des qqs exemples fournis, pour le 
coup, c'est du vrai devops :)

 
 Par contre, vous soulignez le fait que c'est assez gourmand en ressources, 
 est-ce que vous auriez des chiffres à donner pour avoir une idée ?

Je compare aux outils en bash/python/perl/... habituels, la JVM a besoin de 
RAM, les perfs s'écroulent au moindre début de swap. 
Par ex sur une vm gandi pour logstash/riemann + dashboard/kibana3, 1.25G de ram 
,  2 cores,  traite en moyenne sans aucune optimisation 100 events/sec avec une 
charge ~ 0.5 
Les nodes elasticsearch rament rapidement en dessous de 2Go de ram, prévoir 2 
cores par instance au mini.

 
 J'entends assez peu parler de Greylog2, j'imagine que Logstash est 
 sensiblement mieux ? De même pour Splunk, est-ce que quelqu'un a comparé ?

j'ai testé graylog2 sans le retenir, trop usine-qui-fait-tout IMHO, par contre 
j'ai gardé le format GELF pour les logs applicatifs.

 
 Merci encore :)
 -- 
 Rémy Sanchez
 http://hyperthese.net/
 ___
 Liste de diffusion du FRsAG
 http://www.frsag.org/



smime.p7s
Description: S/MIME cryptographic signature
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Centralisation/analyse de logs

2013-09-03 Par sujet Stéphane Cottin 
Bonjour,

Pour les applicatifs, on envoi les messages au format gelf, afin de ne pas 
subir  la limite a 1024 octets de syslog, avoir des traces complètes et pouvoir 
ajouter tagger les messages.
Le tout (gelf + syslog pour les logs système) est filtré par logstash qui 
distribue ensuite vers un cluster elasticsearch pour le stockage, et riemann 
pour la gestion des alertes.

Riemann est juste parfait pour traiter des flux, faire de l'analyse en temps 
réèl et générer les notifications sans flooder les serveurs mails, et les 
humains qui sont derrière, petit détail, le projet est écrit en clojure, et 
dans la logique code is data, le fichier de config est du code clojure. la 
prise en main est dc un peu inhabituelle, il faut apprendre les bases d'un 
language fonctionnel, mais clairement, c'est un super outil.

on utilise kibana3 comme interface de consultation pour elasticsearch, 
attention, c'est de l'alpha/beta, j'ai déjà du refaire 2 fois mes dashboards 
pour cause de changements incompatibles.

L'ensemble se comporte bien, et a clairement amélioré la qualité de service 
globale depuis sa mise en place.
Comme tout ceci utilise la JVM, RAM/CPU/IO sont a provisionner avec générosité 
si l'on veut conserver de bonnes performances sur la durée. 

Stéphane

Le 3 sept. 2013 à 14:20, Thomas Pedoussaut tho...@pedoussaut.com a écrit :

 On 2013-09-03 13:32, Rémy Sanchez wrote:
 Bonjour à tous,
 
 Je déploie actuellement avec grand plaisir des applications Java en
 charge de faire du traitement de masse sur des données.
 
 L'idée serait donc d'externaliser la gestion des logs pour 2 raisons :
 
   * Empêcher que les logs nuisent à l'exécution du programme en
 saturant l'espace disque
   * Être capable de gérer les erreurs par lot : si une même exception
 arrive 2 millions de fois, générer une seule alerte et l'envoyer par
 mail à la team de maintenance, par exemple
 
 Je cherche donc un système en mesure d'absorber des gros pics de logs,
 de ne pas consommer des gigas et des gigas de stockage, et de
 préférence avec une interface de visualisation web sympa. Possiblement
 compatible avec syslog ou en tout cas avec un appender log4j.
 On utilise chez nous Sentry, installé sur un serveur a nous, c'est
 leger, bien configurable. Pratique pour aller rechercher un alerte qu'un
 client te signale 2 jours plus tard ...
 
 -- 
 Thomas
 
 ___
 Liste de diffusion du FRsAG
 http://www.frsag.org/

___
Liste de diffusion du FRsAG
http://www.frsag.org/