[FRsAG] Re: Recherche solution de backup adaptée à de fortes volumétries

[Gilles Mocellin]

Le mercredi 3 janvier 2024, 18:42:10 CET Fabien Sirjean a écrit :
> Bonsoir la liste,
> 
> En ce début d'année, je me creuse la cervelle autour des sauvegardes,
> alors je vous partage mes questionnements :)
> 
> 
> Petit topo du contexte : je bosse dans un centre de recherche
> scientifique, dont les instruments produisent pas mal de données.
> 
> Ces données sorties des instruments "raw" sont ensuite traitées et
> transformées pour analyse (données "processed"), en vue de publier des
> papiers de recherche.
> 
> Les données raw sont produites pendant des "cycles" de fonctionnement (3
> à 4 cycles par an) et l'approche est WORM (c'est la valeur produite par
> l'institut, les données raw sont impossibles à reproduire).
> 
> Les données processed sont produites en continu selon l'activité des
> scientifiques, parfois plusieurs années après la production des données
> raw associées. Les données processed sont recalculables à partir des
> données raw, mais ça peut être coûteux (temps et puissance de calcul).
> 
> On a actuellement 1.3 PiB de data (raw+processed) sur notre stockage
> primaire. Ça tourne sur une infra Ceph en triple réplication,
> grosso-merdo ça fait 600 disques mécaniques de 20TB.
> 
> Évidemment on est sur un scénario loin d'être idéal pour le stockage :
> on a principalement de très nombreux petits fichiers (<128 KB). Mais on
> a aussi des fichiers >1TB, sinon c'est pas drôle...
> 
> Si vous voulez une idée de la tête de l'arborescence, ça ressemble à ça
> 
> : https://pastebin.com/vVF31cv4
> 
> On aimerait changer de solution de backup pour ces données, au profit
> d'un truc qui coche au moins plusieurs de ces critères (tous, je sens
> que ça va être compliqué) :
> 
>   * Open Source
>   * Pas trop complexe / usine à gaz
>   * Scalable (marre de changer tout le matos tous les 4-5 ans parce que
> y'a plus de place...)
>   * Qui permette de gérer indépendamment le backup des données "raw" (ça
> bouge pas mais on veut vraiment pas les perdre) des données
> "processed" (ça bouge, on peut se permettre de les perdre, on peut
> réduire la rétention pour les vieux cycles)
>   * Qui fasse pas nécessairement tourner des tas de disques en
> permanence (les données raw pourraient très bien être sur de la
> bande magnétique, vu qu'elles ne bougent plus du tout une fois le
> cycle terminé)
>   * Qui coûte un prix raisonnable
> 
> 
> Jusqu'ici on fait du bacula et du rsync sur ZFS (un serveur avec plein
> de baies JBOD en SCSI). Mais c'est plein, et il faut donc faire évoluer
> tout ça.
> 
> Le plus simple pour nous serait probablement de continuer avec la même
> solution sur le plan logiciel, en passant sur un stockage distribué
> comme Ceph pour avoir la scalabilité souhaitée.
> 
> Mais ça fait la même techno pour le stockage primaire et le backup (pas
> top), et Ceph n'est pas très efficient (même si on peut faire des choses
> en Erasure Coding). De plus, ça ne permet pas d'intégrer des bandes
> magnétiques dans l'équation.
> 
> 
> Voilà, n'hésitez pas à partager vos avis et expériences. Notamment je
> n'ai jamais bossé avec de la bande magnétique, je me questionne pas mal
> sur la pertinence et la facilité de gestion.
> 
> Si des commerciaux passent par là : vous pouvez me contacter sur mon
> mail pro (sirj...@ill.fr) mais je suis plutôt dans une phase
> exploratoire (il y aura de toutes façon un appel d'offres).
> 
> 
> Merci pour vos retours, et à bientôt :)
> 
> Fabien

Bonjour,

En restant dans le domaine de la recherche, on a évidemment le CERN qui peut 
être pris comme référence / inspiration.

https://home.cern/science/computing/storage

Ils ont du Ceph, mais à priori, pas pour les données des expériences, surement 
pour leur Cloud OpenStack.
Leur stockage est fait maison (EOS https://eos-web.web.cern.ch/eos-web/)
Et le stockage long terme, archivage est sur bande.

PS:
Tien, je vois que EOS  a plusieurs backends de stockage à proprement dit, et 
qu'on y retrouve Ceph aussi, en mode RADOS direct ou CephFS...



___
Liste de diffusion du %(real_name)s
http://www.frsag.org/

[FRsAG] Re: PXE install

[Gilles Mocellin]

Le samedi 22 janvier 2022, 12:23:39 CET Mickael MONSIEUR a écrit :
> Bonjour,
> 
> Est-ce que vous connaissez des projets open source d'installation PXE ?
> 
> Quelque chose capable de :
> 
> - Assigner une IP locale en DHCP juste à la mac address de la carte
> (pas DHCP pour tout le VLAN) avec les informations PXE
> - Envoyer une commande de reboot à l'IPMI (via le port 623 RMCP
> probablement)
 - Générer un fichier preseed sur un serveur TFTP
> - Déclencher une action comme un appel API quand c'est terminé
> 
> J'ai déjà pas mal de ces choses qui existent dans mon labo, mais je
> serais pas contre un projet plus complet, plus standardisé,...
> 
> Merci
> ___
> Liste de diffusion du %(real_name)s
> http://www.frsag.org/

Bonjour,

Coté Ubuntu, il y a MaaS https://maas.io/.
Dans ma boite actuel, on utilise The Foreman, car on s'en sert aussi comme 
classifier et exécuteur de rôles/playbooks Ansible.

Après, bien que probablement aussi overkill, je pourrais cité la partie 
Baremetal as a Service d'OpenStack : Ironic, avec sa version autonome couplée 
à de l'Ansible : Bifrost https://docs.openstack.org/bifrost/latest/




___
Liste de diffusion du %(real_name)s
http://www.frsag.org/

Re: [FRsAG] deb.sury.org... miroir ou sauvegarde ?

[Gilles Mocellin]

Le samedi 18 juillet 2020, 22:02:02 CEST Stéphane Rivière a écrit :
> Le 18/07/2020 à 21:29, Guillaume Tournat a écrit :
> > apt-get dist-upgrade ?
> 
> Plus compliqué que ça...
> 
> Depuis quelques version Debian devient vraiment pénible dans ses
> upgrades. Impossible de passer d'une version à l'autre sans tout casser.
> 
> systemd, pourquoi pas, on s'y est fait, mais network-systemd, là ça me
> casse les  À moins qu'il y ait un génie pour me dire comment
> transposer pointtopoint de interfaces dans networkd, marre de devoir
> réinventer la roue pour juste rien...

[...]

Bonsoir,

Je ne pense pas que networkd soit obligatoire, par défaut sur Debian.
Bon, ça fait un moment que je n'ai pas fait d'installation, mais mes sid sont 
toujours avec /etc/network/interfaces / ifupdown.
Sauf une ou j'ai justement voulu tester systemd-networkd.



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] cluster web partage de fichiers

[Gilles Mocellin]

Bonjour,

Si l'application peut être adapté, une évolution ces dernières années 
avac le Cloud, c'est le stockage Objet.

- S3 chez Amazon
- OpenStack Swift (chez OVH et tout Cloud basé sur OpenStack)
 Ceph avec rados gateway permet de faire du Swift
 Certaines baie le propose maintenant (EMC Isilon)

Je ne connais pas, mais en cherchant deux minutes des alternatives de 
stockage objet plus simple, je suis tombé là dessus :

https://minio.io/
Par le développeur de GlusterFS.

Le 17/05/2016 à 17:02, Wallace a écrit :

Bonjour à tous,

Pour faire des clusters web avec espace de fichiers partagés j'ai
utilisé pas mal de technique depuis plus de 15 ans :
- NFS début des années 2000 vite abandonné
- lun partagée en iscsi et oc2fs testé jusqu'à 9 serveurs
- DRBD limité à 2 serveurs
- GlusterFS sympa sur le papier mais pas performant
- CephFS que j'adore mais le coût initial en serveur n'est pas adapté à
toutes les architectures
- inotify / rsync et dérivé en mode bidouillage
- cluster de php fpm déportés du serveur web mais nécessite que le code
php ne doive pas manipuler de fichiers

Le souci c'est qu'avec toutes ces solutions j'ai un beau panel pour
m'adapter mais cela ne suffit pas.
Là j'ai un cas concret où j'ai 2 serveurs front web Nginx / PHP-FPM où
les mêmes sites doivent être servis MAIS le client ne veut pas et n'a
pas les moyens d'avoir un partage correct genre Ceph.
Je sais que la solution doit pouvoir monter à 3/4 serveurs web si la
charge augmente pendant la saisonnalité du client ce qui écarte la
réplication DRBD qui fait très bien son boulot en dual master pour 2
serveurs.

J'ai comme piste
- Syncthing qui tournerait sur les front web pour se synchroniser
mutuellement mais quid de la performance et du délai de synchronisation?
- FineFS mais le projet semble ne plus être maintenu

Du coup je sèche, avez-vous une idée de nouvelle façon de faire?
Par avance merci pour vos expériences.




___
Liste de diffusion du FRsAG
http://www.frsag.org/


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Logiciel Gestion de portefeuille de projet ?

[gilles . mocellin]

Le 2016-01-13 16:20, Seb Astien a écrit :

Hello,

Le 13 janvier 2016 à 15:58, SIMANCAS Hugo
 a écrit :


Bonjour,

Petite question, qu’utilisez-vous en soft de gestion de
portefeuille de projet (et peut être crm…) ?

On a quelques solutions sous la main, mais je voudrais votre retour
sur l’utilisation / avis / prix ? [1]


Si je devais utiliser quelque chose, j'utiliserai dolibarr ;)


Hello,

En effet, question simplicité, Dolibarr est bien placé.
Je l'ai utilisé pendant mes 2 ans en tant qu'indépendant, pour suivre 
mes projets, clients, contrats, interventions, devis et factures.


Etant pro Debian. J'avais en plus un paquet maintenu à jour pour Debian 
stable fournit par l'équipe Dolibarr.

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Rejouer le traffic d'un serveur Web apache

[Gilles Mocellin]

Le 01/11/2015 11:10, Alexis Vannier a écrit :

Bonjour la liste,

Quelqu'un connaît-il un outil qui permettrais de rejouer l'ensemble du 
traffic reçu sur un serveur Web Apache, sur un autre serveur.


L'idée est de capter tout ce qui arrive sur un serveur de prod et de 
pouvoir le rejouer ultérieurement et analyser des problèmes de perfs 
dans un environnement différent.


Le problème est qu'aucune des solutions que j'ai vu ne conserve les 
permettre GET, POST, le contexte des cookies etc...


Merci,
Alexis.



J'ai vu une équipe Web utiliser siege comme tu le souhaite, à partir des 
logs apache.

https://www.joedog.org/siege-home/

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Synchronisation de fichier multisite pour home directory

[Gilles Mocellin]

Le 2015-09-09 15:18, Alexandre Legrix a écrit :

Ceci répond à 100% à ton besoin : https://www.seafile.com/en/home/
[3]

(sans se taper les lenteur de owncloud)

Cdlt
A


Aussi Pydio https://pyd.io/

Et plein d'autres :
http://alternativeto.net/software/owncloud/


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Synchronisation de fichier multisite pour home directory

[Gilles Mocellin]

Le 2015-09-09 15:03, Alexis Lameire a écrit :

Hello

Un bête script basée sur inotify ne pourrait til pas faire laffaire
? Avec  une tit bdd au cas où lun des serveur perd la synchro


Aussi, problème classique des systèmes distribués : quelle est la 
références ?
Le dernier qui écrit a toujours réison ? Même s'il n'était pas synchro 
juste avant ?


On peut faire référence au théorème CAP pour voir les problèmes que 
posent un système distribué :

https://fr.wikipedia.org/wiki/Th%C3%A9or%C3%A8me_CAP


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Synchronisation de fichier multisite pour home directory

[Gilles Mocellin]

Le 2015-09-09 12:31, Youenn PIOLET a écrit :

Bonjour,

Je cherche à savoir sil existe dautres solutions que BitorrentSync
pour faire de la synchronisation de fichiers utilisateurs multipoints
en temps réel.  

Je cherche typiquement à synchroniser des /home directories
utilisateurs entre 4/5 serveurs NFS qui seront montés par les autres
système. BtSync pose un problème sur les permissions de fichier, et
je me vois mal lancer une instance de BtSync pour chaque utilisateur.
Un système de gestion des conflits serait un plus.

Les FS distribués sont probablement à écarter pour des raisons de
latence très élevée entre mes sites mais je reste ouvert à toute
solution miracle dans cette direction.

Avez-vous des pistes ?

Cordialement,


Salut,

Si tu peux te permettre un point central, accessible par tous les 
systèmes, il y a owncloud.


Sinon, pas tout à fait dans ta cible, je me suis toujours dit qu'il 
doit être possible de faire
quelque chose de sympa avec Tahoe-LAFS 
https://www.tahoe-lafs.org/trac/tahoe-lafs


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Windows 10 espionnage ?

[Gilles Mocellin]

Le 15/08/2015 14:10, Guillaume Hilt a écrit :

[...]
Le 15/08/2015 13:15, Guillaume Hilt a écrit :
J'ai du windows 10 pro et pour le moment, avec tout de vraiment 
désactivé et nettoyé, je n'ai reproduit que les appels vers bing 
quand on fait une recherche dans le menu démarrer.
J'ai modifié le fichier host pour tenter de bloquer bing, il faut que 
je regarde si ça fonctionne ou pas.


Si vous voulez que je fasse des tests spécifiques, demandez.

[...]

Hello,
Juste une remarque : peut-être qu'un Windows Pro ne fuite moins qu'une 
version grand publique car encore moins acceptable en entreprise.

Il serait intéressant de comparer les différentes versions.

Désolé, personnellement je n'ai pas de WIndows 10 et je ne compte pas en 
avoir.


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] serveur de boot réseaux RedHat

[Gilles Mocellin]

Le 26/05/2015 18:12, tarik chichane a écrit :

Bonjour,

je travaille sur du HPUX et j'ai l'ignite server, qui me plait me 
facilite la vie et me rassure.


là on me demande de rebasculer sur du RedHat et là j'aimerais vos 
retours sur:



 - c'est quoi l'équivalent du igniteserver côté RedHat
 - comment vous faites pour avoir les mêmes fonctionnalités (créer 
l'image ignite, et surtout la restaurer)


j'ai pas beaucoup de machine 12 machines Redhat avec de l'applicatif 
assez critique je dirais dessus, sauvegarder les images et les 
restaurer via le réseaux sera une grande aide pour rapidement les 
mettre en route, avec des restaurations TSM côté Base de données.


sinon je suis très intéressé par vos approches pour ce genre de 
figures qu'est ce que vous utilisez.


tout retour d’expérience m'intéresse.

Merci et bonne fin de journée.


Tarik CHICHANE


Salut,

Alors je dirais dans l'ordre du plus simple, au plus compliqué (mais 
préférable à long terme) :


- Mondorescue (http://mondorescue.org/), qui génère une image iso de 
CD/DVD sur un partage NFS, puis boot sur l'iso via une carte de 
management iLo chez HP, iDrac chez Dell...


- DRBL / Clonezilla server (http://clonezilla.org/clonezilla-SE/), qui 
clone au niveau partition. Système de boot PXE pour faire la sauvegarde 
(offline donc) et la restore.


- Investir dans l'apprentissage des outils d'installation automatisée 
(pour RedHat : kickstart) et d'outils de gestion de configuration 
(Puppet, Chef, Salt, Ansible) pour gérer l'installation et la 
configuration des logiciels. Ensuite, il n'y a plus qu'à restaurer les 
données.
Bon, si déjà on sait installé le système et le client de l'outil de 
sauvegarde, on peut se contenter de ça et restaurer applis et données...
Mais avec un outil de gestion de conf, tu as en plus le pouvoir de 
déployer sur du physique, du virtuel et du Cloud avec les mêmes recettes !


Courage pour la suite.

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] AD et permission de connection

[Gilles Mocellin]

Le 2015-02-19 09:32, Alexis Lameire a écrit :

Il n'est pas préférable de gérer la chose au niveau de l'AD ? Sinon,
j'utilise le module pam_sss, d'ou une nouvelle conf à établir dans ce
cas là


Ben oui, avec le module pam_winbind, c'est AD qui est interrogé, et le 
test d'appartenance à un groupe se fait coté AD !



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] AD et permission de connection

[Gilles Mocellin]

Le 18/02/2015 17:25, Alexis Lameire a écrit :

Bonjour,

Dans le cadre de l'installation d'un serveur de développement, je
voudrais pouvoir authentifier certains de mes utilisateurs en
utilisent Active Directory sur un contrôleur sous windows 2012 R2 avec
une foret de niveau fonctionnel 2003.

Suite à l'execution de cette documentation [1] j'ai réussi à permettre
l'authentification de mes utilisateurs ; néanmoins, dans la
configuration actuelle, tous les utilisateurs du domaine peuvent
s'authentifier sur la machine.

Je voudrais pouvoir restreindre le comportement au choix :
- à des utilisateurs faisant partis d'un groupe particulier
   ex : user_a = machine_a_access
- à des utilisateurs ayant au moins un groupe qui a comme groupe un autre groupe
   ex : user_a = projet_b = machine_a_access

[1] : https://fedorahosted.org/sssd/wiki/Configuring_sssd_with_ad_server

Merci beaucoup de votre aide
Alexis Lameire
___


Le module PAM winbind a une option require_membership_of.
https://www.samba.org/samba/docs/man/manpages-3/pam_winbind.8.html


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] monitoring transactionnel de site web

[Gilles Mocellin]

Le 30/01/2015 16:15, guillaume pancak a écrit :

Bonjour la liste,

Je cherche un outil/service de monitoring/audit de site web pouvant générer des 
rapports de mesures de performance en fonction d’un parcours scénarisé.

je connais déjà pingdom, mais j’imagine qu’il y a mieux ;)

si vous avez un retour d’expérience sur ce sujet, ça m’intéresse ;)

merci

Guillaume.


Encore un pour la route !

En python, n’interprète rien coté client (Javascript, CSS...).
Fait des rapports intéressants.

http://funkload.nuxeo.org/intro.html

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Ordonnancement de jobs dépendants

[Gilles Mocellin]

Le 24/11/2014 16:10, Erwan Ben Souiden a écrit :

Bonjour,

Nos projets internes deviennent de plus en plus dépendants les uns des 
autres : certains récupèrent des données, d'autres compilent ces 
données, d'autres les analysent, d'autres les exportent, etc...
Du coup certains process sont bloquants pour que d'autres puissent 
démarrer (bien entendu uniquement si ce dernier n'a pas rencontré de 
problème).


J'aimerai savoir comment vous vous gérez ce genre de problématique de 
scheduler gérant les dépendances entre plusieurs process sur 
potentiellement plusieurs machines ?

- vous gérez simplement via cron
- vous testez si une ressource/notif/info quelconque soit ok et vous 
bouclez en sleepant tant que ce n'est pas dispo (avec des gardes fous 
pour éviter que ça sleep à l'infini)

- vous avez développé votre propre solution ?
- autre ?

En cherchant un peu, voici des solutions qui ont l'air pas mal (avec 
des jolies interfaces pour suivre ce qui est lancé/fail/done) - les 
avez vous testé?
- http://airbnb.github.io/chronos/ http://airbnb.github.io/chronos/ 
(une sorte de cron un peu plus poussé pour gérer de la dépendance avec 
une GUI)
- https://github.com/spotify/luigi https://github.com/spotify/luigi 
(la sollution home made de spotify)


J'ai pu lire aussi que certains utilisaient Jenkins pour faire ça, 
mais ça me semble très lourd.


On se dirige vers une solution en interne mais j'aimerai bien avoir 
votre retour et échanger sur comment vous faîtes de votre côté :)


Merci d'avance !
/Erwan


Je suppose que tu souhaites du libre, car il ya plein de gros tenors sur 
ce créneau comme Control-M, $Univers...

Liste ici :
https://fr.wikipedia.org/wiki/Ordonnancement_de_t%C3%A2ches_informatiques#.C3.89diteurs

J'ai vu récemment une conf où ils parlaient de rundeck 
(http://rundeck.org/), certainement à prendre en considération.


Sinon, à l'époque où j'ai aussi regarder ce genre de besoin, j'avais vu 
qu'il y en avait quelques uns, mais assez orienté cluster de calcul.

Dans ma Debian, je trouve :
- Torque (http://www.clusterresources.com/pages/products/torque/)
- Grid Engine (http://gridengine.sunsource.net)
- OAR (http://oar.imag.fr/)
___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Choix d'un CDN

[Gilles Mocellin]

Le 19/06/2014 10:36, Damien Wetzel a écrit :
 Bonjour, 
 Nous sommes revendeur CDNs depuis de longues années.
 Ce que dis Pierre, ci dessous est tout à fait sensé, un cdn pour un site 
 français ne sert à rien
 si c'est juste pour économiser de la CPU. mets toi un Varnish c'est pas si 
 compliqué et ca fera le job.
 Le CDN pour un site Francais n'a d'interet que si tu delivres des Bandes 
 passantes importantes, cad ton ralentissement
 serait du au fait que la demande sur ton site peut etre supérieur à la bande 
 passante disponible.
 Secondo oublie les SLAs dans ton critère de decision, les SLAs sont faits 
 pour ceux qui les croient comme dirait Pasqua.
 D'autres part sache que dans les pays exotiques comme l'inde le bresil, 
 l'asie etc.. la BP est chère donc si ton CDN ne coute rien,
 il y'a un os qque part. 
 Cordialement,
 Damien 
 [...]

+1 pour un reverse proxy cache comme varnish.
Ça doit être possible d'en déployer simplement dans des petites VM sur
différentes plateforme cloud réparties dans le monde, en frontal de
votre infra Heroku où qu'elle soit.

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] [BIZ] Serveur application CRM sur windows

[Gilles Mocellin]

Le 29/05/2014 15:50, cam.la...@azerttyu.net a écrit :

Ciao

Je remets sur la liste, je pense que la question s'est aussi posée à d'autres.


Pourquoi du Windows ? Et pourquoi du RDP ?

Il existe des solutions Web tel que VTiger (existe en version OpenSource) et
également des appli client / serveur tel que OpenERP.

Oui mais ... :)
Le client utilise déjà sa CRM et souhaite la conserver. Ça tourne sous
windows et que sous ça.
On a expérimenté en mode client/serveur les latences réseaux et la
taille du fichier .dat à mettre à jour font que les PC tombent de
leurs bureaux.

Donc pour répondre à la demande, comme approche je ne vois plus que
d'installer ça sur un serveur et faire un accès distant (RDP/VNC/...).
Je suis preneur d'autres solutions mais là je sèche.


[...]

Salut depuis hier !

Le problème du RDP, qui est en effet la solution la plus simple à ton 
problème, c'est que par défaut, on ne peut ouvrir que deux sessions, et 
en tant qu'administrateur seulement.


Pour que plus de deux utilisateurs puissent ouvrir des sessions en tant 
que simple utilisateurs, il faut des licences CAL TSE. Bienvenue chez 
Microsoft.

Après, encore plus cher, tu as Citrix XenApp, mais bon, c'est hors concours.

Ceci en omettant que RDP ouvert sur Internet, c'est un beau trou, 
souvent attaqué / exploité.
Je te conseillerais donc des leur créer une connexion VPN, et de 
n'autoriser le RDP que à travers de celle-ci.


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] [BIZ] Serveur application CRM sur windows

[Gilles Mocellin]

J'oubliais,
Pour faire du RDP en mode serveur d'application, il faut un Windows 
Server, pas un XP, Vista, seven...


Le 29/05/2014 16:50, Gilles Mocellin a écrit :

Le 29/05/2014 15:50, cam.la...@azerttyu.net a écrit :

Ciao

Je remets sur la liste, je pense que la question s'est aussi posée à 
d'autres.



Pourquoi du Windows ? Et pourquoi du RDP ?

Il existe des solutions Web tel que VTiger (existe en version 
OpenSource) et

également des appli client / serveur tel que OpenERP.

Oui mais ... :)
Le client utilise déjà sa CRM et souhaite la conserver. Ça tourne sous
windows et que sous ça.
On a expérimenté en mode client/serveur les latences réseaux et la
taille du fichier .dat à mettre à jour font que les PC tombent de
leurs bureaux.

Donc pour répondre à la demande, comme approche je ne vois plus que
d'installer ça sur un serveur et faire un accès distant (RDP/VNC/...).
Je suis preneur d'autres solutions mais là je sèche.


[...]

Salut depuis hier !

Le problème du RDP, qui est en effet la solution la plus simple à ton 
problème, c'est que par défaut, on ne peut ouvrir que deux sessions, 
et en tant qu'administrateur seulement.


Pour que plus de deux utilisateurs puissent ouvrir des sessions en 
tant que simple utilisateurs, il faut des licences CAL TSE. Bienvenue 
chez Microsoft.
Après, encore plus cher, tu as Citrix XenApp, mais bon, c'est hors 
concours.


Ceci en omettant que RDP ouvert sur Internet, c'est un beau trou, 
souvent attaqué / exploité.
Je te conseillerais donc des leur créer une connexion VPN, et de 
n'autoriser le RDP que à travers de celle-ci.


___
Liste de diffusion du FRsAG
http://www.frsag.org/




___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] [BIZ] Serveur application CRM sur windows

[Gilles Mocellin]

Le 29/05/2014 17:19, Jean Milot a écrit :

Bonjour,

Il y a une autre solution pour faire du RDP sur une version XP, Vista, 
Seven ..


Une entreprise propose du RDP (avec même un accès via du html 5) à 
moindre coût : 
http://www.planet-europe.fr/myriad-connect---l-acces-universel.html



[...]

Intéressant, notamment l'accès HTML5.
Déjà testé ?

En plus, on dirait que c'est français et Lyonnais !


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Askbot derrière apache2 mod_proxy

[Gilles Mocellin]

Le 27/02/2014 12:00, Franck Routier a écrit :

Bonjour,

j'ai une installation d'Askbot sur un serveur interne (avec apache et
mod_wsgi). En interne, ça marche bien.

Maintenant j'ai besoin de donner accès à Askbot depuis l'extérieur, en
rajoutant du ssl.

Pour cela, j'ai un autre serveur avec mod_proxy.
Il sert déjà de reverse proxy pour d'autres applications (wordpress,
vtiger, roundcube, ...).

Mon problème est qu'Askbot (basé sur django) génère des url et des
redirections sans tenir compte du fait qu'il est derrière un reverse proxy.
Il doit falloir lui dire quelque part, mais où ? C'est la première fois
que j'installe askbot, ou même une appli django en général...

Quelqu'un a-t-il des conseils là dessus ?
Si l'appli s'acharne vraiment à construire des URL absolues non 
paramétrable, et si celle-ci sont bien visible (hors construction 
javascript),
Tu as une chance avec le module mod_proxy_html qui permet de réécrire 
les URLs à l'intérieur du html.


= https://httpd.apache.org/docs/2.4/mod/mod_proxy_html.html

C'est pas propre, ça influe surement sur les perfs et il doit y avoir 
plein d'endroits où ça ne marche pas, mais bon, des fois on a pas le choix.


D'un autre coté, une appli en django, c'est du python, interprété, ça 
peut donc se modifier...



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Apéro Lyon - Janvier 2014

[Gilles Mocellin]

Le 30/01/2014 09:53, cam.la...@azerttyu.net a écrit :

Yop tout le monde

Comme dit j'étais/suis un peu sous l'eau. Donc pour ce soir, je vous
propose de nous retrouver à la
Brasserie Paulaner au début de la rue des Marronnier


Salut !

J'y serais.


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] infrastructure web et montées en charge ponctuelles

[Gilles Mocellin]

Le 21/01/2014 12:38, Alexandre a écrit :

Bonjour à tous,

c'est surement un sujet déjà abordé mais, je me permets de vous 
reposer la question :


Quelles sont les possibilités pour absorber les montées en charge 
ponctuelles d'une infrastructure web ?

Hello,

Mon point de vu, en tout cas orienté site de contenu (CMS) :

La réponse la plus efficace est toujours dans une bonne gestion du (des) 
caches.
1) il n'y a pas plus rapide qu'une requête qui n'est pas faite (réduire 
les requêtes pour afficher une page, utiliser le cache du navigateur)
2) Il est très rare qu'un donnée doive être recalculée à chaque requête 
(une page valide 2min me parait convenable, utiliser un cache de page 
comme varnish et des entêtes HTTP correctes, des cas particuliers comme 
les commentaires peuvent être traités à part en asynchrone)
3) lorsqu'on construit la page, tout ne doit pas systématiquement 
provenir d'une base de donnée, le point généralement le plus faible au 
niveau perfs. utiliser là aussi des caches comme APC (local à une 
machine), memcache (commun), des systèmes noSQL (redis...)


Actuellement, nous migrons une partie de l'infra web qui était 
principalement composée de serveurs apache + php5 + apc vers des 
serveurs lighttpd + php5-cgi + memcache. Cette migration partielle 
nous a permis de maitriser la charge des machines. Cependant, lors 
d'un évènement ponctuel, le trafic est si important que notre 
infrastructure est au maximum de sa puissance de calcul même après y 
avoir placé des revers proxy sous varnish. Le service est rendu mais 
lent. Nous avons la possibilité de désactiver des fonctionnalités à la 
volée pour soulager le traitement, mais cela reste une façon de 
contourner le problème. Nous avions pensé à muscler notre infra en y 
ajoutant plus de machines.

[...]

Où passe du temps l'appli ? varnish, apache, base de données ?
Il faut d'abord bien cerner le problème pour ensuite agir au bon endroit.

En cas de pic insurmontable, pourquoi est-ce-que ce n'est pas uniquement 
varnish qui répond, avec des durée d'expiration du cache positionnées 
assez haute, pour qu'un même client ne revienne pas trop vite.
Évidement, si le site doit réellement envoyer des informations 
différentes à une fréquence élever, il y a des limites, mais calculables.


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] infrastructure web et montées en charge ponctuelles

[Gilles Mocellin]

Le 21/01/2014 14:17, Pierre `Sn4kY` DOLIDON a écrit :
[...]
autre chose, est-ce que délocaliser les contenus statiques types 
images css, etc. sur un serveur FTP (après tout, c'est prévu pour...) 
ne pourrait-il pas être plus efficace également ?

[...]

Le protocole FTP nécessite une phase de connexion, authentification, 
même si c'est anonymous. Donc une pohase de question/réponse 
supplémentaire, qui, sur de nombreux petits fichiers sera rédhibitoire 
par rapport à du HTTP.
Sans parlé du fait que ça sera surement plus embêtant avec les firewall, 
load balancer, reverses proxy caches...


Donc non, le HTTP a bien été inventé après le FTP, pour faire mieux ce 
qu'on lui demande sur un site Web...


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Software Defined Storage : Nexenta vs FreeNAS

[Gilles Mocellin]

Le 10/12/2013 15:26, Julien Escario a écrit :

Le 10/12/2013 01:20, Gilles Mocellin a écrit :

[...]
Maintenant,
Comme le dit Julien, tu peux aussi regarder du coté des filesystems 
distribués

comme GlusterFS, Ceph, MooseFS.
Surtout si tu veux de la haute dispo sur plusieurs machines.
Préférence pour Ceph, surtout pour faire tourner des VM KVM, avec le 
driver RBD

pour QEMU.
Ça devient la solution de référence pour le stockage des Cloud IaaS, 
comme

OpenStack.


J'étais justement en train de regarder Ceph et il semblerait qu'il 
manque LE truc indispensable : la geo réplication et donc un mode 
asynchrone avec un système de 'zone' (je veux qu'à un instant t, il y 
au moins un réplicat dans CHAQUE datacenter).
Ca a l'air très demandé par la communauté ceph et certains l'ont fait 
avec du DRBD protocol A sous rados. Pourquoi pas mais ça commence à 
faire des couches et des couches donc des perfs en moins.


J'ai demandé récemment à un dev, et le truc qui pourrait remplacer une 
géo-réplication qu'il n'y aura pas de si tôt.
Le snapshot incremental : 
http://ceph.com/dev-notes/incremental-snapshots-with-rbd/


L'idée :
- Avoir un cluster Ceph, indépendants, dans deux datacenters.
- Envoyer régulièrement (par scripts), des diffs des volumes que l'on 
souhaite protéger en Disaster Recovery.


A confirmer mais qemu intègre maintenant aussi un accès direct à un 
domaine gluster sans passer par la case FUSE.

Je confirme.

Avec la volumétrie de nos jours, les systèmes RAID et DRBD deviennent 
vite

contraignant quand ils doivent se resynchroniser.


Déjà, si HDD = 2 To, RAID6, plus RAID5. Et effectivement DRBD, même 
si ils ont amélioré les choses, nécessite une bonne compréhension de 
ce qu'est un slit-brain au risque de perdre des données.
La resynchro drdb a pas évoluée aussi : on ne resynchronise que ce qui 
est désynchronisé maintenant, plus l'ensemble (peut être un 
comportement qui se configure ceci dit).


Je suis également en recherche de système de 'geo cluster' en open 
source, si certains ont des idées, je prends !


Julien


On a aussi la partie stockage d'OpenStack : Swift.
Là, ça prend en charge la géo-réplication.
Mais, c'est pas fait pour des volumes en mode block, faisant tourner des 
VMs...


Je crois que le Graal n'existe pas (encore)...

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Apéro Lyonnais de fin d'année 2013 (novembre/décembre)

[Gilles Mocellin]

Le 25/11/2013 11:04, cam.la...@azerttyu.net a écrit :

Bonjour


Comme un métronome voici l'invitation pour l'apéro lyonnais de novembre.
Comme l'apéro se fait en normalement en fin de mois et que pour
décembre cela sera bien compliqué, je vous propose des dates pour
faite novembre et décembre d'un seul coup :)

C'est par ici :
http://framadate.org/studs.php?sondage=4i7dbftmmau715gn

Km


Bonjour,

Vous acceptez les nouveaux dans ces apéros ?

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Apéro Lyonnais de fin d'année 2013 (novembre/décembre)

[Gilles Mocellin]

Le lun. 25 nov. 2013 18:49:32 CET, cam.la...@azerttyu.net a écrit :

C'est par ici :
http://framadate.org/studs.php?sondage=4i7dbftmmau715gn



Vous acceptez les nouveaux dans ces apéros ?


Tiens je ne m'attendais pas à cette question 
Le principe étant de réunir localement les admin sys, qu'un adage dit
plus on est de fous plus on rit,je pense que la réponse vient d'elle
même :)

C'est ouvert à toutes et tous. Cet appel à pour but de vous aider à
vous manifester et à participer :)

Bienvenu à toi

Km


Je m'en doutais, mais bon, ça permet d'être sûr et peut-être de motiver 
d'autres timides !



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] FreeBSD/ZFS/NFS/12DD Best zpool geometry ?

[Gilles Mocellin]

Le 31/10/2013 15:56, Mathieu Arnold a écrit :

+--On 31 octobre 2013 11:24:16 +0100 Guillaume Friloux
guillaume.fril...@asp64.com wrote:
| Sur tous les tests que j'ai fait, plus mon experience en prod (5 ans chez
| un vendeur de solutions de sauvegarde) + les diverses confs que j ai vu
| (je pense notamment a la conf zfs faite par gandi/beorn), je deconseille
| l utilisation de la deduplication. Son cout par rapport au gain est
| vraiment peu interessant dans la tres grande majorite des cas. que ce
| soit de la deduplication au niveau bloc comme au niveau fichier.

Je plussoie grandement, pour que ça fonctionne de manière utilisable,
(c'est à dire ou on peut écrire sur le disque sans trop de latence,) il
faut que le checksum de tous les blocs du pool tiennent en mémoire, et ça
veut dire que ça va prendre *beaucoup* de mémoire.


[...]

Hello,

Juste en passant, je ne connais pas assez ZFS pour savoir.
N'y a-t-il pas un moyen de faire de la déduplication en batch plutôt 
qu'à la volée ?
Ça consommerait de la mémoire que pendant ce traitement, le reste du 
temps, pas d'overhead ni de conso mémoire.



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Module SD DELL

[Gilles Mocellin]

Le 20/09/2013 14:21, David Touitou a écrit :

'jour


Et quelqu'un a deja vu ce genre de matériel en non-Dell ? Un carte avec
deux slot SD qui se branche en sata et qui gère le raid1 en hard ?

Genre ça ?
http://fr.aliexpress.com/item/4-SD-to-SATA-Adapter-Card-Quad-SD-SDHC-SDXC-MMC-card-RAID/617888470.html
Ca se trouve aussi sur eBay à l'unité (pour éviter d'en commander 10 d'un coup).

Il y a des dual SD (from Hong-Kong) mais attention, la majorité est RAID0.

David
___
Liste de diffusion du FRsAG
http://www.frsag.org/


Bonjour,

Et puis de toute façon, si c'est pour y mettre une distrib GNU/Linux, on 
peut faire du RAID soft.


PS:
J'ai essayé une fois une installation sur clef USB rapide. Et ben, 
j'ai déchanté.
En tout cas, il faudra un système qui n'écrive pas beaucoup sur ses 
filesystems (/var/log...),

et éviter grandement l'utilisation de la swap (vm.swapiness).

En gros, c'est bien pour un hyperviseur.

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Centralisation/analyse de logs

[Gilles Mocellin]

Le 03/09/2013 13:44, Grégory EPP a écrit :

Bonjour,

Je pense à logstach et et l'interface web Kibana :

http://logstash.net/
http://kibana.org/

Cordialement,


A noter que le Linux Mag de septembre parle de logstash / kibana.

Perso, je suis déçu que ça utilise une JVM (surtout que c'est codé en 
Ruby. Ça utilise JRuby.).


Sinon, il y a aussi Graylog2 :
http://www.graylog2.org/

Toujours en Java, utilise aussi ElasticSearch.



___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Serveurs MySQL, binlog, DRBD et perfs IO

[Gilles Mocellin]

Le 07/08/2013 19:01, Tristan Mahé a écrit :

Pourquoi ne pas utiliser du MariaDB Galera Cluster pour du multimaster ?

My 2cts...


C'est sur que ça fait partie des choses qu'il faut que je regarde de près.
A l'époque, ça remonte à 3/4 ans, je ne connaissais pas MariaDB/Galera, 
et je ne sais même pas si ça existait.


Cela dit, quand on ne maitrise pas l'application, il y a toujours des 
risques que certaines interactions avec la base ne se fasse pas comme il 
faut avec Galera.
Notamment, lors de mises à jour où il y aurait des commandes de 
création, mise à jour de structures de tables.

Il faut vraiment bien tout tester avant de se lancer.

[...]

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Serveurs MySQL, binlog, DRBD et perfs IO

[Gilles Mocellin]

J'ai aussi rencontré ce problème pour une config Zarafa (messagerie avec 
backend MySQL).


Le 05/08/2013 11:30, Greg a écrit :
C'est une config full actif / full passif, donc il n'y a aucun risque, 
si les options MySQL précités dans le 1er mail sont bien activées, 
mais c'est valable pour n'importe quel moyen de HA.


Le principal défaut de ce mode, c'est le temps de démarrage à froid de 
l'instance MySQL de secours, mais il a d'autres avantages...


J'ai monté une archi de tests sans DRBD et rencontre les mêmes 
problèmes à savoir le nombre d'IOPS avec ces options MySQL, 
obligatoire pour être ACID entre parenthèses.


Mon problème ne vient pas de DRBD ;)


J'avais aussi abandonné DRBD à l'époque pour du RAID logiciel entre deux 
LUN de notre SAN, mais le problème était toujours là...


Au final, avec accord des décideurs, j'ai abandonné l'ACID, avec  :
innodb_flush_log_at_trx_commit=2

Ça a suffit à rendre très convenable les perfs, mais avec un risque de 
perdre 1 seconde de données commitées...


Je n'ai jamais pu essayer de SSD avec MySQL, mais je serais intéressé du 
résultat, notamment de savoir s'ils sont plus utiles sur les binlog ou 
sur les datas.
Évidement, je suis conscient que ça dépend de l'utilisation de la base 
(gros inserts = écriture sequentielle, pleins de petits updates ou 
inserts = écriture aléatoire, ou pas d'ailleurs, dans les logs...)


J'aimerais aussi bien savoir comment se débrouille postgreSQL dans la 
même configuration. Si quelqu'un a déjà pu comparer...


Certaines versions récentes de MariaDB et MySQL proposent le Binlog 
Group Commit qui permet de baisser les IO, il faut peut-être que je 
regarde de ce coté là !


J'aimerais aussi bien savoir comment se débrouille postgreSQL dans la 
même configuration. Si quelqu'un a déjà pu comparer...


[...]

___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Blocage de l'amorçage avec Linux 3.2 + Xen, fonctionne avec Linux 2.6.32 + Xen

[Gilles Mocellin]

Le 26/07/2013 16:40, junky a écrit :

Bonjour.

Nous avons un problème sur plusieurs serveurs Supermicro (je vais
inclure plus de détails
sur la configuration plus tard): lors du démarrage Linux 3.2
linux-image-3.2.0-4-amd64
(Wheezy) comme DOM0 sur Xen 4.1 (xen-hypervisor-4.1-amd64 de Wheezy), le
système
se bloque après:

[3.716174] scsi1 : ata_piix
[3.722116] scsi2 : ata_piix
[3.728407] ata1: PATA max UDMA/100 cmd 0x1f0 ctl 0x3f6 bmdma 0x1860
irq 14
[3.742390] ata2: PATA max UDMA/100 cmd 0x170 ctl 0x376 bmdma 0x1868
irq 15


Le système démarre correctement lors du démarrage sous Linux 3.2 sans
Xen, ou lors du démarrage
Linux 2.6.32 (linux-image-2.6.32-5-xen-amd64: Squeeze) sur Xen.

J'ai essayé avec Xen 4.0: Squeeze (xen-hypervisor-4.0-amd64) le
comportement est le même (il se bloque avec Linux 3.2).

Les systèmes possèdent tous des 2 quad-core Xeon (E5320 ou E5405) avec
32 Go à 64 Go de RAM,
avec comme cartes mères des Supermicro X7DB8.


[...]


C'est un serveur de test sur lequel le problème apparaît, alors
n'hésitez pas à demander plus d'
essais ou des informations qui peuvent être utiles.


[...]

Bonjour,

J'ai trouvé des options de debug avancé ici :
https://wiki.archlinux.org/index.php/Boot_Debugging

Couplé à une netconsole, ça devrait permettre de tout voir, sans être 
limité par l'écran de la console.




___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Sauvegarde MySQL

[Gilles Mocellin]

Le 19/07/2013 10:13, Frédéric de Villamil a écrit :

Le 19 juil. 2013 à 10:12, LEFEVRE Hugo hugo.lefe...@siih5962.fr
mailto:hugo.lefe...@siih5962.fr a écrit :


Bonjour,

Je travaille actuellement sur une architecture MySQL  et cette
discutions m'amène a une petite question.
Peu t'ont envisager d'avoir un serveur master en
 innodb-flush-log-at-trx-commit a 0 et un slave avec cette variable a 1?



Oui.


Par contre, pas sur que ce soit une bonne idée :
- l'écriture acquittée sur le maître ne sera pas tout de suite sur le 
disque du maître, et pas non plus sur l'esclave. La réplication MySQL 
est asynchrone.
- pire, s'il y a beaucoup d'écriture, l'esclave va être beaucoup plus 
lent que le maître à les acquitter, et va prendre du retard


___
Liste de diffusion du FRsAG
http://www.frsag.org/

Re: [FRsAG] Sauvegarde MySQL

[Gilles Mocellin]

Le 18/07/2013 17:33, Gaël a écrit :

Hello !


Salut !

[...]


J'ai lu autour de mysql dump, mais si j'ai bien compris, ça ne bloque
pas l'accès à la base pendant le dump, donc il peut y avoir des
écritures simultanées et ça met le truc en vrille.

M'enfin j'ai pas tout tout compris, donc je vous demande vos avis :)


[...]

Si le moteur de stockage des tables des bases est innodb, 
transactionnel, mysqldump avec l'option --single-transaction assure la 
cohérence des sonnées.
La dump est fait dans une seule transaction, les modifications faites 
pendant ce temps ne seront pas vues au sein de cette transaction.


___
Liste de diffusion du FRsAG
http://www.frsag.org/