Re: [FRnOG] [TECH] HPC Open Source.
OVH avait racheté une boite en 2012 qui faisait ca, Oxalya http://www.oxalya.com/?p=1570 on fait toujours tout ce qu'Oxalya faisait, HPC, mais on fait aussi tous les metiers liés au BigData. Si tu as des questions n'hesite pas. --- Liste de diffusion du FRnOG http://www.frnog.org/
[FRnOG] [TECH] HPC Open Source.
Bonjour à tous, je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne solution. Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines physiques. Un calcul spécifique est associé à une machine. Nous rencontrons des problèmes de mutualisation de ressources concernant l'espace et la puissance de calcul. Dans un premier temps je suis dirigé vers la virtualisation. Sachant que mes machines physiques possèdent 64 procs et que les VM 32, les ressources sont très vite utilisées, et la virtualisation me provoque des ralentissements des calculs. J'aurai besoin de fusionner les ressources physiques. Idéalement de faire tourner un traitement sur plusieurs machines. Il me semble que mon besoin serait plus du High Performance Computing. Je pense que vous êtes beaucoup à avoir ce besoin. J'ai trouvé MPI qui pourrait correspondre à mon besoin : http://www.open-mpi.org/ Qu'en pensez-vous ? Avez-vous d'autres solutions (sans externalisation) ? OVH avait racheté une boite en 2012 qui faisait ca, Oxalya http://www.oxalya.com/?p=1570 Alex. --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] HPC Open Source.
Alexandre, le Wed 21 May 2014 16:28:53 +0200, a écrit : je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne solution. Heu, je pense que si, mais par contre ce n'est pas la bonne liste a priori. Si tu veux continuer la discussion, ce sera en privé a priori :) Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines physiques. Un calcul spécifique est associé à une machine. Nous rencontrons des problèmes de mutualisation de ressources concernant l'espace et la puissance de calcul. J'ai l'impression que c'est plutôt d'un batch scheduler dont tu as besoin, de type OAR (http://oar.imag.fr/dokuwiki/doku.php), qui te permettra de choisir des politiques de priorité des jobs, etc. J'ai trouvé MPI qui pourrait correspondre à mon besoin : http://www.open-mpi.org/ Ça voudrait dire recoder les applications, je ne pense pas que c'est ce que tu veux. Samuel --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] HPC Open Source.
Hadoop (Hadoop2/Yarn)… sont des systèmes de calcul distribués sur des serveurs généralement physiques et standard : http://hadoop.apache.org/ Ca inclus un FS partagé qui est une agrégation de tous les disques des serveurs : HDFS. Si un calcul = un serveur et que ca tourne sous Linux, LXC ou Docker (docker.io) peut te permettre d’utiliser les ressources des machines sans avoir la surcouche de la virtualisation. C’est ce que font tous les grands de l’internet genre Facebook, Twitter, rBnb... A noter que des initiatives (Mesos) permettent presque de starter des containers depuis hadoop et surtout de repartir la charge des calculs (ou de les relancer si ils crachent ou si le serveur crash) en fonction de la taille des machines si elles sont différentes… Prune On 21May, 2014, at 10:28, Alexandre in...@opendoc.net wrote: Bonjour à tous, je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne solution. Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines physiques. Un calcul spécifique est associé à une machine. Nous rencontrons des problèmes de mutualisation de ressources concernant l'espace et la puissance de calcul. Dans un premier temps je suis dirigé vers la virtualisation. Sachant que mes machines physiques possèdent 64 procs et que les VM 32, les ressources sont très vite utilisées, et la virtualisation me provoque des ralentissements des calculs. J'aurai besoin de fusionner les ressources physiques. Idéalement de faire tourner un traitement sur plusieurs machines. Il me semble que mon besoin serait plus du High Performance Computing. Je pense que vous êtes beaucoup à avoir ce besoin. J'ai trouvé MPI qui pourrait correspondre à mon besoin : http://www.open-mpi.org/ Qu'en pensez-vous ? Avez-vous d'autres solutions (sans externalisation) ? OVH avait racheté une boite en 2012 qui faisait ca, Oxalya http://www.oxalya.com/?p=1570 Alex. --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] HPC Open Source.
Le 2014/05/21 à 16:38, Samuel Thibault écrit: Alexandre, le Wed 21 May 2014 16:28:53 +0200, a écrit : je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne solution. Heu, je pense que si, mais par contre ce n'est pas la bonne liste a priori. Si tu veux continuer la discussion, ce sera en privé a priori :) aussi, j'ai hésité à répondre..(frsag pour citer une autre grosse liste) Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines physiques. Un calcul spécifique est associé à une machine. Nous rencontrons des problèmes de mutualisation de ressources concernant l'espace et la puissance de calcul. J'ai l'impression que c'est plutôt d'un batch scheduler dont tu as besoin, de type OAR (http://oar.imag.fr/dokuwiki/doku.php), qui te permettra de choisir des politiques de priorité des jobs, etc. J'ai trouvé MPI qui pourrait correspondre à mon besoin : http://www.open-mpi.org/ Ça voudrait dire recoder les applications, je ne pense pas que c'est ce que tu veux. et pvm rajoutons! bon sinon Mosix continue son bout de chemin, et correspond à tes besoins http://www.mosix.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
Re: [FRnOG] [TECH] HPC Open Source.
Désolé du dérangement, effectivement je me suis trompé de liste. Néanmoins, merci pour vos réponses. Je prends note. Alex. On 21/05/14 19:03, kilian wrote: Le 2014/05/21 à 16:38, Samuel Thibault écrit: Alexandre, le Wed 21 May 2014 16:28:53 +0200, a écrit : je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la bonne solution. Heu, je pense que si, mais par contre ce n'est pas la bonne liste a priori. Si tu veux continuer la discussion, ce sera en privé a priori :) aussi, j'ai hésité à répondre..(frsag pour citer une autre grosse liste) Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes machines physiques. Un calcul spécifique est associé à une machine. Nous rencontrons des problèmes de mutualisation de ressources concernant l'espace et la puissance de calcul. J'ai l'impression que c'est plutôt d'un batch scheduler dont tu as besoin, de type OAR (http://oar.imag.fr/dokuwiki/doku.php), qui te permettra de choisir des politiques de priorité des jobs, etc. J'ai trouvé MPI qui pourrait correspondre à mon besoin : http://www.open-mpi.org/ Ça voudrait dire recoder les applications, je ne pense pas que c'est ce que tu veux. et pvm rajoutons! bon sinon Mosix continue son bout de chemin, et correspond à tes besoins http://www.mosix.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/ --- Liste de diffusion du FRnOG http://www.frnog.org/
