Bonjour, > > > Question un peu hors sujet sur motrech (je m'en excuse, nous passerons sur > Frutch en private mail si la conversation devient trop longue): Dans les > architectures massivement parallèles que tu connais, comment se fait la > gestion de configuration entre les différents noeud? > A la question plus générale (et liée au billet sur le P2P) : "Comment utiliser un système Grid pour distribuer crawling/indexing " ?
A vrai dire, les systèmes grid (middlewares), ne proposent pas de services de moteurs de recherche. J'irai meme plus loin en disant qu'ils ne proposent pas de services. Lorsque l'on utilise un système grid on peut procéder ainsi pour déployer un indexeur distribué : - envoyer un programme (nutch modifié) sur le système (on envoie le code du job au grid) : ce programme recoit en entrées une liste d'url, et renvoie en sortie un index de segment nutch des urls recus. Ensuite pour la majeure partie des grids cela se passe comme suit... - envoyer par bloc de x millions d'urls une requete vers le système grid (la requete correspond à "indexe ces urls") - cette requete correspond à 1 job exécuté par 1 noeud du grid - on répete l'opération pour couvrir les x milliards d'urls (Chaque fois qu'un noeud est libre, le système grid lui envoie un nouveau job). Donc, le serveur a envoyé x milliers de requetes sur le grid. Chaque requete correspond au crawling/indexing d'un segment. Et ensuite ? Le moteur de recherche, le serveur central si vous préférez recoit ensuite les résultats de chaque job (les index de nutch correspondant à un segment). Au fur et à mesure que ces résultats sont collectés, le serveur centrale doit effectuer les merges des index... Je n'ai pas été clair du tout !!! :) :) (on dira que c pour coder l'information pour qu'elle ne tombe que dans les mains de génies). Donc pour plus de questions n'hésitez pas ? Ah oui au fait Jerome, j'espere que j'ai répondu à ta question, pk je ne suis meme pas sur d'avoir bien compris :p > Jérôme > > -- > http://motrech.free.fr/ > http://www.frutch.org/ > > > [Les parties de ce message comportant autre chose que du texte seul on > été supprimées] > > > > --------------------------------- > motrech - http://motrech.free.fr/ > frutch - http://www.frutch.org/ > --------------------------------- > > > ------------------------------------------------------------------------ > *Liens Yahoo! Groupes* > > * Pour consulter votre groupe en ligne, accédez à : > http://fr.groups.yahoo.com/group/motrech/ > > * Pour vous désincrire de ce groupe, envoyez un mail à : > [EMAIL PROTECTED] > <mailto:[EMAIL PROTECTED]> > > * L'utilisation de Yahoo! Groupes est soumise à l'acceptation des > conditions d'utilisation <http://fr.docs.yahoo.com/info/utos.html>. > > --------------------------------- motrech - http://motrech.free.fr/ frutch - http://www.frutch.org/ --------------------------------- Liens Yahoo! Groupes <*> Pour consulter votre groupe en ligne, accédez à : http://fr.groups.yahoo.com/group/motrech/ <*> Pour vous désincrire de ce groupe, envoyez un mail à : [EMAIL PROTECTED] <*> L'utilisation de Yahoo! Groupes est soumise à l'acceptation des : http://fr.docs.yahoo.com/info/utos.html
