Re: [OSM-talk-fr] Un robot de nettoyage pour la france
A voir toutes les exceptions possibles , et probablement celles dont on n'a pas idée, il serait préférable à mon avis de limiter un éventuel robot à la correction des tags (parkng-parking,hihgway-highway,...) et non pas des données. La liste des erreurs possibles pouvant être déduite de tagwatch. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bernard Choppy a écrit : Le mardi 09 décembre 2008 à 16:24 +0100, [EMAIL PROTECTED] a écrit : rapports ; par exemple il y a env. 7700 ways avec un name qui commence par une minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). Et alors ? Tout ça (aux x près) me paraît très conforme à la typographie française, non ? Ou j'ai manqué une marche ? Ce qui rends bien, c'est que tous le monde utilise la même règle pour que nos cartes soient un tantinet uniforme. La convention, c'est de commencer par une majuscule. C'est conforme avec les règles de toponymie de l'IGN, et c'est ce que font tous les producteurs de cartes. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Ce qui rends bien, c'est que tous le monde utilise la même règle pour que nos cartes soient un tantinet uniforme. D'ailleurs à ce sujet là, si Nono (le robot) pouvait lister les doublons dont la casse n'est pas identique, cela permettrait de corriger (enfin lui faire corriger), les trucs du style : Rue du vieux Moulin Rue du vieux moulin dont je me fous comme de l'an 40 si Moulin doit prendre ou non une majuscule, mais pour lesquels je trouve indispensable d'avoir quelque chose d'homogène. Et comme dirait l'autre : Rentre ici, vieux Moulin ! Axel ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Le mardi 09 décembre 2008 à 16:24 +0100, [EMAIL PROTECTED] a écrit : rapports ; par exemple il y a env. 7700 ways avec un name qui commence par une minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). Et alors ? Tout ça (aux x près) me paraît très conforme à la typographie française, non ? Ou j'ai manqué une marche ? Cordialement, -- Bernard Choppy ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
On Wed, Dec 10, 2008 at 12:55 PM, Axel R. Rue du vieux Moulin Rue du vieux moulin Quitte à choisir, je préfère encore la troisième solution: Rue du Vieux Moulin L'important n'est pas de rendre les erreurs homogènes entre elles mais de corriger les erreurs. Pieren ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bonjour, On Wed, Dec 10, 2008 at 08:55, Xav [EMAIL PROTECTED] wrote: Sérieusement... Pourquoi vous compliquer la vie alors que, comme le dit Marcus, il suffit de ne pas publier le code ? Au pire vous le fournissez à ceux qui le demande. Ben moi ça me dérange. Beaucoup. OSM, c'est des données Libres. Si la base de données commence à être mise à jour avec des programmes propriétaires auxquels personne n'a accès, je trouve que ça va à l'encontre de l'idée même du projet. En résumé, ça pue. Après, je n'ai rien à ce qu'on réfléchisse un peu aux usages négatifs d'un tel robot. Mais il ne faut pas exagérer : - comme le dit g.d, mettre la zone est trivial, donc ça en enlève tout l'interêt ; - toutes les modifs sont faites avec un compte OSM, donc au moins tracées et plus ou moins facilement réversibles. Je suis le seul que ça choque une telle remarque ? Amicalement, d. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
-BEGIN PGP SIGNED MESSAGE- Hash: SHA1 Thomas Walraet a écrit : Et alors ? Tout ça (aux x près) me paraît très conforme à la typographie française, non ? Ou j'ai manqué une marche ? Ce qui rends bien, c'est que tous le monde utilise la même règle pour que nos cartes soient un tantinet uniforme. ... pourquoi ne pas avoir les règles de typographie française en base et laisser le moteur de rendu appliquer des règles de mise en forme spécifique au rendu ? - -- Thomas Clavierhttp://www.tcweb.org +33 (0)6 20 81 81 30 JabberID : [EMAIL PROTECTED] -BEGIN PGP SIGNATURE- Version: GnuPG v1.4.9 (GNU/Linux) Comment: Using GnuPG with Mozilla - http://enigmail.mozdev.org iEYEARECAAYFAkk/vfIACgkQStsfiGuIVEOaVgCdGhScIMftx/rIpu+DFFnOwGhl 9r0AoIdeKWV36qDYXvfTJzN6FxO1vfd7 =2MLA -END PGP SIGNATURE- ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Le Wed, Dec 10, 2008 at 01:57:50PM +0100, Pieren [EMAIL PROTECTED] a écrit: On Wed, Dec 10, 2008 at 12:55 PM, Axel R. Rue du vieux Moulin Rue du vieux moulin Quitte à choisir, je préfère encore la troisième solution: Rue du Vieux Moulin L'important n'est pas de rendre les erreurs homogènes entre elles mais de corriger les erreurs. Avoir des choses homogènes permet au moins de pouvoir recouper que telle way est la même rue que telle autre :) -- Dominique Rousseau Si cinquante millions de gens disent une sottise, ça n'en reste pas moins une sottise. -- Anatole France ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bonjour, Le 10.12.2008 13:59, David MENTRE a écrit : On Wed, Dec 10, 2008 at 08:55, Xav [EMAIL PROTECTED] wrote: Sérieusement... Pourquoi vous compliquer la vie alors que, comme le dit Marcus, il suffit de ne pas publier le code ? Au pire vous le fournissez à ceux qui le demande. Ben moi ça me dérange. Beaucoup. OSM, c'est des données Libres. Si la base de données commence à être mise à jour avec des programmes propriétaires auxquels personne n'a accès, je trouve que ça va à l'encontre de l'idée même du projet. En résumé, ça pue. Oui. On n'est pas du tout dans l'esprit du projet. De petites exceptions en petites exceptions, on finira par se retrouver avec un projet cloisonné dont seuls une poignée de personnes aura les clefs. Donc dès le départ, je ne suis pas du tout favorable à cela. Ne pas laisser facilement accessible un gros bouton « Mise à jour de la base aléatoirement », je veux bien. La solution de fichiers lst avec des hash à valider n'est pas forcément très complexe à mettre en œuvre. Ni à contourner mais il y a plus simple et plus « drôle » à faire sur OSM pour le vandale en herbe... Je suis le seul que ça choque une telle remarque ? Non tu t'en doutes :) Amicalement -- Étienne Loks ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
OSM, c'est des données Libres. Si la base de données commence à être mise à jour avec des programmes propriétaires auxquels personne n'a accès, je trouve que ça va à l'encontre de l'idée même du projet. En résumé, ça pue. Oui. Moi je trouve qu'on se prend bien la tête. Personne n'a jamais parlé qu'un robot qui peut faire 1 édits doit se trouver dans josm ou potlatch avec un gros bouton nettoyer Après, ce qui est de publier le code, ça me semble nécessaire, si on commence à supposer que des vandales vont en profiter je pense qu'ils n'ont pas besoin de ça, vu comme il est facile de foutre la grouille rien qu'avec JOSM et si quelqu'un est motivé, il lui sera simple de faire un truc pour vandaliser. Cette protection, l'API 0.6 doit nous permettre de l'atteindre plus facilement avec un meilleur système de retour sur historique. Reste donc le motivé, qui, ne s'y connaissant pas trop en programmation prend le script, part d'une bonne initiative et flingue plein de trucs. Je pense que celui-là appellera au secours, demandera de corriger l'erreur qu'il a faite, et demandera de l'aide pour son projet. Et puis surtout, ne crions pas avant d'avoir mal. Sur un projet comme ça, si il faut réfléchir pendant 1 ans à si oui où non on doit préparer un script pour passer en majuscule alors que tout le monde est d'accord pour le faire, au final on ne fait plus rien. Sur wikipedia, il y a plein de robot qui tournent dont tout le monde est content (ou presque) certains son créé, d'autres sont coupés mais au final ça rend un super service, aux détriments de quelques reverts mal placés qui seront vite dénoncés, annulés. Si je résume mon avis : - discuter de ce qu'il doit faire - faire le robot - publier le code - faire une page de résumé de ce que le robot fera - contrôler à plusieurs - corriger le robot - lui faire faire le boulot une fois - vérifier pendant quelques mois que personne ne remonte un bug - repartir à la case 1 -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Sur Wikipedia, j'ai peu d'idées pour mettre du foutoire : on peut rendre les pages illisibles, les supprimer, mais il sera facile de remettre ensuite la version initiale. Sur OSM, j'ai plein d'idées, pour alourdir la base, pour joindre des chemins qui sont l'un au-dessus de l'autre et créer une connexion entre un pont et un tunel, pour déplacer des chemins de quelques centaines de mètres, pour ajouter de faux POI, etc. Personne n'y verra rien, au début, et quand on le verra, ce sera trop tard. Et puis OSM a quelques ennemis désignés, mais surtout des fans de ces ennemis : des fans de Google Maps qui auront ajouté des détails dans la sur-couche de Google, et seront les héros locaux, et voudront tuer les concurrents dont OSM. Bref, moi, j'ai un peu peur... Il est trop facile de créer un compte anonyme, de casser la machine, de repartir, et de laisser les autres dénouer les noeuds 3 mois après. - Mail Original - De: sylvain letuffe [EMAIL PROTECTED] À: Discussions sur OSM en français talk-fr@openstreetmap.org Envoyé: Mercredi 10 Décembre 2008 15:33:33 GMT +01:00 Amsterdam / Berlin / Berne / Rome / Stockholm / Vienne Objet: Re: [OSM-talk-fr] Un robot de nettoyage pour la france OSM, c'est des données Libres. Si la base de données commence à être mise à jour avec des programmes propriétaires auxquels personne n'a accès, je trouve que ça va à l'encontre de l'idée même du projet. En résumé, ça pue. Oui. Moi je trouve qu'on se prend bien la tête. Personne n'a jamais parlé qu'un robot qui peut faire 1 édits doit se trouver dans josm ou potlatch avec un gros bouton nettoyer Après, ce qui est de publier le code, ça me semble nécessaire, si on commence à supposer que des vandales vont en profiter je pense qu'ils n'ont pas besoin de ça, vu comme il est facile de foutre la grouille rien qu'avec JOSM et si quelqu'un est motivé, il lui sera simple de faire un truc pour vandaliser. Cette protection, l'API 0.6 doit nous permettre de l'atteindre plus facilement avec un meilleur système de retour sur historique. Reste donc le motivé, qui, ne s'y connaissant pas trop en programmation prend le script, part d'une bonne initiative et flingue plein de trucs. Je pense que celui-là appellera au secours, demandera de corriger l'erreur qu'il a faite, et demandera de l'aide pour son projet. Et puis surtout, ne crions pas avant d'avoir mal. Sur un projet comme ça, si il faut réfléchir pendant 1 ans à si oui où non on doit préparer un script pour passer en majuscule alors que tout le monde est d'accord pour le faire, au final on ne fait plus rien. Sur wikipedia, il y a plein de robot qui tournent dont tout le monde est content (ou presque) certains son créé, d'autres sont coupés mais au final ça rend un super service, aux détriments de quelques reverts mal placés qui seront vite dénoncés, annulés. Si je résume mon avis : - discuter de ce qu'il doit faire - faire le robot - publier le code - faire une page de résumé de ce que le robot fera - contrôler à plusieurs - corriger le robot - lui faire faire le boulot une fois - vérifier pendant quelques mois que personne ne remonte un bug - repartir à la case 1 -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Un autre argument contre la libération du code à outrance : des centaines de gens risquent de télécharger le code ET le fichier France, juste pour voir, pour faire leurs stats, etc. Ca va charger les serveurs et réseaux pour rien ; ça risque de créer des Editions concurrentes... - Mail Original - De: sylvain letuffe [EMAIL PROTECTED] À: Discussions sur OSM en français talk-fr@openstreetmap.org Envoyé: Mercredi 10 Décembre 2008 15:51:34 GMT +01:00 Amsterdam / Berlin / Berne / Rome / Stockholm / Vienne Objet: Re: [OSM-talk-fr] Un robot de nettoyage pour la france ... pourquoi ne pas avoir les règles de typographie française en base et laisser le moteur de rendu appliquer des règles de mise en forme spécifique au rendu ? Parfois pas le choix, mais je trouve ça une perte de temps. Si une correction claire et unanime doit être appliquée, on a meilleur temps de régler le problème directement dans la base, ça évite de refaire le boulot plusieurs fois. Cela rejoint plusieurs discussions que j'ai eu sur les par défaut selon les pays. Si on suppose à un moment que nous tolérons que la base soit un merdier structuré cela veut dire à la fin que chaque logiciel de routage, chaque logiciel de rendu, de traitement, d'analyse doit utiliser le même moteur de post-traitement, ce qui virtuellement me semble proche de l'impossible. Je prend mon exemple, si je créer un petit outils qui indique les rues n'ayant pas de nom pour aller les corriger. Supposons qu'en Allemagne un robot remplie tout les noms vides de la base par name=nein alors mon outils ne sert plus à rien chez eux Re-prenons notre cas, supposons, je dis bien supposons, qu'en espagne leur règle toponimique est de tout mettre en minuscule, je fais un logiciel de routage. Comme je le prévois à la française je code un programme qui change toutes les minuscules en majuscules lors de l'affichage. Les Espagnols ne pourront alors que mal utiliser mon programme car il n'affichera pas comme eux ont l'habitude de. On m'argumente souvent qu'il faut simplement coder selon chaque pays les spécificités. Les braves africains du zimbabwe ne sont alors pas prêt d'avoir leur logiciels de routage, car qui peut bien se foutre d'eux en moyenne dans le monde des développeurs ? Autre exemple plus proche de nous, on se retrouve avec mkgmap qui génère des cartes routables proposant de me router en voiture, sur les zones piétonnes. Pourquoi ? le développeur est russe, ça semble être le par défaut là bas, et que croyez vous qu'il est à foutre de la france ? Oui, certes, à moi de le personnaliser ! Mais vous voyez où ça risque d'aller : outils utilisables uniquement par ceux qui ont du temps et qui s'y connaissent -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france - devient peur du vandalisme sur OSM
Bref, moi, j'ai un peu peur... Il est trop facile de créer un compte anonyme, de casser la machine, de repartir, et de laisser les autres dénouer les noeuds 3 mois après. Je partage aussi ta peur, mais il ne faut pas non plus qu'elle deviennent une phobie (la peur est légitime tout le monde la ressent, la phobie c'est quand ça devient pathologique, mais je ne suis pas psy) Je pense qu'il ne faut pas qu'on en arrive à ne plus rien vouloir faire, plus rien tenter sinon le projet stagne aussi, pas une vandalismophobie En outre, nous sommes des centaines à posséder des copies de fichiers osm régulière, si quelqu'un m'alertait d'un vandalisme d'il y a 3 mois, je pourrais fournir le fichier france.osm L'API 0.6 devrait proposer des historiques beaucoup plus robustes, des gardes fous. Wikipedia est à mon sens comparable : - un blanchiment est facile à détecter et corriger, pareil sur osm - le vandalise sournois et discrète est plus dur à pister, sur l'un comme sur l'autre (cf les articles qui sont restés 1 mois avec mort de l'auteur 20XX alors qu'il était vivant, où passage discret sous silence de paragraphes génants pour politicien allemand ) Je n'ai pas de solution miracle, mais c'est un risque avec lequel il nous faut vivre, comme dans tout travail communautaire très ouvert. Les recettes qui marcheraient selon moi : - ne pas donner le droit de modifier les codes sources public dispo pour tout le monde ( accès svn réduit, communauté de la confiance) - ne jamais rendre quelque chose trop simple (le jour ou openstreetbugs rentrera directement des infos dans la base, je crierais au secours) - trolll'accès à potlatch est déjà trop simple selon moi/troll - Il nous manque encore une construction du réseau de la confiance (wikipedia dispose d'administrateurs de plusieurs niveaux et de confiance induite qu'on accorde à quelqu'un ayant créé X articles jugés utiles ) - des systèmes d'alertes basés sur des seuils d'alarme -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
On Wednesday 10 December 2008 17:49, Charlie Echo wrote: Un autre argument contre la libération du code à outrance : des centaines de gens risquent de télécharger le code ET le fichier France, juste pour voir, pour faire leurs stats, etc. Bof, des toiles d'araignée seront sur toi bien avant que le téléchargement se termine. La plupart des gens qui ont besoin de france.osm europe.osm ou planet.osm pour faire des stats vont en priorité utilisé les exports déjà faits. Ma copie anti-surchage est là : http://beta.letuffe.org/cron/ Avant de pourrir mon serveur il faudrait 50 téléchargements simultanés 24/24 Je ne vois pas trop l'intérêt qu'auraient des gens à taper directement dans la base OSM ( sachant qu'il existe AUSSI des exports dispo minute par minute ) - Mail Original - De: sylvain letuffe [EMAIL PROTECTED] À: Discussions sur OSM en français talk-fr@openstreetmap.org Envoyé: Mercredi 10 Décembre 2008 15:51:34 GMT +01:00 Amsterdam / Berlin / Berne / Rome / Stockholm / Vienne Objet: Re: [OSM-talk-fr] Un robot de nettoyage pour la france ... pourquoi ne pas avoir les règles de typographie française en base et laisser le moteur de rendu appliquer des règles de mise en forme spécifique au rendu ? Parfois pas le choix, mais je trouve ça une perte de temps. Si une correction claire et unanime doit être appliquée, on a meilleur temps de régler le problème directement dans la base, ça évite de refaire le boulot plusieurs fois. Cela rejoint plusieurs discussions que j'ai eu sur les par défaut selon les pays. Si on suppose à un moment que nous tolérons que la base soit un merdier structuré cela veut dire à la fin que chaque logiciel de routage, chaque logiciel de rendu, de traitement, d'analyse doit utiliser le même moteur de post-traitement, ce qui virtuellement me semble proche de l'impossible. Je prend mon exemple, si je créer un petit outils qui indique les rues n'ayant pas de nom pour aller les corriger. Supposons qu'en Allemagne un robot remplie tout les noms vides de la base par name=nein alors mon outils ne sert plus à rien chez eux Re-prenons notre cas, supposons, je dis bien supposons, qu'en espagne leur règle toponimique est de tout mettre en minuscule, je fais un logiciel de routage. Comme je le prévois à la française je code un programme qui change toutes les minuscules en majuscules lors de l'affichage. Les Espagnols ne pourront alors que mal utiliser mon programme car il n'affichera pas comme eux ont l'habitude de. On m'argumente souvent qu'il faut simplement coder selon chaque pays les spécificités. Les braves africains du zimbabwe ne sont alors pas prêt d'avoir leur logiciels de routage, car qui peut bien se foutre d'eux en moyenne dans le monde des développeurs ? Autre exemple plus proche de nous, on se retrouve avec mkgmap qui génère des cartes routables proposant de me router en voiture, sur les zones piétonnes. Pourquoi ? le développeur est russe, ça semble être le par défaut là bas, et que croyez vous qu'il est à foutre de la france ? Oui, certes, à moi de le personnaliser ! Mais vous voyez où ça risque d'aller : outils utilisables uniquement par ceux qui ont du temps et qui s'y connaissent -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Quelques remarques : - Très bonne idée. - A faire : effectivement, les Rue cie. enlever les espaces de début et fin de Name, ... pour les ref=..., remplacer les RN10 en N 10, mais conserver les Chemins Ruraux CR 23 et Voies Communales VC 23 vérifier les noeuds dupliqués, et les voies dupliquées - ATTENTION AU RISQUE DE MAUVAISE UTILISATION : un tel outil permettrait, d'un coup, de tout casser, de façon involontaire OU VOLONTAIRE. Il est vrai qu'on peut aussi tout casser avec JOSM, et qu'il est difficile de limiter l'usage d'un robot, sauf à créer un statut de super-utilisateur (après X kilomètres tracés, Y années d'ancienneté, etc.) Mais le robot pourra toujours se faire passer pour JOSM. Bref, il faut avoir ça en tête ; peut-être que je soulève une fausse alerte. - Mail Original - De: Steven Le Roux [EMAIL PROTECTED] À: Discussions sur OSM en français talk-fr@openstreetmap.org Envoyé: Mardi 9 Décembre 2008 02:02:16 GMT +01:00 Amsterdam / Berlin / Berne / Rome / Stockholm / Vienne Objet: Re: [OSM-talk-fr] Un robot de nettoyage pour la france Pas le temps de lire plus ce soir, mais ce qui me gène d'un premier regard est le protocole. Si robot il doit y avoir, alors environement de test complet il lui faut. Nos données sont tout ce qu'on a... il ne faut ni les perdre ni les corrompre. Je proposerai une modif là dessus demain. 2008/12/9 sylvain letuffe [EMAIL PROTECTED]: Le lundi 8 décembre 2008 23:55, Pieren a écrit : Même les articles peuvent poser problème: - Jean de La Fontaine - Rue de la Fontaine Il faut donc s'en tenir à une liste fermée de mots connus (rue, avenue, boulevard,etc) Après réflexion, je suis aussi plus pour faire une liste de mot sur lesquels on agit que sur une liste de mots sur lesquels on n'agit pas Et puis, je pense qu'il vaut mieux commencer petit rien que Rue Avenue Boulevard Allée Passage Chemin au début devrait nous nettoyer un paquet de truc qui ne seront plus à faire à la main, et le risque d'erreur est bien moindre (et en plus pas trop dur pour un premier test grandeur réél ) Il sera toujours possible ensuite de faire un traitement semi-automatique ou un humain donne son accord pour la modification Pour le reste, le tagwatch peut nous amener des idée de correction pouvant être commandées humainement et réalisées robotiquement... -- sly ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr -- Steven Le Roux Jabber-ID : [EMAIL PROTECTED] 0x39494CCB [EMAIL PROTECTED] 2FF7 226B 552E 4709 03F0 6281 72D7 A010 3949 4CCB ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Mon avis personnel. Pour éviter au maximum les effets de bord potentiels, se limiter exclusivement à un gros dictionnaire : rue - Rue avenue - Avenue Eglise - �Église Ecole - École francois - François true - yes etc. Et encore... je crains les effets de bord possibles. Peut-être quelques expressions régulières très simples et dont on est sûr du résultat (ref=RN10 - ref=N 10) Sur la mailing liste anglaise, il y a eu un soulèvement contre un bot. Il faut dire que ce bot faisait pas mal de corections arbitraires (par exemple il jugeait highway:special comme une erreur de typo - highway). Au final, devant la haine de ses compatriotes, le gars responsable du bot m'a contacté en privé pour interfacer son bot à OpenStreetBugs pour avoir à chaque fois une validation manuelle. C'est une solution qui a ses avantages et ses inconvénients. Xav ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bonjour, 2008/12/8 sylvain letuffe [EMAIL PROTECTED]: http://wiki.openstreetmap.org/wiki/FR:Robot_de_traitement [...] J'attends vos idées et commentaires ici même... Juste pour être sûr d'avoir bien compris, tu veux : - lire en entrée le fichier .osm ; - faire les corrections en local ; - répercuter les changements effectués grâce à l'API réseau utilisée par JOSM et consorts. C'est ça ? Sinon, mêmes remarques que les autres : avoir une liste très stricte de modifications à faire au lieu de faire des modifications générales. Pour avoir commencé un travail similaire[1], il y a *énormément* de cas tordus dans les coins si on veut faire le boulot en toute généralité. Amicalement, d. [1] Un exemple pas à jour : http://www.linux-france.org/~dmentre/open-street-map/hexagone-latest.osm.bz2.warn.html Code : http://www.linux-france.org/cgi-bin/hgwebdir.cgi/ocaml-osm-route/latest?f=32761f4bd6f8;file=check.ml ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bonjour, Avant d'envoyer le résultat du bot dans la base OSM, ne pourrait on pas d'abord faire un rendu de l'hexagone modifié histoire de voir s'il n'y a pas de gros pb? David MENTRE a écrit : Bonjour, 2008/12/8 sylvain letuffe [EMAIL PROTECTED]: http://wiki.openstreetmap.org/wiki/FR:Robot_de_traitement [...] J'attends vos idées et commentaires ici même... Juste pour être sûr d'avoir bien compris, tu veux : - lire en entrée le fichier .osm ; - faire les corrections en local ; - répercuter les changements effectués grâce à l'API réseau utilisée par JOSM et consorts. C'est ça ? Sinon, mêmes remarques que les autres : avoir une liste très stricte de modifications à faire au lieu de faire des modifications générales. Pour avoir commencé un travail similaire[1], il y a *énormément* de cas tordus dans les coins si on veut faire le boulot en toute généralité. Amicalement, d. [1] Un exemple pas à jour : http://www.linux-france.org/~dmentre/open-street-map/hexagone-latest.osm.bz2.warn.html Code : http://www.linux-france.org/cgi-bin/hgwebdir.cgi/ocaml-osm-route/latest?f=32761f4bd6f8;file=check.ml ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Et encore... je crains les effets de bord possibles. Des effets de bord, il peut toujours y en avoir, la question peut aussi se résumer par : - 5 erreurs de traitements automatique ne sont elles pas compensées par 2 traitements souhaitables ? Peut-être quelques expressions régulières très simples et dont on est sûr du résultat (ref=RN10 - ref=N 10) Plus j'y pense et plus je me dis qu'une première solution plus sûr c'est une utilisation par dictionnaire Des conditions styles : user=sly tag_name=hihgway type=way replace : hihgway-highway Si je fais bien le fichier de config ou fichier xml ou que sais-je, c'est facile à étendre manuellement, mais toujours intelligemment pour couvrir plusieurs problèmes. Mon premier objectif, était de n'utiliser ce script que sur mes propres édits (user=sly) afin de me faire gagner du temps, après, si d'autres veulent en profiter, tant mieux. Mais on est tous d'accord que de modifier des choses sans le consentement de leurs auteurs est très très délicat, et qu'il faut faire ça avec beaucoup de prudence. Seulement, quelqu'un ayant taggé il y a 2 ans, 30 hihgway=primari et qui ne contribue plus à osm, on ne pourra plus jamais lui demandé son avis. Pourtant il aurait peut-être été d'accord. Si je tombe dessus humainement je ferais de toute façon la correction sans le contacter, alors finalement que différence avec un robot ! -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Bonjour, J'avais aussi commencé à regarder la mise en oeuvre d'un robot. Je me suis fait une base SQLite à partir de france.osm.bz2 pour générer des rapports ; par exemple il y a env. 7700 ways avec un name qui commence par une minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). Pour ceux que ça intéresse la transformation osm-sqlite3 est disponible en C++ à http://marc.sibert.fr/spip.php?article63. Une idée d'algo était : Importer france.osm et faire les sélection dessus. Pour chaque champ méritant un changement, vérifier dans l'API OSM (en live) que l'élément et l'erreur sont toujours présents Appliquer la correction. On peut évidemment s'arrêter entre 1 et 2 et générer des rapports pour obtenir une validation humaine avant d'appliquer les modifications. Marc SIBERT [EMAIL PROTECTED] a écrit sur 09/12/2008 14:45:41 : Bonjour, Avant d'envoyer le résultat du bot dans la base OSM, ne pourrait on pas d'abord faire un rendu de l'hexagone modifié histoire de voir s'il n'y a pas de gros pb? David MENTRE a écrit : Bonjour, 2008/12/8 sylvain letuffe [EMAIL PROTECTED]: http://wiki.openstreetmap.org/wiki/FR:Robot_de_traitement [...] J'attends vos idées et commentaires ici même... Juste pour être sûr d'avoir bien compris, tu veux : - lire en entrée le fichier .osm ; - faire les corrections en local ; - répercuter les changements effectués grâce à l'API réseau utilisée par JOSM et consorts. C'est ça ? Sinon, mêmes remarques que les autres : avoir une liste très stricte de modifications à faire au lieu de faire des modifications générales. Pour avoir commencé un travail similaire[1], il y a *énormément* de cas tordus dans les coins si on veut faire le boulot en toute généralité. Amicalement, d. [1] Un exemple pas à jour : http://www.linux-france.org/~dmentre/open-street-map/hexagone- latest.osm.bz2.warn.html Code : http://www.linux-france.org/cgi-bin/hgwebdir.cgi/ocaml-osm- route/latest?f=32761f4bd6f8;file=check.ml ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr - Disclaimer -- --- Ce message ainsi que les éventuelles pièces jointes constituent une correspondance privée et confidentielle à l'attention exclusive du destinataire désigné ci-dessus. Si vous n'êtes pas le destinataire du présent message ou une personne susceptible de pouvoir le lui délivrer, il vous est signifié que toute divulgation, distribution ou copie, totale ou partielle, sur un quelconque support de cette transmission est strictement interdite. Si vous avez recu ce message par erreur, nous vous remercions d'en informer l'expéditeur par téléphone ou de lui retourner le présent message, puis d'effacer immédiatement ce message de votre systeme. Tout message électronique est susceptible d'altération. Le groupement des Mousquetaires décline toute responsabilité au titre de ce message s'il a été altéré, déformé ou falsifié.--- --- This e-mail and any attachments is a confidential correspondence intended only for use of the individual or entity named above. If you are not the intended recipient or the agent responsible for delivering the message to the intended recipient, you are hereby notified that any disclosure, distribution or copying, either whole or partial, in any medium of this communication is strictly prohibited. If you have received this communication by mistake, please notify the sender by phone or by replying this message, and then delete this message from your system. E-mails are susceptible of alteration. The Mousquetaires' group shall not therefore be liable for the message if altered, changed or falsified.--- --- ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
On Tuesday 09 December 2008 16:24, [EMAIL PROTECTED] wrote: Bonjour, J'avais aussi commencé à regarder la mise en oeuvre d'un robot. Je me suis fait une base SQLite à partir de france.osm.bz2 pour générer des rapports ; par exemple il y a env. 7700 ways avec un name qui commence par une minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). Bien ça ! J'ai repris ce qui était déjà fait (osm2pgsql) et j'importe toutes les nuits dans une base postgis, Je pense bientôt utiliser osmosis qui me semble un super outil avec moulte import/export et actions différentielles il y a tagwatch qui semble être aussi un super outils de complément, mais je ne suis pas capable d'en trouver un qui marche et à jour. Faut tout faire soit même ici ! ;-) Une idée d'algo était : Importer france.osm et faire les sélection dessus. Pour chaque champ méritant un changement, vérifier dans l'API OSM (en live) que l'élément et l'erreur sont toujours présents Appliquer la correction. C'est ce qui est fortement préconisé et ma foi logique D'ailleurs nos voisins Italiens ont déjà de l'avance : http://wiki.openstreetmap.org/wiki/Automated_Edits/Software ( dommage que ce soit du C#, c'est pas ce qui se compile le mieux sous nunux ) On peut évidemment s'arrêter entre 1 et 2 et générer des rapports pour obtenir une validation humaine avant d'appliquer les modifications. Complètement d'accord, c'est bien comme ça que je l'entends. PS : Marc SIBERT Ce nom me dit quelque chose, mais je suis incapable de remettre un lieu, un temps et un espace dessus, mais me semble qu'on à déjà causé ensemble, soit dans cette vie, soit dans une autre ou pas. GUILDE ? Lyon ? IUT ? Chambéry ? grenoble ? Broaf, la vie est pleine d'événements passionnants ! http://www.upct.org/auteurs.php3 Marc SIBERT - Un geek qui rêve de faire un logiciel de routage libre, dont la base de donnée serait enrichie par ses utilisateurs. Wahou ! je sais pas de quand ça date, mais tu dois être fou de joie ;-) -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). serait-ce abusé de te demander un count(*),str_cut(name,bidule) as premier_mot group by premier_mot ? Pour retrouver manuellement la liste des plus courants : voies, voie, boulevard, square, route je me ferais fort de poser ce joli csv sur le wiki car je suis sûr que ça pourrait servir -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Le 9 déc. 08 à 10:21, [EMAIL PROTECTED] a écrit : - ATTENTION AU RISQUE DE MAUVAISE UTILISATION : un tel outil permettrait, d'un coup, de tout casser, de façon involontaire OU VOLONTAIRE. Il est vrai qu'on peut aussi tout casser avec JOSM, et qu'il est difficile de limiter l'usage d'un robot, sauf à créer un statut de super-utilisateur (après X kilomètres tracés, Y années d'ancienneté, etc.) Mais le robot pourra toujours se faire passer pour JOSM. Bref, il faut avoir ça en tête ; peut-être que je soulève une fausse alerte. Non, pas fausse alerte, c'est LE point crucial ! Il ne s'agit pas, de vouloir bloquer des hackers : Chacun de nous osm'eurs arriverait à ficher le binsse, sans la moindre difficulté. Pas besoin d'être hacker, pour ça... Peut-être le fait, qu'OSM soit tellement ouvert, en quelque sorte protège OSM : Ce serait tellement facile d'y fout' la merde ou un gag, que ça ne pose aucun challenge à un hacker digne de ce nom, ce ne serait pas plus honorifique que d'enlever son bib' à un bébé... au point que la personne qui s'y mettrait, probablement se ferait huer par toute sa communauté ! Non, ceux que je crains sont les bénévoles de bonne foi et pleins de bonnes intentions louables - (y compris en tout premier nous-mêmes, ici !) qui s'apercevront seulement après, que leur action bien intentionnée a fait des dégâts irréversibles à d'autres endroits, non prévus : Ouups, pardon, où est le bouton reset, le dernier point de sauvegarde, le pomme-z ? Y en a point ? Oups, euh, bhen merd'alors :-((... --- C'est là, que je pense qu'un tel outil robot potentiellement hyperdangereux doive soit être enfermé sous sept serrures, et que seulement ceux qui ont notre confiance qui pourront l'employer (personnellement je ne verrais que Pieren et Denis, ça ne fait pas sept...), soit que ça soit intégré à un éditeur comme josm (Pas dans potlach, s'il vous plaît... Je n'ai rien contre potlach, bien au contraire, mais la plupart des big bourdes que je vois, vient par ce biais. Que le Dieu de la Topographie leur pardonne, ils ne savent pas ce qu'ils font. Ils apprennent, mais svp pas y intégrer une telle bombe !), et jumelé à une interface / layer (euh, calque ou couche) qui demande validation par l'humain, point par point, tag par tag, un à un, sans qu'il soit possible de faire du batch treatment, disons 1/3 de seconde entre chaque validation. --- Aussi, la proposition de tester ça d'abord sur un exemplaire off-line, me paraît une sage précaution... My two cents, en tout respect. Amicalement Gerhard --- Post scriptum : J'ai mis quelques commentaires sur la page de discussion http://wiki.openstreetmap.org/wiki/FR_talk:Robot_de_traitement, et si robot il y aura, suis d'accord qu'il faudra procéder par liste de ce qu'il y a à modifier, c'est-à-dire définir concrètement les termes fauteurs de trouble que le robot corrigera, et qu'il n'interviendra sur RIEN de ce qui ne corresponde pas aux termes et conditions logiques exacts de la liste des cibles, et ne PAS procéder à l'inverse, de vouloir corriger ce qui ne correspond pas aux termes exacts qu'on aimerait voir. Au premier abord on pourrait penser que la différence entre ces deux approches soit minimale, et que je fende des cheveux en quatre. Mais ces deux démarches, et leurs résultats ne sont pas les mêmes, loin de là ! L'une des deux écrase. -- On a eus divers Inquisitions (rouges, noires, et autres), la Sacrée Congrégation de l'Inquisition romaine et universelle, la Sacrée Congrégation du Saint-Office, et maintenant la Congrégation pour la Doctrine de la Foi, devenue extrêmement stricte depuis l'élection de son Préfet le Cardinal Joseph Alois Ratzinger au Siège du Saint-Père (le Pape Benoît XVI quoi, KV, il semble, et Professeur Honoraire à Ratisbonne). Aussi, on a connus et connaît divers régîmes de dictature. -- Ça devrait suffire pour se rendre compte de la différence fondamentale, de traiter ce qu'on sait et ce qu'on ne sait pas. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la France
Bonsoir, A la demande de certains, voici quelques statistiques sur france.osm.bz2 que l'on peut trouver sur http://download.geofabrik.de/osm/europe/. Les stats, c'est chez moi, là : http://ballancourt.sibert.fr/osm/ La mise à jour est manuelle, j'importe le fichier france la matin, si j'ai le temps. Donc patience si les conséquences de vos modifications ne sont pas visibles en ligne immédiatement ;-) Bonne nuit, Marc [EMAIL PROTECTED] a écrit : Bonjour, J'avais aussi commencé à regarder la mise en oeuvre d'un robot. Je me suis fait une base SQLite à partir de france.osm.bz2 pour générer des rapports ; par exemple il y a env. 7700 ways avec un name qui commence par une minuscule (http://ballancourt.sibert.fr/osm/minuscules.htm). Pour ceux que ça intéresse la transformation osm-sqlite3 est disponible en C++ à http://marc.sibert.fr/spip.php?article63. Une idée d'algo était : 1. Importer france.osm et faire les sélection dessus. 2. Pour chaque champ méritant un changement, vérifier dans l'API OSM (en live) que l'élément et l'erreur sont toujours présents 3. Appliquer la correction. On peut évidemment s'arrêter entre 1 et 2 et générer des rapports pour obtenir une validation humaine avant d'appliquer les modifications. *Marc SIBERT* [EMAIL PROTECTED] a écrit sur 09/12/2008 14:45:41 : Bonjour, Avant d'envoyer le résultat du bot dans la base OSM, ne pourrait on pas d'abord faire un rendu de l'hexagone modifié histoire de voir s'il n'y a pas de gros pb? David MENTRE a écrit : Bonjour, 2008/12/8 sylvain letuffe [EMAIL PROTECTED]: http://wiki.openstreetmap.org/wiki/FR:Robot_de_traitement [...] J'attends vos idées et commentaires ici même... Juste pour être sûr d'avoir bien compris, tu veux : - lire en entrée le fichier .osm ; - faire les corrections en local ; - répercuter les changements effectués grâce à l'API réseau utilisée par JOSM et consorts. C'est ça ? Sinon, mêmes remarques que les autres : avoir une liste très stricte de modifications à faire au lieu de faire des modifications générales. Pour avoir commencé un travail similaire[1], il y a *énormément* de cas tordus dans les coins si on veut faire le boulot en toute généralité. Amicalement, d. [1] Un exemple pas à jour : http://www.linux-france.org/~dmentre/open-street-map/hexagone- latest.osm.bz2.warn.html Code : http://www.linux-france.org/cgi-bin/hgwebdir.cgi/ocaml-osm- route/latest?f=32761f4bd6f8;file=check.ml ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr - Disclaimer -- --- Ce message ainsi que les éventuelles pièces jointes constituent une correspondance privée et confidentielle à l'attention exclusive du destinataire désigné ci-dessus. Si vous n'êtes pas le destinataire du présent message ou une personne susceptible de pouvoir le lui délivrer, il vous est signifié que toute divulgation, distribution ou copie, totale ou partielle, sur un quelconque support de cette transmission est strictement interdite. Si vous avez recu ce message par erreur, nous vous remercions d'en informer l'expéditeur par téléphone ou de lui retourner le présent message, puis d'effacer immédiatement ce message de votre systeme. Tout message électronique est susceptible d'altération. Le groupement des Mousquetaires décline toute responsabilité au titre de ce message s'il a été altéré, déformé ou falsifié.--- --- This e-mail and any attachments is a confidential correspondence intended only for use of the individual or entity named above. If you are not the intended recipient or the agent responsible for delivering the message to the intended recipient, you are hereby notified that any disclosure, distribution or copying, either whole or partial, in any medium of this communication is strictly prohibited. If you have received this communication by mistake, please notify the sender by phone or by replying this message, and then delete this message from your system. E-mails are susceptible of alteration. The Mousquetaires' group shall not therefore be liable for the message if altered, changed or falsified.--- --- ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr Internal Virus Database is out of date. Checked by AVG - http://www.avg.com Version: 8.0.175 / Virus Database: 270.9.13/1827 - Release Date: 03/12/2008 17:41 ___ Talk-fr mailing list Talk-fr@openstreetmap.org
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
2008/12/9 g.d [EMAIL PROTECTED]: Le 9 déc. 08 à 10:21, [EMAIL PROTECTED] a écrit : - ATTENTION AU RISQUE DE MAUVAISE UTILISATION : un tel outil permettrait, d'un coup, de tout casser, de façon involontaire OU VOLONTAIRE. Il est vrai qu'on peut aussi tout casser avec JOSM, et qu'il est difficile de limiter l'usage d'un robot, sauf à créer un statut de super-utilisateur (après X kilomètres tracés, Y années d'ancienneté, etc.) Mais le robot pourra toujours se faire passer pour JOSM. Bref, il faut avoir ça en tête ; peut-être que je soulève une fausse alerte. Non, pas fausse alerte, c'est LE point crucial ! Il ne s'agit pas, de vouloir bloquer des hackers : Chacun de nous osm'eurs arriverait à ficher le binsse, sans la moindre difficulté. Pas besoin d'être hacker, pour ça... Peut-être le fait, qu'OSM soit tellement ouvert, en quelque sorte protège OSM : Ce serait tellement facile d'y fout' la merde ou un gag, que ça ne pose aucun challenge à un hacker digne de ce nom, ce ne serait pas plus honorifique que d'enlever son bib' à un bébé... au point que la personne qui s'y mettrait, probablement se ferait huer par toute sa communauté ! Non, ceux que je crains sont les bénévoles de bonne foi et pleins de bonnes intentions louables - (y compris en tout premier nous-mêmes, ici !) qui s'apercevront seulement après, que leur action bien intentionnée a fait des dégâts irréversibles à d'autres endroits, non prévus : Ouups, pardon, où est le bouton reset, le dernier point de sauvegarde, le pomme-z ? Y en a point ? Oups, euh, bhen merd'alors :-((... --- C'est là, que je pense qu'un tel outil robot potentiellement hyperdangereux doive soit être enfermé sous sept serrures, et que seulement ceux qui ont notre confiance qui pourront l'employer (personnellement je ne verrais que Pieren et Denis, ça ne fait pas sept...), le truc c'est que le robot attaque l'API, donc n'importe qui peut le lancer... à moins non pas d'obscurcir, mais de protéger son exécution dans le code directement. exemple, la liste des tag à checker se trouvent dans un fichier .lst à côté du script. Celui-ci calcul un hash md5 du fichier et va le comparer avec la version livrée officielle qui se trouve sur un de nos serveurs privés sur lesquels seul chaque propriétaire a accès. ça peut être moi, sylvain, pieren,etc... Ajoutons à cela que le script ne peut modifier la base que s'il se trouve derrière une ip publique définie en dur, et que sa conf par défaut n'effectue aucun changement sur la base mais ne fait qu'un rapport d'anomalie... et je pense qu'on peut livrer là un script opensource qui évite que n'importe quelle personne l'éxécutant avec des tag à sa sauce n'aille tout casser. Certe c'est contournable, mais je me dis que si la personne prend le temps de comprendre comment contourner, elle va aussi prendre le temps de voir ce qu'elle est en train de faire. soit que ça soit intégré à un éditeur comme josm sylvain parlait de php non ? python serait pas mal aussi. Dans JOSM ça veut dire java. ça peut aussi être une modif du plugin validator... (Pas dans potlach, s'il vous plaît... Je n'ai rien contre potlach, si si si :) potlatch : c'est mal ! d'ailleurs... c'est écrit là : http://potlatch.saimal.fr/ et jumelé à une interface / layer (euh, calque ou couche) qui demande validation par l'humain, point par point, tag par tag, un à un, sans qu'il soit possible de faire du batch treatment, disons 1/3 de seconde entre chaque validation. hmm ça ne me semble pas du tout la même quantité de developpement ici... --- Aussi, la proposition de tester ça d'abord sur un exemplaire off-line, me paraît une sage précaution... indispensable... My two cents, en tout respect. Amicalement Gerhard --- -- Steven Le Roux Jabber-ID : [EMAIL PROTECTED] 0x39494CCB [EMAIL PROTECTED] 2FF7 226B 552E 4709 03F0 6281 72D7 A010 3949 4CCB ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Réponses dans le texte : Le 10 déc. 08 à 00:53, Steven Le Roux a écrit : 2008/12/9 g.d [EMAIL PROTECTED]: Le 9 déc. 08 à 10:21, [EMAIL PROTECTED] a écrit : - ATTENTION AU RISQUE DE MAUVAISE UTILISATION : un tel outil .../... Bref, il faut avoir ça en tête ; peut-être que je soulève une fausse alerte. Non, pas fausse alerte, c'est LE point crucial ! Il ne s'agit pas, de vouloir bloquer des hackers : Chacun de nous osm'eurs arriverait à ficher le binsse, sans la moindre difficulté. Pas besoin d'être hacker, pour ça... .../... C'est là, que je pense qu'un tel outil robot potentiellement hyperdangereux doive soit être enfermé sous sept serrures, et que seulement ceux qui ont notre confiance qui pourront l'employer (personnellement je ne verrais que Pieren et Denis, ça ne fait pas sept...), Pardonne-moi, de t'avoir oublié, Steven :-) Mais ça ne fait toujours que trois ou quatre... le truc c'est que le robot attaque l'API, donc n'importe qui peut le lancer... Oups, la bombe... :-( à moins non pas d'obscurcir, mais de protéger son exécution dans le code directement. exemple, la liste des tag à checker se trouvent dans un fichier .lst à côté du script. Celui-ci calcul un hash md5 du fichier et va le comparer avec la version livrée officielle qui se trouve sur un de nos serveurs privés sur lesquels seul chaque propriétaire a accès. ça peut être moi, sylvain, pieren,etc... Je ne comprends pas grand'chose à la teschenikke, mais un fichier de comparaison distant semble pouvoir être un garde- fou pour éviter que quelqu'un touche à des tags non libérés par la communauté pour la modif' par le robot. Ça me paraît un bon garde-fou. Et si on aurait fait une erreur dans nos estimations sur d'éventuels résultats inattendus, on n'aura qu'à nous prendre à nous-mêmes, et réparer... Comme auto-contrôle, ça me paraît viable :-) Oui, Marc, tu ne vois pas de blème pour diffuser le script, je le conçois. Et toi-même te sers d'un anti-virus, c'est noté en bas de ton mail, tu prends les précautions de base, j'apprécie (Mon antivirus n'affiche rien en bas des mails, il travaille en silence). Je ne fais rien d'autre, ici, que de demander des précautions de base, aussi. .../... et que sa conf par défaut n'effectue aucun changement sur la base mais ne fait qu'un rapport d'anomalie... Là, je ne pige pas ce que ça veut dire en mots clairs :-( et je pense qu'on peut livrer là un script opensource qui évite que n'importe quelle personne l'éxécutant avec des tag à sa sauce n'aille tout casser. C'est le but de ma question : Eviter que des manipulations de bonne foi puissent avoir des répercussions plus larges qu'attendu, irrattrapables. Certe c'est contournable, mais je me dis que si la personne prend le temps de comprendre comment contourner, elle va aussi prendre le temps de voir ce qu'elle est en train de faire. Comme je disais, il ne semble pas utile qu'on tente de protéger OSM contre des esprits taquineurs, la meilleure protection est l'ouverture. soit que ça soit intégré à un éditeur comme josm sylvain parlait de php non ? python serait pas mal aussi. Dans JOSM ça veut dire java. ça peut aussi être une modif du plugin validator... J'aime bien python, et m'en sers occasionnellement (Le langage de programmation, pas la bête, elle me donne la chair de poule, c'est coriace, a la peau dure, et put la crotte pourrie, mais ça se laisse manger. Le dernier que j'ai rencontré a longtemps décoré mon mur du salon, jusqu'à ce que j'en ai fait cadeau à un copain, qui en a fait des bottes pour ces dames :-)) Quant au langage python, je crains que ça puisse poser blème, sur les différentes plate-formes : Si on fait pour PC, ça peut mal s'installer sur Mac : Mac est livré avec un python, avec toute une hiérarchie de directories où mettre les différents morceaux, ce qui ne semble pas être aussi strict sur PC. Donc si on amène du python de PC tel quel sur Mac, ça manque les fichiers renvoi qui lui disent où chercher les bibliothèques :-( Aussi, certains GUI python, bien agréables sur PC, simplement ne marchent pas sur Mac, car ils ignorent totalement le jeu d'interfaces proposées toutes cuites du Mac... Par contre, l'inverse a l'air de bien marcher : Développé sur Mac, et run sur PC ou n'importe-quoi d'autre. Mais ce n'est pas à mon âge que je me re-ferai programmeur. Bon, tu me diras que quasi chaque Mac-iste a aussi quelque part un vieux Windaube XpProSP3 derrière les fagots, pour palier à de tels anachronismes... Mais c'est pas la joie, de remettre le nez dans les entrailles de windaube, je t'assure. (Pas dans potlach, s'il vous plaît... Je n'ai rien contre potlach, si si si :) potlatch : c'est mal ! d'ailleurs... c'est écrit là : http://potlatch.saimal.fr/ ? Je n'ai vraiment rien contre potlach, au contraire, c'est vachtément bien pour ceux et ceusses qui n'ont pas envie de se casser le bol, mais c'est qu'on ne voit pas vraiment ce qu'on fait en réalité
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Sérieusement... Pourquoi vous compliquer la vie alors que, comme le dit Marcus, il suffit de ne pas publier le code ? Au pire vous le fournissez à ceux qui le demande. Xav ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
[OSM-talk-fr] Un robot de nettoyage pour la france
J'ai proposé ça pour la réunion jabber/irc Mais je suis pas sûr de pouvoir participer, donc je lance l'idée sur la ml Mon blabla : http://wiki.openstreetmap.org/wiki/FR:Robot_de_traitement Pour les non fan des wiki (c'est clair c'est de la merde, à quand un bon vieux forum ;-))) ) J'attends vos idées et commentaires ici même... dépéchez vous, le robot est prêt et je le lance Mardi 09/12/2008 20h00 UTC sur toute la base osm France, ça va nettoyer !! Non, je déconne, il faut du temps au temps ;-) -- Sylvain Letuffe [EMAIL PROTECTED] qui suis-je : http://slyserv.dyndns.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
sylvain letuffe wrote: J'attends vos idées et commentaires ici même... Ce qui s'est déjà fait et qui marche, c'est des listes de « problèmes » détectés automatiquement avec des liens pour aller voir et éventuellement corriger. La correction auto, je ne suis pour que pour les points indiscutables. Par exemple les fautes de frappe style « hihgway » ou « prmary » que l'ont peu parfois voir dans les tagwatch. Pour les 1/true/yes, je te soutiens. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Comme je l'ai développé dans la page de discussion du wiki, il faut être très limitatif dans la liste des mots intérieurs à mettre en minuscules. Ne pas aller au delà de la liste de Sylvain et même réduire aux mots hyperfréquents (de, du, des). Raison : risque de collision avec les adresses et les toponymes écrits dans les nombreux langues et dialectes de France. Christian Thomas Walraet a écrit : sylvain letuffe wrote: J'attends vos idées et commentaires ici même... Ce qui s'est déjà fait et qui marche, c'est des listes de « problèmes » détectés automatiquement avec des liens pour aller voir et éventuellement corriger. La correction auto, je ne suis pour que pour les points indiscutables. Par exemple les fautes de frappe style « hihgway » ou « prmary » que l'ont peu parfois voir dans les tagwatch. Pour les 1/true/yes, je te soutiens. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Même les articles peuvent poser problème: - Jean de La Fontaine - Rue de la Fontaine Il faut donc s'en tenir à une liste fermée de mots connus (rue, avenue, boulevard,etc) Pieren 2008/12/8 Christian Rogel [EMAIL PROTECTED]: Comme je l'ai développé dans la page de discussion du wiki, il faut être très limitatif dans la liste des mots intérieurs à mettre en minuscules. Ne pas aller au delà de la liste de Sylvain et même réduire aux mots hyperfréquents (de, du, des). Raison : risque de collision avec les adresses et les toponymes écrits dans les nombreux langues et dialectes de France. Christian Thomas Walraet a écrit : sylvain letuffe wrote: J'attends vos idées et commentaires ici même... Ce qui s'est déjà fait et qui marche, c'est des listes de « problèmes » détectés automatiquement avec des liens pour aller voir et éventuellement corriger. La correction auto, je ne suis pour que pour les points indiscutables. Par exemple les fautes de frappe style « hihgway » ou « prmary » que l'ont peu parfois voir dans les tagwatch. Pour les 1/true/yes, je te soutiens. ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Un robot de nettoyage pour la france
Le lundi 8 décembre 2008 23:55, Pieren a écrit : Même les articles peuvent poser problème: - Jean de La Fontaine - Rue de la Fontaine Il faut donc s'en tenir à une liste fermée de mots connus (rue, avenue, boulevard,etc) Après réflexion, je suis aussi plus pour faire une liste de mot sur lesquels on agit que sur une liste de mots sur lesquels on n'agit pas Et puis, je pense qu'il vaut mieux commencer petit rien que Rue Avenue Boulevard Allée Passage Chemin au début devrait nous nettoyer un paquet de truc qui ne seront plus à faire à la main, et le risque d'erreur est bien moindre (et en plus pas trop dur pour un premier test grandeur réél ) Il sera toujours possible ensuite de faire un traitement semi-automatique ou un humain donne son accord pour la modification Pour le reste, le tagwatch peut nous amener des idée de correction pouvant être commandées humainement et réalisées robotiquement... -- sly ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
