Re: [OSM-dev-fr] Outils de surveillance sur la France des changement suspects et suivi de zones
Il ne sera normalement pas compliqué d'ajouter des systèmes d'heuristiques qui se basent sur la version reconstruite du changeset pour détecter des bizarreries, en plus de faire du monitoring de tags et zones. verifier que le changeset ne produit pas des géométrie en double comme c'est le cas ici http://www.openstreetmap.org/browse/changeset/13141799 mais pas spécifiquement sur les batiments didier ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Outils de surveillance sur la France des changement suspects et suivi de zones
Hop, Bonjour, Le débat d'a coté changeset suspect ? (sur talk-fr) me donne envie de relancer l'idée de la création d'un outil de surveillance (bon, c'est clair que plus qu'une idée, c'est surtout le faire qu'il faudrait). Je me dis que le besoin est là, qu'on a les serveurs pour le faire tourner, mais qu'avant de me lancer tête baissée dans un truc trop gros pour n'aboutir à rien, j'aurais aimé faire un tour de table de ce qui existe déjà, de savoir si certains se sont lancé en privé dans ce type de projet et, pourquoi pas, monter une équipe pour arriver en phase 1 à un petit quelque chose qui puisse servir. Comme disait Christian, j'ai en effet commencé quelque chose basé sur ces idées: détection de changesets matchant une zone (avec activité réelle, pas juste overlap de bbox), avec des contraintes sur les tags (clés et valeurs si possible, idéalement, j'aimerais voir si on peut réutiliser les filtres de JOSM). J'ai en effet regardé ce qui était sur la page QA, mais il n'y a pas grand chose d'utilisable. Ca se basera en partie sur les augmented diffs pour gérer la deletion et la modification, et en partie sur les diffs normaux (car les diffs augmentés perdent aussi de l'info sur les deletes). Il y a encore pas mal de travail, mais j'espère avoir une alpha dans la semaine. En attendant: https://github.com/cstenac/osm-watch Il ne sera normalement pas compliqué d'ajouter des systèmes d'heuristiques qui se basent sur la version reconstruite du changeset pour détecter des bizarreries, en plus de faire du monitoring de tags et zones. -- Clément ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Outils de surveillance sur la France des changement suspects et suivi de zones
2012/9/14 sly (sylvain letuffe) li...@letuffe.org: Sauriez-vous le(s)quel(s) sont déjà utilisé par l'équipe du DWG pour surveiller les changeset douteux ? Non mais si tu regardes ce dépôt sur GitHub, la liste des outils développés par Paul Norman devrait t'en donner une assez bonne idée (en particulier osm-weirdness pour la détection et make_changeset pour le revert): https://github.com/pnorman Pieren ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Outils de surveillance sur la France des changement suspects et suivi de zones
zorglub a commencé à bosser là dessus... Le 14 septembre 2012 15:36, sly (sylvain letuffe) li...@letuffe.org a écrit : Bonjour, Le débat d'a coté changeset suspect ? (sur talk-fr) me donne envie de relancer l'idée de la création d'un outil de surveillance (bon, c'est clair que plus qu'une idée, c'est surtout le faire qu'il faudrait). Je me dis que le besoin est là, qu'on a les serveurs pour le faire tourner, mais qu'avant de me lancer tête baissée dans un truc trop gros pour n'aboutir à rien, j'aurais aimé faire un tour de table de ce qui existe déjà, de savoir si certains se sont lancé en privé dans ce type de projet et, pourquoi pas, monter une équipe pour arriver en phase 1 à un petit quelque chose qui puisse servir. Je connais cette page : http://wiki.openstreetmap.org/wiki/QA#Monitoring_Tools Et grosso modo, ceux qui ressortent et sont réputés sont OWL et ITO world OSM Mapper. Mais l'un est HS pour l'instant et l'autre dispose d'un flux RSS pour voir passer les changements d'une zone, mais la dernière fois que je me suis servi, c'est peu dur à utiliser car ça sort beaucoup de chose. Il y aussi le live editeur de christian (un peu plus axés bing bling ;-) mais avec du potentiel) Sauriez-vous le(s)quel(s) sont déjà utilisé par l'équipe du DWG pour surveiller les changeset douteux ? En utilisez vous d'autres qui permettent de monitorer les changements sur des critères de type zone/dernier user/selon tag ou truc du genre ? Si rien n'est probant, je pensais éventuellement commencer un prototype utilisant les http://wiki.openstreetmap.org/wiki/Overpass_API/Augmented_Diffs (avec une installation sur la France uniquement) Ces diffs permettent en effet d'avoir l'ancienne et la nouvelle version d'un objet ce qui peut déjà, sans base de donnée, permettre quelques analyses simples sur des suppressions massives, des objets touchés qui avait certains tags et ce genre de chose. Je ne vise pas du tout refaire ce que fais déjà osmose parfaitement avec des analyses très performantes, rangées par catégories sur une état de la base à l'instant du lancement de l'analyse, mais plus un mécanisme de surveillance qui pourrait déclencher une alerte lorsqu'un changeset correspond à tels critères. (Me relisant, je suis peut-être juste perché sur mon nuage du rêve alors que je ferais sans doute mieux de taper du code, mais sait-on jamais, je lance mon hameçon...) -- sly qui suis-je : http://sly.letuffe.org email perso : sylvain chez letuffe un point org ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France - http://openstreetmap.fr/u/cquesthttp://openstreetmap.fr/u/christian-quest ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Outils de surveillance sur la France des changement suspects et suivi de zones
Le vendredi 14 septembre 2012 à 15:36 +0200, sly (sylvain letuffe) a écrit : Bonjour, Le débat d'a coté changeset suspect ? (sur talk-fr) me donne envie de relancer l'idée de la création d'un outil de surveillance (bon, c'est clair que plus qu'une idée, c'est surtout le faire qu'il faudrait). Je me dis que le besoin est là, qu'on a les serveurs pour le faire tourner, mais qu'avant de me lancer tête baissée dans un truc trop gros pour n'aboutir à rien, j'aurais aimé faire un tour de table de ce qui existe déjà, de savoir si certains se sont lancé en privé dans ce type de projet et, pourquoi pas, monter une équipe pour arriver en phase 1 à un petit quelque chose qui puisse servir. Je connais cette page : http://wiki.openstreetmap.org/wiki/QA#Monitoring_Tools Et grosso modo, ceux qui ressortent et sont réputés sont OWL et ITO world OSM Mapper. Mais l'un est HS pour l'instant et l'autre dispose d'un flux RSS pour voir passer les changements d'une zone, mais la dernière fois que je me suis servi, c'est peu dur à utiliser car ça sort beaucoup de chose. Il y aussi le live editeur de christian (un peu plus axés bing bling ;-) mais avec du potentiel) Sauriez-vous le(s)quel(s) sont déjà utilisé par l'équipe du DWG pour surveiller les changeset douteux ? En utilisez vous d'autres qui permettent de monitorer les changements sur des critères de type zone/dernier user/selon tag ou truc du genre ? Si rien n'est probant, je pensais éventuellement commencer un prototype utilisant les http://wiki.openstreetmap.org/wiki/Overpass_API/Augmented_Diffs (avec une installation sur la France uniquement) Ces diffs permettent en effet d'avoir l'ancienne et la nouvelle version d'un objet ce qui peut déjà, sans base de donnée, permettre quelques analyses simples sur des suppressions massives, des objets touchés qui avait certains tags et ce genre de chose. Je ne vise pas du tout refaire ce que fais déjà osmose parfaitement avec des analyses très performantes, rangées par catégories sur une état de la base à l'instant du lancement de l'analyse, mais plus un mécanisme de surveillance qui pourrait déclencher une alerte lorsqu'un changeset correspond à tels critères. il faudrait peut etre voir avec jocelyn et frederic s'il est possible d'utiliser le mod diff d'osmose avec des analyseurs appropriés (si j'ai bien compris le mod diff d'osmose...) (Me relisant, je suis peut-être juste perché sur mon nuage du rêve alors que je ferais sans doute mieux de taper du code, mais sait-on jamais, je lance mon hameçon...) ___ dev-fr mailing list dev-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/dev-fr
