Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Week-end productif, j'ai fait ma première création
https://master.apis.dev.openstreetmap.org/node/4319598216

La modification plante : très probablement parce que tous les objets
n'existent pas dans cette base vu que j'interroge overpass. Merci François
et Marc.

l 'ihm a un peu changé, vous pouvez trouver les nouvelles capture d'écran
sur le readme
https://github.com/wadouk/od2osm

Le jeu. 7 mai 2020 à 10:19, Yves P.  a écrit :

>
> > J'ai oublié de dire que j'ai commencé à travailler sur la possibilité
> d'utiliser le backend Osmose avec Jupyter. Un sorte de shell python dans un
> navigateur web. Au début ça va être en local,
> C'est une grande avancée, merci :)
>
> __
> Yves
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> J'ai oublié de dire que j'ai commencé à travailler sur la possibilité 
> d'utiliser le backend Osmose avec Jupyter. Un sorte de shell python dans un 
> navigateur web. Au début ça va être en local,
C'est une grande avancée, merci :)

__
Yves
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Frédéric Rodrigo]

J'ai oublié de dire que j'ai commencé à travailler sur la possibilité 
d'utiliser le backend Osmose avec Jupyter. Un sorte de shell python dans 
un navigateur web. Au début ça va être en local, puis ensuite essayer de 
mettre ça à disposition en ligne.


Ça permet de test et de visualiser le résultat d'une analyse, et pour la 
version en ligne sans avoir rien à installer.




https://github.com/osm-fr/osmose-backend/issues/859



Le 06/05/2020 à 11:34, Frédéric Rodrigo a écrit :

Le 06/05/2020 à 10:35, Nicolas Bétheuil a écrit :

C'est le même principe que pour les analyses des défibrillateurs ?


Pas tout à fait la même chose.

Pour les défibrillateurs, tu as une source de données, pour un seul 
type d'objet dans OSM.


Pour le SIRENE, le FINESS, ou encore les terrains de sport par 
exemple, tu as une source de donnée, mais de multiples types d'objets 
dans OSM.


Plutôt que d’écrire une analyse d'intégration par type d'objet OSM en 
utilisant qu'une partie des données source, il y a le concept 
d'analyse d'intégration "dynamique", c'est à dire paramétrable par un 
fichier json ou csv qui sert à faire les correspondances vers les 
objets OSM, le filtrage des données source et la classification pour 
l’affichage à l'utilisateur.



Parce que la c'est pas juste le point existe ou pas mais s'il existe 
compléter les tags, ou pas. J'imagine que ça peut le faire mais j'ai 
un mal de chien à comprendre et j'avoue faire une résistance au 
python, et l'ihm d'osmose me rebute aussi.


Moi aussi je ne suis pas fan de pyhton, ni de l'ihm. Toute aide est la 
bienvenue.



J'ai du mal à trouver osmose adéquate pour l'open data. Tellement de 
travail de scripting avant de pouvoir faire quelque chose alors que 
l'idée "me parait" tellement simple mais c'est probablement 
l'insouciance de la bleusaille.


J'ai forcément un peu le point de vue inverse.

Pour moi il n'y a quasiment pas de code à écrire, juste du 
paramétrage, mapping tags, quelque conversion si besoin, et osmose 
s'occupe de toute la magie.



J’espère trouver des solutions plus simple avec une feuille blanche 
que d'essayer de faire rentrer ça dans osmose qui me parait tellement 
lourd mais adapté à son usage initiale : vérifier la qualité de la 
donnée.


Osmose apporte aussi à l'opendata le côté récurent, ça continue à 
tourner, ce n'est pas juste sur le coup. Et quand on voit les stats 
d'avancement de l'intégration de données "importante" on voit tout 
l'intérêt.


Bureaux de poste manquant en France

http://osmose.openstreetmap.fr/fr/errors/graph.png?item=8020

Pharmacie

http://osmose.openstreetmap.fr/fr/errors/graph.png?country=france*=8210 






Après maintenant que je l'ai annoncé va falloir que je sorte quelque 
chose, j'espère ne pas perdre la motivation comme tant d'autre side 
project.


Le mar. 5 mai 2020 à 16:37, Frédéric Rodrigo > a écrit :


    Le 05/05/2020 à 14:09, Nicolas Bétheuil a écrit :
    > Je ne voyais pas comment faire mon analyse osmose avec des fois 
des

    > shop, des fois amenity, des fois autre chose. Trop de typologie
    > différentes.

    Quand il y a à boire et à manger, il faut partir sur une analyse
    dynamique. La plupart du temps on décrit le mapping dans un
    fichier de
    configurations

https://github.com/osm-fr/osmose-backend/blob/master/merge_data/shop_FR.mapping.json

https://github.com/osm-fr/osmose-backend/blob/master/analysers/analyser_merge_shop_FR.py







___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

>> Parce que la c'est pas juste le point existe ou pas mais s'il existe 
>> compléter les tags, ou pas. J'imagine que ça peut le faire mais j'ai un mal 
>> de chien à comprendre et j'avoue faire une résistance au python, et l'ihm 
>> d'osmose me rebute aussi.
> 
> Moi aussi je ne suis pas fan de pyhton, ni de l'ihm.
+1 pour l'IHM

Je pensais que tu avais écris le soft de A à Z ?


> Toute aide est la bienvenue.
Aide nous à t'aider ;)

> Pour moi il n'y a quasiment pas de code à écrire, juste du paramétrage, 
> mapping tags, quelque conversion si besoin, et osmose s'occupe de toute la 
> magie.
+1 avec ce que je commence à comprendre en travaillant (un peu) sur le fichier 
FINESS.

> Osmose apporte aussi à l'opendata le côté récurent, ça continue à tourner, ce 
> n'est pas juste sur le coup. Et quand on voit les stats d'avancement de 
> l'intégration de données "importante" on voit tout l'intérêt.
+1 Les courbes sont très parlantes :)

__
Yves


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Frédéric Rodrigo]

Le 06/05/2020 à 10:35, Nicolas Bétheuil a écrit :

C'est le même principe que pour les analyses des défibrillateurs ?


Pas tout à fait la même chose.

Pour les défibrillateurs, tu as une source de données, pour un seul type 
d'objet dans OSM.


Pour le SIRENE, le FINESS, ou encore les terrains de sport par exemple, 
tu as une source de donnée, mais de multiples types d'objets dans OSM.


Plutôt que d’écrire une analyse d'intégration par type d'objet OSM en 
utilisant qu'une partie des données source, il y a le concept d'analyse 
d'intégration "dynamique", c'est à dire paramétrable par un fichier json 
ou csv qui sert à faire les correspondances vers les objets OSM, le 
filtrage des données source et la classification pour l’affichage à 
l'utilisateur.



Parce que la c'est pas juste le point existe ou pas mais s'il existe 
compléter les tags, ou pas. J'imagine que ça peut le faire mais j'ai 
un mal de chien à comprendre et j'avoue faire une résistance au 
python, et l'ihm d'osmose me rebute aussi.


Moi aussi je ne suis pas fan de pyhton, ni de l'ihm. Toute aide est la 
bienvenue.



J'ai du mal à trouver osmose adéquate pour l'open data. Tellement de 
travail de scripting avant de pouvoir faire quelque chose alors que 
l'idée "me parait" tellement simple mais c'est probablement 
l'insouciance de la bleusaille.


J'ai forcément un peu le point de vue inverse.

Pour moi il n'y a quasiment pas de code à écrire, juste du paramétrage, 
mapping tags, quelque conversion si besoin, et osmose s'occupe de toute 
la magie.



J’espère trouver des solutions plus simple avec une feuille blanche 
que d'essayer de faire rentrer ça dans osmose qui me parait tellement 
lourd mais adapté à son usage initiale : vérifier la qualité de la donnée.


Osmose apporte aussi à l'opendata le côté récurent, ça continue à 
tourner, ce n'est pas juste sur le coup. Et quand on voit les stats 
d'avancement de l'intégration de données "importante" on voit tout 
l'intérêt.


Bureaux de poste manquant en France

http://osmose.openstreetmap.fr/fr/errors/graph.png?item=8020

Pharmacie

http://osmose.openstreetmap.fr/fr/errors/graph.png?country=france*=8210




Après maintenant que je l'ai annoncé va falloir que je sorte quelque 
chose, j'espère ne pas perdre la motivation comme tant d'autre side 
project.


Le mar. 5 mai 2020 à 16:37, Frédéric Rodrigo > a écrit :


Le 05/05/2020 à 14:09, Nicolas Bétheuil a écrit :
> Je ne voyais pas comment faire mon analyse osmose avec des fois des
> shop, des fois amenity, des fois autre chose. Trop de typologie
> différentes.

Quand il y a à boire et à manger, il faut partir sur une analyse
dynamique. La plupart du temps on décrit le mapping dans un
fichier de
configurations


https://github.com/osm-fr/osmose-backend/blob/master/merge_data/shop_FR.mapping.json


https://github.com/osm-fr/osmose-backend/blob/master/analysers/analyser_merge_shop_FR.py





___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

C'est le même principe que pour les analyses des défibrillateurs ?
Parce que la c'est pas juste le point existe ou pas mais s'il existe
compléter les tags, ou pas. J'imagine que ça peut le faire mais j'ai un mal
de chien à comprendre et j'avoue faire une résistance au python, et l'ihm
d'osmose me rebute aussi.
J'ai du mal à trouver osmose adéquate pour l'open data. Tellement de
travail de scripting avant de pouvoir faire quelque chose alors que l'idée
"me parait" tellement simple mais c'est probablement l'insouciance de la
bleusaille.
J’espère trouver des solutions plus simple avec une feuille blanche que
d'essayer de faire rentrer ça dans osmose qui me parait tellement lourd
mais adapté à son usage initiale : vérifier la qualité de la donnée.

Après maintenant que je l'ai annoncé va falloir que je sorte quelque chose,
j'espère ne pas perdre la motivation comme tant d'autre side project.

Le mar. 5 mai 2020 à 16:37, Frédéric Rodrigo  a
écrit :

> Le 05/05/2020 à 14:09, Nicolas Bétheuil a écrit :
> > Je ne voyais pas comment faire mon analyse osmose avec des fois des
> > shop, des fois amenity, des fois autre chose. Trop de typologie
> > différentes.
>
> Quand il y a à boire et à manger, il faut partir sur une analyse
> dynamique. La plupart du temps on décrit le mapping dans un fichier de
> configurations
>
>
> https://github.com/osm-fr/osmose-backend/blob/master/merge_data/shop_FR.mapping.json
>
>
> https://github.com/osm-fr/osmose-backend/blob/master/analysers/analyser_merge_shop_FR.py
>
>
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

L'idée est justement de pas mettre tous les points sur une carte mais de
traiter point par points, et de partager le travail entre plusieurs
contributeurs, donc la base est là pour diffuser le travail.
Seul les devs auront à "s’embêter" avec cette base installé en docker ou
pas.
Va falloir que j’étoffe le readme pour expliquer à quel problème j'imagine
m'attaquer et résoudre.

Le mar. 5 mai 2020 à 16:26, Yves P.  a écrit :

> > pour l'instant curl, un formulaire d'upload serait pas compliqué à
> proposer en coup unique.
> Ok :)
>
> > mais vu que l'open data est évolutif et mis à jour, que ce soit
> automatisé sera mieux.
> Dans le cas d'un "gros" fichier mis à jour périodiquement, ça me parait
> plus du ressort dOsmose.
>
> Dans le cas des "petits" fichiers de bibliothèque de Magalie, un
> formulaire serait le bienvenu :)
>
> Et toujours pour les "petits" fichiers, est-ce que postgresql est vraiment
> nécessaire ?
>
> Une carte peut charger directement en mémoire quelques centaines voir un
> millier de POI.
> (cas des requêtes Overpass).
>
> ça permettrait peut-être de déployer le code plus facilement, et en tout
> cas d'éviter l'installation de Docker ou Postgresql.
> (c'est facile pour un dév qui travaille avec ça toute la journée, plus
> difficile pour les autres).
>
> > Le contributeur n'aura pas à rentrer dans node / postgres / clevercloud
> / git …
> Oui :) Je pensais plus à de gros logiciels QA comme Osmose ;)
>
> > Le premier fourni le fichier OD à od2osm le fera le langage/traitement
> qui lui va, même un tableur pour produire un geojson.
> > Les autres n'auront "qu'à" cliquer dans od2osm pour tout traiter.
>
>
> __
> Yves
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

je n'ai pas retrouvé la discussion, mais voici 2 versions de l'idée

assistant de configuration
https://wiki.openstreetmap.org/wiki/Google_Summer_of_Code/2019/Project_ideas#Osmose-QA

éditeur pour faciliter des modifs du code
https://github.com/osm-fr/osmose-backend/issues/859

fred me renseigne aussi
https://framagit.org/PanierAvide/opendata4osmose/blob/master/doc/Analyser_spec.md

Le 05.05.20 à 15:33, Nicolas Bétheuil a écrit :
> Bah en fait c'est un peu l'idée même si le côté "sans code" mof : il va
> bien falloir convertir le jeu de données en tag pour faire rentrer les
> ronds dans les carrés. Il va bien falloir faire un peu de code, mais
> dans mon option il n'y a rien d'imposé.
> Pour m'inspirer, elle était où cette discussion ?
> 
> Le mar. 5 mai 2020 à 14:59, Marc M.  > a écrit :
> 
> Bonjour,
> 
> Le 05.05.20 à 12:24, Magalie Dartus a écrit :
> > je n'ai toujours pas acquis la compétence "charger le fichier
> > open data dans osmose".
> 
> le plus simple pour avancer me semble être :
> - publier le fichier quelque part
> - créer un ticket https://github.com/osm-fr/osmose-backend/issues
> de là, ceux "qui savent" pourront sans doute mieux guider
> sur comment faire l'analyse.
> 
> Il y avait aussi eu une discussion pour faire un système plus simple,
> sans code, genre on liste le fichier, les tags osm, et "voilà".
> mais ce n'est pas encore une réalité.
> 
> Cordialement,
> Marc
> 
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org 
> https://lists.openstreetmap.org/listinfo/talk-fr
> 
> 
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
> 


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Frédéric Rodrigo]

Le 05/05/2020 à 14:09, Nicolas Bétheuil a écrit :
Je ne voyais pas comment faire mon analyse osmose avec des fois des 
shop, des fois amenity, des fois autre chose. Trop de typologie 
différentes.


Quand il y a à boire et à manger, il faut partir sur une analyse 
dynamique. La plupart du temps on décrit le mapping dans un fichier de 
configurations


https://github.com/osm-fr/osmose-backend/blob/master/merge_data/shop_FR.mapping.json

https://github.com/osm-fr/osmose-backend/blob/master/analysers/analyser_merge_shop_FR.py



___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> pour l'instant curl, un formulaire d'upload serait pas compliqué à proposer 
> en coup unique.
Ok :)

> mais vu que l'open data est évolutif et mis à jour, que ce soit automatisé 
> sera mieux.
Dans le cas d'un "gros" fichier mis à jour périodiquement, ça me parait plus du 
ressort dOsmose.

Dans le cas des "petits" fichiers de bibliothèque de Magalie, un formulaire 
serait le bienvenu :)

Et toujours pour les "petits" fichiers, est-ce que postgresql est vraiment 
nécessaire ?

Une carte peut charger directement en mémoire quelques centaines voir un 
millier de POI.
(cas des requêtes Overpass).

ça permettrait peut-être de déployer le code plus facilement, et en tout cas 
d'éviter l'installation de Docker ou Postgresql.
(c'est facile pour un dév qui travaille avec ça toute la journée, plus 
difficile pour les autres).

> Le contributeur n'aura pas à rentrer dans node / postgres / clevercloud / git 
> …
Oui :) Je pensais plus à de gros logiciels QA comme Osmose ;)

> Le premier fourni le fichier OD à od2osm le fera le langage/traitement qui 
> lui va, même un tableur pour produire un geojson.
> Les autres n'auront "qu'à" cliquer dans od2osm pour tout traiter.


__
Yves
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

> Il y a un formulaire quelque part ou il faut utiliser cURL ?

pour l'instant curl, un formulaire d'upload serait pas compliqué à proposer
en coup unique.
mais vu que l'open data est évolutif et mis à jour, que ce soit automatisé
sera mieux.

Le contributeur n'aura pas à rentrer dans node / postgres / clevercloud /
git ...
Le premier fourni le fichier OD à od2osm le fera le langage/traitement qui
lui va, même un tableur pour produire un geojson.
Les autres n'auront "qu'à" cliquer dans od2osm pour tout traiter.

Le mar. 5 mai 2020 à 15:33, Yves P.  a écrit :

> En local j'ai un postgres dans un docker. Sur une plateforme comme clever
> cloud ou scalingo ce sera une application d'API node et un frontale. Il y a
> un point d'entrée d'api qui permet de téléverser le geojson et qui fait
> l'ajout en base (un post multipart sur /quests
> https://github.com/wadouk/od2osm/blob/363351488d06a2194e0975a15143fd3e841932e5/server.js#L81)
> qui recharge l'ensemble des points.
>
> Merci pour les explications.
>
> Tu envois comment le fichier en petits-morceaux sur l'api /quests ?
> Il y a un formulaire quelque part ou il faut utiliser cURL ?
>
> Tu m'avais causé d'open refine. Il fallait scripter pour aller plus loin
> pour un outil juste en local. Je trouve le coup d'entrée par contributeur
> un peu élevé pour un jeu de données évoluant.
>
> Le coup d'entrée est "relatif".
> Un contributeur lambda va avoir du boulot pour assimiler node.js, GitHub,
> clever cloud… ou Python… pour d'autres projets.
>
> OpenRefine est un couteau suisse assez facile à utiliser après une phase
> de digestion de la doc :)
> Et pas besoin de git, GitHub, PR et de cierges pour les merges ;D
>
> Pour que ce soit utilisable par un non développeur, il faut écrire un bon
> tutoriel :)
>
> De plus cet outil n'a pas à vocation à remplacer ni Osmose, ni JOSM,
> ni od2osm…
> C'est un bon complément selon moi.
> Il ne fait pas tout, mais le fait très bien :)
>
> Concrètement on peut triturer les données en "temps réel" avec quelques
> clics et des éditions de scripts.
> En saisissant une "formule" on voit les données se recalculer/reformatter
> (sur un échantillon de 5, 10 25 ou 50 lignes).
>
> Un fois la recette au point, on obtient un fichier directement utilisable :
>
>- en local avec JOSM,
>- ou en ligne avec Osmose, MapRoulette… ou peut-être od2osm.
>
>
> __
> Yves
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Bah en fait c'est un peu l'idée même si le côté "sans code" mof : il va
bien falloir convertir le jeu de données en tag pour faire rentrer les
ronds dans les carrés. Il va bien falloir faire un peu de code, mais dans
mon option il n'y a rien d'imposé.
Pour m'inspirer, elle était où cette discussion ?

Le mar. 5 mai 2020 à 14:59, Marc M.  a écrit :

> Bonjour,
>
> Le 05.05.20 à 12:24, Magalie Dartus a écrit :
> > je n'ai toujours pas acquis la compétence "charger le fichier
> > open data dans osmose".
>
> le plus simple pour avancer me semble être :
> - publier le fichier quelque part
> - créer un ticket https://github.com/osm-fr/osmose-backend/issues
> de là, ceux "qui savent" pourront sans doute mieux guider
> sur comment faire l'analyse.
>
> Il y avait aussi eu une discussion pour faire un système plus simple,
> sans code, genre on liste le fichier, les tags osm, et "voilà".
> mais ce n'est pas encore une réalité.
>
> Cordialement,
> Marc
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> En local j'ai un postgres dans un docker. Sur une plateforme comme clever 
> cloud ou scalingo ce sera une application d'API node et un frontale. Il y a 
> un point d'entrée d'api qui permet de téléverser le geojson et qui fait 
> l'ajout en base (un post multipart sur /quests 
> https://github.com/wadouk/od2osm/blob/363351488d06a2194e0975a15143fd3e841932e5/server.js#L81
>  
> )
>  qui recharge l'ensemble des points.
Merci pour les explications.

Tu envois comment le fichier en petits-morceaux sur l'api /quests ?
Il y a un formulaire quelque part ou il faut utiliser cURL ?

> Tu m'avais causé d'open refine. Il fallait scripter pour aller plus loin pour 
> un outil juste en local. Je trouve le coup d'entrée par contributeur un peu 
> élevé pour un jeu de données évoluant.
Le coup d'entrée est "relatif".
Un contributeur lambda va avoir du boulot pour assimiler node.js, GitHub, 
clever cloud… ou Python… pour d'autres projets.

OpenRefine est un couteau suisse assez facile à utiliser après une phase de 
digestion de la doc :)
Et pas besoin de git, GitHub, PR et de cierges pour les merges ;D

Pour que ce soit utilisable par un non développeur, il faut écrire un bon 
tutoriel :)

De plus cet outil n'a pas à vocation à remplacer ni Osmose, ni JOSM, ni od2osm…
C'est un bon complément selon moi.
Il ne fait pas tout, mais le fait très bien :)

Concrètement on peut triturer les données en "temps réel" avec quelques clics 
et des éditions de scripts.
En saisissant une "formule" on voit les données se recalculer/reformatter (sur 
un échantillon de 5, 10 25 ou 50 lignes).

Un fois la recette au point, on obtient un fichier directement utilisable :
en local avec JOSM,
ou en ligne avec Osmose, MapRoulette… ou peut-être od2osm.

__
Yves___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

Bonjour,

Le 05.05.20 à 12:24, Magalie Dartus a écrit :
> je n'ai toujours pas acquis la compétence "charger le fichier 
> open data dans osmose".

le plus simple pour avancer me semble être :
- publier le fichier quelque part
- créer un ticket https://github.com/osm-fr/osmose-backend/issues
de là, ceux "qui savent" pourront sans doute mieux guider
sur comment faire l'analyse.

Il y avait aussi eu une discussion pour faire un système plus simple,
sans code, genre on liste le fichier, les tags osm, et "voilà".
mais ce n'est pas encore une réalité.

Cordialement,
Marc

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

En local j'ai un postgres dans un docker. Sur une plateforme comme clever
cloud ou scalingo ce sera une application d'API node et un frontale. Il y a
un point d'entrée d'api qui permet de téléverser le geojson et qui fait
l'ajout en base (un post multipart sur /quests
https://github.com/wadouk/od2osm/blob/363351488d06a2194e0975a15143fd3e841932e5/server.js#L81)
qui recharge l'ensemble des points.

Tu m'avais causé d'open refine. Il fallait scripter pour aller plus loin
pour un outil juste en local. Je trouve le coup d'entrée par contributeur
un peu élevé pour un jeu de données évoluant. En regardant map roulette
j'ai vu qu'il fallait lui expliquer si c'était un ajout ou une modification
du coup compliqué aussi : charger les données spatiales et faire les diff.
Là l'idée est de faire des étapes plus petites, plus itératif.

Le mar. 5 mai 2020 à 13:27, Yves P.  a écrit :

> Bonjour,
>
> L'idée est de passer sur chaque point, de faire une requête overpass pour
> trouver un point "proche" et "similaire" et de créer ou fusionner les
> informations.
> L'outil stockera les points déjà rapprochés pour ne pas les re proposer
> par défaut.
>
>
> J'ai jeté un oeil rapide.
>
> Ton outil utilise une base postgresql dans un conteneur Docker.
> Comment sont chargées les données ?
>
>
> Pour info, j'ai bricolé un outil similaire avec OpenRefine (il n'y a que
> ce soft à installé et c'est facile).
> Une "formule" dans une colonne permet de lancer une requête overpass pour
> chaque POI.
>
> Je n'ai pas été plus loin, mais il existe un système de "réconciliation"
> avec comme source de données Wikidata… mais aussi n'importe quel point de
> connection SPARQL.
> Ça vaut la peine d'essayer avec celui d'OSM (Sophox)
>
> Par rapport à Omose ou ton outil, ça ne tourne qu'en local.
>
> Par contre il est facile de partager les "recettes" et les données pour
> réaliser une intégration à plusieurs contributeurs.
>
> __
> Yves
>
> PS: OpenRefine semble être beaucoup utilisé par les bibliothécaires ;)
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

En fait je vois 2 étapes dans cette première étape : convertir le jeu de
données en données compatible OSM (coordonnées et tags) puis envoyer ce jeu
de données pour qualification / trie / fusion.
od2osm ne convertie pas, il va attendre que ce travail soit déjà fait.
lui donner pour qu'il puisse aider les contributeurs, plus dans son
périmétre effectivement.

Le mar. 5 mai 2020 à 12:24, Magalie Dartus  a écrit :

> Bonjour,
>
> Pour l'instant juste en local, mais plus tard je publierais et peut être
>> même héberger si vous trouvez ça intéressant.
>> Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
>>
>
>
> Très intéressée par ce genre d'outil car je travaille régulièrement sur
> l'ouverture de fichier (cf la discussion sur les bibliothèques), j'essaie
> de faire en sorte que les fichiers soient compatibles avec OSM (sinon je
> peux les retraiter à posteriori).
> N'étant qu'une simple humaine :-D je n'ai toujours pas acquis la
> compétence "charger le fichier open data dans osmose".
>
> Est-ce que l'outil od2osm permet de réaliser cette première étape?
>
> Merci
> Magalie
>
>
> Le mar. 5 mai 2020 à 12:10, Marc M.  a écrit :
>
>> Bonjour,
>>
>> Comment ton outil se compare avec osmose ?
>>
>> par ailleurs, les magasin dans osm peuvent aussi être des polygones,
>> dans la requête overpass, il suffit de changer node en nwr
>>
>> Cordialement,
>> Marc
>>
>> Le 05.05.20 à 11:42, Nicolas Bétheuil a écrit :
>> > Bonjour,
>> >
>> > Trouvant le taf un peu laborieux et la source de données grossissant
>> > (800 points il y a quelques jours) je me suis lancé dans un outil pour
>> > aider l'humain (en bon informaticien plutôt que faire le taf en 3j, ça
>> > fait longtemps que je joue à ça).
>> >
>> > L'idée est de passer sur chaque point, de faire une requête overpass
>> > pour trouver un point "proche" et "similaire" et de créer ou fusionner
>> > les informations.
>> > L'outil stockera les points déjà rapprochés pour ne pas les re proposer
>> > par défaut.
>> >
>> > Pour l'instant juste en local, mais plus tard je publierais et peut être
>> > même héberger si vous trouvez ça intéressant.
>> > Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
>> >
>> > https://github.com/wadouk/od2osm
>> >
>> > Bon, j'aurais sûrement pas fini pour la fin du confinement (le jeu de
>> > données est sur les commerces qui livrent pendant le confinement) mais
>> > bon, ça fait quand même des infos sur des commerces.
>> > Je charge un geojson retraité
>> >
>> https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm
>> >
>>
>>
>>
>> ___
>> Talk-fr mailing list
>> Talk-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
>>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Je ne voyais pas comment faire mon analyse osmose avec des fois des shop,
des fois amenity, des fois autre chose. Trop de typologie différentes.

Plutôt que partir sur une analyse en python qui se base sur une région,
l'idée est de faire un pré formatage en geojson (dans le langage de son
choix, même un simple tableur) qui rapproche le format de la donnée vers
les tags OSM (voir
https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm)
et de téléverser le fichier résultat dans od2osm (upload sur une api). On a
donc des Features geojson avec des coordonnée et des tags. Comparer les
tags des points existants avec ceux de l'open data pour avoir une vue en
diff (un plus pour les tags ajoutées, un moins pour les tags enlevés, en
tilde ~ pour les tags modifiés)
Charge au contributeur de dire si le rapprochement est correct ou si c'est
faux et rajouter le point ou de passer ce rapprochement s'il ne comprends
pas.
Pas d'analyse géospatiale pour toute une région alors que l'on veut juste
quelques point à 20m aux alentours.

Gérer les polygones plutôt que juste les points viendra plus tard.
Interroger overpass n'est pas le plus compliqué mais mettre à jour OSM va
être une première étape, et peut être que je vais me rendre compte que ce
sera simple.

Le mar. 5 mai 2020 à 12:08, Marc M.  a écrit :

> Bonjour,
>
> Comment ton outil se compare avec osmose ?
>
> par ailleurs, les magasin dans osm peuvent aussi être des polygones,
> dans la requête overpass, il suffit de changer node en nwr
>
> Cordialement,
> Marc
>
> Le 05.05.20 à 11:42, Nicolas Bétheuil a écrit :
> > Bonjour,
> >
> > Trouvant le taf un peu laborieux et la source de données grossissant
> > (800 points il y a quelques jours) je me suis lancé dans un outil pour
> > aider l'humain (en bon informaticien plutôt que faire le taf en 3j, ça
> > fait longtemps que je joue à ça).
> >
> > L'idée est de passer sur chaque point, de faire une requête overpass
> > pour trouver un point "proche" et "similaire" et de créer ou fusionner
> > les informations.
> > L'outil stockera les points déjà rapprochés pour ne pas les re proposer
> > par défaut.
> >
> > Pour l'instant juste en local, mais plus tard je publierais et peut être
> > même héberger si vous trouvez ça intéressant.
> > Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
> >
> > https://github.com/wadouk/od2osm
> >
> > Bon, j'aurais sûrement pas fini pour la fin du confinement (le jeu de
> > données est sur les commerces qui livrent pendant le confinement) mais
> > bon, ça fait quand même des infos sur des commerces.
> > Je charge un geojson retraité
> >
> https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm
> >
>
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

Bonjour,

> L'idée est de passer sur chaque point, de faire une requête overpass pour 
> trouver un point "proche" et "similaire" et de créer ou fusionner les 
> informations.
> L'outil stockera les points déjà rapprochés pour ne pas les re proposer par 
> défaut.

J'ai jeté un oeil rapide.

Ton outil utilise une base postgresql dans un conteneur Docker.
Comment sont chargées les données ?


Pour info, j'ai bricolé un outil similaire avec OpenRefine (il n'y a que ce 
soft à installé et c'est facile).
Une "formule" dans une colonne permet de lancer une requête overpass pour 
chaque POI.

Je n'ai pas été plus loin, mais il existe un système de "réconciliation" avec 
comme source de données Wikidata… mais aussi n'importe quel point de connection 
SPARQL.
Ça vaut la peine d'essayer avec celui d'OSM (Sophox)

Par rapport à Omose ou ton outil, ça ne tourne qu'en local.

Par contre il est facile de partager les "recettes" et les données pour 
réaliser une intégration à plusieurs contributeurs.

__
Yves

PS: OpenRefine semble être beaucoup utilisé par les bibliothécaires ;)___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Magalie Dartus]

Bonjour,

Pour l'instant juste en local, mais plus tard je publierais et peut être
> même héberger si vous trouvez ça intéressant.
> Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
>


Très intéressée par ce genre d'outil car je travaille régulièrement sur
l'ouverture de fichier (cf la discussion sur les bibliothèques), j'essaie
de faire en sorte que les fichiers soient compatibles avec OSM (sinon je
peux les retraiter à posteriori).
N'étant qu'une simple humaine :-D je n'ai toujours pas acquis la compétence
"charger le fichier open data dans osmose".

Est-ce que l'outil od2osm permet de réaliser cette première étape?

Merci
Magalie


Le mar. 5 mai 2020 à 12:10, Marc M.  a écrit :

> Bonjour,
>
> Comment ton outil se compare avec osmose ?
>
> par ailleurs, les magasin dans osm peuvent aussi être des polygones,
> dans la requête overpass, il suffit de changer node en nwr
>
> Cordialement,
> Marc
>
> Le 05.05.20 à 11:42, Nicolas Bétheuil a écrit :
> > Bonjour,
> >
> > Trouvant le taf un peu laborieux et la source de données grossissant
> > (800 points il y a quelques jours) je me suis lancé dans un outil pour
> > aider l'humain (en bon informaticien plutôt que faire le taf en 3j, ça
> > fait longtemps que je joue à ça).
> >
> > L'idée est de passer sur chaque point, de faire une requête overpass
> > pour trouver un point "proche" et "similaire" et de créer ou fusionner
> > les informations.
> > L'outil stockera les points déjà rapprochés pour ne pas les re proposer
> > par défaut.
> >
> > Pour l'instant juste en local, mais plus tard je publierais et peut être
> > même héberger si vous trouvez ça intéressant.
> > Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
> >
> > https://github.com/wadouk/od2osm
> >
> > Bon, j'aurais sûrement pas fini pour la fin du confinement (le jeu de
> > données est sur les commerces qui livrent pendant le confinement) mais
> > bon, ça fait quand même des infos sur des commerces.
> > Je charge un geojson retraité
> >
> https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm
> >
>
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

Bonjour,

Comment ton outil se compare avec osmose ?

par ailleurs, les magasin dans osm peuvent aussi être des polygones,
dans la requête overpass, il suffit de changer node en nwr

Cordialement,
Marc

Le 05.05.20 à 11:42, Nicolas Bétheuil a écrit :
> Bonjour,
> 
> Trouvant le taf un peu laborieux et la source de données grossissant
> (800 points il y a quelques jours) je me suis lancé dans un outil pour
> aider l'humain (en bon informaticien plutôt que faire le taf en 3j, ça
> fait longtemps que je joue à ça).
> 
> L'idée est de passer sur chaque point, de faire une requête overpass
> pour trouver un point "proche" et "similaire" et de créer ou fusionner
> les informations.
> L'outil stockera les points déjà rapprochés pour ne pas les re proposer
> par défaut.
> 
> Pour l'instant juste en local, mais plus tard je publierais et peut être
> même héberger si vous trouvez ça intéressant.
> Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.
> 
> https://github.com/wadouk/od2osm
> 
> Bon, j'aurais sûrement pas fini pour la fin du confinement (le jeu de
> données est sur les commerces qui livrent pendant le confinement) mais
> bon, ça fait quand même des infos sur des commerces.
> Je charge un geojson retraité
> https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm
> 



___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Bonjour,

Trouvant le taf un peu laborieux et la source de données grossissant (800
points il y a quelques jours) je me suis lancé dans un outil pour aider
l'humain (en bon informaticien plutôt que faire le taf en 3j, ça fait
longtemps que je joue à ça).

L'idée est de passer sur chaque point, de faire une requête overpass pour
trouver un point "proche" et "similaire" et de créer ou fusionner les
informations.
L'outil stockera les points déjà rapprochés pour ne pas les re proposer par
défaut.

Pour l'instant juste en local, mais plus tard je publierais et peut être
même héberger si vous trouvez ça intéressant.
Ça demande à s'étoffer mais si ça vous parle ou si vous êtes curieux.

https://github.com/wadouk/od2osm

Bon, j'aurais sûrement pas fini pour la fin du confinement (le jeu de
données est sur les commerces qui livrent pendant le confinement) mais bon,
ça fait quand même des infos sur des commerces.
Je charge un geojson retraité
https://github.com/wadouk/opendata-paris-commerces-ouvert-covid19-vers-osm

Le jeu. 9 avr. 2020 à 14:29, Marc M.  a écrit :

> Le 09.04.20 à 14:22, osm.sanspourr...@spamgourmet.com a écrit :
> > intégration notes
> > Tu n'as pas pas la source
>
> j'utilise : source=note note=url de la note
> iD lui met resolved:note=numéro ou quelque chose du genre
> mais c'est en effet un peu le défaut des notes,
> tu ne sais pas la source de la note en cas de conflit entre 2 sources.
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

Le 09.04.20 à 14:22, osm.sanspourr...@spamgourmet.com a écrit :
> intégration notes
> Tu n'as pas pas la source

j'utilise : source=note note=url de la note
iD lui met resolved:note=numéro ou quelque chose du genre
mais c'est en effet un peu le défaut des notes,
tu ne sais pas la source de la note en cas de conflit entre 2 sources.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[osm . sanspourriel]

tandis que ton changeset est inaltérable une fois fermé.

+1
c'est juste plus facile à lire (pas besoin de cliquer sur l'historique
des changements)…
… mais pas fiable


Le commentaire sur le changeset n'est pas forcément plus fiable. Il est
juste inaltérable.

En effet tu peux garder une modif d'un changeset précédent par erreur et
tu ne peux corriger cette erreur (sauf à commenter le changeset).

Rarement tu vas citer toutes tes sources parce que tu profites pour
faire d'autres choses à côté. La géométrie sera probablement de
l'imagerie alors que les données autres viendront souvent d'autres
sources. Là effectivement la source est claire.

source sur l'objet c'est surtout pour la géométrie (cadastre) et
certaines données intégrées via Osmose en particulier où on n'intègre
qu'une petite partie de la donnée.

Et dépiler les changeset pour savoir dans quelle version a été modifié
pour la dernière fois tel tag, je ne connais pas d'outil affichant à
côté du tag modifié le source du changeset correspondant.

Et si tu as

"intégration notes http://caresteouvert.fr- modif ouverture"

Tu n'as pas pas la source et si tu avais la note en question tu n'aurais
pas pour autant la source : survey ? local_knowledge...

(La personne qui a mis ce commentaire se reconnaitra, je ne dis pas que
ce commentaire est mauvais).

Je ne dis pas que telle ou telle méthode est mauvaise, si l'une
l'emportait largement, ça se saurait.

Et j'ai tendance à mettre les sources au niveau des changeset.

Jean-Yvon

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Philippe Verdy]

comme je le disais il est utile de taguer la date exacte dans la
source, étant donné que ça change assez souvent et qu'on ne peut pas
qualifier en cas d'arrivée de nouvelle info. Au minimum la date (et un
"survey" passe en priorité sur une autre source "opendata" dont la
propre source interne peut dater et ne pas prendre en compte les
spécificités locales, le personnel notamment, quel que soit ce que
suppose la source interne si c'est une organisation large comme la
poste; ou encore les spécificités liés aux fournisseurs et ruptures de
stocks ou encore des décisions de petits exploitants pour limiter
leurs pertes ou parce qu'ils ont des charges de famille chez eux; ou
encore les dernières ordonnances d'exceptions autorisant les
entreprises à mettre le personnel en congé payé en seulement 24 h de
préavis, ou à prendre tous leurs RTT en attendant que le chômage
partiel soit effectivement déclaré et versé).
Les horaires et fermetures continuent à bouger chaque jour de façon
imprévisible. La date de constatation est donc un élément important,
comme aussi les numéros de téléphone s'il y en a un, et tout
dispositif municipal qui permet aux communes ou services sociaux et
syndicats professionnels de commerçants de suivre les lieux ouverts et
informer les habitants (et je trouve bien que maintenant ce sont les
syndicats qui indiquent comment chaque commerçant peut mentionner
directement ses ouvertures sur "caresteouvert" avec quelques relais
techniques pour les aider à mettre ça en ligne.

Le jeu. 9 avr. 2020 à 11:46, Marc M.  a écrit :
>
> Bonjour,
>
> Le 09.04.20 à 11:38, Nicolas Bétheuil a écrit :
> > Comment taguez vous une info obtenue dans un mail ?
>
> cela dépend de qui est l'auteur.
> si c'est le poi, j'utilise source=POI (choix pas courant)
> si c'est quelqu'un des environs ou qui y passe souvent
> source=local␣knowledge
>
> > Dans un jeu de donnée opendata ?
>
> source=opendata (ou version plus précise, l'important étant de savoir
> que c'est une source tierce qui donc ne date pas du jour même,
> c'est pratique en cas de conflit entre 2 sources)
>
> > Tag source ? changeset ?
>
> moi je met toujours sur le changeset, c'est beaucoup plus lisible
> de voir quel version a tel source.
> mais tu auras surement au moins une personne pour te dire
> qu'il met sur l'objet. sauf que le prochain contributeur
> peux modifier l'objet sans modifier le tag source, donc le
> tag source n'a aucune fiabilité sur la source réelle.
> tandis que ton changeset est inaltérable une fois fermé.
>
> Cordialement,
> Marc
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

>> Comment taguez vous une info obtenue dans un mail ?
> 
> cela dépend de qui est l'auteur.
> si c'est le poi, j'utilise source=POI (choix pas courant)
> si c'est quelqu'un des environs ou qui y passe souvent
> source=local␣knowledge
Tu peux mettre aussi survey
email…

>> Tag source ? changeset ?
> 
> moi je met toujours sur le changeset, c'est beaucoup plus lisible
> de voir quel version a tel source.
+1
> mais tu auras surement au moins une personne pour te dire
> qu'il met sur l'objet. sauf que le prochain contributeur
> peux modifier l'objet sans modifier le tag source, donc le
> tag source n'a aucune fiabilité sur la source réelle.
> tandis que ton changeset est inaltérable une fois fermé.
+1
c'est juste plus facile à lire (pas besoin de cliquer sur l'historique des 
changements)…
… mais pas fiable

__
Yves___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

Bonjour,

Le 09.04.20 à 11:38, Nicolas Bétheuil a écrit :
> Comment taguez vous une info obtenue dans un mail ?

cela dépend de qui est l'auteur.
si c'est le poi, j'utilise source=POI (choix pas courant)
si c'est quelqu'un des environs ou qui y passe souvent
source=local␣knowledge

> Dans un jeu de donnée opendata ? 

source=opendata (ou version plus précise, l'important étant de savoir
que c'est une source tierce qui donc ne date pas du jour même,
c'est pratique en cas de conflit entre 2 sources)

> Tag source ? changeset ?

moi je met toujours sur le changeset, c'est beaucoup plus lisible
de voir quel version a tel source.
mais tu auras surement au moins une personne pour te dire
qu'il met sur l'objet. sauf que le prochain contributeur
peux modifier l'objet sans modifier le tag source, donc le
tag source n'a aucune fiabilité sur la source réelle.
tandis que ton changeset est inaltérable une fois fermé.

Cordialement,
Marc

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Comme frosm m'est tombé sur le poil sur un changement précédent, je vais
demander avant ;P maintenant.
un avis sur les tags source ? J'ai fait un mailing pour qualifier plus
précisément les infos. Ça réponds 8% en une heure. Comment taguez vous une
info obtenue dans un mail ? Dans un jeu de donnée opendata ? Tag source ?
changeset ?


Le mer. 8 avr. 2020 à 23:04, Nicolas Bétheuil  a écrit :

> Pour les curieux
> https://github.com/osmontrouge/caresteouvert/issues/120#issuecomment-611191213
>
> Le mar. 7 avr. 2020 à 20:07, Yves P.  a écrit :
>
>> Tout ce que j'ai décrit (y compris les regex pour traiter les téléphones)
>> peut se faire facilement et rapidement avec OpenRefine.
>>
>> Ce qui est très pratique, ce sont les facettes qui permettent de
>> regrouper, trier, filtrer les données en  2 clics.
>>
>> Ici on voit assez facilement quel valeur donner à shop=* (encore plus
>> quand on filtre une catégorie et qu'on voit les noms des commerces)
>>
>> Alimentation générale et produits de première nécessité 70
>> Restaurant ou traiteur  56
>> Primeur 39
>> Boulangerie - pâtisserie36
>> Épicerie fine   33
>> Boucherie - charcuterie - rôtisserie31
>> Commerce de détail de boissons  30
>> Fromagerie  30
>> Pharmacies et parapharmacies17
>> Bricolage   4
>> Équipements informatiques   4
>> Poissonnerie4
>> Articles médicaux et orthopédiques  2
>> Presse et papeterie 2
>> Blanchisserie-teinturerie   1
>> __
>> Yves
>> ___
>> Talk-fr mailing list
>> Talk-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
>>
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Pour les curieux
https://github.com/osmontrouge/caresteouvert/issues/120#issuecomment-611191213

Le mar. 7 avr. 2020 à 20:07, Yves P.  a écrit :

> Tout ce que j'ai décrit (y compris les regex pour traiter les téléphones)
> peut se faire facilement et rapidement avec OpenRefine.
>
> Ce qui est très pratique, ce sont les facettes qui permettent de
> regrouper, trier, filtrer les données en  2 clics.
>
> Ici on voit assez facilement quel valeur donner à shop=* (encore plus
> quand on filtre une catégorie et qu'on voit les noms des commerces)
>
> Alimentation générale et produits de première nécessité 70
> Restaurant ou traiteur  56
> Primeur 39
> Boulangerie - pâtisserie36
> Épicerie fine   33
> Boucherie - charcuterie - rôtisserie31
> Commerce de détail de boissons  30
> Fromagerie  30
> Pharmacies et parapharmacies17
> Bricolage   4
> Équipements informatiques   4
> Poissonnerie4
> Articles médicaux et orthopédiques  2
> Presse et papeterie 2
> Blanchisserie-teinturerie   1
> __
> Yves
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

Tout ce que j'ai décrit (y compris les regex pour traiter les téléphones) peut 
se faire facilement et rapidement avec OpenRefine.

Ce qui est très pratique, ce sont les facettes qui permettent de regrouper, 
trier, filtrer les données en  2 clics.

Ici on voit assez facilement quel valeur donner à shop=* (encore plus quand on 
filtre une catégorie et qu'on voit les noms des commerces)

Alimentation générale et produits de première nécessité 70
Restaurant ou traiteur  56
Primeur 39
Boulangerie - pâtisserie36
Épicerie fine   33
Boucherie - charcuterie - rôtisserie31
Commerce de détail de boissons  30
Fromagerie  30
Pharmacies et parapharmacies17
Bricolage   4
Équipements informatiques   4
Poissonnerie4
Articles médicaux et orthopédiques  2
Presse et papeterie 2
Blanchisserie-teinturerie   1
__
Yves
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> Renommer les colonnes dans JOSM ? Si je touche au properties d'un point ça 
> fait les autres ?
Dans le calque 
"coronavirus-commercants-parisiens-livraison-a-domicile.geojson", je 
sélectionne tous les noeuds
Je double clique sur "Site internet", je change la clé en "website" et je 
clique sur "Valider".
La clé des 359 objets est renommée (les valeurs restent inchangées).

Merci JOSM :)

__
Yves

Par contre je ne sais pas faire dans JOSM pour remplacer les "06.54.32.10.00" 
en "+33 6 54 32 10 00".
C'est peut-être possible en mapCSS ?

Je le fais avant en modifiant le fichier JSON avec mon éditeur favori et 
quelques regex.


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Nicolas Bétheuil]

Renommer les colonnes dans JOSM ? Si je touche au properties d'un point ça
fait les autres ?
Une requête overpass pour retrouver le point ressemblant ou juste charger
toute la zone ?

Le mar. 7 avr. 2020 à 18:34, Yves P.  a écrit :

> > Comment feriez vous ?
> > Transformer les catégories par très précises (Restaurant ou traiteur) en
> tag
> > Fusionner avec des POI pré-existants
> Il n'y en a que 359.
>
> Les facettes d'OpenRefine montrent qu'il y en a 35 par code postal
> 75012   35
> 75017   33
> 75011   31
> 75015   26
> 75018   25
> 75013   23
> 75020   23
> 75010   20
> 75006   18
> 75005   17
> 75008   15
> 75014   15
> 75019   14
> 75016   12
> 75003   11
> 75002   10
> 75007   10
> 75009   10
> 75004   6
> 75001   3
> 75116   2
>
> Une dizaine ou une vingtaine de contributeurs peuvent se partager le
> boulot et intégrer ça rapidement avec JOSM.
> Tu charges le .geojson dans JOSM, renomme quelques colonnes (email, name,
> phone, website, comments).
> Ensuite, tu crée ou met à jour un POI en choisissant le shop=* le plus
> adapté au type de commerce…
>
> __
> Yves
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> 3) ceux qu'on ne peux pas rapprocher ni d'osm ni de siren
> ceux là devront être fait à la main pour détecter le
> commerce qui a changé de nom, le nom par exactement pareil, etc
> 
> pour la partie technique :
> le point 3 : il faudra de toute façon soit osmose et/ou pic4review
> (éventuelement aidé d'osmose) ou josm sans autre aide selon tes
> préférences/compétences/affinités technique.

J'ai choisi le 75116 : 2 boutiques :)

J'ai du bol ?, je tombe sur le point 3 que je traite avec JOSM.

mobile=+33 6 30 74 71 56
name=Zhang
shop=convenience

C'est juste à coté du Franprix 

brand:wikidata=Q2420096
brand:wikipedia=fr:Franprix
brand=Franprix
name=Franprix
opening_hours=Mo-Sa 08:30-21:00; Su 08:30-13:00
operator=Groupe Casino
shop=supermarket

Le site web  (à rajouter) précise 
l'adresse : 19/21 Avenue Paul Doumer
Et les horaires : lundi-Samedi 07:30 / 21:00; Dimanche 09:00 / 12:00

C'est donc le même. Soit Zhang n'existe plus, soit c'est le gérant du Franprix.
Ce n'est pas très grand, je garderais shop=convenience.

Je n'ai pas réussi à le retrouvé sur 
http://www.sirene.fr/sirene/public/recherche


__
Yves



___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Marc M.]

Bonjour,

Le 07.04.20 à 18:01, Nicolas Bétheuil a écrit :
> Y a un jeu de données que je voudrais rapprocher / enrichir vers OSM
> https://opendata.paris.fr/explore/dataset/coronavirus-commercants-parisiens-livraison-a-domicile/
> 
> Comment feriez vous ?

humainement : pas comme pour la précédente demande dont l'import
a été commencé avant que les gens ai eu le temps de réagir :)

pour la partie méthodologie : diviser en 3 :
1) ceux que tu peux rapprocher d'objet osm "parfaitement"
nom identique (sans tenir compte de différence majuscule/accent)
et localisation proche (en plein paris : 10m max ?)
ceux là pourront être intégré facilement.
2) ceux absent dans osm (ou que tu n'as pas pu rapprocher)
mais dont l'analyse osmose propose un poi à cet endroit.
comparer le nom siren avec celui de cet opendata,
si cela correspond, intégrer le poi proposé par osmose
3) ceux qu'on ne peux pas rapprocher ni d'osm ni de siren
ceux là devront être fait à la main pour détecter le
commerce qui a changé de nom, le nom par exactement pareil, etc

pour la partie technique :
un import dans les règles, c'est long.
il faudrait voir combien d'objet vont atterrir dans quelle catégorie.
le point 3 : il faudra de toute façon soit osmose et/ou pic4review
(éventuelement aidé d'osmose) ou josm sans autre aide selon tes
préférences/compétences/affinités technique.
Mais à priori, une fois trié en 3 catégories,
cela va aller hyper vite (toutes les vérifs ont été faite pour la
catégorie 1 donc je vois pas ce qu'il y a d'autre à faire que valider.
pour la catégorie 2 : ajuster la position (elle est parfois sur la rue)
pour la 3 c'est là qu'il faut croiser les sources disponibles

> Transformer les catégories par très précises (Restaurant ou traiteur) en tag

pour la repmière catégorie, cela a peu d'importance vu que le tag
existe dans osm et que le match n'en a pas besoin.
maintenant cela peux être utile à la catégorie 2 et 3 de convertir
le texte opendata en 1 ou 2 valeurs de tags probable dans osm

> Fusionner avec des POI pré-existants

poru le point 1 et 2, après rapprochement, conflate ou osmose
sont super adapté pour fusionner osm avec l'opendata.

Cordialement,
Marc

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Workflow pour opendata

[Yves P.]

> Comment feriez vous ?
> Transformer les catégories par très précises (Restaurant ou traiteur) en tag
> Fusionner avec des POI pré-existants
Il n'y en a que 359.

Les facettes d'OpenRefine montrent qu'il y en a 35 par code postal
75012   35
75017   33
75011   31
75015   26
75018   25
75013   23
75020   23
75010   20
75006   18
75005   17
75008   15
75014   15
75019   14
75016   12
75003   11
75002   10
75007   10
75009   10
75004   6
75001   3
75116   2

Une dizaine ou une vingtaine de contributeurs peuvent se partager le boulot et 
intégrer ça rapidement avec JOSM.
Tu charges le .geojson dans JOSM, renomme quelques colonnes (email, name, 
phone, website, comments).
Ensuite, tu crée ou met à jour un POI en choisissant le shop=* le plus adapté 
au type de commerce…

__
Yves
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr