Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Je confirme que tout a l'air bon maintenant.

Le nombre final de bâtiments mis à jour est 55 605.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Pour info j'ai corrigé le problème.

J'ai d'abord essayé de faire des reverts sur quelques changesets mais
malheureusement ils étaient tous déjà dirty alors que l'import avait été
fait moins de 24h avant...

Finalement j'ai préféré refaire un petit programme pour retirer le tag
height sur les buildings pour lesquels la valeur du MNT était de 0, soit
5172 éléments. C'est donc cohérent avec ce que je pouvais voir dans les
logs de l'import.

Normalement tout est bon mais je referai des vérifications (pour l'instant
le cache de F4Map n'est pas à jour).

++ Vincent


Le 5 novembre 2017 à 10:07, Christian Quest  a
écrit :

> N'importe qui peut faire un revert... il n'y a que la "redaction" qu'un
> admin peut faire, c'est à dire faire disparaitre aussi une info au niveau
> des historiques.
>
> 
> Vincent... il faut que tu sache corriger toi même un import ou une édition
> automatisée si besoin.
> C'est le minimum à connaitre avant de s'engager dans ce genre de choses,
> sinon tu te fera taper sur les doigts (à juste titre).
> 
>
> Pour l'ODbL, c'est effectivement un peu ridicule et participe de la
> politique anti-import de certains.
>
> Ceci dit, les collectivités françaises qui ont opté pour l'ODbL, devraient
> en principe revoir ce choix, car il n'est pas forcément bien légal... (cf
> mes slides du dernier SOTM "ODbL... oui mais").
>
>
> Le 4 novembre 2017 à 23:29, Vincent Frison  a
> écrit :
>
>> Le 4 novembre 2017 à 23:06, marc marc  a
>> écrit :
>>
>>> Tu peux pas identifier les bâtiments où mmt = 0 ?
>>>
>>
>> Si si tout est dans les logs...
>>
>>
>>> Sinon y a le revert plugin
>>>
>>
>> Ah super je vais regarder ça, en fait je pensais que c'était un truc
>> réservé aux admins...
>>
>>
>> ___
>> Talk-fr mailing list
>> Talk-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-fr
>>
>>
>
>
> --
> Christian Quest - OpenStreetMap France
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Christian Quest]

N'importe qui peut faire un revert... il n'y a que la "redaction" qu'un
admin peut faire, c'est à dire faire disparaitre aussi une info au niveau
des historiques.


Vincent... il faut que tu sache corriger toi même un import ou une édition
automatisée si besoin.
C'est le minimum à connaitre avant de s'engager dans ce genre de choses,
sinon tu te fera taper sur les doigts (à juste titre).


Pour l'ODbL, c'est effectivement un peu ridicule et participe de la
politique anti-import de certains.

Ceci dit, les collectivités françaises qui ont opté pour l'ODbL, devraient
en principe revoir ce choix, car il n'est pas forcément bien légal... (cf
mes slides du dernier SOTM "ODbL... oui mais").


Le 4 novembre 2017 à 23:29, Vincent Frison  a
écrit :

> Le 4 novembre 2017 à 23:06, marc marc  a écrit
> :
>
>> Tu peux pas identifier les bâtiments où mmt = 0 ?
>>
>
> Si si tout est dans les logs...
>
>
>> Sinon y a le revert plugin
>>
>
> Ah super je vais regarder ça, en fait je pensais que c'était un truc
> réservé aux admins...
>
>
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
>
>


-- 
Christian Quest - OpenStreetMap France
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Le 4 novembre 2017 à 23:06, marc marc  a écrit :

> Tu peux pas identifier les bâtiments où mmt = 0 ?
>

Si si tout est dans les logs...


> Sinon y a le revert plugin
>

Ah super je vais regarder ça, en fait je pensais que c'était un truc
réservé aux admins...
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[marc marc]

Tu peux pas identifier les bâtiments où mmt = 0 ?
Sinon y a le revert plugin

Le 4 nov. 2017 à 22:49, Vincent Frison 
> a écrit :

Un truc a visiblement merdé car sur certaines zones qui sont hors des limites 
de la commune le MNT fournit la valeur 0 au lieu de -. Je ne comprend 
vraiment pas pourquoi puisque le TIFF avait bien été découpé avec les limites 
de la communes, résultat visible ici.

Malheureusement j'avais mis [0..1000] mètres comme valeurs possibles. Oui 
carrément 0 car certaines zones sont vraiment au niveau de la mer.. sauf que ça 
n'arrive seulement dans des communes limitrophes, c'était donc un peu bête de 
ma part et j'aurais du mettre 10 mètres comme valeur minimale pour le commune 
de Montpellier en elle-même...

Du coup il y a 5172 bâtiments qui ont été mis à jour et qui le devrait pas, les 
valeurs sont tout simplement fausses.

Je ne pense que ça soit facilement corrigeable avec JOSM ni même avec 
OverpassAPI (la valeur du tag height étant une string et pas entier je vois pas 
comment on peut faire une condition sur la hauteur).

Serait il possible de faire un revert pour que je puisse ensuite refaire 
l'import avec le bon setting ?

En espérant que ça ne soit pas trop fastidieux sachant qu'il y a 61 changesets 
en tout...

Merci, Vincent.








Le 4 novembre 2017 à 21:29, Vincent Frison 
> a écrit :
Hello,

J'ai fait l'import la nuit dernière et 60 777 bâtiments ont été mis à jour avec 
leur hauteur.

Pour info il y a eu 2 difficultés pour cet import:

- Le DTM et le DSM qui n'étaient pas dans des bons formats à l'origine mais ça 
s'est résolu avec les outils de GDAL / OGR (merci à Christian pour son aide sur 
le forum)

- Je ne pensais pas du tout avoir des soucis en important ces données 
puisqu'elles étaient sous licence ODbL mais suite à la discussion sur la liste 
import cela pourrait théoriquement poser problème dans le cas (très improbable 
j'imagine) où OSM déciderait de changer vers une licence non compatible avec 
ODbL (cf. le Contributor Terms). En même temps cela voudrait dire qu'on devrait 
se restreindre à importer uniquement des données en domaine publique ou CC0 ce 
qui me parait bien trop restrictif... en sachant qu'en plus il y a déjà eu des 
tonnes d'imports en ODbL ou en d'autres licences (qui n'étaient ni DP ni CC0) !

++ Vincent.



___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Un truc a visiblement merdé car sur certaines zones qui sont hors des
limites de la commune le MNT fournit la valeur 0 au lieu de -. Je ne
comprend vraiment pas pourquoi puisque le TIFF avait bien été découpé avec
les limites de la communes, résultat visible ici .

Malheureusement j'avais mis [0..1000] mètres comme valeurs possibles. Oui
carrément 0 car certaines zones sont vraiment au niveau de la mer.. sauf
que ça n'arrive seulement dans des communes limitrophes, c'était donc un
peu bête de ma part et j'aurais du mettre 10 mètres comme valeur minimale
pour le commune de Montpellier en elle-même...

Du coup il y a 5172 bâtiments qui ont été mis à jour et qui le devrait pas,
les valeurs sont tout simplement fausses.

Je ne pense que ça soit facilement corrigeable avec JOSM ni même avec
OverpassAPI (la valeur du tag height étant une string et pas entier je vois
pas comment on peut faire une condition sur la hauteur).

Serait il possible de faire un revert pour que je puisse ensuite refaire
l'import avec le bon setting ?

En espérant que ça ne soit pas trop fastidieux sachant qu'il y a 61
changesets en tout...

Merci, Vincent.








Le 4 novembre 2017 à 21:29, Vincent Frison  a
écrit :

> Hello,
>
> J'ai fait l'import la nuit dernière et 60 777 bâtiments ont été mis à jour
> avec leur hauteur.
>
> Pour info il y a eu 2 difficultés pour cet import:
>
> - Le DTM et le DSM qui n'étaient pas dans des bons formats à l'origine
> mais ça s'est résolu avec les outils de GDAL / OGR (merci à Christian pour
> son aide sur le forum)
>
> - Je ne pensais pas du tout avoir des soucis en important ces données
> puisqu'elles étaient sous licence ODbL mais suite à la discussion sur la
> liste import cela pourrait théoriquement poser problème dans le cas (très
> improbable j'imagine) où OSM déciderait de changer vers une licence non
> compatible avec ODbL (cf. le Contributor Terms). En même temps cela
> voudrait dire qu'on devrait se restreindre à importer uniquement des
> données en domaine publique ou CC0 ce qui me parait bien trop restrictif...
> en sachant qu'en plus il y a déjà eu des tonnes d'imports en ODbL ou en
> d'autres licences (qui n'étaient ni DP ni CC0) !
>
> ++ Vincent.
>
>
>
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Hello,

J'ai fait l'import la nuit dernière et 60 777 bâtiments ont été mis à jour
avec leur hauteur.

Pour info il y a eu 2 difficultés pour cet import:

- Le DTM et le DSM qui n'étaient pas dans des bons formats à l'origine mais
ça s'est résolu avec les outils de GDAL / OGR (merci à Christian pour son
aide sur le forum)

- Je ne pensais pas du tout avoir des soucis en important ces données
puisqu'elles étaient sous licence ODbL mais suite à la discussion sur la
liste import cela pourrait théoriquement poser problème dans le cas (très
improbable j'imagine) où OSM déciderait de changer vers une licence non
compatible avec ODbL (cf. le Contributor Terms). En même temps cela
voudrait dire qu'on devrait se restreindre à importer uniquement des
données en domaine publique ou CC0 ce qui me parait bien trop restrictif...
en sachant qu'en plus il y a déjà eu des tonnes d'imports en ODbL ou en
d'autres licences (qui n'étaient ni DP ni CC0) !

++ Vincent.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Hello Marc,

Le 30 octobre 2017 à 10:34, marc marc  a écrit :

> Bonjour Vincent,
>
> merci pour cette énergie.
>

Merci ;)


> As-tu mis en place une "protection" pour ne pas modifier l'objet si la
> valeur obtenue est hors-limite raisonnable ? si oui quelle valeur ?
>

Oui il y a des garde fous configurables.

Pour l'import de Montpellier j'ai mis comme valeur min/max 0 et 1000 mètres
pour le MNT, et pareil pour le MNS.

Pour le MNT il faut savoir que j'ai du le "découper" avec les limites de la
communes car seules les valeurs à l'intérieur de celles ci sont fiables et
précises => à l'extérieur de la commune toutes les valeurs sont à -9 et
donc exclues lors de l'import.


> Sur le principe, feu vert pour moi pour l'import.
>
> Je me posais des question à propos des formes de toit et étages.
>
> Au vu des explications précédentes, je pensais que ton algorithme
> n'allait retenir que les bâtiments aux toits plats vu que ce sont les
> seuls dont la hauteur est "stable" sur sa surface.
> Mais quand je vois que tu trouves une valeur pour 59346 bâtiments (si
> j'ai bien compris) sur 110180, mon raisonnement est visiblement erroné.
> est-ce que c'est à cause de la fourchette de tolérance que tu arrives à
> mettre une valeur aussi sur les toits en pente ?
> Penses-tu qu'une opération (séparée) permettrait de les toits plats
> en fonction de l'écart moyen des hauteurs ? j'imagine que
> la tranche 90-100% serrait une bonne candidate.
>

Effectivement mon script essaye de tout prendre, sans considérer la pente
du toit. Le problème c'est qu'on a quasiment jamais l'information sur le
toit...

Je reprend mon message posté sur le fil de discussion pour Nice:

*D'après le wiki le tag height pour les buildings est censé indiquer le
point le plus haut du bâtiment mais à l'exclusion des structures rajoutées
comme par ex. les mats ou antennes. Mon script est censé gérer ça, en tout
cas il gère plutôt bien par exemple les petits locales techniques qui sont
très fréquents sur les immeubles. Pour simplifier si la hauteur max est de
Z mètres je vérifie si au moins 30% de l'ensemble des points "matchant"
l'immeuble sont à moins de 2 mètres de Z. Si c'est le cas c'est bon sinon
j'essaye un mètre en dessous; et ainsi de suite jusqu'à trouver une bonne
valeur. Du coup si une antenne est posée sur le toit d'un immeuble sa
hauteur de ne sera pas prise en compte.*

Pour info j'ai changé ce paramètre de "tolérance": il état à 2 mètre pour
Nice mais là je me suis permis de le mettre à 0.5 mètre pour Montpellier
car les données sont vraiment très précises.


> Est-il aussi envisageable d'extraire le nombre de niveau pour les
> bâtiments de taille modeste ? genre un bâtiment à toit plat qui fait
> entre 2m et 3m n'a qu'un niveau. entre 4m et 5m = 2 niveau.
> Ou est-ce que la précision rend cela trop limite ?
>

Oui je pourrai aussi rajouter le nombre d'étages sur tous les bâtiments (et
pas que sur les petits) mais j'y vois 2 raisons défavorables:
- ça serait forcément une approximation plus ou moins grosse (la hauteur
des étages pouvant fortement varier d'un bâtiment à un autre)
- il n'y aurait pas un gros intérêt sachant que le tag de hauteur est plus
précis (par ex. pour les rendus 3D, ce qui est mon objectif final, cela
n'apportait rien)


> Par curiosité, à quoi correspond les 14 read failure ?
>

Certainement des bâtiments qui ont été effacés *après* la création du dump
de la DB d'OSM (que j'ai récupéré sur geofabrik.de il y a environ un mois).

++ Vincent.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

Re: [OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[marc marc]

Bonjour Vincent,

merci pour cette énergie.
As-tu mis en place une "protection" pour ne pas modifier l'objet si la 
valeur obtenue est hors-limite raisonnable ? si oui quelle valeur ?
Sur le principe, feu vert pour moi pour l'import.

Je me posais des question à propos des formes de toit et étages.

Au vu des explications précédentes, je pensais que ton algorithme 
n'allait retenir que les bâtiments aux toits plats vu que ce sont les 
seuls dont la hauteur est "stable" sur sa surface.
Mais quand je vois que tu trouves une valeur pour 59346 bâtiments (si 
j'ai bien compris) sur 110180, mon raisonnement est visiblement erroné.
est-ce que c'est à cause de la fourchette de tolérance que tu arrives à 
mettre une valeur aussi sur les toits en pente ?
Penses-tu qu'une opération (séparée) permettrait de les toits plats
en fonction de l'écart moyen des hauteurs ? j'imagine que
la tranche 90-100% serrait une bonne candidate.

Est-il aussi envisageable d'extraire le nombre de niveau pour les 
bâtiments de taille modeste ? genre un bâtiment à toit plat qui fait 
entre 2m et 3m n'a qu'un niveau. entre 4m et 5m = 2 niveau.
Ou est-ce que la précision rend cela trop limite ?

Par curiosité, à quoi correspond les 14 read failure ?

Cordialement,
Marc

Le 30. 10. 17 à 10:16, Vincent Frison a écrit :
> Hello,
> 
> Après Nice (et Paris) je projette d'importer la hauteur des bâtiments de 
> la commune de Montpellier en me basant sur un MNT (modèle numérique de 
> terrain) et MNS (modèle numérique de surface) disponibles directement en 
> ODbL sur le portail Open Data de Montpellier Mediterranée Métropole: 
> http://data.montpellier3m.fr.
> 
> J'ai créé la page Wiki standard pour les imports: 
> https://wiki.openstreetmap.org/wiki/Montpellier,_France/Buildings_Heights_Import
> 
> Tout comme pour Nice la précision est très bonne, de l'ordre du mètre. 
> De ce que j'ai pu tester je dirais que c'est encore meilleur que Nice. 
> Si certains sont intéressés pour tester je peux fournir des fichiers XML 
> (un ZIP de l'ensemble de la commune pèse 20 MB environ). Sinon je compte 
> faire l'import dans les prochains jours...
> 
> Pour info voici quelques statistiques de l'import (qui ne touche pas à 
> la DB d'OSM pour l'instant):
> 
> === Loading statistics ===
> Total of targeted elements (ie. which are inside filtering areas): 110180
> === Processing statistics ===
> Total of matched elements (ie. which have at least one matching 
> imports): 95914
> Total of matching imports: 42547442
> Average of matching imports by element: 443
> Repartitions of elements by matching scores:
>   - score between 0% and 10% : 50470 (45%) elements
>   - score between 10% and 20% : 170 (0%) elements
>   - score between 20% and 30% : 159 (0%) elements
>   - score between 30% and 40% : 10111 (9%) elements
>   - score between 40% and 50% : 9050 (8%) elements
>   - score between 50% and 60% :  (6%) elements
>   - score between 60% and 70% : 6522 (5%) elements
>   - score between 70% and 80% : 5197 (4%) elements
>   - score between 80% and 90% : 4653 (4%) elements
>   - score between 90% and 100% : 17182 (15%) elements
> Minimum matching score is: 0.3
> Total of updatable elements: 59381
> Specific stats of the plugin:
>   - Out of range DTM values: 32777
>   - Out of range DSM values: 0
> Specific settings of the plugin:
>   - Shrink radius is: 1
>   - Minimum matching point is: 4
>   - Computing distance is: 20
>   - Tolerance delta is: 0.5
> === Closing OSM XML service ===
> Total of writing successes: 59346
> Total of writing failures: 0
> === Closing OSM API service ===
> Total of read operations: success=59367 failure=14
> Total of write operations: success=0 failure=0
> Total of changeset operations: open=0 close=0
> Job has been executed in 11029 seconds
> 
> ++ Vincent
> 
> 
> ___
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-fr
> 

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr

[OSM-talk-fr] Importation des hauteurs de bâtiments sur Montpellier

[Vincent Frison]

Hello,

Après Nice (et Paris) je projette d'importer la hauteur des bâtiments de la
commune de Montpellier en me basant sur un MNT (modèle numérique de
terrain) et MNS (modèle numérique de surface) disponibles directement en
ODbL sur le portail Open Data de Montpellier Mediterranée Métropole:
http://data.montpellier3m.fr.

J'ai créé la page Wiki standard pour les imports:
https://wiki.openstreetmap.org/wiki/Montpellier,_France/Buildings_Heights_Import

Tout comme pour Nice la précision est très bonne, de l'ordre du mètre. De
ce que j'ai pu tester je dirais que c'est encore meilleur que Nice. Si
certains sont intéressés pour tester je peux fournir des fichiers XML (un
ZIP de l'ensemble de la commune pèse 20 MB environ). Sinon je compte faire
l'import dans les prochains jours...

Pour info voici quelques statistiques de l'import (qui ne touche pas à la
DB d'OSM pour l'instant):

=== Loading statistics ===
Total of targeted elements (ie. which are inside filtering areas): 110180
=== Processing statistics ===
Total of matched elements (ie. which have at least one matching imports):
95914
Total of matching imports: 42547442
Average of matching imports by element: 443
Repartitions of elements by matching scores:
 - score between 0% and 10% : 50470 (45%) elements
 - score between 10% and 20% : 170 (0%) elements
 - score between 20% and 30% : 159 (0%) elements
 - score between 30% and 40% : 10111 (9%) elements
 - score between 40% and 50% : 9050 (8%) elements
 - score between 50% and 60% :  (6%) elements
 - score between 60% and 70% : 6522 (5%) elements
 - score between 70% and 80% : 5197 (4%) elements
 - score between 80% and 90% : 4653 (4%) elements
 - score between 90% and 100% : 17182 (15%) elements
Minimum matching score is: 0.3
Total of updatable elements: 59381
Specific stats of the plugin:
 - Out of range DTM values: 32777
 - Out of range DSM values: 0
Specific settings of the plugin:
 - Shrink radius is: 1
 - Minimum matching point is: 4
 - Computing distance is: 20
 - Tolerance delta is: 0.5
=== Closing OSM XML service ===
Total of writing successes: 59346
Total of writing failures: 0
=== Closing OSM API service ===
Total of read operations: success=59367 failure=14
Total of write operations: success=0 failure=0
Total of changeset operations: open=0 close=0
Job has been executed in 11029 seconds

++ Vincent
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr