Re: [OSM-dev-fr] Reconnaissance debutante de debutants
Salut, En complément de la détection des nouveaux contributeurs après quelques groupes de modifs, qui est une super fonctionnalité, il serait bien pratique de détecter à contrario les contributeurs qui ont immédiatement lâché l'affaire. Et de faire le bilan quelques mois après : - 1 à 2 mois pour envoyer un petit message de relance, proposer des ajustements - 6 mois pour refaire un point et prendre en main les infos des premiers groupes de modif Excellente initiative @+ Le 19 novembre 2013 21:12, Ista Pouss ista...@gmail.com a écrit : Bonjour, À la suite d'une discussion sur les néophytes sur talk osm, il est apparu qu'il serait utile d'avoir un logiciel qui détecte les débutants sur OSM. Un petit peu surpris d'apprendre qu'une telle chose n'existe pas, je me suis dit que ça pouvait être dans mes cordes et je me suis mis aux opérations. J'ai bien avancé, à partir des diffs de journées, et maintenant le logiciel est dans l'état Chez Moi Ça Marche. (mais seulement sur 2 jours d'historique il est vrai) (mon ordi de développement n'est pas prévu pour tenir la Terre entière depuis les Origines). Comme il était suggéré dans la discussion des néophytes, au bout de 10 changesets le logiciel considère que le débutant devient intéressant. À ce stade je suis un peu dubitatif car je ne sais pas sous quelle forme il est mieux que je le propose. : une appli web ? Une ligne de commande ? Client lourd ? Sur une tablette ?... Je peux tout ça ! Si jamais vous confirmez que la chose peut être intéressante, merci de me donner quelques pistes de direction. Cordialement. -- Les dérives de rue : C’est chanter que je veux http://drivrsdu.fr/cest-chanter-que-je-veux/ http://drivrsdu.fr/profession-emotion/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab http://wiki.openstreetmap.org/wiki/User:Ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
[OSM-dev-fr] Extraction thématique (était Verification du routage)
Bonjour, J'ai effectivement pu télécharger l'ensemble des waterways par le serveur France Overpass-API. 400 MO de données .osm non compressées en retour. J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. Le 29 novembre 2013 11:26, Frédéric Rodrigo fred.rodr...@gmail.com a écrit : Le 29 novembre 2013 10:19, Ab_fab gamma@gmail.com a écrit : Pour le cas des cours d'eau, l'approche suivante est sympa (*), mais nécessite de définir manuellement des points (nodes)clef en début de bassin versant de chaque fleuve. https://github.com/skaringa/rivers Sur ce thème des vérifications de tous ordres, est-ce qu'avoir régulièrement une extraction (pbf par ex.) du réseau ferré, de l'hydrographie serait utile et pas trop contraignante matériellement pour faciliter le travail de ceux qui veulent se pencher sur la question ? Je sais que l'on peut le faire en partant d'un extrait Geofabrik et filtrer soit-même, mais ça alourdit sensiblement l'opération A mon avis il vaut mieux utiliser l'overpass pour ça. A titre de comparaison je fait des extractions de tous les transports en commun et c'est pas si long que ça a extraire. -- (*) en plus des outils de suivi existants - http://suivi.openstreetmap.fr/cours-eau/comparaison-sandre.html (à la sly) - http://suivi.openstreetmap.fr/cours-eau/suivi-affluents.html (à la fred) Il faudrait le remettre en place sur osm7 - http://marani.claude.free.fr/courdo (à la Arno / Claude) ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab http://wiki.openstreetmap.org/wiki/User:Ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique ( était Verification du routage)
Le lundi 02 décembre 2013 11:47:01, Ab_fab a écrit : Bonjour, hello, J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. L'overpass API ne le propose pas en effet, mais ça pourrait se faire par un wrapper coté serveur. Toutefois, je ne sais pas si la demande serait importante car ceux qui utilisent un clicodrome style overpassturbo vont télécharger de petits fichier donc pas de gros besoin d'économie de place sur le disque. Et ceux qui vont récupérer de gros fichiers (plus de 100Mo) et qui sont capable d'écrire des requêtes OAPI à la main ont plus de chance d'utiliser des outils coté client un peu plus poussé, et donc ça peut se faire coté client : curl --compress http://oapi-fr.openstreetmap.fr/oapi/interpreter?data=blabal; | bzip2 pouf.osm.bz2 Et coté client, on peut s'éclater sans limite sans avoir à écrire des milliers de wrapper coté serveur avec the super unix pipe | : curl (...) | osmconvert curl (...) | bzip2 curl (...) | gzip curl (...) | osm2pgsql /dev/stdin curl (...) | osmosis ésserpmoc àjéd tiaté xulf el euq tnemetsuj tiasicérp éuqidni ia'j euq lruc noitpo'l euq srola tnemegrahcélét ed spmet ed relap em av iuq nu a ne'y euq eirap ej -- sly (sylvain letuffe) http://wiki.openstreetmap.org/wiki/User:Sletuffe ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique ( était Verification du routage)
Le 02/12/2013 12:16, sly (sylvain letuffe) a écrit : relap *relrap -- FrViPofm ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique ( était Verification du routage)
A première vue c'est de l'incantation de magie noire ;-) Un Fucking Manual de plus à lire ! J'en prends bonne note, je saurai le retrouver le jour venu. Merci pour la piste intéressante. Le 2 décembre 2013 12:16, sly (sylvain letuffe) lis...@letuffe.org a écrit : Le lundi 02 décembre 2013 11:47:01, Ab_fab a écrit : Bonjour, hello, J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. L'overpass API ne le propose pas en effet, mais ça pourrait se faire par un wrapper coté serveur. Toutefois, je ne sais pas si la demande serait importante car ceux qui utilisent un clicodrome style overpassturbo vont télécharger de petits fichier donc pas de gros besoin d'économie de place sur le disque. Et ceux qui vont récupérer de gros fichiers (plus de 100Mo) et qui sont capable d'écrire des requêtes OAPI à la main ont plus de chance d'utiliser des outils coté client un peu plus poussé, et donc ça peut se faire coté client : curl --compress http://oapi-fr.openstreetmap.fr/oapi/interpreter?data=blabal; | bzip2 pouf.osm.bz2 Et coté client, on peut s'éclater sans limite sans avoir à écrire des milliers de wrapper coté serveur avec the super unix pipe | : curl (...) | osmconvert curl (...) | bzip2 curl (...) | gzip curl (...) | osm2pgsql /dev/stdin curl (...) | osmosis ésserpmoc àjéd tiaté xulf el euq tnemetsuj tiasicérp éuqidni ia'j euq lruc noitpo'l euq srola tnemegrahcélét ed spmet ed relap em av iuq nu a ne'y euq eirap ej -- sly (sylvain letuffe) http://wiki.openstreetmap.org/wiki/User:Sletuffe ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab http://wiki.openstreetmap.org/wiki/User:Ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Maintenance serveurs free (osm11/12/13) le lundi 2 décembre
Ssd installé sur osm12, je vois d'ici ce soir comment l'exploiter au mieux depuis la VM. Si on part sur un reimport, je le ferai bien sur une VM neuve avec les dernières versions de postgresql/postgis et mapnik. Les 3 serveurs ont eu un coup d'update/upgrade et reboot. -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique (était Verification du routage)
Tu récupère un truc lourd, mais le transfert sur le réseau est gzippé à ce qu'il me semble, donc au moins ça ne bouffe pas de la bande passante pour rien. Le 2 décembre 2013 11:47, Ab_fab gamma@gmail.com a écrit : Bonjour, J'ai effectivement pu télécharger l'ensemble des waterways par le serveur France Overpass-API. 400 MO de données .osm non compressées en retour. J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. Le 29 novembre 2013 11:26, Frédéric Rodrigo fred.rodr...@gmail.com a écrit : Le 29 novembre 2013 10:19, Ab_fab gamma@gmail.com a écrit : Pour le cas des cours d'eau, l'approche suivante est sympa (*), mais nécessite de définir manuellement des points (nodes)clef en début de bassin versant de chaque fleuve. https://github.com/skaringa/rivers Sur ce thème des vérifications de tous ordres, est-ce qu'avoir régulièrement une extraction (pbf par ex.) du réseau ferré, de l'hydrographie serait utile et pas trop contraignante matériellement pour faciliter le travail de ceux qui veulent se pencher sur la question ? Je sais que l'on peut le faire en partant d'un extrait Geofabrik et filtrer soit-même, mais ça alourdit sensiblement l'opération A mon avis il vaut mieux utiliser l'overpass pour ça. A titre de comparaison je fait des extractions de tous les transports en commun et c'est pas si long que ça a extraire. -- (*) en plus des outils de suivi existants - http://suivi.openstreetmap.fr/cours-eau/comparaison-sandre.html (à la sly) - http://suivi.openstreetmap.fr/cours-eau/suivi-affluents.html (à la fred) Il faudrait le remettre en place sur osm7 - http://marani.claude.free.fr/courdo (à la Arno / Claude) ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab http://wiki.openstreetmap.org/wiki/User:Ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique ( était Verification du routage)
On 02/12/2013 12:16, sly (sylvain letuffe) wrote: ça peut se faire coté client : curl --compress http://oapi-fr.openstreetmap.fr/oapi/interpreter?data=blabal; | bzip2 pouf.osm.bz2 [snip] ésserpmoc àjéd tiaté xulf el euq tnemetsuj tiasicérp éuqidni ia'j euq lruc noitpo'l euq srola tnemegrahcélét ed spmet ed relap em av iuq nu a ne'y euq eirap ej C'est bizarre/dommage que cette option compress ne soit pas activé par défaut. Quasiment tous les apaches ont le mode_gzip d'activé non ? -- JB ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Maintenance serveurs free (osm11/12/13) le lundi 2 décembre
Petit complément hardware: Il est possible d'installer 2 cartes Velocity avec SSD dans chaque serveur R610 vu qu'elles sont courtes. A ce jour, cela permettrai de mettre 2x960Go (Crucial M500) par serveur si besoin, pour un coût d'environ 600 euros par tranche de 960Go. Les perfs seraient bien sûr supérieures avec 2 SSD en stripping qu'un seul SSD. -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Maintenance serveurs free (osm11/12/13) le lundi 2 décembre
On lundi 2 décembre 2013, Christian Quest wrote: Petit complément hardware: Il est possible d'installer 2 cartes Velocity avec SSD dans chaque serveur R610 vu qu'elles sont courtes. C'est ici là liste au père Noël ? Les perfs seraient bien sûr supérieures avec 2 SSD en stripping qu'un seul SSD. Le service d'api overpass qui tourne sur une VM d'osm12 (osm103) est devenu de plus en plus poussif au fur et à mesure que la base a augmentée de taille et que (je soupçonne) le cache RAM est devenu de plus en plus solicité par d'autres logiciel des autres VMs et ajouté que je compte activer le support des requêtes de type area de l'overpass (ce qui consomme toujours plus d'i/o) De ce fait, et selon débat de son utilité relative aux autres outils, j'aimerais bien une petite place SSD pour les 190Go actuel de cet outil. -- sly qui suis-je : http://sly.letuffe.org ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Maintenance serveurs free (osm11/12/13) le lundi 2 décembre
C'est un 512Go que j'ai installé sur osm12. Ca risque d'être juste pour y mettre une base monde osm2pgsql + l'overpass On va voir une fois layers migré sur le SSD comment la machine se comporte par ailleurs, ok ? Le 2 décembre 2013 17:22, sly (sylvain letuffe) lis...@letuffe.org a écrit : On lundi 2 décembre 2013, Christian Quest wrote: Petit complément hardware: Il est possible d'installer 2 cartes Velocity avec SSD dans chaque serveur R610 vu qu'elles sont courtes. C'est ici là liste au père Noël ? Les perfs seraient bien sûr supérieures avec 2 SSD en stripping qu'un seul SSD. Le service d'api overpass qui tourne sur une VM d'osm12 (osm103) est devenu de plus en plus poussif au fur et à mesure que la base a augmentée de taille et que (je soupçonne) le cache RAM est devenu de plus en plus solicité par d'autres logiciel des autres VMs et ajouté que je compte activer le support des requêtes de type area de l'overpass (ce qui consomme toujours plus d'i/o) De ce fait, et selon débat de son utilité relative aux autres outils, j'aimerais bien une petite place SSD pour les 190Go actuel de cet outil. -- sly qui suis-je : http://sly.letuffe.org ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Maintenance serveurs free (osm11/12/13) le lundi 2 décembre
On lundi 2 décembre 2013, Christian Quest wrote: C'est un 512Go que j'ai installé sur osm12. Ca risque d'être juste pour y mettre une base monde osm2pgsql + l'overpass C'est même sûr que ça ne va pas tenir. On va voir une fois layers migré sur le SSD comment la machine se comporte par ailleurs, ok ? C'est toi qui parlais déjà d'un 2ème ssd, alors vu que t'anticipes, j'anticipe aussi (d'ailleurs, on n'est pas encore noël et le ssd y est déjà !) -- sly qui suis-je : http://sly.letuffe.org ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique (était Verification du routage)
Christian, Je pense à plusieurs contextes où la bande passante cause problème. Pensons, par exemple, aux divers pays africains. Un fichier bzip réduirait de façon très significative la bande passante utilisée pour transférer le fichier. Pierre De : Christian Quest cqu...@openstreetmap.fr À : Discussions développeur OSM en français dev-fr@openstreetmap.org Envoyé le : Lundi 2 décembre 2013 15h23 Objet : Re: [OSM-dev-fr]Extraction thématique (était Verification du routage) Tu récupère un truc lourd, mais le transfert sur le réseau est gzippé à ce qu'il me semble, donc au moins ça ne bouffe pas de la bande passante pour rien. Le 2 décembre 2013 11:47, Ab_fab gamma@gmail.com a écrit : Bonjour, J'ai effectivement pu télécharger l'ensemble des waterways par le serveur France Overpass-API. 400 MO de données .osm non compressées en retour. J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. Le 29 novembre 2013 11:26, Frédéric Rodrigo fred.rodr...@gmail.com a écrit : Le 29 novembre 2013 10:19, Ab_fab gamma@gmail.com a écrit : Pour le cas des cours d'eau, l'approche suivante est sympa (*), mais nécessite de définir manuellement des points (nodes)clef en début de bassin versant de chaque fleuve. https://github.com/skaringa/rivers Sur ce thème des vérifications de tous ordres, est-ce qu'avoir régulièrement une extraction (pbf par ex.) du réseau ferré, de l'hydrographie serait utile et pas trop contraignante matériellement pour faciliter le travail de ceux qui veulent se pencher sur la question ? Je sais que l'on peut le faire en partant d'un extrait Geofabrik et filtrer soit-même, mais ça alourdit sensiblement l'opération A mon avis il vaut mieux utiliser l'overpass pour ça. A titre de comparaison je fait des extractions de tous les transports en commun et c'est pas si long que ça a extraire. -- (*) en plus des outils de suivi existants - http://suivi.openstreetmap.fr/cours-eau/comparaison-sandre.html (à la sly) - http://suivi.openstreetmap.fr/cours-eau/suivi-affluents.html (à la fred) Il faudrait le remettre en place sur osm7 - http://marani.claude.free.fr/courdo (à la Arno / Claude) ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] Extraction thématique (était Verification du routage)
On 02/12/2013 18:41, Pierre Béland wrote: Christian, Je pense à plusieurs contextes où la bande passante cause problème. Pensons, par exemple, aux divers pays africains. Un fichier bzip réduirait de façon très significative la bande passante utilisée pour transférer le fichier. c'etait le sens du parametre --compress curl négocie avec le serveur web et si celui ci sait envoyer du contenu zippé, il le fait. et le serveur dont on parlait supporte le mog-gzip cf http://oapi-fr.openstreetmap.fr/#chapter.output_formats donc c'est bien zippé pour le transfert. -- JB ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
Re: [OSM-dev-fr] compression des flux osm ( était Extraction thématique ( était Verification du routage))
On lundi 2 décembre 2013, Pierre Béland wrote: Je pense à plusieurs contextes où la bande passante cause problème. Pensons, par exemple, aux divers pays africains. Un fichier bzip réduirait de façon très significative la bande passante utilisée pour transférer le fichier. Pour transférer le fichier osm ? On compare gzip avec bzip2 ici ? La différence me semble pas être qualifiable de très significative Donc, le plus probable est que tu n'est pas fais attention à la phrase de christian : mais le transfert sur le réseau est gzippé à ce qu'il me semble Est c'est le cas en effet, de manière transparente, pour tout navigateur de moins de 10ans (en afrique ils ont encore ie5 ?) sur les service d'overpass api sur les serveurs fr Et c'est aussi dispo sur curl et wget à condition d'activer ce qui aurait dû, à mon avis, être par défaut (la fameuse option --compress dont il était question) Donc, à 3 (?) % près, la BP sera assez bien optimisée pour envoyer du xml, sauf usage inoptimisé de wget/curl Pierre De : Christian Quest cqu...@openstreetmap.fr À : Discussions développeur OSM en français dev-fr@openstreetmap.org Envoyé le : Lundi 2 décembre 2013 15h23 Objet : Re: [OSM-dev-fr] Extraction thématique (était Verification du routage) Tu récupère un truc lourd, mais le transfert sur le réseau est gzippé à ce qu'il me semble, donc au moins ça ne bouffe pas de la bande passante pour rien. Le 2 décembre 2013 11:47, Ab_fab gamma@gmail.com a écrit : Bonjour, J'ai effectivement pu télécharger l'ensemble des waterways par le serveur France Overpass-API. 400 MO de données .osm non compressées en retour. J'aurais bien aimé qu'il y ait une option pour obtenir directement un fichier compressé (osm.bz2 ou pbf), mais je ne pense pas qu'Overpass API le propose. Le 29 novembre 2013 11:26, Frédéric Rodrigo fred.rodr...@gmail.com a écrit : Le 29 novembre 2013 10:19, Ab_fab gamma@gmail.com a écrit : Pour le cas des cours d'eau, l'approche suivante est sympa (*), mais nécessite de définir manuellement des points (nodes)clef en début de bassin versant de chaque fleuve. https://github.com/skaringa/rivers Sur ce thème des vérifications de tous ordres, est-ce qu'avoir régulièrement une extraction (pbf par ex.) du réseau ferré, de l'hydrographie serait utile et pas trop contraignante matériellement pour faciliter le travail de ceux qui veulent se pencher sur la question ? Je sais que l'on peut le faire en partant d'un extrait Geofabrik et filtrer soit-même, mais ça alourdit sensiblement l'opération A mon avis il vaut mieux utiliser l'overpass pour ça. A titre de comparaison je fait des extractions de tous les transports en commun et c'est pas si long que ça a extraire. -- (*) en plus des outils de suivi existants - http://suivi.openstreetmap.fr/cours-eau/comparaison-sandre.html (à la sly) - http://suivi.openstreetmap.fr/cours-eau/suivi-affluents.html (à la fred) Il faudrait le remettre en place sur osm7 - http://marani.claude.free.fr/courdo (à la Arno / Claude) ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- ab_fab Il n'y a pas de pas perdus, Nadja ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- Christian Quest - OpenStreetMap France Un nouveau serveur pour OSM... http://donate.osm.org/server2013/ ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr -- sly qui suis-je : http://sly.letuffe.org ___ dev-fr mailing list dev-fr@openstreetmap.org https://lists.openstreetmap.org/listinfo/dev-fr
