Re: [OSM-talk-fr] Statistiques OSM france
sylvain letuffe wrote: >> gis=# select sum(length(way)) / 1000 as kilometers from planet_osm_line >> where highway = 'tertiary'; >>kilometers >> >> 19521.93860792 >> (1 ligne) >> gis=# explain analyze select sum(length(way)) / 1000 as kilometers from >> planet_osm_line where highway = 'tertiary'; >> >> [blabla ...] >> >> Total runtime: 306.546 ms > Je suis battu ! > ( j'ai bien lu 0.3 secondes là ??? ) > Alors là, chapeau bas aux mecs de postgis !! > > ça sent le pré-calcul interne un peu quand même, m'enfin sinon logique : > optimisé pour, codé en C. Mais quand même, un facteur 2000, ça trou le cul avec un bon index... >> il me semble que l'utilisation d'un postgresql / postgis >> permettrait d'optimiser tout ca. > A mon avis, vu tes requêtes, il n'y a même rien à récupérer de mon script, > mais j'avais la flemme de m'installer un postgis que je ne connais pas et > maîtrise pas. j'avais déja fait des tests avec des résultats similaires il y a longtemps, mais stevec & co semblent etre allergique a postgres, ils disent que mysql va tres bien ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Et des arrondis pour faire du bien aux yeux :) Sinon je suis impressioné par les chiffres honnêtement ! Renaud. On 4/10/08, Olivier Boudet <[EMAIL PROTECTED]> wrote: > > Pierre Mauduit a écrit : > > > http://pedrov.kwain.net/osmstats/ > > > > > > Et bien c'est super ça :-) > > Un petit tri suivant le kilométrage serait sympathique :-) > > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Pierre Mauduit a écrit : > http://pedrov.kwain.net/osmstats/ > > Et bien c'est super ça :-) Un petit tri suivant le kilométrage serait sympathique :-) ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Re, > J'ai un peu méga honte, car c'est codé tout pas propre. M'enfin on va dire > que > j'ai une pseudo excuse : ( l'utilisation des lib XML bouffe max de ram ! ) > là, c'est 100% à la main : preg_match : > http://slyserv.dyndns.org/osm/statistics.txt > Ben je dirais que si tu parses le fichier hexagon.osm et que ca doit le charger en mémoire, ca prend au moins 400 Mo. Rajouter à cela les soucis de php avec la gestion de la mémoire - cf : http://pankaj-k.net/weblog/2008/03/did_you_know_that_each_integer.html -, et bref je pense qu'une solution à base de postgresql est plus adaptée. Mais j'ai trouvé le script plutot chouette :-) Après perquisition du dédié du petit frere, de la compilation (et installation de tout le nécessaire pour le build) de osm2pgsql contenu dans le répertoire de mapnik, ca donne ca : http://pedrov.kwain.net/osmstats/ Resterait plus qu'à rajouter un cronjob qui mette à jour, et étoffer un peu les stats. Bonne soirée, -- Pierre ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Re, > Je suis battu ! navré ;-) > ( j'ai bien lu 0.3 secondes là ??? ) > bref, génial, tu peux lancer un : > select sum(length(way)) / 1000 as kilometers,highway from planet_osm_line > group by highway ; > ? > pour comparer un peu le tout ? J'ai oublié de préciser que j'avais l'hexagone d'hier, vu qu'on en avait discuté sur irc, par ailleurs j'ai commencé la mise en place d'un serveur de stats, mais la je bloque sur la compilation de osm2pgsql ; j'ai une debian sid en local, et le serveur est en debian stable ... Ca donne ca : kilometers | highway +--- 79860.5961444945 | 0.206983014307122 | bridge 0.441121653846127 | Route Carnot 20028.2503606825 | unclassified 891.251852073688 | trunk_link 1.30197336167158 | byway 0.185185630186395 | residential; steps 0.162340073298616 | sevice 0.068868344687671 | unordered 0.127107696723781 | plaza 35370.9607753337 | primary 30.5034615709607 | construction 0.0110064072244838 | stile 174.502092558985 | minor 33.6897339554651 | fixme 0.7481296394824 | unclassified; footway 0.96584927237178 | unclassified; tertiary 1.92542665141722 | primary; tertiary 0.134702180012195 | rersidential 0.412960323558567 | viaduct 3.23753165327698 | trail 0.655975579118692 | serviced 2307.92495794237 | service 1956.64001960595 | cycleway 0.591309340228728 | track 3443.86013963051 | footway 0.048019811554643 | roundabout 34141.4113150475 | motorway 1.3732632934915 | highway_link 113.822967213848 | bridleway 1.27381591285958 | horse 0.481520443978081 | trunk_trunk 0.0997267114847283 | track;footway 387.669231792636 | pedestrian 2426.21355834042 | motorway_link 0.258670100790942 | residential_link 6.5584380252972 | A86 0.0355950361708249 | SERVICE 18.8108601805422 | residencial 0.0712205575961773 | pediestran 0.238864854049241 | boarding_ramp 0.0624810379145539 | footway;cycleway 2.09621855883614 | tertiary; unclassified 0.972829774081196 | parking 0.112699637089047 | Passage Perrier 0.821449998364207 | unclassified 1.58731665681743 | river 0.0380400052575222 | footway; steps 0.27899740918321 | Nachtweidstraße 300.658377696188 | primary_link 135.431126964116 | FIXME - unwayed segments 17.8268516990537 | secondary 79.6511309415054 | unknown 8.65190701618342 | services 0.54584562305078 | unclassifed 0.699977013376289 | trunk_ling 0.062851742127765 | Pedestrian 1.74597709882408 | highway 0.0458993420431774 | Tertiary 1.32655922450256 | unclassified; residential 0.428547072628912 | uncassified 0.904058162700087 | moterway_link 0.168098904312517 | residental 1.00704788742508 | mini_roundabout 0.385585020313978 | footpath 0.286634104174265 | rue Henry Fontaine 42.9250559952488 | steps 11440.6295668129 | trunk 1.75819382721252 | bikeway 17.1280260146573 | living_street 0.314517829965616 | primary_trunk 0.0282053275109547 | path 137.867089475303 | unsurfaced 0.34813296517774 | motorway_junction 2797.77537708535 | track 0.824104674997568 | serivce 19521.93860792 | tertiary 15873.9541884934 | residential 12.7584245600526 | secondary_link 0.0849544834954016 | tertiary_link 0.474843232073631 | pedesrian 0.276456159453751 | access 0.391060050439477 | cemetery 163.101869736102 | FIXME 46304.4400667731 | secondary 1.41607784798379 | briddleway (86 lignes) Pour le temps de calcul de cette requete, ca donne : QUERY PLAN HashAggregate (cost=8286.85..8287.27 rows=24 width=800) (actual time=1593.592..1593.773 rows=86 loops=1) -> Seq Scan on planet_osm_line (cost=0.00..7374.23 rows=182523 width=800) (actual time=0.072..407.705 rows=182053 loops=1) Total runtime: 1594.001 ms Voila voila, -- Pierre ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
> gis=# select sum(length(way)) / 1000 as kilometers from planet_osm_line > where highway = 'tertiary'; >kilometers > > 19521.93860792 > (1 ligne) > gis=# explain analyze select sum(length(way)) / 1000 as kilometers from > planet_osm_line where highway = 'tertiary'; > > [blabla ...] > > Total runtime: 306.546 ms Je suis battu ! ( j'ai bien lu 0.3 secondes là ??? ) Alors là, chapeau bas aux mecs de postgis !! ça sent le pré-calcul interne un peu quand même, m'enfin sinon logique : optimisé pour, codé en C. Mais quand même, un facteur 2000, ça trou le cul A noter que mon temps inclus l'importation des "nodes" de hexagones ( temps de calcul réél : 10 minutes ) bref, génial, tu peux lancer un : select sum(length(way)) / 1000 as kilometers,highway from planet_osm_line group by highway ; ? pour comparer un peu le tout ? > Le résultat semble cohérent avec le tien. Pas tout à fait quand même, pour tertiary je trouve 17311 km au lieu de 19521 km y'a-eu des retransformation de tertiary vers autre ??? > Je serais curieux de voir ton > script php ;-) J'ai un peu méga honte, car c'est codé tout pas propre. M'enfin on va dire que j'ai une pseudo excuse : ( l'utilisation des lib XML bouffe max de ram ! ) là, c'est 100% à la main : preg_match : http://slyserv.dyndns.org/osm/statistics.txt > il me semble que l'utilisation d'un postgresql / postgis > permettrait d'optimiser tout ca. A mon avis, vu tes requêtes, il n'y a même rien à récupérer de mon script, mais j'avais la flemme de m'installer un postgis que je ne connais pas et maîtrise pas. > Je veux bien me lancer dans un test de > mise en production d'un serveur de stats pour la France, si j'arrive à > convaincre le petit frere de squatter son dédié pour ca. ça pourrait être cool ! > Bonne soirée, > > -- > Pierre > > > ___ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr > -- Sylvain Letuffe [EMAIL PROTECTED] jabber id : [EMAIL PROTECTED] ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Bonjour, Il serait intéressant d'avoir la liste des way dont le tag highway est mal rempli...(faute d'orthographe par exemple...) Après, je ne sais pas s'il est possible de corriger "automatiquement", mais ça ne devrait pas être très long de corriger à la main non plus des trucs de ce goût : highway=highway : 1.146 km Axel > Bon, pour tenter de répondre à ma question de ce matin concernant > l'avancement > de OSM en france, j'ai cherché, recherché et je n'ai pas trouvé le nombre de > km totaux, ou le nombre de km par tags pour la france. > > N'ayant pas eu envie de travailler aujourd'hui, je me suis donc dit : si ça y > est pas, y'a qu'a le faire ! > > Et voilà ! > http://slyserv.dyndns.org/osm/resultat.html > > bilan : > 163 600km de route carrossable > soit un état d'avancement de ( à en croire navtek ) > 13.6% > On est pas au bout ;-) > > On notera tout de même 23 000 km de footway !!! > ( tellement beaucoup que ça me semble louche ) > > ( pour les curieux, j'ai codé ça "à la va vite" en php basé sur le fichier > hexagone-latest.osm du 2008-04-09 > mon prog se lance plus ou moins sur n'importe quel osm qu'exporte JOSM et sur > le hexagone. Vu que c'est codé cochon c'est surement pas "bullet proof", mais > ça semble donner des résultats logiques > > sur hexagone-latest.osm > Le calcul a pris environ 30 minutes sur un sempron 1.3GHZ et nécessite > 800MO de RAM ! > > Donc si quelqu'un dispose d'une machine monstrueuse ( de chez monstrueuse > genre 16GO de RAM ) et a la courage de le lancer sur le planet.osm, je lui > file avec plaisir ! > > ) > > ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
Re: [OSM-talk-fr] Statistiques OSM france
Salut, > ( pour les curieux, j'ai codé ça "à la va vite" en php basé sur le fichier > hexagone-latest.osm du 2008-04-09 > mon prog se lance plus ou moins sur n'importe quel osm qu'exporte JOSM et sur > le hexagone. Vu que c'est codé cochon c'est surement pas "bullet proof", mais > ça semble donner des résultats logiques > > sur hexagone-latest.osm > Le calcul a pris environ 30 minutes sur un sempron 1.3GHZ et nécessite > 800MO de RAM ! gis=# select sum(length(way)) / 1000 as kilometers from planet_osm_line where highway = 'tertiary'; kilometers 19521.93860792 (1 ligne) gis=# explain analyze select sum(length(way)) / 1000 as kilometers from planet_osm_line where highway = 'tertiary'; [blabla ...] Total runtime: 306.546 ms (sur un portable core2duo avec 2 Gigas de ram, soit) Le résultat semble cohérent avec le tien. Je serais curieux de voir ton script php ;-) il me semble que l'utilisation d'un postgresql / postgis permettrait d'optimiser tout ca. Je veux bien me lancer dans un test de mise en production d'un serveur de stats pour la France, si j'arrive à convaincre le petit frere de squatter son dédié pour ca. Bonne soirée, -- Pierre ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
[OSM-talk-fr] Statistiques OSM france
Bon, pour tenter de répondre à ma question de ce matin concernant l'avancement de OSM en france, j'ai cherché, recherché et je n'ai pas trouvé le nombre de km totaux, ou le nombre de km par tags pour la france. N'ayant pas eu envie de travailler aujourd'hui, je me suis donc dit : si ça y est pas, y'a qu'a le faire ! Et voilà ! http://slyserv.dyndns.org/osm/resultat.html bilan : 163 600km de route carrossable soit un état d'avancement de ( à en croire navtek ) 13.6% On est pas au bout ;-) On notera tout de même 23 000 km de footway !!! ( tellement beaucoup que ça me semble louche ) ( pour les curieux, j'ai codé ça "à la va vite" en php basé sur le fichier hexagone-latest.osm du 2008-04-09 mon prog se lance plus ou moins sur n'importe quel osm qu'exporte JOSM et sur le hexagone. Vu que c'est codé cochon c'est surement pas "bullet proof", mais ça semble donner des résultats logiques sur hexagone-latest.osm Le calcul a pris environ 30 minutes sur un sempron 1.3GHZ et nécessite 800MO de RAM ! Donc si quelqu'un dispose d'une machine monstrueuse ( de chez monstrueuse genre 16GO de RAM ) et a la courage de le lancer sur le planet.osm, je lui file avec plaisir ! ) -- Sylvain Letuffe [EMAIL PROTECTED] jabber id : [EMAIL PROTECTED] ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/cgi-bin/mailman/listinfo/talk-fr
