Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet Philippe DAVID
2012/7/5 Philippe Verdy verd...@wanadoo.fr Ok je viens de comprendre : pour votre usage c'est moins de débit que la fréquence des requêtes qui vous limite. Maintenant je n'ais jamais fait d'essai avec une config pour OSM ou les bases pgSQL/OpenGIS. Mes applications ne sont pas bridées

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet Pieren
2012/7/5 Philippe DAVID philippe.da...@allgoob.com: Soit dit en passant toutes les réponses que tu m'as faites depuis hier sont sérieusement hors sujet, donc s'il te plait épargne nous du temps à tous et ne réponds que lorsque c'est *pertinent* ET *en rapport* avec cette mailing list. lol,

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet sly (sylvain letuffe)
On mercredi 4 juillet 2012, Philippe DAVID wrote: Ok merci, il me reste à trouver 1To :) Suite à la remarque de pieren, je viens de re-vérifier la taille sur disque avec la fonction SQL : pg_total_relation_size de la base monde (format osm2pgsql) à laquelle j'ai accès et je trouve 318 Go On

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet Philippe DAVID
Donc sans les tables nominatim (placex, etc..) c'est ça ? Les tables nominatim ont l'air d'avoir une taille du même ordre de grandeur que l'import initial osm2pgsql, donc ça ferait bien 650GB grossièrement. 2012/7/5 sly (sylvain letuffe) li...@letuffe.org On mercredi 4 juillet 2012, Philippe

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet sly (sylvain letuffe)
On jeudi 5 juillet 2012, Philippe DAVID wrote: Donc sans les tables nominatim (placex, etc..) c'est ça ? C'est le décompte des tables+indexes correspondants : planet_osm_(line/nodes/point/polygon/rels/roads/ways) N'ayant jamais essayé nominatim, je suis bien en peine de donner ce que rajoute,

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet Pieren
2012/7/5 sly (sylvain letuffe) li...@letuffe.org: L'explication peut peut être provenir de l'existence de tables temporaires durant l'import ? Sur poldi, il y a aussi 2 autres disques SATA de 300GB en RAID0 aussi pour une partition /data (et qui est aussi marquée pour postgres db). Donc une

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet Frédéric Rodrigo
Le 5 juillet 2012 11:32, Philippe DAVID philippe.da...@allgoob.com a écrit : Donc sans les tables nominatim (placex, etc..) c'est ça ? Les tables nominatim ont l'air d'avoir une taille du même ordre de grandeur que l'import initial osm2pgsql, donc ça ferait bien 650GB grossièrement. Pas tout à

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-05 Par sujet sly (sylvain letuffe)
Une base osm2pgsql en mode gazetter est plus petite qu'une base dite osm2pgsql. Mais je ne sais pas dire quel est le rapport entre les deux. D'après le mail de F. Ramm, ça ne semble plus être le cas, c'est à dire que la base nécessaire à un nominatim récent, c'est à dire une version forké du

[OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
Bonjour, ma question fait suite à la discussion Polygones Aquitaine et Gironde sur talk-fr. J'ai fait un import de aquitaine.osm (from geofabrik) dans un nominatim, et quand je vais sur la page détails.php, les polygones n'apparaissent pas pour la Gironde et l'Aquitaine. Est-ce que c'est un

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Attendre que Geofabrik actualise son fichier. Sinon compléter toi même en aller chercher les polygones manquants dans la base OSM (JOSM peut t'aider à exporter un fichier OSM ou un shapefile). Le 4 juillet 2012 17:44, Philippe DAVID philippe.da...@allgoob.com a écrit : Bonjour, ma question fait

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Note: le bogue des deux régions date s'il y a près de 3 semaines, je l'ai corrigé à ce moment-là car une frontière avait été brisée par une opération de résolution de conflits d'édition qui a mal tourné. On voyait le bogue dans Layers, il n'y est plus maintenant, Layers ayant reçu les modifs. Le

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Ab_fab
Pour info, la mise à jour est journalière pour les extraits fournis par Geofabrik. Si le problème a été résolu il y a trois semaines, les extraits dispos à l'heure actuelle sont ok. Le 4 juillet 2012 17:58, Philippe Verdy verd...@wanadoo.fr a écrit : Attendre que Geofabrik actualise son fichier.

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
Euh ce n'est pas le même problème que celui dont je parlais sur l'autre liste. Là les polygones n'apparaissent pas du tout. Je me disais que suivant comment leur export est fait, ça peut bugger un peu pour tout ce qui se trouve pile à la frontière. Donc je voulais savoir si qqun a déjà travaillé

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Le 4 juillet 2012 18:10, Philippe DAVID philippe.da...@allgoob.com a écrit : Euh ce n'est pas le même problème que celui dont je parlais sur l'autre liste. Là les polygones n'apparaissent pas du tout. Parce que dans la conversion des ways, ils étaient rompus. Si la boucle n'est pas bouclée,

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet sly (sylvain letuffe)
Ce dont j'avais peur c'est que le problème que j'ai rencontré sur le dump d'une région puisse aussi arriver à l'échelle d'un pays. D'après ce que dit le readme de geofabrik dans clipbounds, c'est la même méthode utilisée donc ça pourrait aussi arriver. Et d'ailleurs c'est arrivé comme disait

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Grosse bécane ? Mon PC portable charge sans problème toutes les régions et département de France dans un seul fichier OSM), et même de plusieurs pays frontaliers. La VM java est configurée pour pouvoir monter sans problème à 16 Go de RAM (mon portable en a 32 Go avec 8 coeurs, il n'a pas couté une

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
Hein ? je vois pas le rapport 2012/7/4 Philippe Verdy verd...@wanadoo.fr Grosse bécane ? Mon PC portable charge sans problème toutes les régions et département de France dans un seul fichier OSM), et même de plusieurs pays frontaliers. La VM java est configurée pour pouvoir monter sans

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
2012/7/4 sly (sylvain letuffe) li...@letuffe.org Ce dont j'avais peur c'est que le problème que j'ai rencontré sur le dump d'une région puisse aussi arriver à l'échelle d'un pays. D'après ce que dit le readme de geofabrik dans clipbounds, c'est la même méthode utilisée donc ça pourrait

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
2012/7/4 Frédéric Rodrigo fred.rodr...@gmail.com Maintenir un base Nominatim à jour n'est pas tout à fait la même question que maintenir à jour une base Osmosis ou osm2pgsql. Pour Nominatim il n'existe que des diff-Nominatim monde fournit par MapQuest. Il est aussi possible d'utiliser des

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Vincent de Chateau-Thierry
Le 04/07/2012 22:31, Philippe DAVID a écrit : Hein ? je vois pas le rapport Pas de souci, tu as donc une bonne vue :-) Pour reboucler avec les mails envoyés à l'instant, qui parlent de perfs de disques, il reste pour Philippe justement un mail resté sans réponse, et c'est dommage :

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Tu parles des perfs du RAID 5 : franchement j'ai de meilleure perfs sur mon RAID 5 à 6 disques en SATA 3 (trois contrôleurs) que sur un SSD unique. Sans doute une limitation de l'unique interface SATA (supposée SATA 3 mais qui visiblement sature bien avant d'atteindre le débit maximum supposé).

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet sly (sylvain letuffe)
Le mercredi 04 juillet 2012 22:37:10, Philippe DAVID a écrit : Oui alors l'idée c'était de voir si ça pouvait tenir sur des SSD? Tu as deviné ;-) Ou plutôt, si les finances consacrées à ce projet permettrait d'acheter le(s) ssd qui ferait tenir tout ça. Je cite la page Nominatim/Install:

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe DAVID
Tu as fait un vrai tests pour affirmer cela ? Je peux t'affirmer qu'en terme d'IO/s c'est faux. Je parle bien d'IO/s, car c'est cela qui importe pour des bases des données, et pas des débits séquentiels. Personnellement j'ai utilisé des SSD dans l'industrie, des Intel X25-M, donc assez vieux

Re: [OSM-dev-fr] Travailler sur des imports partiels

2012-07-04 Par sujet Philippe Verdy
Ok je viens de comprendre : pour votre usage c'est moins de débit que la fréquence des requêtes qui vous limite. Je n'ai pas encore atteint en pratique la limite de mon système RAID 6 (d'autant plus que tous les disques RAID ont un frontal SSD qui absorbe bon nombre d'I/Os). La réelle limite que