Re: [OSM-talk-fr] OSM hors ligne

2015-02-16 Par sujet Pierre Knobel
Ma nouvelle option #1 c'est le serveur de tuiles sur un Raspberry Pi 2. En
cherchant un peu, j'ai trouvé que ça a déjà été testé  (mais pas vraiment
documenté, à ma connaissance) :
http://vimeopro.com/openstreetmapus/state-of-the-map-us-2013/video/68087551

J'ai commandé la bête, je pense pouvoir mettre les mains dans le cambouis
ce week-end.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-05 Par sujet Eric SIBERT

Le 05/02/2015 02:34, Philippe Verdy a écrit :

Oui, mais une machine virtuelle (qu'elle soit hébergée sur Windows ou
autre) demande un PC assez performant


Je parle d'une machine virtuelle pour s'entrainer, faire des tests sur 
des petites zones...



Une VM c'est pour un usage temporaire


cf. supra.



On devrait tous avoir chez nous maintenant un bon vieux PC de bureau à
recycler en serveur de fichiers ou de médias ou d'archivage


sur lequel je ne fais surtout pas de tests... vu que c'est un serveur en 
prod.


Là on parle d'un gars qui va partir en bateau, qui ne reste pas chez lui 
mais qui veut préparer ça.




Le 4 février 2015 22:16, Eric SIBERT courr...@eric.sibert.fr
mailto:courr...@eric.sibert.fr a écrit :

Non mais fait des essais.

Si tu es sous windows, tu installes VirtualBox.

Dans VirtualBox, tu t'installes un Ubuntu LTS.

Ensuite, tu essaie le tuto avec au début des petites zones. Grâce
aux instantanés, c'est facile de revenir à un état antérieur de la
machine virtuelle. C'est super pratique pour faire des essais.
Ensuite, tu essaies des zones de plus en plus grandes ou plus chargées.

Et tu viens nous raconter ;-)

Eric


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-05 Par sujet Pierre Knobel
Je ferais tous les tests en rentrant. En attendant je collecte les
idées et je commence à voir dans les diverses documentations qu'est-ce
que ça implique en terme de logiciels, systèmes d'exploitation et de
matériel nécessaire.

Donc merci pour toutes les idées déjà proposées :)

L'idéal serait vraiment d'avoir tout ce qu'il faut sur un disque USB,
donc les solutions qui nécessitent un serveur ne seront pas
prioritaires sur ma liste de tests. Mais je m'intéresse de près aux
serveurs portables du style xampp
(http://portableapps.com/apps/development/xampp).

Je récapitule les idées que j'ai retenues pour l'instant, en vrac :
- trouver une appli d'affichage de cartes avec son propre format de
données vectorielles
  parmis http://wiki.openstreetmap.org/wiki/Software/Desktop
- peut-être OSMAnd à travers un émulateur Android (beau rendu)
- cahier des charges minimum : affichages au minimum des
occupations de sol, routes,
  chemins, sentiers, divers POI (magasins, tourisme, batiments
publics...), ombrage du
  relief ou courbes de niveau...
- précalculer des tuiles et les afficher directement
  (http://wiki.openstreetmap.org/wiki/OpenLayers_Local_Tiles_Example)
  problème : espace disque, zone de couverture et/ou niveaux de zooms
trop limités.
- faire tourner un serveur de tuiles. Problèmes :
- 500 Go de base de données... est-ce qu'on peut filtrer
efficacement les données OSM
  en amont pour ne garder que ce qui est vraiment nécessaire au rendu ?
- puissance de calcul nécessaire pour le rendu des premiers
niveaux de zoom et
  complexité de la solution pour avoir les belles tuiles avec les
landuse comme sur
  osm-fr  (appel du pied pour récupérer les tuiles osm-fr jusqu'au
niveau 8, 9 ou 10)
- pas sur d'arriver à quelque chose de portable, il va peut-être
me falloir un serveur de
  rendu dédié sur le terrain (ça pourrait éventuellement le faire
pour moi, mais ça ne
  profitera pas à tout le monde avec un simple ordi portable à disposition)

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-04 Par sujet Eric SIBERT

Non mais fait des essais.

Si tu es sous windows, tu installes VirtualBox.

Dans VirtualBox, tu t'installes un Ubuntu LTS.

Ensuite, tu essaie le tuto avec au début des petites zones. Grâce aux 
instantanés, c'est facile de revenir à un état antérieur de la machine 
virtuelle. C'est super pratique pour faire des essais. Ensuite, tu 
essaies des zones de plus en plus grandes ou plus chargées.


Et tu viens nous raconter ;-)

Eric

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-04 Par sujet Philippe Verdy
Oui, mais une machine virtuelle (qu'elle soit hébergée sur Windows ou
autre) demande un PC assez performant et c'est assez lourd à démarrer dans
la même session que la session utilisateur de l'OS principal pour exécuter
les outils web et des éditeurs comme JOSM qui lui aussi demande pas mal de
ressources (mémoire et CPU).
Tout compte fait il vaut mieux y dédier un second PC, ce sera plus pratique
et plus performant, même sur un PC assez basique. Il faut juste y mettre un
SSD (assez gros tout de même pour y stocker assez de données) ou un disque
dur normal avec cache sur SSD (un SSD de 256Mo pour le cache ça tient la
route pour un usage limtié en réseau local, surtout avec une connexion
SATA3 ou USB3 ou sur un petit NAS ayant une liaison Ethernet Gigabit). Pur
la mémoire, une config de 8 Go RAM devrait suffire pour un serveur (même
avec un processeur à deux coeurs). Mais c'est toujours mieux sur deux PC
distincts que sur un gros PC unique avec 12Go RAM ou plus, 4 ou 8 coeurs.

Une VM c'est pour un usage temporaire mais c'est pénible à redémarrer sans
arrêt alors que le PC client a aussi d'autres usages (lire ses mails,
navigeur sur le web et faire des recherches, écouter une musique ou une
webradio, faire des courriers adminsitratifs, recevoir les messages et
photos de sa famille, jouer un peu dessus) et peut planter facilement à
tout moment (réinstaller un serveur qui crashe en même temps est une tâche
lourde, même si on dispose de snapshots, car ces snapshots doivent aussi
être archivés et c'est l'archivage qui prend beaucoup de ressources machine
en performance et qui prend aussi du temps pendant lequel on n'a pas
telmlement d'autres usages possibles).

On devrait tous avoir chez nous maintenant un bon vieux PC de bureau à
recycler en serveur de fichiers ou de médias ou d'archivage (exit le vielle
version de Windows dessus, réinstaller une Ubuntu et ça roule, on le glisse
dans un coin, même sans écran dédié ou qui peut rester éteint tant qu'on
n'a pas d'admin physique à faire dessus), et un notebook moderne ou une
tablette convertible pour l'usage client à tout moment, et un mobile en
plus dans sa poche (pour consulter rapidement ses mails et SMS sans
interrompre sa session de travail en court sur le PC client)... On a en
plus du stockage plus ou moins distant qu'on n'utilise pas à fond, et tout
n'est plus à stocker localement chez soi, ou seulement temporairement, dans
un projet open-source, open-data, ou voire social)



Le 4 février 2015 22:16, Eric SIBERT courr...@eric.sibert.fr a écrit :

 Non mais fait des essais.

 Si tu es sous windows, tu installes VirtualBox.

 Dans VirtualBox, tu t'installes un Ubuntu LTS.

 Ensuite, tu essaie le tuto avec au début des petites zones. Grâce aux
 instantanés, c'est facile de revenir à un état antérieur de la machine
 virtuelle. C'est super pratique pour faire des essais. Ensuite, tu essaies
 des zones de plus en plus grandes ou plus chargées.

 Et tu viens nous raconter ;-)

 Eric


 ___
 Talk-fr mailing list
 Talk-fr@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-fr

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-04 Par sujet Pierre Knobel
J'ai fait une estimation rapide de l'espace disque nécessaire pour
chaque niveau de zoom, et j'en conclus que l'option de préparer et
stocker les tuiles n'est pas très réaliste, ou alors avec un niveau de
zoom très limité.

En partant du zoom 3 qui fait à peu près 580 Ko, et en multipliant par
4 à chaque niveau de zoom suivant, j'arrive à environ 200 Go de
données mondiales pour les niveaux de zoom 3 à 12. Au delà, on arrive
à des quantités de données qui me semblent excessives. Peut-être qu'en
optimisant, en ignorant les océans, on pourrait arriver au niveau 13
ou 14.

Pour ce qui est des villes individuelles, j'ai fait le test sur Paris
(http://a.tile.openstreetmap.fr/osmfr/10/518/352.png) et j'arrive à
900 Mo de données pour les niveaux de zoom 13 à 18. Je dirais que
Paris est plutôt plus dense que la moyenne des capitales, donc la
taille moyenne des villes risque d'être plus élevées. Ca limite à 100
ou 200 le nombre de villes qu'on peut envisager de mettre sur un
disque dur portable.

Ce n'est pas un calcul hyper-rigoureux, mais ça donne des ordres de grandeur.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-04 Par sujet sly (sylvain letuffe)
Le mardi 3 février 2015 11:37:49, Pierre Knobel a écrit :

 Un rendu à la volée à partir des données d'OSMAnd serait effectivement
 une bonne solution. En additionnant toutes les tailles sur la page
 http://download.osmand.net/list.php on arrive à seulement 31Go. Reste
 à trouver un moteur de rendu qui digère les fichier OBF et  fonctionne
 sous Windows ou Linux. Ou un émulateur Android.

Pas forcément qui gère ce format obf, il y a plein de soft qui ont leur 
propre format de stockage en vectoriel, le gros du boulot... c'est de les 
essayer !

https://help.openstreetmap.org/questions/12806/linux-desktop-viewer-like-osmand-for-android
-- 
sly (sylvain letuffe)
http://wiki.openstreetmap.org/wiki/User:Sletuffe

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet Christian Quest

Le 03/02/2015 05:04, Eric SIBERT a écrit :
 Pour la question du serveur de tuiles, j'avais commencé à regarder et
 ça commençait à me paraître raisonnable:

 http://duemafoss.blogspot.fr/2014/02/installation-of-openstreetmap-server-on.html



Le tuto que je recommande pour installer un serveur de tuile
classique, c'est celui de http://switch2osm.org/

Les packages ubuntu sont maintenus, il n'y a rien à compiler, c'est
clean. A installer sur une ubuntu 14.04 (LTS) pour être tranquille pour
quelques années.


-- 
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet Pierre Knobel
Je continue à réfléchir au sujet, et je suis en train de me dire que
le plus simple serait d'avoir quelque chose d'équivalent à ce que fait
Kiwix pour wikipedia : un petit executable qui se contente d'afficher
des données (tuiles précalculées) stockées localement sur un disque
dur externe.

Pour économiser l'espace disque nécessaire, j'envisage de n'afficher
les tuiles à l'échelle mondiale que pour les premier niveaux de zooms.
Reste à voir jusqu'à quel niveau je pourrais aller en fonction fde
l'espace disque que ça consommerais.
Pour les niveaux de zooms suivants, l'idée serait de récupérer les
images uniquement pour les villes de plus de N habitants, N à
déterminer en fonction de l'espace disque nécessaire.

Premier problème : obtenir une liste de villes de plus de N habitants
Je ne sais pas si le tag population est suffisamment fiable dans OSM
ou si je dois utiliser des sources externes
(http://fr.wikipedia.org/wiki/Cat%C3%A9gorie:Liste_de_villes).

Deuxième problème : obtenir les bounding boxes de chaque vile de la liste.
Je dois pouvoir récupérer les limites de villes avec overpass-api et
faire un simple min/max sur les latitudes/longitudes des points que je
récupère: http://overpass-turbo.eu/s/7s5
Question : est-ce que les relations admin_level=8 sont présentes dans
OSM pour toutes les grandes villes ? Il y a déjà un problème pour le
deuxième test que je fais après Paris : Krasnodar en Russie
http://overpass-turbo.eu/s/7s7

Troisème problème : installeur un serveur de tuile et calculer les
données pour les zones qui m'intéressent et aux niveaux de zoom qui
m'intéressent. Sur ce point je pars de 0.

Quatrième problème : l'affichage des données
L'idéal serait un exécutable simple avec un menu open data qui
permet de sélectionner le dossier contenant toutes les tuiles, et qui
s'occupe d'afficher et de fournir les contrôles souris habituels (zoom
avec la molette, pan avec un clic gauche + mouvement de la souris).
Pour commencer, je dois pouvoir me débrouiller avec Firefox +
OpenLayers : http://wiki.openstreetmap.org/wiki/OpenLayers_Local_Tiles_Example

Commentaires et conseils bienvenus :)

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet Greg
Mon utilisation d'OSM en hors-ligne en consultation, c'est systématiquement
via OsmAnd. Oui, c'est une application Android et ça ne répond pas
exactement à la demande, mais c'est rudement pratique.

La carte générale Monde pèse 180Mo et permet d'explorer relativement bien
tout un tas d'endroits. Ensuite, faire un extrait personnalisé de quelques
giga-octets (où l'on supprime tous les tags non utilisés pour le rendu,
tous les bâtiments et toutes les géométries inférieures au 10 mètres et
simplification des géométries restantes) par exemple permettrait d'avoir
une belle carte jusqu’à un niveau de zoom non négligeable.

En tous cas, il est certain que les données vectorielles pèsent moins que
les tuiles pré-calculées. Il faut juste avoir de quoi les afficher
correctement. (Encore et toujours ce compromis entre utilisation mémoire et
puissance de calcul).

2015-02-03 10:26 GMT+01:00 Pierre Knobel pierr...@gmail.com:

 Je continue à réfléchir au sujet, et je suis en train de me dire que
 le plus simple serait d'avoir quelque chose d'équivalent à ce que fait
 Kiwix pour wikipedia : un petit executable qui se contente d'afficher
 des données (tuiles précalculées) stockées localement sur un disque
 dur externe.

 Pour économiser l'espace disque nécessaire, j'envisage de n'afficher
 les tuiles à l'échelle mondiale que pour les premier niveaux de zooms.
 Reste à voir jusqu'à quel niveau je pourrais aller en fonction fde
 l'espace disque que ça consommerais.
 Pour les niveaux de zooms suivants, l'idée serait de récupérer les
 images uniquement pour les villes de plus de N habitants, N à
 déterminer en fonction de l'espace disque nécessaire.

 Premier problème : obtenir une liste de villes de plus de N habitants
 Je ne sais pas si le tag population est suffisamment fiable dans OSM
 ou si je dois utiliser des sources externes
 (http://fr.wikipedia.org/wiki/Cat%C3%A9gorie:Liste_de_villes).

 Deuxième problème : obtenir les bounding boxes de chaque vile de la liste.
 Je dois pouvoir récupérer les limites de villes avec overpass-api et
 faire un simple min/max sur les latitudes/longitudes des points que je
 récupère: http://overpass-turbo.eu/s/7s5
 Question : est-ce que les relations admin_level=8 sont présentes dans
 OSM pour toutes les grandes villes ? Il y a déjà un problème pour le
 deuxième test que je fais après Paris : Krasnodar en Russie
 http://overpass-turbo.eu/s/7s7

 Troisème problème : installeur un serveur de tuile et calculer les
 données pour les zones qui m'intéressent et aux niveaux de zoom qui
 m'intéressent. Sur ce point je pars de 0.

 Quatrième problème : l'affichage des données
 L'idéal serait un exécutable simple avec un menu open data qui
 permet de sélectionner le dossier contenant toutes les tuiles, et qui
 s'occupe d'afficher et de fournir les contrôles souris habituels (zoom
 avec la molette, pan avec un clic gauche + mouvement de la souris).
 Pour commencer, je dois pouvoir me débrouiller avec Firefox +
 OpenLayers :
 http://wiki.openstreetmap.org/wiki/OpenLayers_Local_Tiles_Example

 Commentaires et conseils bienvenus :)

 ___
 Talk-fr mailing list
 Talk-fr@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-fr

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet Pierre Knobel
On 2/3/15, sly (sylvain letuffe) lis...@letuffe.org wrote:

 ça manque encore de précisions il me semble, tu as besoin de quoi par
 services cartographiques ?


Initialement je pensais à plusieurs services : tuiles, routage type
OSRM et minage de la base de données (requêtes overpass). Mais là pour
l'instant je pense qu'avoir les tuiles serait déjà pas mal, même à un
niveau de zoom limité.

Un rendu à la volée à partir des données d'OSMAnd serait effectivement
une bonne solution. En additionnant toutes les tailles sur la page
http://download.osmand.net/list.php on arrive à seulement 31Go. Reste
à trouver un moteur de rendu qui digère les fichier OBF et  fonctionne
sous Windows ou Linux. Ou un émulateur Android.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet sly (sylvain letuffe)
Le dimanche 1 février 2015 18:04:19, Pierre Knobel a écrit :
 Mais là il ne s'agit pas de contribuer, juste d'avoir accès à des
 services cartographiques pour économiser les accès web à GoogleMaps et
 OSM, 

ça manque encore de précisions il me semble, tu as besoin de quoi par 
services cartographiques ?


 histoire de pouvoir continuer à explorer le monde et planifier
 les prochaines vacances même quand internet nous lâche au boulot.
(...)
 mais on n'a pas encore
 de bonne solution pour la problématique Je suis dans la brousse avec
 mon ordinateur portable, j'aimerais bien savoir à quoi ressemble Tokyo
 ou Reykjavik.

Planifier ses vacances, explorer le monde, voir à quoi ressemble la rue machin 
à Tokyo, trouver les points de vues d'une coline de la réunion, ce genre de 
besoin peuvent être répondue par une appli qui stocke les données en vectoriel 
et te fait le rendu à la vollée.

osmand sur android me vient en tête, beaucoup s'en servent pour du routage, 
mais vu tout ce qu'il affiche, moi je m'en sers pour chercher des idées de 
rando quand je suis dans le TGV et ça le fait bien
Il doit y en avoir d'autres, plus ordi frendly



-- 
sly (sylvain letuffe)
http://wiki.openstreetmap.org/wiki/User:Sletuffe

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-03 Par sujet Eric SIBERT
Pour la question du serveur de tuiles, j'avais commencé à regarder et ça 
commençait à me paraître raisonnable:


http://duemafoss.blogspot.fr/2014/02/installation-of-openstreetmap-server-on.html

https://www.evernote.com/pub/view/shahada130/ickywikipublicnotebook/7699d902-ca55-4709-afd4-1c614b57671e?locale=fr#st=pn=7699d902-ca55-4709-afd4-1c614b57671e

J'y pense (et puis j'oublie faute de temps...) pour me faire mon rendu 
personnalisé sur une zone limitée avec un serveur SME-server 
(http://www.contribs.org , qui utilise CentOs comme distro sous-jacente) 
éventuellement virtualisé sur une station de travail.


Après faut voir la gestion du cache sachant que les données ne sont pas 
mises à jour: durée de vie infinie et écrasement uniquement en cas de 
saturation?


Il y a quelques temps, une personne avait aussi présenté un rendu 
pré-calculé sur le Sahara. Calcul des tuiles sur une station de travail 
et transfert sur un raspberry. Ça n'allait pas très loin en zoom.


Eric

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Pierre Knobel
Donc ce n'est pas possible d'utiliser une seule base pour Overpass et le rendu ?

Et si on envisageait de produire toutes les tuiles en PNG une fois
pour toutes à tous les niveaux de zoom, est-ce que ça serait faisable
? Je m'attend à beaucoup de ressources nécessaires, mais ça pourrait
être fait à terre dans de meilleures conditions (calculs distribué sur
plusieurs machines). J'imagine que l'espace disque nécessaire serait
plus élevé, même en optimisant (pas de rendu sur les océans).


On 1/31/15, Christian Quest cqu...@openstreetmap.fr wrote:
 Une base planet pour du rendu c'est environ 500Go atuellement
 Une base overpass c'est du même ordre (et plus avec la gestion des
 historiques).
 Ce qu'il faut c'est la RAM mais surtout un SSD (de plus en plus abordable).
 Côté CPU, pas besoin de se ruiner vu le nombre d'utilisateurs et ce sont
 surtout les I/O qui sont la limitation.

 Le 31/01/2015 21:46, Pierre Knobel a écrit :

 Bonsoir.

 Je suis en train de me demander s'il existe des solutions pour
 consulter l'intégralité d'OSM sans accès internet.

 Mon problème c'est que je travaille dans un environnement où l'accès
 Internet est très lent et très cher, et où il est impossible de
 télécharger plus de quelques Mo de données par heure sans impacter la
 bande passante de mes collègues. On se partage une connexion satellite
 pour 50 personnes, et la majorité de la bande passante est allouée aux
 usages professionnels, sans rapport avec OSM.

 Je ne m'attends pas à trouver une solution toute prête pour OSM comme
 on en trouve pour Wikipedia (
 http://fr.m.wikipedia.org/wiki/Wikip%C3%A9dia:Wikip%C3%A9dia_hors-connexion),
 donc je me demande quel type de matériel il me faudrait pour héberger
 la base de données complète planet, un serveur de tuiles et
 overpass-turbo. Il n'y aurait pas besoin de grosses performances, le
 plus souvent il n'y aurait qu'un seul utilisateur à la fois, et jamais
 plus de deux ou trois (dans le cas où je parviendrais à faire marcher
 les serveurs sur l'intranet).

 Est-ce que vous pensez qu'un PC de bureau récent avec une petite
 rallonge d'espace disque (1 ou 2 To) pourrait faire l'affaire ?

 En admettant que j'arrive à faire tourner tout ça, est-ce qu'il existe
 une solution pour mettre à jour la base de données de manière
 intermittente (une fois tous les deux mois dans mon cas) sans devoir
 réimporter l'intégralité de la base de données ?

 Je précise que je pars de loin, et qu'il me faudrait une bonne doc
 pour réussir à installer tous les composants logiciels nécessaires.
 J'ai déjà installé une base de données géospatiale et un serveur Web
 pour jouer avec GeoDjango, mais j'avais bêtement suivi des tutoriaux.
 Donc ce n'est pas évident que mon projet se concrétise.



 ___
 Talk-fr mailing list
 Talk-fr@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-fr

 --
 Christian Quest - OpenStreetMap France



___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Christian Quest

Le 01/02/2015 12:23, Pierre Knobel a écrit :
 Donc ce n'est pas possible d'utiliser une seule base pour Overpass et le 
 rendu ?

Ce sont des bases avec des structures très différents (usage
différents), même si elles sont créées à partir des mêmes données.


 Et si on envisageait de produire toutes les tuiles en PNG une fois
 pour toutes à tous les niveaux de zoom, est-ce que ça serait faisable
 ? Je m'attend à beaucoup de ressources nécessaires, mais ça pourrait
 être fait à terre dans de meilleures conditions (calculs distribué sur
 plusieurs machines). J'imagine que l'espace disque nécessaire serait
 plus élevé, même en optimisant (pas de rendu sur les océans).

Ca représente un tel volume que même les serveurs osm.org ne le font pas !
Sur osm13, les tuiles sont précalculées jusqu'au zoom 12 (rendu FR et
HOT) avec une remise à jour hendo.
Au delà, elles sont calculées à la première demande, puis mises à jour
quand redemandées.
Au délà du zoom 16, elles sont supprimées si elles ne sont pas
consultées au bout de plusieurs semaines.

Ca permet de limiter à environ 450Go le stockage des tuiles FR+HOT (sur
SSD depuis quelques semaines).

Les stats sont là:
http://munin.openstreetmap.fr/free.org/osm13.openstreetmap.fr/index.html#disk
sda = /ssd2 çàd le SSD qui contient la base postgresql (osm2pgsql)
sdc+sdd = /ssd çàd le SSD qui contient les tuiles

-- 
Christian Quest - OpenStreetMap France


___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Eric SIBERT

Et si tu nous expliquait vraiment ton problème? ;-)

Non parce que si tu te retrouves sur un bateau avec une connexion 
internet limitée, globalement, je ne vois pas comment tu peux faire pour 
contribuer à OSM. Non seulement l'accès à la base OSM est difficile mais 
qu'en est-il d'autres sources de données? Bing, cadastre??? Tes propres 
données? (relevées en pleine mer?). Tu ne peux pas prévoir les 
zones/thématiques où tu vas travailler? L'upload n'est pas 
nécessairement problématique car tu n'envoies que ce que tu as modifié. 
Par contre, attendre un mois, c'est risquer les conflits d'édition.


Eric

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Pierre Knobel
On 2/1/15, Eric SIBERT courr...@eric.sibert.fr wrote:
 Non parce que si tu te retrouves sur un bateau avec une connexion
 internet limitée, globalement, je ne vois pas comment tu peux faire pour
 contribuer à OSM. Non seulement l'accès à la base OSM est difficile mais
 qu'en est-il d'autres sources de données?

 L'upload n'est pas
 nécessairement problématique car tu n'envoies que ce que tu as modifié.
 Par contre, attendre un mois, c'est risquer les conflits d'édition.


J'ai pas répondu clairement à ça, désolé. Pour l'instant la bande
passante est suffisament correcte pour permettre d'accéder aux
quelques Mo de données dans JOSM en téléchargement ainsi qu'en export.
Mais comme je le dis dans mon autre e-mail, j'anticipe une
dégradation. Ca signifiera pour moi que je ne pourrais plus contribuer
pendant mes périodes en mer. Il n'est pas question de télécharger des
données et de les emporter sur mon disque dur pour travailler dessus
offline.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Pierre Knobel
Pour ce qui est de la contribution depuis un bateau, c'est armchair
mapping (adresses, landuse à partir d'imageries aériennes, dégommage
de rouge dans la couche BANO... etc). De temps en temps on fait un
arrêt au port et on peut aller faire quelques bonnes contributions
issues du terrain ;) .

Mais là il ne s'agit pas de contribuer, juste d'avoir accès à des
services cartographiques pour économiser les accès web à GoogleMaps et
OSM, histoire de pouvoir continuer à explorer le monde et planifier
les prochaines vacances même quand internet nous lâche au boulot.
J'anticipe aussi des restrictions de plus en plus importantes dans les
conditions d'utilisation de la connexion internet, c'est un peu la
crise dans notre secteur et réduire la bande-passante permet de faire
quelques économies.

L'accès à Overpass-Turbo est un peu du luxe, c'est juste que le sujet
m'intéresse et que j'ai envie de pouvoir continuer à jouer avec pour
faire du minage dans les données.

Je pense que toute la question de l'accès aux données OSM hors ligne
reste à défricher et que ça pourrait avoir des applications plus
éducatives et d'un intérêt plus général que mon problème particulier.
On peut déjà utiliser une petite partie des données sur un GPS ou un
téléphone mobile pour faire de la navigation, mais on n'a pas encore
de bonne solution pour la problématique Je suis dans la brousse avec
mon ordinateur portable, j'aimerais bien savoir à quoi ressemble Tokyo
ou Reykjavik.

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-02-01 Par sujet Philippe Verdy
Dqns ce cas il te faut la base planet avec une synchro (qui va utiliser
aussi de la bande passante si tu bruc tout recevoir) ou bien te limiter à
mettre à jour uniquement la zone France (la mise à jour complète étant
accessible en ligne).
Je ne sqis pas si un serveur de base peut réellement fonctionner en mode
proxy esclave (pour tout réenvoyer en fait vers la base .ORG avant que ta
base locale récupère et mette dans son cache au vol les données qu'il n'a
pas). Cela te permettrait malgré tout de pouvoir aussi un rendu Mapnik
local avec tes propres tuiles sur ton serveur local.
Dans JOSM alors tu n'a plus qu'à changer l'URL du WMS pur utiliser ton
serveur de tuiles local (qu n'a pas besoin vu le nombre de clients, de
garder un cache complet des tuiles pour toute la planète car il peut les
générer à la demande à partir de sa base locale fonctionnant en miroir de
type read-through / write-back)
Le mode write-back (écriture en différée puisqu'il faut attendre la
confirmation de l'envoi vers la base ORG) pourrait t'amener à travailler
sur des objets qui viennent d'être mis à jour sur la base ORG mais que ta
synchro locale n'a pas encore reçue. (c'est pourtant le mode utilisé quand
pour les requêtes de lecture on utilise l'API FR (il y a un petit délai, il
est faible et ne dépasse pas quelques minutes étant donné les connes
connexions des serveurs .FR vers les flux de modifs venant de la base .ORG).
Ca te fait donc deux serveurs à gérer localement : un serveur d'API avec sa
base locale, un serveur de rendu des tuiles à la demande utilisant ta base
locale.



Le 1 février 2015 18:13, Pierre Knobel pierr...@gmail.com a écrit :

 On 2/1/15, Eric SIBERT courr...@eric.sibert.fr wrote:
  Non parce que si tu te retrouves sur un bateau avec une connexion
  internet limitée, globalement, je ne vois pas comment tu peux faire pour
  contribuer à OSM. Non seulement l'accès à la base OSM est difficile mais
  qu'en est-il d'autres sources de données?
 
  L'upload n'est pas
  nécessairement problématique car tu n'envoies que ce que tu as modifié.
  Par contre, attendre un mois, c'est risquer les conflits d'édition.
 

 J'ai pas répondu clairement à ça, désolé. Pour l'instant la bande
 passante est suffisament correcte pour permettre d'accéder aux
 quelques Mo de données dans JOSM en téléchargement ainsi qu'en export.
 Mais comme je le dis dans mon autre e-mail, j'anticipe une
 dégradation. Ca signifiera pour moi que je ne pourrais plus contribuer
 pendant mes périodes en mer. Il n'est pas question de télécharger des
 données et de les emporter sur mon disque dur pour travailler dessus
 offline.

 ___
 Talk-fr mailing list
 Talk-fr@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-fr

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


[OSM-talk-fr] OSM hors ligne

2015-01-31 Par sujet Pierre Knobel
Bonsoir.

Je suis en train de me demander s'il existe des solutions pour consulter
l'intégralité d'OSM sans accès internet.

Mon problème c'est que je travaille dans un environnement où l'accès
Internet est très lent et très cher, et où il est impossible de télécharger
plus de quelques Mo de données par heure sans impacter la bande passante de
mes collègues. On se partage une connexion satellite pour 50 personnes, et
la majorité de la bande passante est allouée aux usages professionnels,
sans rapport avec OSM.

Je ne m'attends pas à trouver une solution toute prête pour OSM comme on en
trouve pour Wikipedia (
http://fr.m.wikipedia.org/wiki/Wikip%C3%A9dia:Wikip%C3%A9dia_hors-connexion),
donc je me demande quel type de matériel il me faudrait pour héberger la
base de données complète planet, un serveur de tuiles et overpass-turbo. Il
n'y aurait pas besoin de grosses performances, le plus souvent il n'y
aurait qu'un seul utilisateur à la fois, et jamais plus de deux ou trois
(dans le cas où je parviendrais à faire marcher les serveurs sur
l'intranet).

Est-ce que vous pensez qu'un PC de bureau récent avec une petite rallonge
d'espace disque (1 ou 2 To) pourrait faire l'affaire ?

En admettant que j'arrive à faire tourner tout ça, est-ce qu'il existe une
solution pour mettre à jour la base de données de manière intermittente
(une fois tous les deux mois dans mon cas) sans devoir réimporter
l'intégralité de la base de données ?

Je précise que je pars de loin, et qu'il me faudrait une bonne doc pour
réussir à installer tous les composants logiciels nécessaires. J'ai déjà
installé une base de données géospatiale et un serveur Web pour jouer avec
GeoDjango, mais j'avais bêtement suivi des tutoriaux. Donc ce n'est pas
évident que mon projet se concrétise.
___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr


Re: [OSM-talk-fr] OSM hors ligne

2015-01-31 Par sujet Christian Quest
Une base planet pour du rendu c'est environ 500Go atuellement
Une base overpass c'est du même ordre (et plus avec la gestion des
historiques).
Ce qu'il faut c'est la RAM mais surtout un SSD (de plus en plus abordable).
Côté CPU, pas besoin de se ruiner vu le nombre d'utilisateurs et ce sont
surtout les I/O qui sont la limitation.

Le 31/01/2015 21:46, Pierre Knobel a écrit :

 Bonsoir.

 Je suis en train de me demander s'il existe des solutions pour
 consulter l'intégralité d'OSM sans accès internet.

 Mon problème c'est que je travaille dans un environnement où l'accès
 Internet est très lent et très cher, et où il est impossible de
 télécharger plus de quelques Mo de données par heure sans impacter la
 bande passante de mes collègues. On se partage une connexion satellite
 pour 50 personnes, et la majorité de la bande passante est allouée aux
 usages professionnels, sans rapport avec OSM.

 Je ne m'attends pas à trouver une solution toute prête pour OSM comme
 on en trouve pour Wikipedia (
 http://fr.m.wikipedia.org/wiki/Wikip%C3%A9dia:Wikip%C3%A9dia_hors-connexion),
 donc je me demande quel type de matériel il me faudrait pour héberger
 la base de données complète planet, un serveur de tuiles et
 overpass-turbo. Il n'y aurait pas besoin de grosses performances, le
 plus souvent il n'y aurait qu'un seul utilisateur à la fois, et jamais
 plus de deux ou trois (dans le cas où je parviendrais à faire marcher
 les serveurs sur l'intranet).

 Est-ce que vous pensez qu'un PC de bureau récent avec une petite
 rallonge d'espace disque (1 ou 2 To) pourrait faire l'affaire ?

 En admettant que j'arrive à faire tourner tout ça, est-ce qu'il existe
 une solution pour mettre à jour la base de données de manière
 intermittente (une fois tous les deux mois dans mon cas) sans devoir
 réimporter l'intégralité de la base de données ?

 Je précise que je pars de loin, et qu'il me faudrait une bonne doc
 pour réussir à installer tous les composants logiciels nécessaires.
 J'ai déjà installé une base de données géospatiale et un serveur Web
 pour jouer avec GeoDjango, mais j'avais bêtement suivi des tutoriaux.
 Donc ce n'est pas évident que mon projet se concrétise.



 ___
 Talk-fr mailing list
 Talk-fr@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-fr

-- 
Christian Quest - OpenStreetMap France

___
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr