Re: [osmosis-dev] Osmosis 0.47.3 released

[Jocelyn Jaubert]

Hi Michal,

Firstly, thanks for these new versions, as we needed them to fix some recent
bugs on diff parsing :)

Do you know if this new version will be used on Debian, via backports for
example, or at least on next testing version?

Maybe we already have some debian packages available on an OSM repository?

Thanks,
Jocelyn


Le 24/03/2020 à 17:28, Michal Migurski a écrit :
> Hi everyone,
> 
> I just cut a new release of Osmosis reflecting recent changes from Bas
> Couwenberg and Michael Cuthbert, along with some older contributions from
> Simon Poole in 0.47.2:
> 
> https://github.com/openstreetmap/osmosis/releases
> 
> Over the coming months, Michael and I plan to release a series of changes he
> introduced in a prior PR, piece-by-piece:
> 
> https://github.com/openstreetmap/osmosis/pull/53#issuecomment-601466696
> 
> -mike.
> 
> 
> michal migurski- contact info and pgp key:
> sf/ca            http://mike.teczno.com/contact.html
> 
> 
> ___
> osmosis-dev mailing list
> osmosis-dev@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/osmosis-dev
> 


___
osmosis-dev mailing list
osmosis-dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/osmosis-dev

Re: [OSM-dev-fr] cadastre vectoriel

[Jocelyn Jaubert]

Bonjour,

Le 02/03/2016 00:59, Laurent Combe a écrit :

si j'écris sur la liste dev c'est qu'il y a quand même un petit souci
technique
la page ne fonctionne pas si j'essaye d'accéder directement à la source
xml située sur le domaine openstreetmap.fr 
depuis mon domaine niconil.net 
le site n'implémente pas / n'autorise pas les requêtes de type CORS
(cross-origin-request)


J'ai reconfiguré le serveur pour ajouter l'header CORS sur ces pages là. 
Ça devrait dont marcher comme tu le souhaites.


Merci d'avoir reporté le souci, et bonne utilisation des données :)

--
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Mise en pause des diffs de download.openstreetmap.fr

[Jocelyn Jaubert]

Le 19/07/2015 19:06, Jocelyn Jaubert a écrit :
 Pour download, c'est plus long que prévu pour la génération des extracts.
 J'ai remis tous les extracts, sauf pour ceux en europe. J'espère que ça sera
 terminé avant mardi.

http://download.openstreetmap.fr est reparti !

Pour ceux qui utilisent les diffs pour mettre à jour des extracts, je
recommande de ré-importer le dernier extract généré, pour récupérer les
modifications perdus dans les anciens diffs.

-- 
Jocelyn


___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

[osmosis-dev] Configuring database to run tests from source code

[Jocelyn Jaubert]

Hi,

I intend to do some changes in the source code, so I firstly downloaded,
compiled and ran the tests. I'm hitting an issue as tests expect the
databases to already be configured, and initialized with some tables.

Is there a script to initialize all necessary databases ?


If not, I can begin to write a (shell) script to run all createdb/psql -f
commands necessary.


For information, I'm running the following command:
./gradlew build



Thanks,
Jocelyn

___
osmosis-dev mailing list
osmosis-dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/osmosis-dev

Re: [OSM-dev-fr] Generer des fichiers OSM

[Jocelyn Jaubert]

Le 04/03/2014 11:53, Rodolphe Quiédeville a écrit :
 Bonjour,
 
 Connaissez-vous une lib qui permette de générer des fichiers de données
 xml ou pbf en python ? Autant il en existe pas mal pour parser les
 fichiers mais je n'en ai pas trouvé pour le générer, j'ai surement mal
 cherché :)

En python, il y a les librairies qu'Étienne Chové avait fait il y a quelques
années. Celle qui t'intéresse serait celle là:

https://github.com/osm-fr/osmose-backend/blob/master/modules/OsmSax.py#L366

La classe OsmSaxWriter permet de dumper des nodes/ways/relations dans un
fichier .osm.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev] Two technology related questions

[Jocelyn Jaubert]

Hi,

Le 30/01/2014 12:09, Tom Hughes a écrit :
 Actually we use a quick-and-dirty method of identifying which tiles have
 changed so I believe that relation changes may not necessarily mark all
 effected tiles as dirty.
 
 There is a system where osm2pgsql identifies the changes as it loads the
 update which is more accurate but we don't use it, I think because it tends
 to mark so many tiles as dirty which are only marginally affected.

I'm very interested with this quick-and-dirty method to expire tiles.

Can you explain how this method works, or provide the script used by osm.org
tiles ?


Thanks,
Jocelyn


___
dev mailing list
dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev

Re: [OSM-dev-fr] Panne temporaire de la génération des diffs et des extracts d'OSM-FR

[Jocelyn Jaubert]

Bonjour,

On 01/16/2014 01:56 PM, Jocelyn Jaubert wrote:
 On Thu, Jan 09, 2014 at 11:52:54PM +0100, Jocelyn Jaubert wrote:
 Suite à une panne de la machine osm8, le site
 http://download.openstreetmap.fr n'est plus accessible.

 Ce site contient entre autre des extracts pour différents pays, dont la
 France, l'Europe et des pays concernés par HOT. Il contient aussi des diffs
 pour tous ces pays.
 
 Les diffs sont de nouveau en place sur 
 http://download.openstreetmap.fr/replication/
 
 Les extracts arriveront dans la semaine, une fois que le retard sera
 complétement récupéré.

Les extracts sont maintenant à jour sur:
http://download.openstreetmap.fr/extracts/

À noter que chaque extract est accompagné d'un fichier state.txt à utiliser
pour initialiser osmosis avec le bon diff initial. Pour le moment, les
fichiers state.txt et .osm.pbf sont légèrement désynchronisés lors de la
mise à jour (tous les jours à minuit), mais je corrigerais ça sous peu.


Les différentes analyse osmosis qui utilisent ces extracts devraient
rapidement être à jour.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Panne temporaire de la génération des diffs et des extracts d'OSM-FR

[Jocelyn Jaubert]

Bonjour,

Suite à une panne de la machine osm8, le site
http://download.openstreetmap.fr n'est plus accessible.

Ce site contient entre autre des extracts pour différents pays, dont la
France, l'Europe et des pays concernés par HOT. Il contient aussi des diffs
pour tous ces pays.

On tâche de réparer la machine dès que possible, et désolé pour les
désagréments :)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev] Adding osmosis_replication_* fields to a pbf file

[Jocelyn Jaubert]

Hi,

According to the following webpage, it is possible to add optional
informations to the pbf file about replication configuration.

http://wiki.openstreetmap.org/wiki/Pbf#Encoding_OSM_entities_into_fileblocks

I'm using osmosis to generate my PBF files with replication, and I expect
osmosis to write these fields. Is it correct ?


Is there an existing tool to read or write these fields ?


I've tried osmconvert --out-statistics, which shows a timestamp field, but
no osmosis_replication_* fields.


Thanks,
Jocelyn

___
dev mailing list
dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev

Re: [OSM-dev-fr] Outil d'analyse en ligne de super-relation ?

[Jocelyn Jaubert]

Le 02/11/2013 17:16, sly (sylvain letuffe) a écrit :
 Je sais qu'il existe :
 https://github.com/jocelynj/osm/blob/master/tools/mega-relation-analyser.py
 mais je crois avoir lu quelque part, mais ne me souvient plus où, que cet 
 outil (ou un autre ?) tournait en ligne quelque part, ce qui m'éviterais de 
 sortir des pythonneries et l'utiliser en clic-clic direct.

Je pense que tu parles de ce site, qui est en rade actuellement:

http://osm8.openstreetmap.fr/~osmbin/analyse-relation-open.py?11980

Tant que osm8 sera en panne, ça ne marchera malheureusement pas. :(


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Export.openstreetmap.fr HS ?

[Jocelyn Jaubert]

Le 25/08/2013 12:03, Mickaël Guéret a écrit :
 Salut,
 
 je voulais récupérer des limites communales au format shapefile, mais le
 site dédié est hors service : la page
 http://export.openstreetmap.fr/contours-administratifs/export-communes/
 est inaccessible.
 
 J'ai cru comprendre qu'il y avait des soucis de serveur en ce moment,
 est-ce que c'est en cours de résolution ? Est-ce qu'il existe une
 alternative en attendant (overpass ?) ?

Oui, la machine qui héberge export est en panne depuis plusieurs semaines.

Pour ton problème, la bonne solution me parait
http://oapi-fr.openstreetmap.fr/, un Overpass API qui ne contient que la
france métropolitaine. Il doit y avoir une requête pour récupérer tous les
admin_level=6. Je ne sais pas si la requête est trop lourde pour ce
serveur, mais il y a des chances que ça passe.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [osmosis-dev] Error on a node modified and deleted in the same changeset

[Jocelyn Jaubert]

Hi,

Le 09/07/2013 21:49, Frederik Ramm a écrit :
 I could run Jocelyn's patch on the Geofabrik server but technically it
 would create wrong osc files - if you were to compare a Geofabrik osc
 with one loaded from osm.org you'd find that the Geofabrik diff reports
 the wrong user name, wrong timestamp, and *possibly* also wrong version
 on a deleted object.

I understand that my patch is far from ideal, but it make it possible to
run osmosis to apply all diff at the same time. There must be some
better solution, but I didn't find any

I'm currently using a workaround, which is to set maxInterval in
configuration.txt to 0.5 day to make sure that osmosis is not trying to
merge two diffs. Then I had to add a loop to run osmosis until there are
no recent diffs.

Maybe the best way to fix this is to add a note on a website explaining
that the diffs generated by Geofabrik are not meant for direct
consumption by osmosis with a big value on maxInterval ?

-- 
Jocelyn

___
osmosis-dev mailing list
osmosis-dev@openstreetmap.org
http://lists.openstreetmap.org/listinfo/osmosis-dev

Re: [OSM-dev] Website to generate polygons from OSM relations

[Jocelyn Jaubert]

On Wed, Jun 12, 2013 at 08:41:55AM +0200, Frank Broniewski wrote:
 nice work! Your service is really running quite fast. How do you
 determine what a polygon relation is? Do you have a list of keys and
 values, like osm2pgsql does? Or do you check if a geometry is closed
 and produce polygons from them?

I check if a geometry is closed, and generate polygon from it.

For example, if you try on a bus line, you will get the errors generated from
postgresql, with information on where the disconnection might be:

http://polygons.openstreetmap.fr/?id=36052

NOTICE: missing connexion at point -0.1406638f 51.5131253f
NOTICE: missing connexion at point -0.135611f 51.5099509f


This is done by plgsql function create_polygon() here:
https://github.com/jocelynj/osm-polygons-generation/blob/master/init.sql#L24

Note that I think that it doesn't correctly handle inner members of relations.


-- 
Jocelyn

___
dev mailing list
dev@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev

[OSM-dev] Website to generate polygons from OSM relations

[Jocelyn Jaubert]

Hi,

I have put into production a website to generate various outputs from
OSM relations, by taking into account inclusion of other relations. It
is available at:

http://polygons.openstreetmap.fr/


What it can do:

 - generate whole geometry from an OSM relation ID, with handling of
sub-relations - this works especially well with the recursive French
model for administrative relations, and can be used as a sanity check.

 - generate simplified geometries, even bigger or smaller - this is
useful to cut a .osm file with a good .poly file.

 - export WKT, .poly, GeoJSON, or even a picture.

 - import a user .poly file, and then do an Union from an OSM relation.
I used this to fix some polygons used for Geofabrik extracts.


A few examples:

OSM relation for Corsica:
  http://polygons.openstreetmap.fr/?id=76910

http://polygons.openstreetmap.fr/get_image.py?id=76910params=0.02-0.005000-0.005000

Same thing for France (image is a little longer to generate)
  http://polygons.openstreetmap.fr/?id=1362232

Union of Geofabrik and OSM relation for PACA, a french region:

http://polygons.openstreetmap.fr/get_image.py?id=8654params=0.02-0.005000-0.005000name=provence-alpes-cote-d-azur_5k3mbx

(you can see that some part of the region were missing from the yellow
polygon)


The source code is available at:
https://github.com/jocelynj/osm-polygons-generation

This uses an osmosis database, containing the whole word, and some
Postgis functions. If you have any suggestion, don't hesitate to propose
them !


Thanks,
Jocelyn

___
dev mailing list
dev@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev

Re: [osmosis-dev] Error on a node modified and deleted in the same changeset

[Jocelyn Jaubert]

Le 04/05/2013 08:45, Michael Spreng a écrit :
 If it is the recommended way, I can take a look at osmosis code source,
 and see if this version increase is something easy to do.
 In my opinion yes, this is the only sane way to handle this. Just take
 care that you won't break creation of diffs from the api-db.

I'm including a patch for this, that only impacts the ChangeDeriver class.

I have tested it on a country, and the generated diff was correct - the
only difference with the current osmosis version is the version on
deleted elements.

I haven't tested on the api-db.


If you prefer that I send the patch to trac, or github, please ask me.


-- 
Jocelyn
From cf8404bc826bf742616d7f7aab5f8dc926f4b70c Mon Sep 17 00:00:00 2001
From: Jocelyn Jaubert jocelyn.jaub...@gmail.com
Date: Tue, 7 May 2013 23:42:37 +0200
Subject: [PATCH] Increment version in ChangeDeriver when an object is deleted

When an object is deleted, we increase the version. This is not always the same
version than on the API (if the object was modified several time between the
two compared file), but is slighty better than not incrementing the version.

This fixes a bug when merging several diffs generated by osmosis, as this makes
sure that we will never have the same object with the same version in different
diffs.
---
 .../core/change/v0_6/impl/VersionSetter.java   |   38 
 .../osmosis/set/v0_6/ChangeDeriver.java|9 +++--
 2 files changed, 45 insertions(+), 2 deletions(-)
 create mode 100644 osmosis-core/src/main/java/org/openstreetmap/osmosis/core/change/v0_6/impl/VersionSetter.java

diff --git a/osmosis-core/src/main/java/org/openstreetmap/osmosis/core/change/v0_6/impl/VersionSetter.java b/osmosis-core/src/main/java/org/openstreetmap/osmosis/core/change/v0_6/impl/VersionSetter.java
new file mode 100644
index 000..594be8e
--- /dev/null
+++ b/osmosis-core/src/main/java/org/openstreetmap/osmosis/core/change/v0_6/impl/VersionSetter.java
@@ -0,0 +1,38 @@
+// This software is released into the Public Domain.  See copying.txt for details.
+package org.openstreetmap.osmosis.core.change.v0_6.impl;
+
+import org.openstreetmap.osmosis.core.container.v0_6.EntityContainer;
+
+
+/**
+ * Updates the current version on to entities.
+ */
+public class VersionSetter {
+	
+	/**
+	 * Creates a new instance.
+	 */
+	public VersionSetter() {
+	}
+	
+	
+	/**
+	 * Increment the version on the supplied entity.
+	 * 
+	 * @param entityContainer
+	 *The container holding the entity to be modified.
+	 * @return A container holding an updated entity.
+	 */
+	public EntityContainer incrementVersion(EntityContainer entityContainer) {
+		EntityContainer resultContainer;
+		int version;
+		
+		version = entityContainer.getEntity().getVersion();
+		version = version + 1;
+
+		resultContainer = entityContainer.getWriteableInstance();
+		resultContainer.getEntity().setVersion(version);
+		
+		return resultContainer;
+	}
+}
diff --git a/osmosis-set/src/main/java/org/openstreetmap/osmosis/set/v0_6/ChangeDeriver.java b/osmosis-set/src/main/java/org/openstreetmap/osmosis/set/v0_6/ChangeDeriver.java
index 007f483..8953814 100644
--- a/osmosis-set/src/main/java/org/openstreetmap/osmosis/set/v0_6/ChangeDeriver.java
+++ b/osmosis-set/src/main/java/org/openstreetmap/osmosis/set/v0_6/ChangeDeriver.java
@@ -5,6 +5,7 @@ import java.util.Collections;
 
 import org.openstreetmap.osmosis.core.OsmosisRuntimeException;
 import org.openstreetmap.osmosis.core.change.v0_6.impl.TimestampSetter;
+import org.openstreetmap.osmosis.core.change.v0_6.impl.VersionSetter;
 import org.openstreetmap.osmosis.core.container.v0_6.ChangeContainer;
 import org.openstreetmap.osmosis.core.container.v0_6.EntityContainer;
 import org.openstreetmap.osmosis.core.sort.v0_6.EntityByTypeThenIdComparator;
@@ -88,12 +89,16 @@ public class ChangeDeriver implements MultiSinkRunnableChangeSource {
 			EntityContainer fromEntityContainer = null;
 			EntityContainer toEntityContainer = null;
 			TimestampSetter timestampSetter;
+			VersionSetter versionSetter;
 			
 			// Create a comparator for comparing two entities by type and identifier.
 			comparator = new EntityContainerComparator(new EntityByTypeThenIdComparator());
 			
 			// Create an object for setting the current timestamp on entities being deleted.
 			timestampSetter = new TimestampSetter();
+
+			// Create an object for setting the version on entities being deleted.
+			versionSetter = new VersionSetter();
 			
 			// We can't get meaningful data from the initialize data on the
 			// input streams, so pass empty meta data to the sink and discard
@@ -125,7 +130,7 @@ public class ChangeDeriver implements MultiSinkRunnableChangeSource {
 	// deleted so set the delete time to the current time.
 	changeSink.process(
 			new ChangeContainer(
-	timestampSetter.updateTimestamp(fromEntityContainer),
+	versionSetter.incrementVersion(timestampSetter.updateTimestamp(fromEntityContainer

Re: [osmosis-dev] Error on a node modified and deleted in the same changeset

[Jocelyn Jaubert]

Hi,

Le 02/05/2013 22:30, Michael Spreng a écrit :
 
 This problem comes from the diff, when an object is deleted, the Version
 is not incremented. But for logical reasons, it should. This
 incrementation is missing in osmosis as well as osmconvert, so at the
 moment, custom diffs can't be merged while keeping them sorted.

Ok, that makes sense.

Do you mean that on diff generated on planet.osm.org, the version on
deleted objects is increased by one ?

If it is the recommended way, I can take a look at osmosis code source,
and see if this version increase is something easy to do.


Otherwise, does it mean that we have to apply diff from Geofabrik one
per one, and don't use osmosis --read-replication-interval with these
diffs ?


Thanks,
Jocelyn

___
osmosis-dev mailing list
osmosis-dev@openstreetmap.org
http://lists.openstreetmap.org/listinfo/osmosis-dev

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 30/01/2013 13:06, Mickaël Guéret a écrit :
 Bon, je commence à comprendre à quoi servent ces deux tables. J'avais
 essayé de les remplir manuellement avant ton message et les lignes
 correspondantes apparaissaient dans le menu, les marqueurs sur la carte
 correspondants aussi.

Effectivement, j'avais oublié quelque chose...

On n'a pas vraiment d'outil pour automatiser la création à partir de 0
de ces deux tables en fait.

Pour dynpoi_categ, je joins un fichier pour le générer.

Pour dynpoi_item, il y a bien tools/add-markers.py qui rajoute des items
à partir des erreurs nouvellement arrivés dans la table marker, mais il
a besoin d'avoir des items déjà présents afin d'en récupérer la couleur.
Je ne sais pas trop que fournir pour t'aider à démarrer cette table ...

Je vais quand même t'envoyer les premières erreurs de chaque catégorie
pour démarrer facilement.


 Pendant que j'y suis, sous Postgis 2, la table geometry_columns n'existe
 plus, c'est maintenant une vue. ça m'a fait une erreur, du coup j'ai
 modifié le fichier osmose_run.py, lignes 104-105 : SELECT relname FROM
 pg_class WHERE relname = %s

Est-ce que tu pourrais fournir le patch ?


-- 
Jocelyn

INSERT INTO dynpoi_categ VALUES (10, 'de=Struktur, en=Structure, fr=Structurel, it=strutturale, nl=Structurele, sw=kimuundo');
INSERT INTO dynpoi_categ VALUES (20, 'de=fehlende Tags, en=Missing tags, fr=Tags manquants, it=Tags mancanti, nl=Tags vermist, sw=Tags kukosa');
INSERT INTO dynpoi_categ VALUES (30, 'de=ungeeignete Tags, en=Bad tag, fr=Mauvais tag, it=tag Bad, nl=Bad tag');
INSERT INTO dynpoi_categ VALUES (40, 'de=zu entfernende Tags, en=Tags to remove, fr=Tags à retirer, it=Tags rimozione, nl=Tags verwijderen, sw=Tags kuondolewa');
INSERT INTO dynpoi_categ VALUES (50, 'de=Namen, en=Tags name, fr=Tags name, it=Tags nome, nl=Tags naam, sw=Tags jina');
INSERT INTO dynpoi_categ VALUES (60, 'de=Administration, en=Administrative, fr=Administratif, it=amministrativo, nl=Administratieve, sw=Utawala');
INSERT INTO dynpoi_categ VALUES (70, 'de=zur Karte hinzuzufügen, en=To map, fr=A mapper, it=Aggiungi alla mappa, nl=Toevoegen aan Kaart, sw=ramani');
INSERT INTO dynpoi_categ VALUES (80, 'de=Integration, en=Integration, fr=Intégration, it=Integrazione, nl=Integratie');
INSERT INTO dynpoi_item VALUES (0, 10, '#CC', 'O', 'de=überlappende Gebäude, en=overlapping building, fr=bâtiments se recouvrant, it=edifici, che coprono, nl=overlappende gebouw, sw=majengo kufunika', '{1,2,3}', '{14,4332,12318}');
INSERT INTO dynpoi_item VALUES (1010, 10, '#FFCC00', 'M', 'de=mehrfache Knoten, en=duplicated node, fr=nœud répété, it=nodo ripetuto, nl=gedupliceerd knooppunt, sw=unaorudiwa nodi', '{2}', '{243}');
INSERT INTO dynpoi_item VALUES (2010, 20, '#33', 'O', 'de=junction=roundabout, en=junction=roundabout, fr=junction=roundabout, it== incrocio rotonda, nl=knooppunt = rotonde, sw=makutano = mzunguko', '{1}', '{280}');
INSERT INTO dynpoi_item VALUES (3010, 30, '#339966', 'O', 'de=Kreisverkehr, en=highway roundabout, fr=highway roundabout, it=highway di rotonda, nl=snelweg rotonde, sw=highway roundabout', '{1,2}', '{683}');
INSERT INTO dynpoi_item VALUES (4010, 40, '#33', 'O', 'de=stillgelegt, en=disused, fr=abandonné, it=abbandonato, nl=onbruik geraakte, sw=kutelekezwa', '{2}', '{45421}');
INSERT INTO dynpoi_item VALUES (5010, 50, '#FF', 'O', 'de=Rechtschreibung, en=orthograph, fr=orthographe, it=ortografia, nl=spelling, sw=spelling', '{1,2,3}', '{2494,22680,313}');
INSERT INTO dynpoi_item VALUES (6010, 60, '#3399CC', 'L', 'de=offenes Polygon, en=open polygon, fr=polygone ouvert, it=poligono aperto, nl=open veelhoek, sw=wazi poligoni', '{1,2,3}', '{1680,3830,18345}');
INSERT INTO dynpoi_item VALUES (7010, 70, '#B419CB', '=', 'de=Gebäude bei Vermessungspunkt, en=geodesic building, fr=bâtiment géodésique, it=costruzione geodetica, nl=geodetische gebouw, sw=jengo geodesic', '{3}', '{26672}');
INSERT INTO dynpoi_item VALUES (8010, 80, '#42FF3B', 'O', 'de=Denkmal, en=monument, fr=monument, it=Monumenti, nl=monumenten, sw=monument', '{3}', '{36807}');

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] OSMOSE - Problème de rafraîchissement des données ?

[Jocelyn Jaubert]

Le 17/01/2013 00:28, Black Myst a écrit :
 Hello,
 
 D'après Osmose, il y a erreur sur le tag wikipedia détecté le 2013-01-16 :
 http://osmose.openstreetmap.fr/map/?zoom=13lat=49.24074lon=4.05204layers=BFFTitem=3031level=1,2,3
 http://osmose.openstreetmap.fr/map/?zoom=13lat=49.24074lon=4.05204layers=BFFTitem=3031level=1,2,3
 
 Mais en base, cette erreur a été corrigé le 29 juillet 2012:
 http://www.openstreetmap.org/browse/node/1020954966

C'est quand même vraiment bizarre.

J'ai téléchargé le dernier extract Geofabrik, et le node est bien
correct dedans. On ne devrait donc pas avoir généré d'erreur.
Malheureusement, ce n'est pas celui qui a été utilisé par l'analyse,
parce qu'elle a tourné hier. Je ne peux donc pas trancher tout de suite
entre une erreur dans l'extract ou dans l'analyse.

Est-ce qu'il est possible que le node en question ait été modifié par un
redaction-bot, et que ça n'apparaisse pas dans l'historique ?


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Fwd: [OSM-talk-fr] Osmose et les tags wikipedia

[Jocelyn Jaubert]

Le 14/01/2013 21:18, Black Myst a écrit :
 Hello,
 
 Je me permet une petite relance, il y a beaucoup de faux-positif près de
 chez moi que j'aimerais voir disparaître.

Désolé pour le retard.

J'ai appliqué ton commit sur osmose, et les résultats devraient se
mettre à jour dans les jours qui suivent.

Merci pour le patch !

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Tr : [OSM-talk] New OpenStreetMap tile server

[Jocelyn Jaubert]

On Wed, Dec 19, 2012 at 06:54:55PM +0100, sly (sylvain letuffe) wrote:
  Yevaud est le générateur de tuiles. Il est effectivement tout seul pour
  effectuer cette tache. Par contre il ne fait pas partie du réseau
  GeoDNS, c'est Orm qui distribue la majorité des tuiles à la planète.
 
 Je m'en serais douté, yevaud étant saturé ou presque d'accès disque, il leur 
 fallait trouver toutes les solutions bouche trou à disposition et celle là 
 semblait la plus simple et la plus rapide.

Je me demandais: est-ce que avoir un serveur de rendu dédié à une région
spéciale (genre la France) serait une solution envisageable ?

En gros, l'idée serait d'avoir un serveur de rendu par région, qui ne
contiendrait qu'un petit terrain, et sur les zoom élevés. Ça devrait permettre
de diminuer grandement la taille de la machine nécessaire, en la mettant là où
c'est le plus nécessaire. Avec les diffs locaux, ça pourrait être possible.

Ça renverse en fait le GeoDNS, en ne se basant pas sur l'IP du navigateur, mais
sur les tuiles demandées. Par contre, je ne sais pas du tout quelle serait la
solution technique à utiliser pour implémenter cette idée.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Tr : [OSM-talk] New OpenStreetMap tile server

[Jocelyn Jaubert]

On Wed, Dec 19, 2012 at 07:56:56PM +0100, sly (sylvain letuffe) wrote:
 De prim abord, je pense que la puissance nécessaire à faire un rendu sur la 
 terre, bien que pas vraiment possible avec mon smartphone, n'est pas non plus 
 impossible. Je prouverais (dès que cquest c'est occupé de ma VM au lieu de 
 jouer avec des kernels :-p ) , que c'est possible avec les serveurs que la 
 fondation free a eu le bon goût de nous fournir.

Yep, je suis d'accord que c'est la bonne solution à investiguer pour le moment.
Avec un peu de chance, les machines de Free seront assez puissantes pour faire
du rendu rapide en temps réel.

 Pour info, je continue à faire un rendu europe à jour real time avec des 
 vieux 
 style mal optimisés sur un 4-coeur + 8GO de RAM sans SSD, donc oui, j'y crois 
 et ce, en grande partie grâce à ce que tu as développé pour les europe diffs)

Du coup, il y a des chances qu'un rendu par pays soit très facile à mettre en
place sur une machine de base. Ça pourrait être le genre de truc à tester sur
les blades de cquest, avec genre un pays par blade :)

 En quoi j'ai peur de la réalisation ? 
 le protocole utilisé est TMS, on l'appel comme ça :
 http://duchmol/zoom/x/y.png
 
 Et, hélas pas, ainsi : http://zone-[bbox max].duchmol/zoom/x/y.png
 Ou il aurait été bien plus facile de préparer un cluster géographique réparti 
 ou chaque serveur annonce quelle bbox il peut couvrir et le client openlayers 
 supportant ce faux TMS se charge d'interroger le bon serveur de la bonne zone

On pourrait s'amuser à faire un http://x.y.z.duchmol/, mais là, c'est le DNS
qui va prendre cher...

 En clair avec le vrai TMS, on tombe sur un seul serveur, et lui ne sait pas 
 encore s'il peut ou non servir la requête, l'idée que j'ai est donc un proxy 
 (non cache) intelligent que je préfère nommer le dispatcher

Il reste le souci soulevé par Philippe V., que ca ne permet pas de réduire la
bande passante, qui est le vrai problème actuellement. La solution d'un proxy
n'est pas vraiment envisageable, à moins qu'il ne fasse des 301 HTTP Redirect
sur les bons serveurs. (je ne sais pas si c'est possible)


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 10/12/2012 14:45, Mickaël Guéret a écrit :
 je n'arrive toujours pas à faire fonctionner la partie mise à jour du
 frontend... Pour chaque analyse, j'ai une erreur du style :UPDATE ERROR
 france_poitou_charentes/osmosis_riverbank : AUTH FAIL
 Si je fouille dans le code, si j'ai bien compris c'est la fonction
 send_update() du fichier control.py (osmose-frontend) qui me renvoie
 ça... comment fonctionne cette partie du code ? La table dynpoi_source
 est vide pour l'instant. Faut-il ajouter des lignes correspondant aux
 analyses que je souhaite effectuer ?

Effectivement, j'ai complètement oublié d'expliquer ceci.

Côté frontend, les mots de passe sont stockés dans la table
dynpoi_source du frontend:
  - comment, c'est le couple analyse-pays
  - update, c'est le mot de passe

Par exemple, on a une entrée comment=osmosis_riverbank-france_lorraine

Côté backend, les mots de passes sont dans le fichier
osmose_config_password.py, mais tu peux les mettre dans osmose_config.py
si tu préfères.



Pour l'instance osmose d'OSM-FR, j'ai un script dans le frontend qui
duplique les mots de passe utilisés par le backend. Il doit être
possible de faire un script qui récupérerait les mots de passe du
backend, mais je n'ai pas pris le temps de le faire.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 06/12/2012 07:23, didier2020 a écrit :
 amélioration sur les graphes:
 
 le nom de la source n'est plus indiqué dans le titre du graphe
 
 http://beta.osmose.openstreetmap.fr/errors/graph.png?source=88
 http://osmose.openstreetmap.fr/utils/graph.py?source=88

Il y avait un problème dans le code, qui prenait sources= au lieu de
source= comme argument. C'est corrigé.

 les graphes n'indiquent pas le meme titre (si le parametre country
 pouvait etre repris dans le titre cela serait un plus)
 
 http://osmose.openstreetmap.fr/utils/graph.py?country=france_alsaceitem=0
 http://beta.osmose.openstreetmap.fr/errors/graph.png?country=france_aquitaineitem=0

Bonne idée, et c'est maintenant implémenté.

Il y aura sûrement quelque chose à revoir sur les titres des graphes,
mais la version actuelle a l'air suffisante.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Nouvelle interface web sur beta.osmose.openstreetmap.fr

[Jocelyn Jaubert]

Le 01/12/2012 18:13, Jocelyn Jaubert a écrit :
 Bonjour,
 
 Le site web d'Osmose a changé de framework, en passant à bottle
 [http://bottlepy.org], un framework simple en Python. Ça a impliqué de
 gros changements dans le code, réalisé pour la grande majorité par
 Frédéric. Du coup, je voudrais qu'un maximum de gens teste l'url
 suivante, afin en particulier de comparer avec les perfs du site
 officiel (les deux sites sont hébergés sur la même machine, et utilisent
 la même base de donnée):
 
 http://beta.osmose.openstreetmap.fr/

Je pense que la plupart des soucis soulevés ont été corrigés. Du coup,
on va sûrement passer osmose.openstreetmap.fr sur cette nouvelle
interface dans la semaine.


Merci à tous pour vos commentaires.

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

On Thu, Nov 22, 2012 at 12:32:48PM +0100, Mickaël Guéret wrote:
 Ok, en effet, la mécanique du frontend est un peu plus ardue. J'essaye
 d'installer la version 'dev', mais c'est quoi les versions bottle et
 nibou ?

Si tu parles de branche dans le repository, ça ne sont que des branches
temporaires, que je devrais supprimer.

 Dans les log d'apache, j'ai cette erreur :No translation file found for
 domain: 'osmose-frontend' que je ne comprends pas... je pense que je suis
 coincé, là ;-) Mauvaise config de Apache (ça m'étonnerait pas...la config
 d'apache ne fait pas partie des trucs que je fais tout les jours) ? Un
 paramètre à changer dans un script python ?

Le coup du No translation file found for domain, c'est que tu n'as pas
compilé les fichiers nécessaires pour la traduction. Ces commandes devraient
suffire:

  cd po/
  make

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] osmose à la maison

[Jocelyn Jaubert]

Le 22/11/2012 15:46, Mickaël Guéret a écrit :
 Ok, vu pour la traduction, merci ;-). J'ai aussi revu la config de
 apache, je progresse, j'ai maintenant des erreurs de base de données :
 j'ai exécuté la première requête sql dans /tools/database (01_init.sql)
 mais ça ne suffit pas... Seules trois tables sont créées : marker,
 marker_elem et marker_fix 
 Si je fouille un peu dans le code, il manque au moins 5 tables
 (dynpoi_*). 
 Les autres requètes semblent plutôt faire des mises à jour et ne
 fonctionnent pas... j'ai raté quelque chose ?

Effectivement, il manque un schéma complet. J'ai mis un schéma à jour ici:

https://gitorious.org/osmose/frontend/blobs/master/tools/database/schema.sql

(ce n'est pas dispo sur la branche dev encore, même si le schéma est le
même sur les deux branches)

-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Fwd: [contact] [Remarque, suggestion à propos de ce site] Source code of http://osm102.openstreetmap.fr/~jocelyn/polygons/

[Jocelyn Jaubert]

Le 09/11/2012 09:44, Christian Quest a écrit :
 Jocelyn, ton code est publié quelque part ?

Yep, je viens de le publier sur github:
https://github.com/jocelynj/osm-polygons-generation

Le code n'est pas vraiment utilisable en tant que tel: il faut une base
osmosis derrière, et rajouter une table à la base de donnée via le init.sql.

Je vais répondre directement à celui qui t'a contacté.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Génération de polygones engloblant, approximant ou contenu dans une relation

[Jocelyn Jaubert]

Bonjour,

C'est pour signaler que j'ai rajouté des fonctionnalités sur mon site de
génération de polygones variés:
http://osm102.openstreetmap.fr/~jocelyn/polygons/index.py

On peut maintenant changer la valeur pour X, et obtenir:
  - avec X  0, un polygone engloblant.
  - avec X = 0, une approximation de la limite de la relation, plus ou moins
détaillée en fonction des valeurs pour Y et Z.
  - avec X  0, un polygone contenu par la relation.

L'appli gère toujours les relations de relations, et devrait afficher un poil
plus d'informations dans les cas où ça plante (souvent parce qu'il y a une
erreur dans les données OSM).


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] API sur http://analyser.openstreetmap.fr/ ?

[Jocelyn Jaubert]

Le 6 octobre 2012, didier2020 a écrit :
 Le samedi 06 octobre 2012 à 13:15 +0200, didier2020 a écrit :
  Le samedi 06 octobre 2012 à 13:06 +0200, Christian Quest a écrit :
   Y-a-til une API pour interroger http://analyser.openstreetmap.fr/
   sur la validité d'une relation ?
  http://osm3.crans.org/osmbin/analyse-relation?283030
 
 ca marche plus ...

Effectivement, parce qu'il n'y a plus de base adéquate sur osm3.

Du coup, j'ai déplacé le script sur osm8:

http://osm8.openstreetmap.fr//~osmbin/analyse-relation-open.py?283030


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Test de dev.osmose.openstreetmap.fr

[Jocelyn Jaubert]

On Sun, Oct 07, 2012 at 01:01:19PM +0200, Ista Pouss wrote:
 - Les coordonnées de la souris en bas à droite ne sont correctes qu'à
 partir du moment où je bouge la souris. Sinon, elles sont à 0.

Hum, c'est vrai, mais ça m'a l'air cosmétique. Je regarderais si ça peut se
corriger facilement.

 - Si je clique sur rawedit dans un petit phylactère, ça me met dans une
 situation inextricable si je ne veux pas me connecter. Je vois apparaître
 une grosse fenêtre et je ne peux plus m'en sortir.

Effectivement, il y avait un souci dans le code de la page. Maintenant, un
bouton s'affiche en haut à droite pour fermer la fenêtre.

 - L'espèce de panneau de liste de catégories d'erreur est un peu déroutant
 quand il est replié : déjà il n'a pas de titre, et on n'est pas censé
 savoir ce que c'est (quand il est déplié c'est plus facile de deviner), et
 l'action sur les liens tous rien inversé ne provoque rien de visible
 (puisque le panneau est replié). De plus, même quand il est déplié, si je
 vois bien les cases se cocher ou se décocher en fonction, j'ai du mal à
 comprendre ce que ça déclenche au niveau de la carte. De plus, ce panneau
 replié ne suit pas le langage que j'ai choisi : chez moi il reste en
 anglais.

Bonne remarque. Du coup, j'ai mis la version déplié par défaut.

Concernant les liens tous,rien,inversé, c'est vrai qu'ils ne sont pas
vraiment utiles tels quels (et rien ne fait pas ce qu'on voudrait). Peut-être
qu'on ne devrait garder que le tous.

La langue devrait être correcte maintenant - enfin, en anglais et français
uniquement (il manque les traductions pour les autres langues)

 - Dans les phylactères, la notion de faux positif est très déroutante
 pour un utilisateur lambda concernant une erreur : c'est quoi une erreur
 positive ? une erreur en faux positif ?

Il y a un lien Aide en haut à gauche que explique tout ça. Il y a même un
paragraphe sur la distinction entre faux-positif et corrigé. :)

 - un clic sur Permalink retourne exactement la même chose. Je comprends
 bien le but de la manoeuvre de la cause de la chose, mais peut être
 faudrait-il donner quelques explications ?... (et le mettre en français si
 j'ai choisi le français comme langue ? )

Le Permalink a la même utilisation que sur les autres sites d'OSM: il s'agit
juste de pouvoir fournir à d'autres personnes un lien sur ce que tu es en train
de regarder. Il ne me semble n'avoir jamais vu d'explication sur ce permalink
sur www.openstreetmap.org, et je ne pense pas qu'il y ait besoin de plus
d'explications sur osmose.


Merci pour les remarques,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [osmosis-dev] Running osmosis on a specific Postgresql schema

[Jocelyn Jaubert]

Hi,

Le 18 septembre 2012, Brett Henderson a écrit :
  So, it is possible to specify a schema when running
  osmosis --write-pgsql-change ?
 
 It's not supported in the current implementation.
 
 Is it possible to explicitly specify the schema name every time you
 specify a table?  If so, that would be possible but would require
 some significant code changes to propagate the schema name through to
 everywhere that builds query strings.

Yes, that's a good idea. You can specify the schema by pre-pending it
to table. For example, you can use:

SELECT id from schema.ways LIMIT 10;


 I'm not keen to do this myself, but I'm more than happy to accept
 patches.

In fact, it could be something similar to the thread on DB-prefix. I
don't have time (and java expertise) to look at this now, but I might
take a look later.


Thanks,
Jocelyn

___
osmosis-dev mailing list
osmosis-dev@openstreetmap.org
http://lists.openstreetmap.org/listinfo/osmosis-dev

Re: [OSM-dev-fr] Récupération automatique d'un state.txt à partir d'un .osm déjà téléchargé

[Jocelyn Jaubert]

Le 9 septembre 2012, didier2020 a écrit :
 Le dimanche 09 septembre 2012 à 03:33 +0200, Krysst a écrit :
  Salut,
  
  Si cela peut aider, le seul moyen propre -mais non automatisé- 
 script joint 

Merci à tous les deux !

J'aurais préféré une fonction python, mais je vois que didier en a
déjà fait une dans son repository osmose:

https://gitorious.org/~didier2020/osmose/didier2020s-backend/commit/09e2b6435f07be1650f60c986a398cf6fd4ca0b9


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Récupération automatique d'un state.txt à partir d'un .osm déjà téléchargé

[Jocelyn Jaubert]

Bonjour,

Je suis en train de mettre en place le support des diffs dans osmose,
et je butte sur un souci pour commencer les diffs de façon automatisé.
Le flot que je souhaiterai est le suivant:

  - la première fois:
 - télécharger le .osm de la région
 - l'importer dans une base osmosis
 - lancer les analyses pour initialiser le frontend avec les
   erreurs déjà présentes.
 - mettre en place le fichier configuration.txt
 - initialiser le state.txt correctement

  - les fois suivantes:
 - télécharger le .osc des changements de la région, avec osmosis,
   ce qui mettre le state.txt à jour
 - l'importer dans la base osmosis
 - faire tourner les analyses sur les diffs

  - régulièrement (genre une fois tous les 15 jours), refaire comme la
première fois.


Les analyses ont déjà été modifiés pour fonctionner sur les diffs, donc
il ne me reste plus qu'à automatiser la chose. Je ne peux pas m'occuper
du state.txt à la main, parce qu'il y a bien trop de régions. :)


Est-ce que quelqu'un saurait comment trouver le bon state.txt ?  


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Serveur download.openstreetmap.fr en carafe

[Jocelyn Jaubert]

2012/6/19 kimaidou kimai...@gmail.com:
 Bonjour,

 Je viens de me rendre compte que le serveur ne répondait plus. Par exemple
 cette adresse :
 http://download.openstreetmap.fr/redaction-period/minute-replicate-france

Effectivement, je n'arrive plus à accéder à la machine osm8 qui
héberge ces données. Ce n'est pas a priori un problème réseau parce
que la machine osm7.openstreetmap.fr reste accessible (elles sont
toutes les deux dans le même datacenter).

Je vais contacter les contacts que j'ai dans ce datacenter.

Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Marc Sibert a écrit :
 Bonjour,
 
 Est-ce que quelqu'un peut jeter un coup d’œil.

(je forwarde sur tech@).


Je viens de redémarrer osm4 via l'interface ILO, mais ça n'a pas l'air
de repartir tout de suite... J'ai ce message dans les logs:

POST Error: 1779-Drive Array Controller Detects Replacement Drives


Il me semble que ça veut dire que ça ne démarrera pas tant que
quelqu'un ne forcera pas la machine à démarrer en appuyant sur le
bouton approprié.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Jocelyn Jaubert a écrit :
 Le 7 mai 2012, Marc Sibert a écrit :
  Bonjour,
  
  Est-ce que quelqu'un peut jeter un coup d’œil.
 
 (je forwarde sur tech@).

(ce qui est idiot parce que les listes sont sur osm4 qui est tombé...)

 Il me semble que ça veut dire que ça ne démarrera pas tant que
 quelqu'un ne forcera pas la machine à démarrer en appuyant sur le
 bouton approprié.

J'ai envoyé un email à l'équipe du Crans pour demander leur aide sur ce
problème.

On a toujours les backups si on veut mettre le site sur une autre
machine, mais je ne sais pas exactement comment le tout était
configuré. Je vais voir ce que je peux faire dans une VM de osm11.



-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] SOS openstreetmap.fr HS

[Jocelyn Jaubert]

Le 7 mai 2012, Jocelyn Jaubert a écrit :
 J'ai envoyé un email à l'équipe du Crans pour demander leur aide sur
 ce problème.

Le Crans a réussi à redémarrer le serveur osm4, mais il se trouve que
le RAID0 qui y est installé ne repart pas correctement - il doit y
avoir des corruptions sur un des disques. Du coup, les fichiers ne sont
pas vraiment récupérables.


 On a toujours les backups si on veut mettre le site sur une autre
 machine, mais je ne sais pas exactement comment le tout était
 configuré. Je vais voir ce que je peux faire dans une VM de osm11.

J'ai du coup copié les backups de osm4 sur osm101 (une VM de osm11), et
remis en place http://www.openstreetmap.fr (qui sera visible après
propagation des DNS)

Le forum, galette, taginfo et trac devraient être récupérables aussi.

Concernant les listes d'email sympa, j'ai l'impression qu'on n'a pas de
backup de la base de données, mais uniquement des fichiers. Est-ce que
quelqu'un sait ce qu'il faut mettre dans la base de donnée pour que ça
remarche correctement ?


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Utilisation des diffs pendant la phase de passage à ODBL

[Jocelyn Jaubert]

Le 11 avril 2012, Christian Quest a écrit :
 Pour l'instant j'en suis à corriger les admin_centre foireux... les
 nodes en trop dans la relation de la commune,
 
 Ca serait possible de contribuer directement au backend d'osmose sur
 sa partie dev histoire de tester mes bricolages ?

C'est pas vraiment direct, mais tu peux déjà faire des modifs sur le
code disponible sur:
https://gitorious.org/osmose/backend

Il n'y a par contre rien pour tester des modifications sur le site de
dev d'osmose. La méthode actuelle est qu'on me soumet des patchs que je
vérifie rapidement (relecture et utilisation d'une base locale) avant de
les pusher sur les backends normaux d'osmose.

Par contre, il est très facile de tester localement des plugins Sax,
parce que ./analyser_sax.py peut prendre en argument un fichier
d'extract .osm.bz2.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Script pour compléter un fichier .osc à partir d'une base osmosis

[Jocelyn Jaubert]

Bonjour,

Je me suis penché sur comment modifier un fichier .osc à partir d'une
base osmosis à jour, afin de ne garder que les parties à l'intérieur
d'un polygone. J'ai du coup créer un script, en utilisant les parseurs
déjà fait par Étienne, et en liant le tout.

Le script permet les choses suivantes.

  - lister tous les nodes modifiés, directement, ou via un chemin ou
relation. Le but est surtout de savoir toutes les zones
potentiellement modifiées par le .osc original.

./osc_modif.py --source 873.osc.gz --dest 873.position.osc --position-only


  - filtrer les nodes/ways/relations en les mettant dans une section
delete plutôt que create ou modify dès qu'ils sont en dehors
d'un polygone. Les chemins sont découpés sur la frontière, en
enlevant tous les nodes qui dépassent (la liste des nodes utilisés
par le chemin n'est pas modifié par contre)

./osc_modif.py --source 873.osc.gz --dest 873.france.osc --poly=france.poly 


Les fichiers d'exemple générés se trouvent là (ils ne sont pas parfait,
parce que je ne suis pas parti d'une base osmosis datant du bon moment):
http://osm7.pole-aquinetic.fr/~jocelyn/osc_modif/

Le code se trouve là:
https://github.com/jocelynj/osm/tree/master/osc_modif

Le code est un peu brut de fonderie: la fonctionnalité est là, et la
performance a l'air présente (moins de 5 minutes pour un fichier
hour-replicate). Il y a par contre un bug connu liée à la méthode.

En gros, si on créé un chemin au temps T, qui est complètement en
dehors du polygone, il ne sera pas dans le .osc correspondant. Mais si
on déplace un des noeuds du chemin un peu plus tard, de façon à ce
qu'il soit dans le polygone, on verra bien ce noeud apparaître, mais le
chemin n'a aucune chance d'être présent dans le .osc généré.


Du coup, est-ce que vous pensez que la méthode tient la route, et qu'on
peut s'en servir pour générer des hour-replicate dédié à la France ?

Et je ne sais pas trop comment vérifier que ça marche correctement: il
me faudrait une suite de tests :)


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

[OSM-dev-fr] Besoin d'aide pour la partie téléchargement d'Osmose

[Jocelyn Jaubert]

Bonjour,

J'ai eu des remarques il y a peu me disant que Osmose téléchargeait les
extracts de Geofabrik en deux fois au lieu d'une seule:

  - une première fois en téléchargeant 12k
  - une deuxième fois en téléchargeant tout.

D'après ce fichier:
https://gitorious.org/osmose/backend/blobs/master/modules/download.py

C'est à cause de ce bout de code:

# get remote file timestamp
url_ts = urllib2.urlopen(url).headers.get(Last-Modified, 1)
# compare timestamp
if loc_ts == url_ts:
logger.log(unot newer)
return False

# donwload the file
s, o = commands.getstatusoutput(wget -o /dev/null -O %s %s%(file_dl, url))


Je pense qu'on peut re-écrire ce code en n'utilisant que des routines
python à la place du wget, mais ma connaissance python n'est pas
suffisante pour savoir quel est le module à utiliser. Peut-être qu'il
faudrait modifier les headers HTTP pour mettre directement la date du
fichier téléchargé, et utiliser le code de retour 304 pour décider si
il y a un nouveau fichier

Est-ce que quelqu'un pourrait me dire pour quoi il faudrait remplacer
le code ci-dessus (et éventuellement d'autres parties du fichier) ?


Merci,
Jocelyn


___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [Osmose][Patch] Prise en compte du « c'h » breton

[Jocelyn Jaubert]

Le 27 mars 2011, Thomas Petillon a écrit :

 Il y a un problème avec Osmose qui m'embêtait depuis pas mal de
 temps, j'ai enfin pris mon clavier pour proposer une correction. :)
 Dans le test de toponymie, Osmose vérifie que les noms commencent par
 une majuscule. Pour cela une découpe est d'abord effectuée aux
 espaces, apostrophes et quelques autres caractères. Mais du coup les
 mots en breton comportant « c'h » (assez nombreux dans les toponymes)
 se retrouvent coupés au milieu, la seconde partie ne commence
 évidemment pas par une majuscule et une erreur est reportée.

Merci pour ton code. Je l'ai appliqué (avec un peu de retard...) en
faisant quelques modifications cosmétiques. Les analyses n'ont pas
encore tourné avec le nouveau code, mais le commit est visible là:

https://gitorious.org/osmose/backend/commit/ae63384f835e4f508614f745679248d94ecc2605


D'après des tests en local, ça marche correctement, mais on verra bien
ce que ça donne d'ici quelques jours.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] petit bug (?) sur analyser.openstreetmap.fr

[Jocelyn Jaubert]

Le 9 octobre 2011, sly (sylvain letuffe) a écrit :
 'soir (nuit ?), 
 
 Je ne sais plus si le développeur de analyser.openstreetmap.fr est
 parmi nous, mais je viens de tomber sur défaut d'analyse (faux
 négatif) de analyser.openstreetmap.fr
 
 Test case :
 http://analyser.openstreetmap.fr/cgi-bin/index.py?relation=1781467
 

C'est la pseudo-intersection que tu voudrais qu'elle soit détectée ?
Et est-ce qu'il y a des cas où ça marche comme tu le voudrais ?


J'ai tenté de regarder le code, mais c'est du java, et je ne veux pas
me lancer là-dedans :)

J'ai mis tout le code de l'analyser là (la majeure partie est en python)
http://analyser.openstreetmap.fr/src/

Et le bout de code qui détecte les intersections est là:
http://analyser.openstreetmap.fr/src/jts/Intersect.java


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Polygon de la France

[Jocelyn Jaubert]

2011/8/30 Aurélien FILEZ kinj...@gmail.com:
 En fait pour le moment je ne cherche pas à importer mais à extraire la
 France avec le completeWays et completePolygon à yes.
 La commande était :
 osmosis --read-pbf file=europe.pbf --bounding-polygon file=france.poly
 completeWays=yes completRelations=yes --write-pbf file=france.pbf

 Mais avec le fichier france.poly de cloudmade, ça m'a donné un fichier pbf
 de 1.6Go, ce qui me semble cohérent.

Il faut faire gaffe que le france.poly utilisé par geofabrik est un
poil trop petit, et ne contient donc pas toute la frontière de la
France. Je voulais renvoyer un nouveau .poly, mais je n'ai pas encore
réussi à vérifier que le nouveau contient bien toute la relation de la
France Métropolitaine.

Je ne sais pas quel france.poly tu as utilisé, ni celui que utilise cloudmade.

 Oui ça m'intéresserait bien ton script :)

Je l'ai mis sur:
https://github.com/jocelynj/osm/tree/fb5d414618efdfe3e2b8ec9806a92035b476f4a9/tools

Il faut juste configurer les différentes variables correctement dans
le ../config, et lancer le script avec un:
./import-relation-to-osmosis.sh 1362232   # c'est le numéro de la
relation France Métropolitaine.

Le script télécharge un à un les relations nécessaires, les modifie en
.osmchange, et les donne à manger à osmosis pour mettre à jour la base
de donnée locale.


-- 
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

Merci à tous les deux pour les polygones.


2011/8/26 Hendrik Oesterlin hendrikmail2...@yahoo.de:
 Pour St Martin et St Bathelemy j'en ai fait qu'un seul. Plus pratique
 aussi si quelqu'un veut en faire une carte régionale.

Il faut juste faire gaffe que toute l'île de Saint Martin n'est pas
française. J'ai fait la remarque à Didier en privé qui m'a regénéré le
polygone.


 St Pierre j'ai agrandie franchement pour englober la limite vers la
 Canada et d'éventuelles zones maritimes qui pourraient être ajoutées
 ultérieurement.

 Wallis et Futuna pareil. L'hectare n'est pas cher à prendre en pleine
 mer, et s'il devait y avoir des limites plus tard, Frederik n'aura pas
 à modifier ses polygones.

 La Polynésie était déjà tellement large que tout doit être englobé.

Il faut juste faire gaffe à ne pas englober des territoires
non-français. Il me semble avoir vu hier que le polygone Polynésie
contenait des territoires de Samoa, mais je n'ai pas investigué. Et il
y a une île français au niveau de la frontière canadienne, à l'est de
Saint Pierre et Miquelon qui n'était pas incluse. Je vérifierais si
tout va bien ce soir, et renverrait les polygones définitifs pour
confirmation.

Par contre, je ne comprends pas trop l'intérêt d'englober la ZEE
entière dans le polygone. Est-ce qu'il y a une utilisation de cette
limite que je n'ai pas vu ?  (en plus de la limite terrestre et/ou
maritime - limite maritime qui n'est déjà pas incluse dans les
polygones des DOM)


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [Osmose:TagwatchCleaner] était [OSM-talk-fr] Extractions du planet par régions sur Geofabrik

[Jocelyn Jaubert]

Le 26 août 2011, Vincent Pottier a écrit :
 Dans le module que j'avais écrit (sous contrôle d'Étienne) : 
 TagwatchCleaner, il y a une erreur qui revient plus que souvent avec
 le mésusage du tag wikipedia (entrée de l'url complète au lieu de 
 l'intitulé de l'article, éventuellement précédé de la langue)
 
 On pourrait en faire un analyseur à part entière...

Yep, ça pourrait être intéressant d'en faire un analyseur complet. A
priori, ça pourrait être un plugin sax (ou encore être corrigé par un
bot...)

 Mais je l'avais écrit dans une autre temps, sur une autre machine...
 Je n'ai plus la source...
 
 Je pourrais aussi peut-être réécrire TagwatchCleaner pour extraire
 les descriptions d'erreurs et les mettre à jour dans un fichier
 autonome (séparation du code et des données) plus facile à maintenir.
 
 Si quelqu'un peut me procurer ça, je le ferai un de ces jours (pas
 trop lointain).

Le code est dispo dans le repository git de osmose, plus précisément là:
https://gitorious.org/osmose/backend/blobs/master/plugins/TagWatchFrViPofm.py


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Demande de volontaires pour créer des polygones pour la France Outre-Mer

[Jocelyn Jaubert]

2011/8/25 didier2...@free.fr didier2...@free.fr:

   polynesie

 le detail :

Merci pour tous les fichiers !

Je ne pense pas avoir besoin des détails pour la Polynésie, mais
uniquement du global.

Par contre, il me semble que la relation pour la Polynésie ne contient
pas toutes les îles - j'avais commencé il y a quelques mois à rajouter
pas mal d'îles, mais je m'étais arrêté avant de finir. Est-ce que tu
penses que le polygone est suffisamment grand ?


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] test osmose pour junction=roundabout sans highway= ?

[Jocelyn Jaubert]

2011/8/20 Hendrik Oesterlin hendrikmail2...@yahoo.de:

 http://download.geofabrik.de/osm/australia-oceania/new-caledonia.osm.pbf

 Frederik l'a ajouté exprès il n'y a pas longtemps :-)

Impeccable alors !

J'ai du coup remis en place les analyses sur la Nouvelle-Calédonie, et
tu seras heureux de voir qu'il y a plein d'erreurs à corriger :)
http://osmose.openstreetmap.fr/map/cgi-bin/index.py?zoom=7lat=-20.83172lon=165.11945

Est-ce que tu sais si c'est facile de rajouter d'autres extracts ?
Ça serait bien d'en avoir pour les autres territoires d'outre-mer,
quitte à les générer nous-même.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] test osmose pour junction=roundabout sans highway= ?

[Jocelyn Jaubert]

2011/8/19 Hendrik Oesterlin hendrikmail2...@yahoo.de:
 Bonjour,

 Je suis tombé dernièrement sur un rond point (ou giratoire...) qui
 portait bien junction=roundabout mais aucun highway=

 Je crois que osmose ne détecte pas cela, peut-être  que ca vaut le
 coup de vérifier?

Je viens de regarder, et c'est normalement bien détecté par osmose. Il
s'agit de l'item 3040 (highway roundabout), visible là:

http://osmose.openstreetmap.fr/map/cgi-bin/index.py?item=3010
http://osmose.openstreetmap.fr/cgi-bin/info.py?item=3010

J'espère que ton rond-point était bien détecté par cet item.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] [OSM-talk-fr] Ajout de seamark:fixme sur Osmose + accès au sources du backend

[Jocelyn Jaubert]

Le 4 août 2011, Bruno Cortial a écrit :
 Par contre je ne comprend pas pourquoi les analyseurs sax ne passent
 pas sur le fichier france.osm.bz2 (ou europe pour les seamark, nos
 amis Anglais et Allemand apprécieraient). Le sujet a déjà été évoqué
 lors du redémarrage d'Osmose, mais si une bonne âme peut m'exposer
 les limites des serveurs et des traitements Osmose...

Pour l'Europe, il faut oublier: le fichier .osm.bz2 est trop gros pour
être parsé par les scripts actuels (ils décompressent le .bz2, et
travaillent dessus, ce qui dépasse les 100 Go de disponible sur le
disque dur). De plus, on devrait pouvoir s'en sortir avec XAPI pour
sortir les seamark:fixme sur une grosse zone géographique au lieu de
télécharger le fichier .osm.bz2 complet.

Concernant la France, si je suis passé à des analyses par région plutôt
que sur le territoire complet, c'est pour ces raisons:
  - pouvoir lancer les analyses en parallèle sur plusieurs machines
  - ne pas utiliser trop d'espace disque
  - faire les analyses rapidement (osmose fait un import osmosis en bdd
dont le temps d'import n'est pas du tout proportionnel à la taille
du fichier d'origine)

Il ne faut pas oublier que le fichier .osm de la France a _énormément_
grossi depuis le début d'osmose, ce qui peux expliquer que ce qui
marchait correctement avant ne marche plus maintenant.


 Sinon pourquoi ne pas passer les fichiers source au format pbf qui
 semble n'avoir que des avantages (taille des fichiers, rapidité de
 traitement) ?

L'analyseur sax actuel est un parseur fait-maison de fichiers .osm,
qui ne marchent donc qu'avec ce format là, et pas avec les .pbf. Je
n'ai pas encore comparé avec les librairies existantes pour lire
les .pbf: pour ce faire, j'attends la fin de la re-écriture de Black
Myst :)


 ( Un pb avec l'analyseur sax des Pays de Loire ? c'est justement par
 là que je replace les balises nautiques)

Ça s'est mis à jour dans la journée.


Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

Le 13 juillet 2011, Frédéric Rodrigo a écrit :
  J'en avais proposé un il y a quelques mois pour ma part, sur cette
  liste. Il était passé un peu inaperçu apparemment, et ne sachant
  trop qui s'occupait d'Osmose, je n'étais pas allé plus loin.
  Ce patch s'applique à Name_Toponymie.py et permet de régler le
  problème des (nombreux) noms de lieu bretons contenant « c'h »,
  dont l'apostrophe est détectée comme une coupure de mot, ce qui
  déclenche une erreur de toponymie due à la majuscule supposément
  manquante au « h ». En gros il y a plein de faux positifs.
 Désolé de ne pas encore l'avoir traité... ton patch dans ma liste de 
 trucs à faire :/

Ça m'a l'air bien compliqué ton patch :)

Je le mets de côté pour j'aurais un peu plus de temps. En attendant,
est-ce que tu pourras donner un exemple d'URL où l'analyse plante ?


 Il y a un SVN mais bien au chaud sur le serveur d'osmose...

C'est plutôt un git en fait. Enfin deux, un pour le backend, et l'autre
pour le frontend.

Je ne peux pas dans l'état les rendre public parce qu'ils contiennent
des mots de passes. Je verrais ce que je peux faire en août.

Merci,
Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Osmose et last-update.py

[Jocelyn Jaubert]

Le 12 juillet 2011, Black Myst a écrit :
 Bonjour,
 
 Je suis à la recherche de renseignement sur Osmose, principalement sur
 le fréquence de mise à jour des infos.

Je me suis effectivement de remettre d'aplomb osmose ces derniers mois.
Ca marche pas trop mal pour le moment :)

 Si je me réfère à l'url:
 http://osmose.openstreetmap.fr/cgi-bin/last-update.py, je note 3
 catégories:
  - Ceux qui sont mise à jour depuis moins de 24H (nickel)

Yep, ce sont toutes les régions qui n'ont pas eu de soucis (les
analyses tournent tous les 2 jours)

  - Ceux qui sont mise à jour depuis moins de 2 semaines (tout à fait
 acceptable)

Hum, ça se sont des régions qui ont planté pour une raison quelconque.
Je vais regarder pourquoi elles ne marchent plus...


Pour les analyses entre 150 et 300 jours, la plupart sont les analyses
des DOM-TOMs, que je n'ai pas pu remettre en place faute d'une source
de donnée à donner à manger aux analyses.

Une autre partie contient la France, qui a été découpé en région - je
devrais enlever ce rapport pour clarifier la chose.

  - Ceux qui dépasse les 300j (euh, là je pense qu'il y a un problème)

Les analyses européennes sont malheureusement trop grosses pour tenir
sur les machines que j'ai à disposition. Déjà, l'extract osm.bz2 est
gros, mais les scripts ont besoin de le décompresser pour travailler
efficacement. Et la version décompressée fait plusieurs centaines de Go.

 Est-ce qu'il y a quelques choses à faire pour actualiser ces
 analyses ?
 
 D'une manière plus générale, est-ce que le projet est encore vivant
 et/ou est-ce qu'il y a possibilité de prendre contact avec les
 développeurs/admin pour réactiver un peu tout ça ?
 Je suis développeur python et j'ai des notions correct en
 administration Linux, si ça peut servir...

C'est réactivé :)

Par contre, si tu as des idées d'analyses à rajouter, n'hésite pas à
proposer et/ou à fournir un patch !


Jocelyn

___
dev-fr mailing list
dev-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/dev-fr