Re: [OSM-dev] setting up mirror

[Kevin Mcintyre]

There's some good information here -
http://download.geofabrik.de/technical.html one companies process at least.

Appreciate the response, it's a tricky search because the results are
generally information on mirrors not how to become a mirror.



On Wed, Nov 18, 2015 at 9:21 AM, Tom Hughes  wrote:

> On 18/11/15 17:02, Kevin Mcintyre wrote:
>
> Hello - I'm seeking information on setting up a planet osm mirror.
>>
>
> I think the reason you're not getting replies is that you're asking for
> something that doesn't really exist - there isn't any general
> infrastructure for mirrors in existence.
>
> We have one mirror that we redirect most downloads to, and that's it.
>
> Tom
>
> --
> Tom Hughes (t...@compton.nu)
> http://compton.nu/
>
___
dev mailing list
dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev

Re: [OSM-dev] setting up mirror

[Tom Hughes]

On 18/11/15 17:02, Kevin Mcintyre wrote:


Hello - I'm seeking information on setting up a planet osm mirror.


I think the reason you're not getting replies is that you're asking for 
something that doesn't really exist - there isn't any general 
infrastructure for mirrors in existence.


We have one mirror that we redirect most downloads to, and that's it.

Tom

--
Tom Hughes (t...@compton.nu)
http://compton.nu/

___
dev mailing list
dev@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev

Re: [OSM-dev] setting up mirror

[Andrew Byrd]

Hello,

I think we should clarify some terms here. The word “mirror” usually refers to 
a secondary copy of some very large or very heavily used resource, generally at 
a different physical location or network link than the primary “official” copy. 
Its purpose is to reduce load on the main server and avoid sending huge amounts 
of data across the world by keeping a recent duplicate of the main resource 
nearer to the final consumers.

When you say “planet osm mirror” people might assume you mean "a copy of 
planet.pbf closer to home”. Creating this kind of mirror is just that simple: 
you’d place a recent copy of planet.pbf on a web or file server of some kind, 
and have people within your organization or geographic area fetch planet.pbf 
from your server instead of the main one (generally to reduce traffic crossing 
out of your local network or traveling long distances). Planet.pbf is updated 
regularly, so you’d probably schedule some scripts to keep your mirrored copy 
in sync by overwriting it once in a while or applying OSM diffs.

I am a bit confused by the comments saying there is only one planet mirror. 
There are eight of them listed at http://wiki.openstreetmap.org/wiki/Planet.osm 
 and I’m sure there are many 
more undocumented mirrors around the world within organizations that use OSM 
data.

If you only want to work on one geographic region, it’s also possible to 
download a PBF extract of that region and keep it up to date with tools like 
osmupdate or osmosis. This would be much less bandwidth and resource intensive 
than cloning the whole planet.
http://wiki.openstreetmap.org/wiki/Osmupdate 


There is another notion which could also arguably be called “mirroring” but is 
commonly referred to as “replication”: creating a local database with a similar 
schema to the main OSM database and applying diffs to maintain a completely 
up-to-date copy of that main database. This allows extensive indexing and thus 
searching for items within OSM by location, ID, tags etc. 
http://wiki.openstreetmap.org/wiki/Osmosis/Replication 


Special-purpose OSM replication databases exist, which you could use instead of 
a general-purpose relational database depending on your use case. Overpass is 
one such project. Instead of using the public overpass API server, you can also 
install Overpass locally to mirror the whole main OSM database and keep your 
mirror in sync: http://wiki.openstreetmap.org/wiki/Overpass_API/Installation 


I’m also working on a replication system called Vanilla Extract that is geared 
toward performing large, fast geographic extracts. It’s still under development 
but stable enough for us to use it on a daily basis. Our use case is routing, 
so it currently only indexes ways and the nodes referenced by them. No 
free-floating POI nodes (though we’ll eventually add that), and no author 
metadata.

The original version (in C) loads a PBF at a single point in time and does no 
updates. 
https://github.com/conveyal/vanilla-extract 


The newer version (in Java using MapDB) is capable of replicating planet.osm 
with a one-line command and performs minutely updates, with the option of even 
pulling the OSM data in over the network without a local copy of planet.pbf. 
However, it’s still a bit slow on large extracts. We’re currently migrating it 
to MapDB2 and expect a performance improvement.
https://github.com/conveyal/osm-lib/blob/master/src/main/java/com/conveyal/osmlib/VanillaExtract.java
 


Andrew

> On 18 Nov 2015, at 18:46, Kevin Mcintyre  wrote:
> 
> There's some good information here - 
> http://download.geofabrik.de/technical.html 
>  one companies process at least.
> 
> Appreciate the response, it's a tricky search because the results are 
> generally information on mirrors not how to become a mirror.
> 
> 
> 
> On Wed, Nov 18, 2015 at 9:21 AM, Tom Hughes  > wrote:
> On 18/11/15 17:02, Kevin Mcintyre wrote:
> 
> Hello - I'm seeking information on setting up a planet osm mirror.
> 
> I think the reason you're not getting replies is that you're asking for 
> something that doesn't really exist - there isn't any general infrastructure 
> for mirrors in existence.
> 
> We have one mirror that we redirect most downloads to, and that's it.
> 
> Tom
> 
> -- 
> Tom Hughes (t...@compton.nu )
> http://compton.nu/ 
> 
> ___
> dev mailing list
> dev@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev

Re: [OSM-dev-fr] Aide pour Osmose et SQL: buildings cadastre fractionnés

[Ab_fab]

Ou une interface à la "OpenSolarMap" pour les cas à regarder de près ^^

Le 17 novembre 2015 23:39, Tyndare  a écrit :

> Merci pour ces suggestions, plein de bonnes idées, je retiens surtout
> les premières car les suivantes me semblent trop compliquées à
> programmer (cad identifier une zone à risque pour moduler les critères
> de recherches aux alentours).
>
> Ça me fait penser à une approche totalement différente auquel j'ai
> rêvé sans avoir la moindre des compétences pour la mettre en œuvre:
> utiliser un algo d'apprentissage.
> On pourrait utiliser des villes qu'on sait avoir été corrigées dans
> OSM et comparer à l'extrait du cadastre pour l’alimenter en cas
> positif/négatif.
> Problème c'est que je n'y connais absolument rien dans ce domaine, et
> je ne sais pas trop ce qu'il faudrait lui donner à manger exactement.
> Quelqu'un connaît une solution opensource qu'on pourrait utiliser pour
> faire ce genre d'apprentissage ?
>
>
> Le 17 novembre 2015 16:41, didier2020  a écrit :
> > deja bonjour!
> >
> > pour l'optimisation je ne sais pas ...mais après avoir trituré un peu
> > les batiments, j'ai remarqué
> >
> > - les batiments peuvent avoir des angles bizares sans pour autant etre
> > morcelé (une petite pointe) => calcul des angles sur des segments
> > suffisement grand , plutot que 90°, tres pointu .
> > mon dernier calcul du nombre moyen de node pour un batiment etait de 5
> > => ecarter les segments faisant moins de périmetre/5 (ou plus) ?
> >
> > - il suffit de trouver un batiment morcelé pour en avoir d'autre a coté
> > (ce qui rejoint l'analyse de vincent pour les parcelles)
> >
> > - les zones industrielles , d'activités sont par nature plus favorable
> > au morcellement => recherche par surface (avec josm ca marche bien)
> >
> > - recherche par nombre de nodes (avec josm ca marche bien) pour la
> > simplification ou les reservoir coupés n morceaux
> >
> >
> >
> > Le lundi 16 novembre 2015 à 19:46 +0100, Tyndare a écrit :
> >>
> >> Bonjour,
> >>
> >> J'ai voulu essayer de faire une analyse osmose pour détecter des
> >> bâtiments fractionnés à cause du cadastre.
> >> Pour l'instant ce n'est pas vraiment une réussite, je ne sais pas si
> >> il y aurait des volontaires pour m'aider, je ne maîtrise pas du tout
> >> SQL ou PostGIS en fait...
> >>
> >> Ce que j'ai voulu faire c'est détecter les situations où un bâtiment
> >> est collé à un autre de manière rectiligne, mais dont l'angle avec la
> >> section commune ne soit pas à 90°:
> >>
> >> -+
> >>  /
> >> /
> >> --+---
> >>
> >> J'ai deux problèmes:
> >>
> >> 1. Le principe marche relativement bien dans les zones modernes (où
> >> les bâtiments sont à peut près carrés), mais trouves beaucoup trop de
> >> faux positifs dans les vielles villes.
> >> Si quelqu'un à une idée d'heuristique pour réduire le nombre de faux
> >> positifs je suis preneur.
> >>
> >>
> >> 2. Ma requête SQL est beaucoup trop compliquée, et elle génère des
> >> tables intermédiaires de taille exponentielle...
> >> Si une âme charitable est motivé pour jeter un œuil à mon horrible
> >> requête SQL et me donner quelques conseils d'optimisation:
> >>
> >>
> https://github.com/tyndare/osmose-backend/commit/6dd5e773ac7e0f5480518c066ed2bd4b0c50a04e
> >>
> >> Merci,
> >>
> >> Tyndare.
> >>
> >> ___
> >> dev-fr mailing list
> >> dev-fr@openstreetmap.org
> >> https://lists.openstreetmap.org/listinfo/dev-fr
> >
> >
> >
> > ___
> > dev-fr mailing list
> > dev-fr@openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/dev-fr
>
> ___
> dev-fr mailing list
> dev-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev-fr
>



-- 
ab_fab 
"Il n'y a pas de pas perdus", Nadja
___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr

Re: [OSM-dev-fr] Aide pour Osmose et SQL: buildings cadastre fractionnés

[Christian Quest]

Mais oui !

Le 18 novembre 2015 10:30, Ab_fab  a écrit :

> Ou une interface à la "OpenSolarMap" pour les cas à regarder de près ^^
>
> Le 17 novembre 2015 23:39, Tyndare  a écrit :
>
>> Merci pour ces suggestions, plein de bonnes idées, je retiens surtout
>> les premières car les suivantes me semblent trop compliquées à
>> programmer (cad identifier une zone à risque pour moduler les critères
>> de recherches aux alentours).
>>
>> Ça me fait penser à une approche totalement différente auquel j'ai
>> rêvé sans avoir la moindre des compétences pour la mettre en œuvre:
>> utiliser un algo d'apprentissage.
>> On pourrait utiliser des villes qu'on sait avoir été corrigées dans
>> OSM et comparer à l'extrait du cadastre pour l’alimenter en cas
>> positif/négatif.
>> Problème c'est que je n'y connais absolument rien dans ce domaine, et
>> je ne sais pas trop ce qu'il faudrait lui donner à manger exactement.
>> Quelqu'un connaît une solution opensource qu'on pourrait utiliser pour
>> faire ce genre d'apprentissage ?
>>
>>
>> Le 17 novembre 2015 16:41, didier2020  a écrit :
>> > deja bonjour!
>> >
>> > pour l'optimisation je ne sais pas ...mais après avoir trituré un peu
>> > les batiments, j'ai remarqué
>> >
>> > - les batiments peuvent avoir des angles bizares sans pour autant etre
>> > morcelé (une petite pointe) => calcul des angles sur des segments
>> > suffisement grand , plutot que 90°, tres pointu .
>> > mon dernier calcul du nombre moyen de node pour un batiment etait de 5
>> > => ecarter les segments faisant moins de périmetre/5 (ou plus) ?
>> >
>> > - il suffit de trouver un batiment morcelé pour en avoir d'autre a coté
>> > (ce qui rejoint l'analyse de vincent pour les parcelles)
>> >
>> > - les zones industrielles , d'activités sont par nature plus favorable
>> > au morcellement => recherche par surface (avec josm ca marche bien)
>> >
>> > - recherche par nombre de nodes (avec josm ca marche bien) pour la
>> > simplification ou les reservoir coupés n morceaux
>> >
>> >
>> >
>> > Le lundi 16 novembre 2015 à 19:46 +0100, Tyndare a écrit :
>> >>
>> >> Bonjour,
>> >>
>> >> J'ai voulu essayer de faire une analyse osmose pour détecter des
>> >> bâtiments fractionnés à cause du cadastre.
>> >> Pour l'instant ce n'est pas vraiment une réussite, je ne sais pas si
>> >> il y aurait des volontaires pour m'aider, je ne maîtrise pas du tout
>> >> SQL ou PostGIS en fait...
>> >>
>> >> Ce que j'ai voulu faire c'est détecter les situations où un bâtiment
>> >> est collé à un autre de manière rectiligne, mais dont l'angle avec la
>> >> section commune ne soit pas à 90°:
>> >>
>> >> -+
>> >>  /
>> >> /
>> >> --+---
>> >>
>> >> J'ai deux problèmes:
>> >>
>> >> 1. Le principe marche relativement bien dans les zones modernes (où
>> >> les bâtiments sont à peut près carrés), mais trouves beaucoup trop de
>> >> faux positifs dans les vielles villes.
>> >> Si quelqu'un à une idée d'heuristique pour réduire le nombre de faux
>> >> positifs je suis preneur.
>> >>
>> >>
>> >> 2. Ma requête SQL est beaucoup trop compliquée, et elle génère des
>> >> tables intermédiaires de taille exponentielle...
>> >> Si une âme charitable est motivé pour jeter un œuil à mon horrible
>> >> requête SQL et me donner quelques conseils d'optimisation:
>> >>
>> >>
>> https://github.com/tyndare/osmose-backend/commit/6dd5e773ac7e0f5480518c066ed2bd4b0c50a04e
>> >>
>> >> Merci,
>> >>
>> >> Tyndare.
>> >>
>> >> ___
>> >> dev-fr mailing list
>> >> dev-fr@openstreetmap.org
>> >> https://lists.openstreetmap.org/listinfo/dev-fr
>> >
>> >
>> >
>> > ___
>> > dev-fr mailing list
>> > dev-fr@openstreetmap.org
>> > https://lists.openstreetmap.org/listinfo/dev-fr
>>
>> ___
>> dev-fr mailing list
>> dev-fr@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/dev-fr
>>
>
>
>
> --
> ab_fab 
> "Il n'y a pas de pas perdus", Nadja
>
> ___
> dev-fr mailing list
> dev-fr@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/dev-fr
>
>


-- 
Christian Quest - OpenStreetMap France
___
dev-fr mailing list
dev-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/dev-fr