Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Steffen Wolf schrieb: Frederik Ramm schrieb: Steffen Wolf wrote: Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format generell schneller verarbeitbar ist. Spaetestens aber, wenn Du irgendeine Art von Weiterverarbeitung mit dem lesenden Programm machst, wirst Du einen Vorteil merken, weil bei PBF ja das XML-Parsen komplett wegfaellt. Aber ich war gestern etwas zu negativ eingestellt. Jetzt muessen halt nur noch die Programme nachziehen, dann wird alles besser als bisher. Ich kann ja meine Perl-Skripe auch mal ordentlich in C giessen. Bisher parsen die nur auf gut Glueck die XML-Daten. Bin endlich mal dazu gekommen. Ist jetzt C++ geworden, aber dafuer um Laengen schneller als das bzcat|perl-Geraffel. Beispiel Sachsen, einmal durchlesen, Statistik ausgeben: bzcat | perl: 2m34s pbf-c++ (-O4): 0m13.4s Zur Nachahmung nur empfohlen: Ich hab mir den Quelltext von Osmium angeschaut, schnell erkannt, dass der ja fast das gleiche macht, was ich auch will, und an den entsprechenden Stellen meine Modifikationen eingefuegt. Jetzt muss nur noch JOSM auch PBF einlesen koennen, dann kann ich auch meine XML-Ausgabe verwerfen. stw -- Die französische Jury befand, dass Sarkozy eine genetische Veranlagung haben müsse, die ihn zwinge, immer neue Überwachungsszenarien auszudenken. Daher wurde Sarkozy von der Preisvergabe ausgeschlossen. [heise ueber die Big-Brother-Awards in Frankreich, 27.3.2008] ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hallo, On 10/28/2010 09:13 PM, Carsten Moeller wrote: Ich halte bpf für eine Alternative, nicht jedoch für eine wirklich gute Lösung. Die Annahme, dass alles da draußen auf osmosis aufsetzen wolle oder mal eben ganze Importstrukturen umkippen wird, um sich dem doch eher gruseligen Binärgefriggel-Format anzuschlie~_en, halte ich für gewagt. Uebertreibst Du da nicht ein bisschen? Ok, einige benutzen vielleicht wirklich irgendeine bz2-Lese-Library, aber die meisten, die nicht direkt Osmosis oder osm2pgsql einsetzen, werden doch derzeit in irgendeiner Form ein bunzip2 extract.osm.bz2 | meintollesprogramm machen. Und die machen halt kuenftig pbf2osm extract.osm.pbf | meintollesprogramm. Wobei sich die Laufzeit natuerlich drastisch reduzieren laesst, wenn man dem meintollesprogramm das Binaer-Lesen direkt beibringt, damit spart man naemlich das XML-Parsen. Eine 30%ige Reduzierung der Transportmengen wäre durchaus auch anders zu erreichen. Nicht jeder benötigt immer alles. Als gutes Beispiel sehe ich hier die Cloudmade-Philosophie Extrakte für verschiedene Anwendungsfälle bereitzustellen. Da ist ein europa-highways.osm plötzlich nur noch ein Drittel so gro~_ wie das Original. Ich finde, da ergaenzen sich die Geofabrik- und die Cloudmade-Dienste praechtig. Wem die Highways reichen, der kann sich die ja dort runterladen. Analog wäre z.B. auch denkbar, die ganzen Meta-Infos wie Autor, TimeStamp, etc. aus den Tags rauszulassen und nur reine Nutzdaten zu komprimieren. Wette, das geht dann auch auf 30% runter! In der Tat hat das neue Binaerformat eine Option, mit der man diese ganzen Metadaten rauskicken kann. Das spart ca. 15% von der komprimierten Datei. Es gibt eine weitere Option, mit der man die Genauigkeit der Koordinaten auf 1.1m oder besser reduzieren kann, das spart erneut rund 15%. Das sind beides sinnvolle Optionen fuer reine Daten-Konsumenten, also z.B. fuer eine Routing-Applikation auf dem Handy oder sowas. Allerdings richte ich mich mit den Geofabrik-Extrakten eher an die Community - an diejenigen, die die Daten irgendwie auf eine von mir nicht vorbestimmte Art weiterverarbeiten. Deswegen biete ich diese verlustbehafteten Optionen nicht an, weil das die Daten fuer einige Zwecke untauglich machen wuerde. Ich habe mitbekommen, dass mehr und mehr Leute die Geofabrik-Downloadlinks in ihre Applikationen einbauen und damit also den Endbenutzer diese Dateien herunterladen lassen (oft alles so automatisiert, dass der Benutzer nicht mal sieht, woher er die Datei holt). Das ist mir nicht recht - wie gesagt, das ganze ist von mir als ein Service fuer die Community gedacht und nicht als allgemeiner OSM-Downloadserver fuer die breite Masse. Wer den Anwendern seiner Software sowas anbieten will, der sollte selbst Extrakte berechnen und dabei eben auch die oben erwaehnte Filterung unnoetiger Daten einbauen. Auf keinen Fall sollte Software an Endanwender verteilt werden, in die irgendwelche Geofabrik-Downloadlinks fest eingebaut sind, denn es kann durchaus sein, dass ich die Pfad-Struktur oder die Datenformate aendere. Es kann sogar sein, dass ich das voellig unnoetig und absichtlich mal mache ;) Ich weiß nicht wie viele XMLs ich bereits analysiert habe und so ganz schnell auf kleine aber nicht unwichtige Dinge und Fehlerchen aufmerksam geworden bin. Diese Option wird es dann ja in Zukunft nicht mehr geben. Diese Aussage verstehe ich nicht. Die kleinen Fehlerchen, die es bislang gab, waren entweder Fehler im Transportformat (z.B. falsches escaping bei einem Unicode-Zeichen) oder in den Daten. Fehler im Transportformat mag es beim Binaerformat genauso geben, aber sie sind natuerlich anderer Art als Fehler im XML und es bedarf anderer Mechanismen, sie zu debuggen (bislang hast Du Dich auch blind darauf verlassen, dass bunzip2 schon richtig funktionieren wird und Dich nicht beschwert, dass es schwierig ist, Fehler im komprimierten Datenstrom zu debuggen). Fehler oder Unregelmaessigkeiten in den Daten gibt es jetzt genauso wie frueher, und wer sie sucht, findet sie auch genauso. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Am Freitag 29 Oktober 2010, 08:28:55 schrieb Frederik Ramm: Uebertreibst Du da nicht ein bisschen? Ok, einige benutzen vielleicht wirklich irgendeine bz2-Lese-Library, aber die meisten, die nicht direkt Osmosis oder osm2pgsql einsetzen, werden doch derzeit in irgendeiner Form ein bunzip2 extract.osm.bz2 | meintollesprogramm machen. Und die machen halt kuenftig pbf2osm extract.osm.pbf | meintollesprogramm. Wobei sich die Laufzeit natuerlich drastisch reduzieren laesst, wenn man dem meintollesprogramm das Binaer-Lesen direkt beibringt, damit spart man naemlich das XML-Parsen. Ich steh zwar auch nicht so auf Binaerformate, aber wenn dadurch die Verarbeitungsgeschwindigkeit inkl. Datentransfer signifikant zunimmt, ist das sicher eine gute Sache - grade bei den Mengen an Daten, die bei OSM anfallen. Ausserdem ist das Format im Gegensatz zu vielen anderen binaeren Formaten dokumentiert und frei erhaeltlich. Allerdings richte ich mich mit den Geofabrik-Extrakten eher an die Community - an diejenigen, die die Daten irgendwie auf eine von mir nicht vorbestimmte Art weiterverarbeiten. Deswegen biete ich diese verlustbehafteten Optionen nicht an, weil das die Daten fuer einige Zwecke untauglich machen wuerde. Eine zweite gestrippte Version bereitzustellen waere wohl zuviel verlangt, oder ;-) Das ist mir nicht recht - wie gesagt, das ganze ist von mir als ein Service fuer die Community gedacht und nicht als allgemeiner OSM-Downloadserver fuer die breite Masse. Wer den Anwendern seiner Software sowas anbieten will, der sollte selbst Extrakte berechnen und dabei eben auch die oben erwaehnte Filterung unnoetiger Daten einbauen. +1 Danke uebrigens, dass du die Daten ueberhaupt in der Form zur Verfuegung stellst! Auf keinen Fall sollte Software an Endanwender verteilt werden, in die irgendwelche Geofabrik-Downloadlinks fest eingebaut sind, denn es kann durchaus sein, dass ich die Pfad-Struktur oder die Datenformate aendere. Es kann sogar sein, dass ich das voellig unnoetig und absichtlich mal mache ;) Es waere aber nett, wenn du das fuer den Fall des Falles wenigstens auf der dev-Liste ankuendigst - waere ja schade, wenn durch nicht mehr funktionierende Nichtendanwendersoftware die Nutzung von OSM-Daten behindert wuerde ;-) signature.asc Description: This is a digitally signed message part. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Guenther Meyer wrote: Allerdings richte ich mich mit den Geofabrik-Extrakten eher an die Community - an diejenigen, die die Daten irgendwie auf eine von mir nicht vorbestimmte Art weiterverarbeiten. Deswegen biete ich diese verlustbehafteten Optionen nicht an, weil das die Daten fuer einige Zwecke untauglich machen wuerde. Eine zweite gestrippte Version bereitzustellen waere wohl zuviel verlangt, oder ;-) Dadurch sinkt evtl. das Downloadvolumen, was sich aber wohl kaum bemerkbar machen dürfte. Allerdings steigt die Last beim Erstellen der ganzen Dateien auf ungefähr das doppelte. Ich glaub das ist ineffektiv ;) @Frederik: Wäre es möglich, die polygone-Files der Kontinente irgendwie öffentlich zu verlinken? Die Dateien für die Länder sind in der Readme.html verlinkt, allerdings gibt es dort keine Kontinente. Viele Grüße, aighes -- View this message in context: http://gis.638310.n2.nabble.com/Geofabrik-Downloads-jetzt-als-Binaerformat-tp5560595p5686967.html Sent from the Germany mailing list archive at Nabble.com. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Am 22.09.2010 23:48, schrieb Frederik Ramm: Hallo, Robert S. wrote: Und was ist zu machen, wenn man z.B. mit Maperitive[1] eine Karte rendern will, der braucht ja .osm-XML-Dateien. Bisher reichte es ja, die .bz2-Datei mit 7.Zip oder WinRar zu entpacken. Und nun...? osmosis --read-bin file.osm.bpf --write-xml file.osm Oder warten, bis Maperitive das .osm.bpf selber auch unterstuetzt. Es wird bald eine einfache C-Implementierung fuer die Umsetzung pbf-osm geben, die kann dann jeder (z.B. der Maperitive-Entwickler) einfach in sein Programm einbauen. Aber die alten .bz2s gibt es ja noch, und die verschwinden auch nicht morgen. Fruehestens uebermorgen ;) Bye Frederik Na ja, wenn man da mal - wenn auch etwas verspätet zwischengrätschen darf... Ich halte bpf für eine Alternative, nicht jedoch für eine wirklich gute Lösung. Die Annahme, dass alles da draußen auf osmosis aufsetzen wolle oder mal eben ganze Importstrukturen umkippen wird, um sich dem doch eher gruseligen Binärgefriggel-Format anzuschließen, halte ich für gewagt. Eine 30%ige Reduzierung der Transportmengen wäre durchaus auch anders zu erreichen. Nicht jeder benötigt immer alles. Als gutes Beispiel sehe ich hier die Cloudmade-Philosophie Extrakte für verschiedene Anwendungsfälle bereitzustellen. Da ist ein europa-highways.osm plötzlich nur noch ein Drittel so groß wie das Original. Analog wäre z.B. auch denkbar, die ganzen Meta-Infos wie Autor, TimeStamp, etc. aus den Tags rauszulassen und nur reine Nutzdaten zu komprimieren. Wette, das geht dann auch auf 30% runter! Aber der wichtigste Aspekt zum Schluss: Ich weiß nicht wie viele XMLs ich bereits analysiert habe und so ganz schnell auf kleine aber nicht unwichtige Dinge und Fehlerchen aufmerksam geworden bin. Diese Option wird es dann ja in Zukunft nicht mehr geben. Schade. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hallo, Am Donnerstag 28 Oktober 2010 21:13:01 schrieb Carsten Moeller: Am 22.09.2010 23:48, schrieb Frederik Ramm: Hallo, osmosis --read-bin file.osm.bpf --write-xml file.osm Oder warten, bis Maperitive das .osm.bpf selber auch unterstuetzt. Es wird bald eine einfache C-Implementierung fuer die Umsetzung pbf-osm geben, die kann dann jeder (z.B. der Maperitive-Entwickler) einfach in sein Programm einbauen. Aber die alten .bz2s gibt es ja noch, und die verschwinden auch nicht morgen. Fruehestens uebermorgen ;) Bye Frederik Na ja, wenn man da mal - wenn auch etwas verspätet zwischengrätschen darf... Ich halte bpf für eine Alternative, nicht jedoch für eine wirklich gute Lösung. Die Annahme, dass alles da draußen auf osmosis aufsetzen wolle oder mal eben ganze Importstrukturen umkippen wird, um sich dem doch eher gruseligen Binärgefriggel-Format anzuschließen, halte ich für gewagt. Eine 30%ige Reduzierung der Transportmengen wäre durchaus auch anders zu erreichen. Nicht jeder benötigt immer alles. Als gutes Beispiel sehe ich hier die Cloudmade-Philosophie Extrakte für verschiedene Anwendungsfälle bereitzustellen. Da ist ein europa-highways.osm plötzlich nur noch ein Drittel so groß wie das Original. Analog wäre z.B. auch denkbar, die ganzen Meta-Infos wie Autor, TimeStamp, etc. aus den Tags rauszulassen und nur reine Nutzdaten zu komprimieren. Wette, das geht dann auch auf 30% runter! Aber der wichtigste Aspekt zum Schluss: Ich weiß nicht wie viele XMLs ich bereits analysiert habe und so ganz schnell auf kleine aber nicht unwichtige Dinge und Fehlerchen aufmerksam geworden bin. Diese Option wird es dann ja in Zukunft nicht mehr geben. Schade. +10 Gruß, Wolfgang ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Ich selber brauche diese Daten zwar (noch) nicht, aber trotzdem zur Info: seit 25.09.2010 gab es kein update mehr der pbf-Dateien. Gruss Fred Am 22.09.2010 22:19, schrieb Frederik Ramm: Hallo, ich weiss, dass es ein paar Leute gibt, die jeden Tag gar nicht schnell genug die neuen Extrakte von download.geofabrik.de laden koennen. Ab heute gibt es alle Extrakte auch im neuen, Google Protocol Buffers-basierten Binaerformat. Dieses Format ist rund 30% kleiner als die bisherigen .osm.bz2-Dateien und laesst sich vor allem viel schneller verarbeiten. Insbesondere all jene, die die Extrakte herunterladen und mit Osmosis weiterverarbeiten, duerften damit einen deutlichen Performance-Gewinn erzielen. Wer bislang die .osm.bz2-Dateien mit osm2pgsql o.ae. weiterverarbeitet, muss zur Verarbeitung der neuen .osm.pbf-Dateien noch ein Osmosis zwischenschalten, weil osm2pgsql das neue Format noch nicht von Haus aus unterstuetzt. Die bz2-Dateien wird es zunaechst weiterhin geben, aber langfristig moechte ich sie evtl. mal abschaffen, weil sie sowohl auf Anbieter- als auch auf Nutzerseite viele Ressourcen fressen. Details im Geofabrik-Blog: http://blog.geofabrik.de/?p=58 Wuerde mich ueber Erfahrungsberichte freuen. Es kann sein, dass die Sache am Anfang noch etwas holprig laeuft, aber ich denke mal, in ein paar Tagen sollten die neuen .osm.pbf schneller und ebenso zuverlaessig laufen wie die alten Extrakte. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Frederik Ramm schrieb: Steffen Wolf wrote: Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format generell schneller verarbeitbar ist. Interessant. Ich hatte das stichprobenartig mit einigen groesseren Dateien probiert. Muesste man also nochmal detaillierter untersuchen. Spaetestens aber, wenn Du irgendeine Art von Weiterverarbeitung mit dem lesenden Programm machst, wirst Du einen Vorteil merken, weil bei PBF ja das XML-Parsen komplett wegfaellt. Naja, nicht, wenn man die alten Programme weiterverwendet, die nur das XML parsen koennen. Aber ich war gestern etwas zu negativ eingestellt. Jetzt muessen halt nur noch die Programme nachziehen, dann wird alles besser als bisher. Ich kann ja meine Perl-Skripe auch mal ordentlich in C giessen. Bisher parsen die nur auf gut Glueck die XML-Daten. stw -- while(!asleep) sheep++; ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
[Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hallo, ich weiss, dass es ein paar Leute gibt, die jeden Tag gar nicht schnell genug die neuen Extrakte von download.geofabrik.de laden koennen. Ab heute gibt es alle Extrakte auch im neuen, Google Protocol Buffers-basierten Binaerformat. Dieses Format ist rund 30% kleiner als die bisherigen .osm.bz2-Dateien und laesst sich vor allem viel schneller verarbeiten. Insbesondere all jene, die die Extrakte herunterladen und mit Osmosis weiterverarbeiten, duerften damit einen deutlichen Performance-Gewinn erzielen. Wer bislang die .osm.bz2-Dateien mit osm2pgsql o.ae. weiterverarbeitet, muss zur Verarbeitung der neuen .osm.pbf-Dateien noch ein Osmosis zwischenschalten, weil osm2pgsql das neue Format noch nicht von Haus aus unterstuetzt. Die bz2-Dateien wird es zunaechst weiterhin geben, aber langfristig moechte ich sie evtl. mal abschaffen, weil sie sowohl auf Anbieter- als auch auf Nutzerseite viele Ressourcen fressen. Details im Geofabrik-Blog: http://blog.geofabrik.de/?p=58 Wuerde mich ueber Erfahrungsberichte freuen. Es kann sein, dass die Sache am Anfang noch etwas holprig laeuft, aber ich denke mal, in ein paar Tagen sollten die neuen .osm.pbf schneller und ebenso zuverlaessig laufen wie die alten Extrakte. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
am Mittwoch, 22. September 2010 um 22:19 schrieb Frederik Ramm: koennen. Ab heute gibt es alle Extrakte auch im neuen, Google Protocol Buffers-basierten Binaerformat. Dieses Format ist rund 30% kleiner als Das böse G-Wort. ;-) Christian ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hi, finde ich super, dass du das neue Format schon anbietest. Wird aber wohl noch etwas dauern, bis es in die Breite findet. Noch sind die Tools ja noch nicht ganz fertig. ;) Bleibt es egtl. bei der Zeit gegen 1 Uhr? Finde ich besser als erst gegen 10, wie es bisher ist. Viele Grüße, aighes -- View this message in context: http://gis.638310.n2.nabble.com/Geofabrik-Downloads-jetzt-als-Binaerformat-tp5560595p5560896.html Sent from the Germany mailing list archive at Nabble.com. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hi Frederik Ramm, ich weiss, dass es ein paar Leute gibt, die jeden Tag gar nicht schnell genug die neuen Extrakte von download.geofabrik.de laden koennen. Ab heute gibt es alle Extrakte auch im neuen, Google Protocol Buffers-basierten Binaerformat. Dieses Format ist rund 30% kleiner als die bisherigen .osm.bz2-Dateien und laesst sich vor allem viel schneller verarbeiten. Details im Geofabrik-Blog: http://blog.geofabrik.de/?p=58 Dort unter anderem: Osmosis 0.37 wird benoetigt, Aufruf etwa osmosis --read-bin input.osm.pbf --write-xml output.osm Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format generell schneller verarbeitbar ist. Zur Messung hab ich den Sachsen-Ausschnitt von heute genommen, einmal PBF, einmal bz2. Obiger Befehl brauchte 59s, mit bunzip2 -k input.osm.bz2 bekam ich nach 22s das Resultat. Da die beiden Dateien dann noch unterschiedlich gross waren, hab ich mal einen Diff angeworfen. Ist wahrscheinlich nur das Encoding gewesen. Aber eins ist mir doch aufgefallen: Kann man seinen Nutzernamen wechseln? Der in der bz2 verzeichnete Name existiert so nicht (mehr) in Openstreetmap. Die gleichen Daten mit selber Version hatten in der PBF einen existierenden Nutzer verzeichnet, der auf seiner Nutzerseite auch Hinweise auf den alten Namen stehen hat. Naja, ich bin erstmal noch vorsichtig gegen das neue Format. Gibt es eigentlich aehnliche Tools wie bzgrep, bzcat und bzdiff fuer PBF? Ohne die wuerd ich hier eine Menge handgebastelter Scripte umstellen muessen. stw -- Großbritannien hat seinen Anker gelichtet und bewegt sich in westlicher Richtung über den Atlantik. Experten gehen davon aus, das die Insel vor New York vor Anker gehen wird. Bei spontanen Massenkundgebungen in London wurde ein Kurswechsel Richtung Karibik gefordert. [Juergen Nieveler in dan] ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Und was ist zu machen, wenn man z.B. mit Maperitive[1] eine Karte rendern will, der braucht ja .osm-XML-Dateien. Bisher reichte es ja, die .bz2-Datei mit 7.Zip oder WinRar zu entpacken. Und nun...? ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hallo, aighes wrote: Bleibt es egtl. bei der Zeit gegen 1 Uhr? Finde ich besser als erst gegen 10, wie es bisher ist. Das muss sich erst noch einpendeln, das weiss ich selber noch nicht. Derzeit werden die Binaerdateien mit einem anderen Rechner hergestellt, mittelfristig soll alles wieder auf dem gleichen laufen. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hi, Steffen Wolf wrote: Ich moecht nur schnell der Aussage widersprechen, dass das PBF-Format generell schneller verarbeitbar ist. Zur Messung hab ich den Sachsen-Ausschnitt von heute genommen, einmal PBF, einmal bz2. Obiger Befehl brauchte 59s, mit bunzip2 -k input.osm.bz2 bekam ich nach 22s das Resultat. Interessant. Ich hatte das stichprobenartig mit einigen groesseren Dateien probiert. Muesste man also nochmal detaillierter untersuchen. Spaetestens aber, wenn Du irgendeine Art von Weiterverarbeitung mit dem lesenden Programm machst, wirst Du einen Vorteil merken, weil bei PBF ja das XML-Parsen komplett wegfaellt. Da die beiden Dateien dann noch unterschiedlich gross waren, hab ich mal einen Diff angeworfen. Ist wahrscheinlich nur das Encoding gewesen. Derzeit werden die auch auf unterschiedlichen Rechnern generiert, und es kann sein, dass sie nicht 100% identisch sind (dass ein Rechner schon eine Stunde aktuellere Daten hat o.ae.). Aber eins ist mir doch aufgefallen: Kann man seinen Nutzernamen wechseln? Der in der bz2 verzeichnete Name existiert so nicht (mehr) in Openstreetmap. Frueher habe ich 1x pro Woche das neue Planetfile geladen, aber das mach ich seit einiger Zeit nicht mehr, daher halten sich u.U. aeltere Benutzernamen in den Dateien. Die PBF ist auf einem anderen Rechner basierend auf einem aktuelleren Planet errechnet. Naja, ich bin erstmal noch vorsichtig gegen das neue Format. Gibt es eigentlich aehnliche Tools wie bzgrep, bzcat und bzdiff fuer PBF? Ohne die wuerd ich hier eine Menge handgebastelter Scripte umstellen muessen. Das gibt es alles nicht, sprich Du musst derzeit sowas wie osmosis --read-bin file.osm.pbf --write-xml - | grep ... machen. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] Geofabrik-Downloads jetzt als Binaerformat
Hallo, Robert S. wrote: Und was ist zu machen, wenn man z.B. mit Maperitive[1] eine Karte rendern will, der braucht ja .osm-XML-Dateien. Bisher reichte es ja, die .bz2-Datei mit 7.Zip oder WinRar zu entpacken. Und nun...? osmosis --read-bin file.osm.bpf --write-xml file.osm Oder warten, bis Maperitive das .osm.bpf selber auch unterstuetzt. Es wird bald eine einfache C-Implementierung fuer die Umsetzung pbf-osm geben, die kann dann jeder (z.B. der Maperitive-Entwickler) einfach in sein Programm einbauen. Aber die alten .bz2s gibt es ja noch, und die verschwinden auch nicht morgen. Fruehestens uebermorgen ;) Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
