Re: [Talk-de] planet files etc auspacken - probelm
Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht von STDIN Daten empfangen und sofort entpackt nach STDOUT durchleiten können. Schniff ;-( Ich kann dir nur empfehlen dir cygwin zu installieren (ist ganz einfach mit nem graphischen Installer) und darin dann bzip2, tar, grep, cat, tail, tee usw. zu nutzen. Du hast dann ne richtige bash mit allen vorteilen unter windows und daraus auch noch immer Zugriff auf alle befehle, die du immoment schon hast (7z, perl, ..) Peter ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Am So, 6.09.2009, 11:37 schrieb Peter Körner: Ich kann dir nur empfehlen dir cygwin zu installieren Das tue ich seit Jahren ;-) Habe vorher aber nie Pipes benötigt, mich aber gut eingearbeitet. (ist ganz einfach mit nem graphischen Installer) und darin dann bzip2, tar, grep, cat, tail, tee usw. zu nutzen. Du hast dann ne richtige bash mit allen vorteilen unter windows und daraus auch noch immer Zugriff auf alle befehle, die du immoment schon hast (7z, perl, ..) Ja, aber bzcat bringt nicht die gleiche Performance, wie 7z. Es gibt ein bunzip2 für Multicore ... mal gucken, ob man es compilieren kann. Ich muss wohl ein Ticket bei 7z aufmachen. Vermutlivh kam bislang niemand auf die Nützlichkeit ;-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Ja, aber bzcat bringt nicht die gleiche Performance, wie 7z. Es gibt ein bunzip2 für Multicore ... mal gucken, ob man es compilieren kann. Naja aber du machst doch nach dem entpacken noc hwas anderes mit den Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den sax-parser auf dem anderen. Peter ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Am So, 6.09.2009, 11:55 schrieb Peter Körner: Naja aber du machst doch nach dem entpacken noc hwas anderes mit den Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den sax-parser auf dem anderen. Habe hier vier, darum wollte ich - testweise - schauen, ob es mehr Leistung bringt, wenn ich den Download im Stream über mehrere Cores entpacke. Im Endeffekt sollte das Entpacken ja nur so schnell sein, wie der Parser es verarbeiten kann?! ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Am So, 6.09.2009, 11:55 schrieb Peter Körner: Naja aber du machst doch nach dem entpacken noc hwas anderes mit den Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den sax-parser auf dem anderen. Habe hier vier, darum wollte ich - testweise - schauen, ob es mehr Leistung bringt, wenn ich den Download im Stream über mehrere Cores entpacke. Im Endeffekt sollte das Entpacken ja nur so schnell sein, wie der Parser es verarbeiten kann?! ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Hi, Tobias Wendorff wrote: 7z x -tbzip2 -mmt=on europe.osm.bz2 Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht von STDIN Daten empfangen und sofort entpackt nach STDOUT durchleiten können. Seltsamerweise nicht. Umgekehrt gehts: 7z a dummy -tbzip2 -si -so -mx=2 inputfile.osm outputfile.osm.bz2 Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
- Ursprüngliche Nachricht - Von: Frederik Ramm frede...@remote.org An: Openstreetmap allgemeines in Deutsch talk-de@openstreetmap.org Gesendet: 05.09.09 22:29 Betreff: Re: [Talk-de] planet files etc auspacken - probelm Hi, Tobias Wendorff wrote: 7z x -tbzip2 -mmt=on europe.osm.bz2 Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht von STDIN Daten empfangen und sofort entpackt nach STDOUT durchleiten können. Seltsamerweise nicht. Umgekehrt gehts: 7z a dummy -tbzip2 -si -so -mx=2 inputfile.osm outputfile.osm.bz2 Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Christoph Wagner schrieb: Also ich habe mit 7zip beim Auspacken sehr gute Erfahrungen gemacht. Gerade auf Multicoresystemen scheint das richtig was zu bringen: 7z x -tbzip2 -mmt=on europe.osm.bz2 Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht von STDIN Daten empfangen und sofort entpackt nach STDOUT durchleiten können. Schniff ;-( ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Gary68 schrieb: :-) naja, tage dauert es nicht. und das planet will ich auch nicht wirklich auspacken, aber doch mit einer perl lib lesen. und eben das geht nicht. und das auspacken kann geschwindigkeitsvorteile bringen, wenn ich die datei mehrfach verwende. plattenplatz vorausgesetzt. Also ich habe mit 7zip beim Auspacken sehr gute Erfahrungen gemacht. Gerade auf Multicoresystemen scheint das richtig was zu bringen: 7z x -tbzip2 -mmt=on europe.osm.bz2 Grüße Christoph signature.asc Description: OpenPGP digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Gary68 schrieb: :-) naja, tage dauert es nicht. und das planet will ich auch nicht wirklich auspacken, aber doch mit einer perl lib lesen. und eben das geht nicht. Du kannst doch bestimmt mit Perl von STDIN lesen und mit bzcat dorthin pipen. und das auspacken kann geschwindigkeitsvorteile bringen, wenn ich die datei mehrfach verwende. plattenplatz vorausgesetzt. Richtig, nur darfst du die Zeit nicht vergessen, die du zum entpacken auf die Platte brauchst. Wenn du die Datei mehrfach brauchst könnte man mit ner named pipe zwei Programme damit speisen. Man kann übrigens sogar den Download noch mit inlinen: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less Peter tnx gerhard gary68 On Thu, 2009-08-27 at 17:51 +0200, Peter Körner wrote: habe ubuntu im einsatz, einmal mit rechtsklick extract here probiert, einmal mit bunzip2... Bei so ner riesigen Datei? 150 GB XML? Das kann dich Tage kosten... Was willst du denn mit dem Dump machen? Ich würde den Dump mit bzcat in eine Pipe schreiben und von (d)einem Tool auf STDIN auslesen lassen: bzcat planet-latest.osm.bz2 | some-tool output.txt Zum Testen beispielsweise: bzcat planet-latest.osm.bz2 | less Das geht auch mit PHP-Scripten: bzcat planet-latest.osm.bz2 | php saxparser.php output.txt Ein Beispiel in PHP kannst du dir hier runterladen: http://cassini.toolserver.org/~mazder/duplicate-countries/from-planet.osm/source.tar.bz2 Peter ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Peter Körner schrieb: Man kann übrigens sogar den Download noch mit inlinen: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less Yepp, wobei man unter Windows dafür die cygwin Tools nutzen sollte. Die nativen wget.exe, die ich probiert hatte, haben bei Ausgabe auf - (STDOUT) im Ascii Modus gearbeitet und bei LF noch ein CR ausgegeben, was bz2 Files natürlich kaputt macht. Da mir gestern der Download der europa.osm.gz2 von der Geofabrik bei 1.8 GB hängen geblieben ist: Könnte man auf der Download-Seite die Größe in Bytes angeben und nicht in GB, Frederik? Chris ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Peter Körner schrieb: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch ein paar schöne Dinge :-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Am Freitag 28 August 2009 13:19:12 schrieb Tobias Wendorff: Peter Körner schrieb: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch ein paar schöne Dinge :-) Boah ey!! EIN PAAR?? Jetz abba :D :D Das sage ich im Übrigen auch immer - aber von Windows ;) Spaß beiseite - will keinen Glaubenskrieg anfangen, das bringt nix. ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Tobias Wendorff schrieb: Peter Körner schrieb: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch ein paar schöne Dinge :-) Moooment, das kannst du unter Win genauso :) Die cmd.exe kennt pipes genau so wie Linux, du brauchst nur dass bzip2 / less binary für windoes. Und das bekommst du aus dem Cygwin-Paket. Ich sitz hier nämluch zufälligerweise an einer Win-Maschine und der obige Code funktioniert hier genau so gut wie auf dem RedHat-Server. Wenn, dann lobe die Kommandozeile :) Lg, Peter ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
On Fri, Aug 28, 2009 at 01:19:12PM +0200, Tobias Wendorff wrote: Subject: Re: [Talk-de] planet files etc auspacken - probelm Peter Körner schrieb: wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 | bzcat | less WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch ein paar schöne Dinge :-) Wobei wenn irgendwas schief geht man halt die gigabytes doppelt und dreifach downloaded... Ich faends super wenn das per rsync zu haben waere - dann koennte man korrupte dateien reparieren ohne die gigabyte erneut durch die gegend zu schieben. Flo -- Florian Lohoff f...@rfc822.org Es ist ein grobes Missverständnis und eine Fehlwahrnehmung, dem Staat im Internet Zensur- und Überwachungsabsichten zu unterstellen. - - Bundesminister Dr. Wolfgang Schäuble -- 10. Juli in Berlin signature.asc Description: Digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Hi, Florian Lohoff wrote: Ich faends super wenn das per rsync zu haben waere - dann koennte man korrupte dateien reparieren ohne die gigabyte erneut durch die gegend zu schieben. Geofabrik-Server geht nicht mit rsync, aber planet.openstreetmap.org geht: % rsync --verbose --copy-links planet.openstreetmap.org::planet/planet-latest.osm.bz2 /tmp/myplanet Man kann natuerlich auch das ganze Verzeichnis kopieren: % rsync --verbose planet.openstreetmap.org::planet /tmp/myplanet Aber dann kriegt man die ganzen stuendlichen und minuetlichen Files mit etc., das sollte man echt nur tun, wenn man dafuer auch Verwendung hat. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
hi, ok. mache ich mal bei gelegenheit. habe dann noch ein drittes europe.osm.bz2 von der geofabrik gezogen, das ging dann... ciao gerhard On Wed, 2009-08-26 at 21:34 +0200, Frederik Ramm wrote: Hallo, Gary68 wrote: habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik versucht auszupacken - alle drei versuche sind gescheitert. gibt es einen trick? sind die files korrupt? Ggf. mal md5sum auf das planet-latest und vergleichen mit der Summe, die auf planet.openstreetmap.org angegeben ist. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
habe ubuntu im einsatz, einmal mit rechtsklick extract here probiert, einmal mit bunzip2... Bei so ner riesigen Datei? 150 GB XML? Das kann dich Tage kosten... Was willst du denn mit dem Dump machen? Ich würde den Dump mit bzcat in eine Pipe schreiben und von (d)einem Tool auf STDIN auslesen lassen: bzcat planet-latest.osm.bz2 | some-tool output.txt Zum Testen beispielsweise: bzcat planet-latest.osm.bz2 | less Das geht auch mit PHP-Scripten: bzcat planet-latest.osm.bz2 | php saxparser.php output.txt Ein Beispiel in PHP kannst du dir hier runterladen: http://cassini.toolserver.org/~mazder/duplicate-countries/from-planet.osm/source.tar.bz2 Peter ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Peter Körner schrieb: Ein Beispiel in PHP kannst du dir hier runterladen: http://cassini.toolserver.org/~mazder/duplicate-countries/from-planet.osm/source.tar.bz2 Cool, Danke! Ich lese momentan meine Dateien auch stückchenhaft ein, aber das mit STDIN ist eine gute Idee! Dann muss man nicht immer den Dateinamen im PHP-Script anpassen ;-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
wirklich auspacken, aber doch mit einer perl lib lesen. und eben das geht nicht. was für ne perl lib willst du denn verwenden? wenn die auf dom basiert, will die vermutlich das komplette file ins ram reinparsen was mit 150 GB größe auf den meisten rechnern schief gehen dürfte. wenn du die lib nicht ändern kannst/willst, mußt du evtl. die planet.xml vorher soweit auf die für dich relevanten infos eindampfen daß sie in den speicher passt. dafür nimmst du am besten einen sax-basierten parser weil der im gegensatz zu dom nicht alles in den speicher lesen muß bevor er arbeiten kann. Gruß, Gerd ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
[Talk-de] planet files etc auspacken - probelm
hi, habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik versucht auszupacken - alle drei versuche sind gescheitert. gibt es einen trick? sind die files korrupt? habe ubuntu im einsatz, einmal mit rechtsklick extract here probiert, einmal mit bunzip2... achja, die perl lib schafft es auch nicht, an die daten zu kommen. irgendwo bricht das immer ab. jemand eine idee? ciao gerhard ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] planet files etc auspacken - probelm
Hallo, Gary68 wrote: habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik versucht auszupacken - alle drei versuche sind gescheitert. gibt es einen trick? sind die files korrupt? Ggf. mal md5sum auf das planet-latest und vergleichen mit der Summe, die auf planet.openstreetmap.org angegeben ist. Bye Frederik ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
