Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht
von STDIN Daten empfangen und sofort entpackt nach STDOUT
durchleiten können.
Schniff ;-(
Ich kann dir nur empfehlen dir cygwin zu installieren (ist ganz einfach
mit nem graphischen Installer) und darin dann bzip2, tar,
Am So, 6.09.2009, 11:37 schrieb Peter Körner:
Ich kann dir nur empfehlen dir cygwin zu installieren
Das tue ich seit Jahren ;-)
Habe vorher aber nie Pipes benötigt, mich aber gut eingearbeitet.
(ist ganz einfach
mit nem graphischen Installer) und darin dann bzip2, tar, grep, cat,
tail,
Ja, aber bzcat bringt nicht die gleiche Performance, wie 7z. Es gibt ein
bunzip2 für Multicore ... mal gucken, ob man es compilieren kann.
Naja aber du machst doch nach dem entpacken noc hwas anderes mit den
Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den
sax-parser auf
Am So, 6.09.2009, 11:55 schrieb Peter Körner:
Naja aber du machst doch nach dem entpacken noc hwas anderes mit den
Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den
sax-parser auf dem anderen.
Habe hier vier, darum wollte ich - testweise - schauen, ob es mehr
Leistung
Am So, 6.09.2009, 11:55 schrieb Peter Körner:
Naja aber du machst doch nach dem entpacken noc hwas anderes mit den
Daten? Ic hhab immer bzcat auf einem core laufen lassen und z.B. den
sax-parser auf dem anderen.
Habe hier vier, darum wollte ich - testweise - schauen, ob es mehr
Leistung
Hi,
Tobias Wendorff wrote:
7z x -tbzip2 -mmt=on europe.osm.bz2
Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht
von STDIN Daten empfangen und sofort entpackt nach STDOUT
durchleiten können.
Seltsamerweise nicht. Umgekehrt gehts:
7z a dummy -tbzip2 -si -so -mx=2
- Ursprüngliche Nachricht -
Von: Frederik Ramm frede...@remote.org
An: Openstreetmap allgemeines in Deutsch talk-de@openstreetmap.org
Gesendet: 05.09.09 22:29
Betreff: Re: [Talk-de] planet files etc auspacken - probelm
Hi,
Tobias Wendorff wrote:
7z x -tbzip2 -mmt=on europe.osm.bz2
Christoph Wagner schrieb:
Also ich habe mit 7zip beim Auspacken sehr gute Erfahrungen gemacht.
Gerade auf Multicoresystemen scheint das richtig was zu bringen:
7z x -tbzip2 -mmt=on europe.osm.bz2
Klappt super! Nur schade, dass 7z und die Alpha anscheinend nicht
von STDIN Daten empfangen und
Gary68 schrieb:
:-) naja, tage dauert es nicht. und das planet will ich auch nicht
wirklich auspacken, aber doch mit einer perl lib lesen. und eben das
geht nicht.
und das auspacken kann geschwindigkeitsvorteile bringen, wenn ich die
datei mehrfach verwende. plattenplatz vorausgesetzt.
Gary68 schrieb:
:-) naja, tage dauert es nicht. und das planet will ich auch nicht
wirklich auspacken, aber doch mit einer perl lib lesen. und eben das
geht nicht.
Du kannst doch bestimmt mit Perl von STDIN lesen und mit bzcat dorthin
pipen.
und das auspacken kann geschwindigkeitsvorteile
Peter Körner schrieb:
Man kann übrigens sogar den Download noch mit inlinen:
wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
bzcat | less
Yepp, wobei man unter Windows dafür die cygwin Tools nutzen sollte.
Die nativen wget.exe, die ich probiert hatte, haben bei
Peter Körner schrieb:
wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
bzcat | less
WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch
ein paar schöne Dinge :-)
___
Talk-de mailing list
Talk-de@openstreetmap.org
Am Freitag 28 August 2009 13:19:12 schrieb Tobias Wendorff:
Peter Körner schrieb:
wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
bzcat | less
WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch
ein paar schöne Dinge :-)
Boah ey!! EIN PAAR?? Jetz abba :D
Tobias Wendorff schrieb:
Peter Körner schrieb:
wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
bzcat | less
WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt hat doch
ein paar schöne Dinge :-)
Moooment, das kannst du unter Win genauso :)
Die cmd.exe kennt pipes
On Fri, Aug 28, 2009 at 01:19:12PM +0200, Tobias Wendorff wrote:
Subject: Re: [Talk-de] planet files etc auspacken - probelm
Peter Körner schrieb:
wget -O - -q http://planet.openstretmap.org/planet-latest.osm.bz2 |
bzcat | less
WTF, ehrlich? Genial. Super. Verdammt, die Linux-Welt
Hi,
Florian Lohoff wrote:
Ich faends super wenn das per rsync zu haben waere - dann koennte man korrupte
dateien reparieren ohne die gigabyte erneut durch die gegend zu schieben.
Geofabrik-Server geht nicht mit rsync, aber planet.openstreetmap.org geht:
% rsync --verbose --copy-links
hi,
ok. mache ich mal bei gelegenheit. habe dann noch ein drittes
europe.osm.bz2 von der geofabrik gezogen, das ging dann...
ciao
gerhard
On Wed, 2009-08-26 at 21:34 +0200, Frederik Ramm wrote:
Hallo,
Gary68 wrote:
habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik
habe ubuntu im einsatz, einmal mit rechtsklick extract here probiert,
einmal mit bunzip2...
Bei so ner riesigen Datei? 150 GB XML? Das kann dich Tage kosten...
Was willst du denn mit dem Dump machen? Ich würde den Dump mit bzcat in
eine Pipe schreiben und von (d)einem Tool auf STDIN auslesen
Peter Körner schrieb:
Ein Beispiel in PHP kannst du dir hier runterladen:
http://cassini.toolserver.org/~mazder/duplicate-countries/from-planet.osm/source.tar.bz2
Cool, Danke! Ich lese momentan meine Dateien auch stückchenhaft
ein, aber das mit STDIN ist eine gute Idee! Dann muss man nicht
wirklich auspacken, aber doch mit einer perl lib lesen. und eben das
geht nicht.
was für ne perl lib willst du denn verwenden? wenn die auf dom basiert, will
die vermutlich das komplette file ins ram reinparsen was mit 150 GB größe auf
den meisten rechnern schief gehen dürfte.
wenn du die
hi,
habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik
versucht auszupacken - alle drei versuche sind gescheitert. gibt es
einen trick? sind die files korrupt?
habe ubuntu im einsatz, einmal mit rechtsklick extract here probiert,
einmal mit bunzip2...
achja, die perl lib schafft
Hallo,
Gary68 wrote:
habe ein planet-latest und zwei europe.osm.bz2 von der geofabrik
versucht auszupacken - alle drei versuche sind gescheitert. gibt es
einen trick? sind die files korrupt?
Ggf. mal md5sum auf das planet-latest und vergleichen mit der Summe, die
auf planet.openstreetmap.org
22 matches
Mail list logo
