On Sat, Jun 12, 2010 at 11:10:39AM +0200, Frederik Ramm wrote: > Ich fand dies hier spannend (ueber ein neues Binaerformat): > > http://lists.openstreetmap.org/pipermail/dev/2010-April/019370.html > > "an entire planet, including all metadata, can be read in about 12 > minutes and written in about 50 minutes on a 3 year old dual-core machine"
So aehnliches zeugs habe ich auch probiert - wenn ich aber nur die nodes mit allen metadaten (ohne tags) schreibe d.h. mit uid, version, changeset, etc - dann habe ich nur fuer die nodes ~9GB ... Das ist dann ebenfalls schon mit lat/lon als uint32 und die anderen values als compressed integers ablege. Bei den tags habe ich mir erstmal gedanken zum string dedupe gemacht und die idee ist jetzt eben nicht die strings sondern string numbers zu schreiben - Die dedupe string table ist auch nicht so gross das man sie nicht im speicher halten kann. Der Ansatz war sowas wie die TRAPI zu bauen, aber halt in schnell beim importieren - moeglichst mehrere CPUs zu exploiten - Ich habe hier kisten mit 16GB Ram und 8 Cores - und wenn ich mit trapi rumhampel ist 1ne CPU und 60MB Ram in benutzung. Also ist mein Ansatz zu versuchen auf solcher hardware den Planet komplett in wenigen minuten bis stunden in den speicher lesen zu koennen so das alle abfragen dann in memory laufen koennen. Alternativ koennte man das jeweils in irgendwelche container a 1GB oder so droppen und dann da mit mmap rumhampeln ... Aber ich werde da bestimmt kein Java fuer anfassen ;) Aber das design dokument ist spannend - ueber delta compression fuer die node ids habe ich auch schon nachgedacht - koennte so einiges bringen ... Im moment ist das einfach nur nen bischen spielerei ... Flo -- Florian Lohoff f...@zz.de "Es ist ein grobes Missverständnis und eine Fehlwahrnehmung, dem Staat im Internet Zensur- und Überwachungsabsichten zu unterstellen." - - Bundesminister Dr. Wolfgang Schäuble -- 10. Juli in Berlin
signature.asc
Description: Digital signature
_______________________________________________ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de