Re: [Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-02 Diskussionsfäden Markus

Hallo Frederik, Claudius, Fabian,

danke für die ausführliche Erklärung und die Links.
Ganz schön komplex, was da alles im Hintergrund geschieht!

Erstaunlich wie schnell OSM ist!
Das beeindruckt Kursteilnehmer immer wieder.

Formulierungen wie keine 10 Minuten oder in wenigen Minuten passen 
also gut im Zusammenhang mit Aktualität ist ein herausragendes 
Qualitätsmerkmal von OSM.
In Kursen demonstriere ich das: die Teilnehmer ändern etwas mit JOSM, 
ich erkläre etwas dazu oder beantworte eine Frage - und schon ist das 
Ergebnis in der Karte sichtbar :-)


_Wiki_
Wir könnten doch eine Wikiseite zum Thema Aktualität machen...
Wo wir den Weg von der Dateneingabe bis zum Erscheinen auf der Karte 
beschreiben. Frederik's Info könnten wir als Basis nehmen.

Was wäre ein sinnvoller Seitentitel?

Gruss, Markus


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


[Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-01 Diskussionsfäden Markus

Früher dauerte es eine knappe Woche bis Änderungen gerendert wurden.
Heute dauert es gefühlt weniger als 10 Minuten.

Gibt es dazu eine Statistik?
Was sind die Schwankungsbreiten?
Wovon sind diese abhängig?

Gruss, Markus

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-01 Diskussionsfäden Claudius

Am 01.02.2011 12:08, Markus:

Früher dauerte es eine knappe Woche bis Änderungen gerendert wurden.
Heute dauert es gefühlt weniger als 10 Minuten.

Gibt es dazu eine Statistik?
Was sind die Schwankungsbreiten?
Wovon sind diese abhängig?


Statistik darüber in den visualisierten Serverstatistiken. Hier der 
Direktlinkt auf die RenderD(aemon) Queue Length, das ist die Länge der 
Warteschlange des Mapnik-Renderers: 
http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap/renderd_queue.html


Diese Wartschlange erhöht sich oft kurzfristig nach Importen, da viele 
Kacheln neu berechnet werden müssen, aber auch nach Änderungen des 
Kartenstils, wie vor kurzem geschehn.


Claudius


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-01 Diskussionsfäden Markus

Hallo Claudius,

danke für den Link:


RenderD(aemon) Queue Length,Warteschlange des Mapnik-Renderers:
http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap/renderd_queue.html


Wenn ich die Diagramme richtig verstehe:
Anzahl Kacheln (pro Zeiteinheit? welcher?), die gerendert werden?
Der Renderer arbeitet immer Vollast (1k)?
Zwischen den Tagen macht er Pause in den frühen Morgenstunden? warum?

Wie kann ich aus der Grafik ablesen, wie lange die Umsetzung einer 
Änderung in die Karte dauert?


Gruss, Markus

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-01 Diskussionsfäden Fabian Schmidt


Am 01.02.11 schrieb Claudius:

Statistik darüber in den visualisierten Serverstatistiken. Hier der 
Direktlinkt auf die RenderD(aemon) Queue Length, das ist die Länge der 
Warteschlange des Mapnik-Renderers: 
http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap/renderd_queue.html


dazu kommt noch die Zeit, die die Daten brauchen, um aus der API-DB in die 
Render-DB zu wandern:


http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap/replication_delay.html


Fabian.___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Dauer von Datenänderung bis diese gerendert ist

2011-02-01 Diskussionsfäden Frederik Ramm

Hallo,

On 02/01/11 14:05, Fabian Schmidt wrote:

dazu kommt noch die Zeit, die die Daten brauchen, um aus der API-DB in
die Render-DB zu wandern:

http://munin.openstreetmap.org/openstreetmap/yevaud.openstreetmap/replication_delay.html


Also das ist jetzt alles so eine Reihe von Halb-Informationen, ich 
versuche das mal gradezuziehen ;)


Auf dem OSM-Datenbankserver:

D1. Daten werden hochgeladen und sind sofort in der zentralen DB vorhanden.

D2. Daten werden im Minuten-, Stunden- und Tagestakt in diff-Files 
geschrieben und warten da auf Abholung:


Auf dem Tileserver:

T1. In unregelmaessigen Abstaenden wird die Datenbank durch einen 
Vollimport aktualisiert (ca. alle 2 Monate).


T2. Ansonsten wird die Datenbank reglmaessig aus den diffs repliziert, 
und zwar aus den minuetlichen. Das geht in der Regel flott, wie die oben 
zitierte Grafik zeigt.


Diese Zeiten - normalerweise um die 1-2 Minuten, aber u.U. auch mal 12 
Stunden - geben an, wie lang es dauert, bis eine in der OSM-Datenbank 
gemachte Aenderung in der Datenbank auf dem Tileserver angekommen ist. 
Das heisst noch nicht, dass dann auch ein neues Tile gerendert wird.


T3. Wenn der Server gerade nicht ueberlastet ist, rechnet er von sich 
aus alle Kacheln auf Zoomlevel 14 (glaub ich) und hoeher neu, die sich 
aufgrund der in T2 uebernommenen Aendeurngen aendern muessten. Dabei 
wirden jedoch Relationen nicht beruecksichtigt, und es kann auch sonst 
mal aus verschiedenen technischen Gruenden zu Auslassungen kommen.


T4. Wenn eine Kachel angefordert wird und sich dabei herausstellt, dass 
sie aelter als der letzte Vollimport ist, wird sie vor oder nach 
Auslieferung neu gerendert.


T5. Kacheln unterhalb Zoomlevel 14 werden nicht automatisch neu 
gerendert; auch findet kein automatisches Neu-Rendering statt, wenn der 
Server beim Datenimport gerade zu viel Last hatte. In diesen Faellen 
wird das alte Tile bis zum ersten Abruf nach dem naechsten Vollimport 
erhalten bleiben, also u.U. einige Monate, ausser, es wird vorher aus 
anderem Grund neu gerendert.


T6. Man kann jederzeit manuell das Neurendern einer Kachel anfordern, 
ueber den Kachel-URL mit /dirty hintendran. Jemand hatte dafuer auch mal 
ein Webinterface, das find ich aber gerade nicht.



Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de