Re: [Talk-de] ist damit die Overpass down ...?
Martin Koppenhoefer wrote: man kann ja trotzdem lokal eine Geodatenbank haben, das eine schließt das andere nicht aus., Das mag ja sein, aber zumindest mein Interesse, das dann regelmäßig lokal zu erstellen und ins Netz zu übertragen, hält sich sehr in Grenzen. Eine (X)API-Anfrage pro Tag wird den Server schon nicht in die Knie zwingen. Gruß Manuel ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo, Am 13.06.2012 um 10:21 schrieb Manuel Reimer: Eine (X)API-Anfrage pro Tag wird den Server schon nicht in die Knie zwingen. Ich denke man muss sowas halt grade irgendwie mit Accounts bzw. API Keys erlauben. Also das man mit nem Key eben nicht in die limits läuft oder so. MfG Andi ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Andreas Hubel wrote: Ich denke man muss sowas halt grade irgendwie mit Accounts bzw. API Keys erlauben. Also das man mit nem Key eben nicht in die limits läuft oder so. Sehe ich auch so. Wenn ich das richtig verstanden habe, dann gibt es für XAPI auf dem Overpass-Server aktuell eine Art globales Limit. So kann also sein, dass gerade ich, wo ich nur ein Request pro Tag bräuchte, ins Limit laufe. Ich müsste, wenn ich den Overpass-Server nutzen wollte, also mein Script so umbauen, dass es X Retries versucht, um das Limit auszuhebeln. Besser wäre hier IMHO ein Limit pro IP. Die Massen-Nutzer werden dann relativ schnell feststellen, dass XAPI eben nicht gedacht ist um megabyteweise Daten abzuziehen. Ab, sagen wir 100 Requests/Tag, gibt's dann nur noch Limit expired und Ende ist. Der reguläre Nutzer wird mit 100 Requests pro Tag gut auskommen. Gruß Manuel ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo, On 06/13/12 12:22, Manuel Reimer wrote: Besser wäre hier IMHO ein Limit pro IP. Die Massen-Nutzer werden dann relativ schnell feststellen, dass XAPI eben nicht gedacht ist um megabyteweise Daten abzuziehen. Aber das wuerde den unbedarften Bastler nicht daran hindern, eine POI-Karte zu bauen, die bei jedem Karten-Verschieben mal eben wieder neu alle Sportplaetze fuer den aktuellen Ausschnitt bei der XAPI/Overpass anfordert. Sobald die Karte dann populaer wird, kommen tausende von Requests von ganz unterschiedlichen IPs... Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo, Projekte mit weniger als 10.000 Abfragen und weniger als 1 GB pro Tag müssen sich keine Gedanken machen. Relativ zu den Gesamtdatenmengen fallen solche Datenmengen nicht ins Gewicht. Es sind eigentlich genau die Projekte, die ich mit diesem Server fördern möchte. Aber das wuerde den unbedarften Bastler nicht daran hindern, eine POI-Karte zu bauen, die bei jedem Karten-Verschieben mal eben wieder neu alle Sportplaetze fuer den aktuellen Ausschnitt bei der XAPI/Overpass anfordert. Sobald die Karte dann populaer wird, kommen tausende von Requests von ganz unterschiedlichen IPs... ... was erklärt, warum einfache IP-Sperren keinen Sinn ergeben. Ähnliches gilt für den user agent: da würde dann der zahlmäßig große User agent Mozilla (übrigens einschließlich einiger IE-Versionen) auffallen, den wir aber bestimmt nicht ausschließen wollen. Es ist leider nicht einfach, einen schlimmstenfalls DDoS-Angriff von einem Slashdot-Effekt (bzw. Heise-Effekt) zu unterscheiden. Mehr Details hoffe ich in den nächsten Tagen in einem Blogpost auf blog.openstreetmap.de erläutern zu können. Viele Grüße, Roland -- NEU: FreePhone 3-fach-Flat mit kostenlosem Smartphone! Jetzt informieren: http://mobile.1und1.de/?ac=OM.PW.PW003K20328T7073a ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Florian Lohoff f...@zz.de wrote: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Das Problem ist, dass es derzeit keine gescheite Möglichkeit gibt solche Datenbanken ohne komplettem Neuimport aktuell zu halten. Die Idee sogenannter rich diffs kommt immer mal wieder auf wurde aber noch von niemandem umgesetzt. Gruss Sven -- Those who would give up Essential Liberty to purchase a little Temporary Safety, deserve neither Liberty nor Safety (Benjamin Franklin) /me is giggls@ircnet, http://sven.gegg.us/ on the Web ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Florian Lohoff wrote: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Die wenigsten wollen, nur um eine angepasste Karte auf der Homepage zu haben, gleich einen ganzen Server mieten. Der Großteil, der etwas ins Netz stellt, bucht nur Webhosting. Also HTTP, PHP, wenn man Glück hat, dann auch CGI und SSI. Upload meistens mit FTP. Gruß Manuel ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Am 12. Juni 2012 11:59 schrieb Manuel Reimer manuel.s...@nurfuerspam.de: Florian Lohoff wrote: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Die wenigsten wollen, nur um eine angepasste Karte auf der Homepage zu haben, gleich einen ganzen Server mieten. Der Großteil, der etwas ins Netz stellt, bucht nur Webhosting. Also HTTP, PHP, wenn man Glück hat, dann auch CGI und SSI. Upload meistens mit FTP. man kann ja trotzdem lokal eine Geodatenbank haben, das eine schließt das andere nicht aus., Gruß Martin ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
[Talk-de] ist damit die Overpass down ...?
Hi ! kurz gefragt ist damit die Overpass derzeit generell down oder gibt es eine alterative URL?? Wenn ja - teilst Du dann in der ML und im Forum einmal mit wenn die wieder aktiv ist ? gruß Jan :-) ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hi ! kurz gefragt ist damit die Overpass derzeit generell down oder gibt es eine alterative URL?? Die Instanz overpass-api.de ist nach wie vor funktionstüchtig. Es sind nur Abfragen abgeschaltet, die mit http://overpass-api.de/api/xapi?* beginnen, weil diese im Moment über 95% der Last ausmachen (würden), aber nur von einen Bruchteil der Overpass-Nutzer (zum Teil recht exzessiv) genutzt werden. Es steht aber uneingeschränkt die komplette OverpassQL zur Verfügung, und auch mit der XAPI ließe sich die Abfrage nacheinander als http://overpass-api.de/api/xapi?node http://overpass-api.de/api/xapi?way http://overpass-api.de/api/xapi?relation ohne Performance-Nachteil durchführen. Wenn ja - teilst Du dann in der ML und im Forum einmal mit wenn die wieder aktiv ist ? Sobald es Neuigkeiten gibt, werde ich diese auch hier auf der ML mitteilen. Viele Grüße, Roland -- Empfehlen Sie GMX DSL Ihren Freunden und Bekannten und wir belohnen Sie mit bis zu 50,- Euro! https://freundschaftswerbung.gmx.de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo, On 06/11/12 09:29, Roland Olbricht wrote: Die Instanz overpass-api.de ist nach wie vor funktionstüchtig. Es sind nur Abfragen abgeschaltet, die mit http://overpass-api.de/api/xapi?* beginnen, weil diese im Moment über 95% der Last ausmachen (würden), aber nur von einen Bruchteil der Overpass-Nutzer (zum Teil recht exzessiv) genutzt werden. Es steht aber uneingeschränkt die komplette OverpassQL zur Verfügung, und auch mit der XAPI ließe sich die Abfrage nacheinander als Das ist leider die immerwaehrende Tragoedie mit diesen Diensten. Die original XAPI gibt es ja schon seit 4 Jahren oder so, und am Anfang war sie echt praktisch, aber dann kam der Erfolg und damit auch sehr viele Abfragen, bei denen niemand Ruecksicht darauf genommen hat, dass es sich um ein privates Angebot mit beschraenkten Ressourcen handelt. Zum Teil haben Leute sowas wie thematische Karten gebaut, die sich komplett auf die XAPI stuetzten. Klar, wenn dann jemand auf einer OpenLayers-Karte rumsurft, die alle Tankstellen in Europa zeigt und bei jedem Verschieben einen neuen XAPI-Request lostritt, dass der Rechner dann zum Erliegen kommt. Vielleicht muesste man so einen Dienst echt mal gegen Geld anbieten - nicht, um davon reich zu werden, sondern um denen, die Anwendungen bauen, die sich auf XAPI Co. stuetzen, klarzumachen, dass man verantwortlich mit der Rechenzeit auf dem Server umgehen muss. Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Frederik Ramm wrote: Vielleicht muesste man so einen Dienst echt mal gegen Geld anbieten - nicht, um davon reich zu werden, sondern um denen, die Anwendungen bauen, die sich auf XAPI Co. stuetzen, klarzumachen, dass man verantwortlich mit der Rechenzeit auf dem Server umgehen muss. Kommt auf die Bedingungen an. Ich würde vorschlagen, bei X Abfragen einer IP pro Tag den Zugang der IP sperren. Wer mehr will, muss einen API Key erwerben. Ich habe selber eine Karte, die neben der XAPI auch die offizielle API zum Abfragen nutzt (wegen der rekursiven Relations-Abfrage. Zumindest zu dem Zeitpunkt, als ich das programmiert habe, konnte das XAPI nicht). Das System macht pro Tag genau *eine* API-Anfrage und speichert das Resultat in einer auf meinem Server liegenden Cache-Datei, die ab dann genutzt wird. Gruß Manuel ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hi, On Mon, Jun 11, 2012 at 12:09:21PM +0200, Manuel Reimer wrote: Kommt auf die Bedingungen an. Ich würde vorschlagen, bei X Abfragen einer IP pro Tag den Zugang der IP sperren. Wer mehr will, muss einen API Key erwerben. Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Viel schoener waere sogar eine eigene OSMdb die speziell fuer die OSM Daten optimiert ist - Kein SQL sondern eben geoabfragen - So ein bischen wie das TRAPI zeugs nur fuer dumme zum aufsetzen und mit einer vernuenftigen API die mehr kann als einen rechteckigen bereich zu holen. Flo -- Florian Lohoff f...@zz.de signature.asc Description: Digital signature ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo, On 11.06.2012 16:21, Florian Lohoff wrote: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Viel besser als Roland kann man das ja kaum noch machen, Du kannst Dir seinen Overpass-Code komplett runterladen und kriegst sogar eine vor-bestueckte Datenbank dazu (wesentlich schneller, als selbst einen Planet zu importieren). Bye Frederik -- Frederik Ramm ## eMail frede...@remote.org ## N49°00'09 E008°23'33 ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Am 11.06.2012 16:21, schrieb Florian Lohoff: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Beides ist wichtig und sinnvoll. Wenn man eine solche API im großen Stil nutzen möchte, sollte man sich eine eigene DB mit API aufsetzen. Für kleine Projekte, die sich einmal am Tag bspw. alle Hotels etc. ziehen ist das einfach absoluter Overkill sich eine DB aufzusetzen und aktuell zu halten. Henning ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Ich glaube, das hat keiner bestritten, dass für kleine bis sehr kleine Projekte sowas wie die overpass-api schon extrem praktisch ist und glaub ich auch gerne genutzt werden sollte. Die Frage ist aber 1) Wann ist ein Projekt nicht mehr sehr klein? Abhängig von der Komplexität der Anfrage kann das ganz schön schnell der Fall sein. 2) Ist ich will keine eigene Datenbank aufsetzen wirklich ein gültiges Argument, um dann mit den Ressourcen von fremden Diensten unvorsichtig umzugehen?. Ich denke, der Mittelweg ist das, was wir brauchen: a) Das Angebot, mit öffentlichen Diensten wie overpass und anderen apis auszuprobieren b) Die Möglichkeit, einfach analog zu nutzende Dienste zu installieren (ich hab aber jetzt immer die XAPI benutzt, was hab ich dann von 'ner apidb/mapnikdb, wenn ich alles umbauen muss in meinem Code? (und ja, overpass mit den fertigen Datendateien ist ein guter Weg in die Richtung). c) das Bewusstsein, dass die öffentlichen Dienste ihre Grenzen haben. (a) ist bereits erledigt (zumindest, was die overpass-api angeht). zu (b) geht Roland ja schonmal hin, und auch ein paar andere Projekte sind ja in der Richtung angesiedelt (tiled-api etc). nach und nach könnte man (c), denke ich, über striktere policies forcieren: - im query-header immer eine kontaktadresse angeben lassen, sonst nicht bearbeiten. - bei zu vielen/zu heftigen Anfragen Mail an die angegebene Kontaktadresse senden, - bei ausbleibender Reaktion Anfragen von dieser Mailadresse blockieren und stattdessen adäquate Fehlermeldung zurückgeben. Auf diese Weise könnten vermutlich viele Probleme relativ leicht gelöst werden. Gruß Peter Am 11.06.2012 21:45, schrieb aighes: Am 11.06.2012 16:21, schrieb Florian Lohoff: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Beides ist wichtig und sinnvoll. Wenn man eine solche API im großen Stil nutzen möchte, sollte man sich eine eigene DB mit API aufsetzen. Für kleine Projekte, die sich einmal am Tag bspw. alle Hotels etc. ziehen ist das einfach absoluter Overkill sich eine DB aufzusetzen und aktuell zu halten. Henning ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Natürlich ist es kein Grund dafür, die öffentlichen Dienste zu missbrauchen. Ich finde die Idee mit einem Bezahlmodell durchaus sinnvoll. Die Konkreten Bedingungen kann sich der Anbieter ja überlegen und die Kosten verteilen sich auf viele Schultern. Ich wollte lediglich anmerken, dass nur der Verweis Setzt halt 'nen eigenen API-Server auf, nicht für alle sinnvoll ist. Henning Am 11.06.2012 23:12, schrieb Peter Wendorff: Ich glaube, das hat keiner bestritten, dass für kleine bis sehr kleine Projekte sowas wie die overpass-api schon extrem praktisch ist und glaub ich auch gerne genutzt werden sollte. Die Frage ist aber 1) Wann ist ein Projekt nicht mehr sehr klein? Abhängig von der Komplexität der Anfrage kann das ganz schön schnell der Fall sein. 2) Ist ich will keine eigene Datenbank aufsetzen wirklich ein gültiges Argument, um dann mit den Ressourcen von fremden Diensten unvorsichtig umzugehen?. Ich denke, der Mittelweg ist das, was wir brauchen: a) Das Angebot, mit öffentlichen Diensten wie overpass und anderen apis auszuprobieren b) Die Möglichkeit, einfach analog zu nutzende Dienste zu installieren (ich hab aber jetzt immer die XAPI benutzt, was hab ich dann von 'ner apidb/mapnikdb, wenn ich alles umbauen muss in meinem Code? (und ja, overpass mit den fertigen Datendateien ist ein guter Weg in die Richtung). c) das Bewusstsein, dass die öffentlichen Dienste ihre Grenzen haben. (a) ist bereits erledigt (zumindest, was die overpass-api angeht). zu (b) geht Roland ja schonmal hin, und auch ein paar andere Projekte sind ja in der Richtung angesiedelt (tiled-api etc). nach und nach könnte man (c), denke ich, über striktere policies forcieren: - im query-header immer eine kontaktadresse angeben lassen, sonst nicht bearbeiten. - bei zu vielen/zu heftigen Anfragen Mail an die angegebene Kontaktadresse senden, - bei ausbleibender Reaktion Anfragen von dieser Mailadresse blockieren und stattdessen adäquate Fehlermeldung zurückgeben. Auf diese Weise könnten vermutlich viele Probleme relativ leicht gelöst werden. Gruß Peter Am 11.06.2012 21:45, schrieb aighes: Am 11.06.2012 16:21, schrieb Florian Lohoff: Ich waere eher dafür den leuten beizubringen wie sie einen OSM Extrakt selber in eine geoDatenbank bekommen. Das geht wenn man das mal sich erarbeitet hat in wenigen minuten. Beides ist wichtig und sinnvoll. Wenn man eine solche API im großen Stil nutzen möchte, sollte man sich eine eigene DB mit API aufsetzen. Für kleine Projekte, die sich einmal am Tag bspw. alle Hotels etc. ziehen ist das einfach absoluter Overkill sich eine DB aufzusetzen und aktuell zu halten. Henning ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
Re: [Talk-de] ist damit die Overpass down ...?
Hallo Roland, Am 11.06.2012 um 09:29 schrieb Roland Olbricht: Die Instanz overpass-api.de ist nach wie vor funktionstüchtig. Es sind nur Abfragen abgeschaltet, die mit http://overpass-api.de/api/xapi?* beginnen, weil diese im Moment über 95% der Last ausmachen (würden), aber nur von einen Bruchteil der Overpass-Nutzer (zum Teil recht exzessiv) genutzt werden. Kann man sich die Statistiken irgendwo näher anschauen? Hast du schon mal versucht die exzessiven Nutzer genauer zu identifizieren? Ansonsten liefert http://overpass-api.de/api/xapi?* ja aktuell ja nur Sorry - server overcrowded. Ich denke da wäre ne ausführlichere Meldung, wie z.B. die oben zitierten Zeilen, besser. MfG Andi ___ Talk-de mailing list Talk-de@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-de
