Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Jacques Nietsch

Hallo Frederik,

Könnte es sich um solche Seiten wie:
http://datenkueche.com/osmlive/
oder
http://www.khtml.org/osm/v0.63/examples/changes.html
oder
http://www.khtml.org/osm/v0.83/index.php (Ticker)

handeln?

Ich weiß nicht wie diese implementiert sind, aber sie benutzen intensiv  
die Changesets.


Gruß Jacques

Am 03.02.2011, 00:42 Uhr, schrieb Frederik Ramm frede...@remote.org:

...
Kennt jemand irgendein Perl-Tool, das sowas macht? Man gibt eine  
Changeset-ID an und dann laedt es irgendwie was runter? Normalerweise  
hat man die Nodes ja alle schon, wenn man das Changeset heruntergeladen  
hat, aber dann macht das Skript wohl fuer jeden Node nochmal extra einen  
GET-Request - eventuell, um die letzte Version festzustellen?


Bye
Frederik

...


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Frederik Ramm

Hallo,

On 02/03/11 09:07, Jacques Nietsch wrote:

Könnte es sich um solche Seiten wie:
http://datenkueche.com/osmlive/
oder
http://www.khtml.org/osm/v0.63/examples/changes.html
oder
http://www.khtml.org/osm/v0.83/index.php (Ticker)

handeln?


Diese Seiten basieren, soweit ich weiss, einfach darauf, dass sie die 
minuetlichen Updates (!= Changesets) herunterladen und auswerten. Damit 
gibt es kein Problem, das sind ja statisch bereitgelegte Dateien, die 
kann jeder so oft abrufen, wie er will. Problematisch sind die 
API-Requests, die jedesmal einen Datenbankzugriff erfordern.


Bye
Frederik


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Bernhard Zwischenbrugger

Hallo


Könnte es sich um solche Seiten wie:
http://datenkueche.com/osmlive/

Das verwendet nur die minute diffs.

oder
http://www.khtml.org/osm/v0.63/examples/changes.html
Diese Applikation kann wirklich die API belasten. Überall wo es möglich 
ist, wird die XAPI verwendet.
Bei jedem Request sende ich meine Kontaktdaten mit und wenn es hier ein 
Problem geben sollte, bin
ich erreichbar. Zudem ist das ganz nur Insidern bekannt und wird nur 
wenig verwendet.
Da alle Requests über meinen Server gehen, wäre eine Sperre der IP 
Adresse im Notfall auch sehr einfach.



oder
http://www.khtml.org/osm/v0.83/index.php (Ticker)
Hier werden im Wesentlichen die minute-diffs verwendet. Erst wenn der 
User irgendwo draufklickt gibt es

einen Request auf die XAPI.

liebe Grüße

Bernhard




handeln?

Ich weiß nicht wie diese implementiert sind, aber sie benutzen 
intensiv die Changesets.


Gruß Jacques

Am 03.02.2011, 00:42 Uhr, schrieb Frederik Ramm frede...@remote.org:

...
Kennt jemand irgendein Perl-Tool, das sowas macht? Man gibt eine 
Changeset-ID an und dann laedt es irgendwie was runter? Normalerweise 
hat man die Nodes ja alle schon, wenn man das Changeset 
heruntergeladen hat, aber dann macht das Skript wohl fuer jeden Node 
nochmal extra einen GET-Request - eventuell, um die letzte Version 
festzustellen?


Bye
Frederik

...


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Frederik Ramm

Hi,

On 02/03/11 09:25, Bernhard Zwischenbrugger wrote:

http://www.khtml.org/osm/v0.63/examples/changes.html



Diese Applikation kann wirklich die API belasten. Überall wo es möglich
ist, wird die XAPI verwendet.
Bei jedem Request sende ich meine Kontaktdaten mit und wenn es hier ein
Problem geben sollte, bin
ich erreichbar. Zudem ist das ganz nur Insidern bekannt und wird nur
wenig verwendet.
Da alle Requests über meinen Server gehen, wäre eine Sperre der IP
Adresse im Notfall auch sehr einfach.


Wir haben es hier mit etwas zu tun, wo nicht nur ein changeset 
heruntergeladen wird, sondern danach noch fuer jeden einzelnen Node, der 
im Changeset erwaehnt ist, ein einzelner GET-Request geschickt wird. Das 
machst Du doch nicht, oder?


Ausserdem suchen wir jemanden, der das Arcor-Einwahlnetz in Deutschland 
benutzt; auch das tut Dein Server vermutlich nicht ;)


Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Bernhard Zwischenbrugger

On 2011-02-03 09:32, Frederik Ramm wrote:

Hi,

On 02/03/11 09:25, Bernhard Zwischenbrugger wrote:

http://www.khtml.org/osm/v0.63/examples/changes.html



Diese Applikation kann wirklich die API belasten. Überall wo es möglich
ist, wird die XAPI verwendet.
Bei jedem Request sende ich meine Kontaktdaten mit und wenn es hier ein
Problem geben sollte, bin
ich erreichbar. Zudem ist das ganz nur Insidern bekannt und wird nur
wenig verwendet.
Da alle Requests über meinen Server gehen, wäre eine Sperre der IP
Adresse im Notfall auch sehr einfach.


Wir haben es hier mit etwas zu tun, wo nicht nur ein changeset 
heruntergeladen wird, sondern danach noch fuer jeden einzelnen Node, 
der im Changeset erwaehnt ist, ein einzelner GET-Request geschickt 
wird. Das machst Du doch nicht, oder?
Wenn in einem changeset ein way verhanden ist bei dem nur die tags 
geändert sind, werden die nodes zum way nicht mir dem changeset 
mitgeliefert. Um diesen way auf der Karte darstellen zu können lade ich 
dann die nodes. Das sind aber keine Einzelrequests. Es werden immer 
mehrere Nodes gleichzeitg abgefragt. Bei GET Requests ist die Anzahl der 
Nodes die man mit einem einzelnen Request abfragen kann durch die 
URL-Länge beschränkt.


Schön wäre wenn die Changesets ein bisschen mehr Informationen enthalten 
würden. Changesets ändern sich nie
und das könnte man auch am OSM Server Cachen. Ich cache das zwar auch, 
weil das aber wenig verwendet wird greift der Cache kaum.




Ausserdem suchen wir jemanden, der das Arcor-Einwahlnetz in 
Deutschland benutzt; auch das tut Dein Server vermutlich nicht ;)


Ich bin das nicht. Gibt es eine Möglichkeit rauszufinden wie sehr mein 
Tool die DB belastet?

Die IP 88.198.70.26.
Mittelfristig werde ich eine eigene DB haben.

liebe Grüße

Bernhard



Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-03 Diskussionsfäden Frederik Ramm

Hallo,

On 02/03/11 10:06, Bernhard Zwischenbrugger wrote:

Wenn in einem changeset ein way verhanden ist bei dem nur die tags
geändert sind, werden die nodes zum way nicht mir dem changeset
mitgeliefert. Um diesen way auf der Karte darstellen zu können lade ich
dann die nodes. Das sind aber keine Einzelrequests. Es werden immer
mehrere Nodes gleichzeitg abgefragt.


Du koenntest auch den /way/1234/full-Ansatz benutzen. Was leider nicht 
geht, ist die Abfrage *mehrerer* Ways gleichzeitig als /full.


Der User, den wir hier suchen, bzw. das Tool, weiss aber nichts von der 
Moeglichkeit, mehrere Nodes gleichzeitig abzufragen, und fragt jeden 
einzeln ab.


Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-02-02 Diskussionsfäden Frederik Ramm

Hallo,

On 01/12/11 01:31, Frederik Ramm wrote:

irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000
einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus
Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden
immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.


Das Problem haelt an. Vielleicht ist es doch kein Idiot, sondern nur 
jemand, der irgendein Programm versehentlich unsachgemaess bedient. 
Naehere Untersuchungen ergeben, dass die Abfragen mit Perl (LWP) gemacht 
werden, und zwar scheint es, als ob systematisch alle Nodes eines 
bestimmten Changesets abgefragt werden.


Kennt jemand irgendein Perl-Tool, das sowas macht? Man gibt eine 
Changeset-ID an und dann laedt es irgendwie was runter? Normalerweise 
hat man die Nodes ja alle schon, wenn man das Changeset heruntergeladen 
hat, aber dann macht das Skript wohl fuer jeden Node nochmal extra einen 
GET-Request - eventuell, um die letzte Version festzustellen?


Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden Sven Anders
Am 12.01.2011 18:28, schrieb Johann H. Addicks:
 Die IPs zeigen alle nach Eschborn, aber das sagt nichts, der kann
 
 Es gibt auch Geolocationdienste, die nicht alle Arcor-Dialup-IPs in die  
 Alfred-Herrhausen-Allee verorten.
 
 BTW: Ich sitze dort in Sichtweite, aber ich bin's nicht ;-)
 
 Jemand anders fragte nach der Dauer der Sperrung - im Grunde erstmal
 unbegrenzt, muss dann halt von Hand wieder aufgeraeumt werden.
 
 Wenn Ihr den eh manuell sperrt, dann sorgt doch dafür, dass er Daten erhält,  
 die a) eindeutig fehlerhaft sind und b) egal in welcher Anwendung, bis zum  
 Anwender sichtbar ein Lass das, sonst kommen wir Dich besuchen. Fuer  
 Rueckfragen Mail:... in seiner Anwendung zu sehen bekommen.

Das ist eine Coole Idee,
jemand der die API missbruacht bekommt dann statt dem Richtigen Node ein
Node

node id=42 lat=42 lon=42 
tag k=note:de v=Hallo du benutzt die API unsachgemaess und wurdest
gesprerrt
tag k=note:en v=
/node


Gruß
Sven

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden M∡rtin Koppenhoefer
Am 13. Januar 2011 13:03 schrieb Sven Anders s...@anders-hamburg.de:
 Am 12.01.2011 18:28, schrieb Johann H. Addicks:

 Wenn Ihr den eh manuell sperrt, dann sorgt doch dafür, dass er Daten erhält,
 die a) eindeutig fehlerhaft sind und b) egal in welcher Anwendung, bis zum
 Anwender sichtbar ein Lass das, sonst kommen wir Dich besuchen. Fuer
 Rueckfragen Mail:... in seiner Anwendung zu sehen bekommen.

 Das ist eine Coole Idee,
 jemand der die API missbruacht bekommt dann statt dem Richtigen Node ein
 Node


Oder einen text in way-form für verschiedene Zoomlevel optimiert ;-)

Vor kurzem ging doch über den Ether dass jemand seine Edits an den
Tiger-Daten so koordiniert hat, dass sie den Schriftzug Ban Potlatch
ergaben.

Gruß Martin

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden ben
2011/1/13 Sven Anders s...@anders-hamburg.de

 Am 12.01.2011 18:28, schrieb Johann H. Addicks:
  Die IPs zeigen alle nach Eschborn, aber das sagt nichts, der kann
 
  Es gibt auch Geolocationdienste, die nicht alle Arcor-Dialup-IPs in die
  Alfred-Herrhausen-Allee verorten.
 
  BTW: Ich sitze dort in Sichtweite, aber ich bin's nicht ;-)
 
  Jemand anders fragte nach der Dauer der Sperrung - im Grunde erstmal
  unbegrenzt, muss dann halt von Hand wieder aufgeraeumt werden.
 
  Wenn Ihr den eh manuell sperrt, dann sorgt doch dafür, dass er Daten
 erhält,
  die a) eindeutig fehlerhaft sind und b) egal in welcher Anwendung, bis
 zum
  Anwender sichtbar ein Lass das, sonst kommen wir Dich besuchen. Fuer
  Rueckfragen Mail:... in seiner Anwendung zu sehen bekommen.

 Das ist eine Coole Idee,
 jemand der die API missbruacht bekommt dann statt dem Richtigen Node ein
 Node

 node id=42 lat=42 lon=42 
 tag k=note:de v=Hallo du benutzt die API unsachgemaess und wurdest
 gesprerrt
 tag k=note:en v=
 /node


Noch viel besser wäre: All your requests are belong to us! ;)

ben
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden Walter Nordmann

node id=42 lat=42 lon=42 
tag k=note:de v=Hallo du benutzt die API unsachgemaess und wurdest
gesprerrt
tag k=note:en v=
/node

nee nee, die 42 hat er schon ganz bewußt gewählt:

http://de.wikipedia.org/wiki/42_%28Antwort%29


-
33,33% aller Statistiken beruhen auf kleinen Datenmengen.
-- 
View this message in context: 
http://gis.638310.n2.nabble.com/Exzessive-Einzelrequests-an-die-API-tp5913036p5918138.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden André Joost

Am 13.01.11 14:30, schrieb Walter Nordmann:


node id=42 lat=42 lon=42
tag k=note:de v=Hallo du benutzt die API unsachgemaess und wurdest
gesprerrt
tag k=note:en v=
/node

nee nee, die 42 hat er schon ganz bewußt gewählt:

http://de.wikipedia.org/wiki/42_%28Antwort%29



Hat schon jemand das Restaurant am Ende des Universums in OSM 
eingetragen, samt Parkplatz?


Gruß und SCNR,
André Joost


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden NopMap


Hi!


André Joost wrote:
 
 Hat schon jemand das Restaurant am Ende des Universums in OSM 
 eingetragen, samt Parkplatz?
 

Klar, mußt nur eine Weile nach rechts scrollen...  :-)

bye
  Nop

-- 
View this message in context: 
http://gis.638310.n2.nabble.com/Exzessive-Einzelrequests-an-die-API-tp5913036p5918745.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-13 Diskussionsfäden Walter Nordmann

hi,

nachdem dieser Thread etwas abgeglitten ist:

Hat jemand ne Ahnung, ob sich mit unserem Störenfried was getan hat?
Wenn ich mir die MUNIN-Grafik ansehe, habe ich den Eindruck, dass er (oder
sie) munter weitermacht.
Allerdings hab ich natürlich nicht die Infos, die den Admin zur Verfügung
stehen.

gruss
walter

-
33,33% aller Statistiken beruhen auf kleinen Datenmengen.
-- 
View this message in context: 
http://gis.638310.n2.nabble.com/Exzessive-Einzelrequests-an-die-API-tp5913036p5919430.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Chris66
Am 12.01.2011 01:31, schrieb Frederik Ramm:

irgendein - pardon - Idiot 

bitte immer sachlich bleiben. ;-)

 sendet seit Tagen taeglich ueber 100.000
 einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus
 Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden
 immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.

Kann man nicht eine Authorisierung für API-get requests einführen?

Wie lange sind die IPs jeweils gesperrt? Da man damit ja auch
Unschuldige trifft, sobald der Täter eine neue IP zieht.

Helfen täte noch ein besserer XAPI Service

Chris


___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Andreas Neumann
Hi Frederick,

habt ihr die Möglichkeit die HTTP-Header mit zu loggen? Evtl. lässt sich
daraus schon erste Schlüsse ziehen... Außerdem ist ein nmap über die zu
sperrende IP-Adresse manchmal hilfreich. Desweiteren könnte man die IP
mal bei einem Geolocationdienst auswerten lassen...

MfG Andreas

-- 
Diese Nachricht wurde maschinell erstellt und ist daher ohne
Unterschrift gültig.



signature.asc
Description: OpenPGP digital signature
___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Walter Nordmann

hi,

eventuell wäre eine liste des interessensgebietes doch auch hilfreich. 
grast der z.b. eine bbox nach allen daten ab um die xapi zu umgehen oder
macht er das weltweit wie ein bot, liesst er POIs ?
macht er dann auf die gleiche art updates? da müsste er sich ja
authentifizieren.

ich vermute ersteres: umgehung der inzwischen überlasteten xapi.
diskussionen darüber gibt es ja massenweise im forum.

gruss
walter

-
33,33% aller Statistiken beruhen auf kleinen Datenmengen.
-- 
View this message in context: 
http://gis.638310.n2.nabble.com/Exzessive-Einzelrequests-an-die-API-tp5913036p5914381.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Frederik Ramm

Hallo,

On 01/12/2011 01:20 PM, Andreas Neumann wrote:

habt ihr die Möglichkeit die HTTP-Header mit zu loggen? Evtl. lässt sich
daraus schon erste Schlüsse ziehen... Außerdem ist ein nmap über die zu
sperrende IP-Adresse manchmal hilfreich. Desweiteren könnte man die IP
mal bei einem Geolocationdienst auswerten lassen...


Die IPs zeigen alle nach Eschborn, aber das sagt nichts, der kann 
irgendwo sitzen. Genauere Analyse der Requests muesste man als naechstes 
machen, ja. Authentifizierung fuer Leserquests (wie woanders im Thread 
vorgeschlagen) waere die letzte Moeglichkeit. Oder natuerlich ein 
schnelleres, automatisches Rate Limiting, das aber evtl. auch gute 
Anwendungsfaelle traefe.


Jemand anders fragte nach der Dauer der Sperrung - im Grunde erstmal 
unbegrenzt, muss dann halt von Hand wieder aufgeraeumt werden.


Bye
Frederik

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Philip Gillißen


Chris66 wrote:
 
 Wie lange sind die IPs jeweils gesperrt? Da man damit ja auch
 Unschuldige trifft, sobald der Täter eine neue IP zieht.
 
Ich denke, dass es sehr unwahrscheinlich ist, dass in der Zeit die IP aus
dem Arcor-Pool jemandem zugeordnet wird, der dann eine solche Abfrage
starten will.
Wie viel % der Arcor-Internetnutzer sind OSM-Nutzer? Und wie viel Prozent
der OSM-Nutzer fragen diese API jeden Tag auf diese Weise ab? Ich denke,
dass die Fehlerquote hier gering ist.

Ich finde es einfach unverschämt, wenn man solch eine API wissentlich
überstrapaziert und weiß, dass OSM selber (finanziell und servermäßig) nicht
auf den stärksten Beinen steht. Das ist einfach - im herkömmlichen Sinne -
asoziales Verhalten.

Ich hoffe, der Benutzer wird es einsehen und die Dumps nehmen.

Gruß, Philip
-- 
View this message in context: 
http://gis.638310.n2.nabble.com/Exzessive-Einzelrequests-an-die-API-tp5913036p5914616.html
Sent from the Germany mailing list archive at Nabble.com.

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden malenki
Philip Gillißen schrieb:

Chris66 wrote:
 
 Wie lange sind die IPs jeweils gesperrt? Da man damit ja auch
 Unschuldige trifft, sobald der Täter eine neue IP zieht.
 
Ich denke, dass es sehr unwahrscheinlich ist, dass in der Zeit die IP
aus dem Arcor-Pool jemandem zugeordnet wird, der dann eine solche
Abfrage starten will.
Wie viel % der Arcor-Internetnutzer sind OSM-Nutzer? Und wie viel
Prozent der OSM-Nutzer fragen diese API jeden Tag auf diese Weise ab?
Ich denke, dass die Fehlerquote hier gering ist.

Wenn die IP von OSM aus gesperrt wird, wie Frederik sagt, gehe ich
davon aus, dass man damit bei OSM gar nix mehr darf. Insofern sind
geblockte, aber mittlerweile von Anderen genutzte IPs durchaus ein
Problem.

malenki



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


Re: [Talk-de] Exzessive Einzelrequests an die API

2011-01-12 Diskussionsfäden Johann H. Addicks
 Die IPs zeigen alle nach Eschborn, aber das sagt nichts, der kann

Es gibt auch Geolocationdienste, die nicht alle Arcor-Dialup-IPs in die  
Alfred-Herrhausen-Allee verorten.

BTW: Ich sitze dort in Sichtweite, aber ich bin's nicht ;-)

 Jemand anders fragte nach der Dauer der Sperrung - im Grunde erstmal
 unbegrenzt, muss dann halt von Hand wieder aufgeraeumt werden.

Wenn Ihr den eh manuell sperrt, dann sorgt doch dafür, dass er Daten erhält,  
die a) eindeutig fehlerhaft sind und b) egal in welcher Anwendung, bis zum  
Anwender sichtbar ein Lass das, sonst kommen wir Dich besuchen. Fuer  
Rueckfragen Mail:... in seiner Anwendung zu sehen bekommen.

-jha-



___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de


[Talk-de] Exzessive Einzelrequests an die API

2011-01-11 Diskussionsfäden Frederik Ramm

Hallo,

   irgendein - pardon - Idiot sendet seit Tagen taeglich ueber 100.000 
einzelne /api/0.6/node/123-Requests an die OSM-API. Die Person kommt aus 
Deutschland, aus dem Arcor/Vodafone-DSL-Dialin-Netz. Die IPs werden 
immer gesperrt, das haelt dann, bis sie sich das naechste Mal einwaehlt.


Das ist aus mehreren Gruenden doof. Erstens belastet es die API gehoerig 
(die gruene Linie auf 
http://munin.openstreetmap.org/openstreetmap/www.openstreetmap/api_calls_num-week.png 
ist zu 90% diese eine Person), und man sollte einen so hohen Datenbedarf 
aus einem Dumpfile decken und nicht aus Live-Requests. Zweitens gibt es, 
selbst wenn man ausnahmsweise sowas von der API holen muss, sanftere 
Methoden, naemlich den /way/123/full-Aufruf fuer alle Nodes eines Ways, 
oder den /nodes?nodes?123,234,345,...-Aufruf fuer mehrere einzelne Nodes.


Ich sage deswegen Idiot, weil die Person garantiert inzwischen gemerkt 
haben muss, dass sie mit ihren Anfragen eine Sperrung verursacht, und 
trotzdem immer noch munter weitermacht, nach dem Motto ha, ha, ich bin 
so ein cooler Hacker, ich waehle mich einfach neu ein und schon ist die 
IP-Sperre weg.


Meine Bitte an Euch: Falls irgendjemand was gehoert hat - irgendwer im 
Bekanntenkreis, am Stammtisch, aus dem Forum oder so, der irgendwas 
erzaehlt hat von einem coolen Skript, das er seit ein paar Tagen laufen 
laesst - fragt mal ganz vorsichtig nach, ob dieses Skript eventuell die 
API unsachgemaess bedienen koennte, und falls ja, nehmt Euch die Person 
mal gehoerig zur Brust.


Leider gibt es in der API derzeit kein automatisches Rate Limiting fuer 
solche Requests, das ist also noch alles Handarbeit fuer die Admins.


Bye
Frederik

--
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09 E008°23'33

___
Talk-de mailing list
Talk-de@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-de