Re: Apache ausbremsen?
Am 2004-01-29 18:56:26, schrieb Andreas Schmidt: On 2004.01.29 12:37, Michael Renner wrote: Moin, jemand zieht planmäsig und offenbar mit einem Script die Seiten unseres Webservers leer. Zwar sind die Seiten eigentlich zum anschauen da, aber wenn jemand in kurzer Zeit über 3 Seiten mit Informationen abruft muss ich davon ausgehen dass der mit den Daten etwas anderes vorhat als sein Wissen zu erweitern. Ich weiss ja nicht, um was fuer Daten es da geht. Aber als ich noch keine DSL-Flatrate hatte, habe ich mich auch oefters mal in den PC-Pool an der Uni gesetzt und interessante Sites per WebReaper oder aehnlichem leergezogen. Liest sich off-line eben besser, wenn man alles schoen auf die Platte gepackt hat. Also bitte nicht immer gleich vom schlimmsten ausgehen. Die Menschen sind zwar im allgemeinen schlecht, aber doch mitunter besser als ihr Ruf. :-) Also wenn jemand mal bei mir auf den Server geht und 100 bis 200 files in einem Rutsch lutscht, ist das eine Sache, wenn es aber dann einige tausend, zehntausend oder wie bei mit ein paar millionen sind, dann ist das kriminell. Besonderst wenn eine robots.txt existiert. Ich habe meine Traffic auf non-thrusted-clients bei 5 Dateien pro Sekunde limitiert. Da meine Seiten nicht mit millionen pics künstlerisch aufpoliert sind, sind 5 Dateien pro Sekunde absolut ausreichend. Deswetern reagiert mein php mittlerweile auf Spidermaschinen und sendet Random-Müll zurück. Die Server (ein 19-Schrank mit 42HE) sind in Paris bei www.amen.fr und ich bin dort auf eine OC3 mit unbegrnzter traffic für 76.000 ¤ inclusive USV... Bei UUnet würde ich jetzt alt aussehen... Die verlangen von Contents-Provider (als Endkunde) 42 ¤/GByte netto. Die Telekom AG verlangt noch mehr... Die beiden waren meine Provider (2 x 34 MBit, loadbalancing), als ich noch in 77694 Kehl war. Schoenen Gruss, Andreas Grüße Michelle -- Registered Linux-User #280138 with the Linux Counter, http://counter.li.org/ -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Apache ausbremsen?
On Friday 30 January 2004 07:51, Michelle Konzack wrote: Am 2004-01-29 18:56:26, schrieb Andreas Schmidt: On 2004.01.29 12:37, Michael Renner wrote: Moin, jemand zieht planmäsig und offenbar mit einem Script die Seiten unseres Webservers leer. Zwar sind die Seiten eigentlich zum anschauen da, aber wenn jemand in kurzer Zeit über 3 Seiten mit Informationen abruft muss ich davon ausgehen dass der mit den Daten etwas anderes vorhat als sein Wissen zu erweitern. Moin, Ich weiss ja nicht, um was fuer Daten es da geht. Aber als ich noch keine DSL-Flatrate hatte, habe ich mich auch oefters mal in den PC-Pool an der Uni gesetzt und interessante Sites per WebReaper oder aehnlichem leergezogen. Liest sich off-line eben besser, wenn man alles schoen auf die Platte gepackt hat. Also bitte nicht immer gleich vom schlimmsten ausgehen. Die Menschen sind zwar im allgemeinen schlecht, aber doch mitunter besser als ihr Ruf. :-) He he, nichtbei Juristen. Es handelt sich um den Server eines Freundes. Er betreibt eine Datenbank die Urteile und Entschliessungen beinhaltet. Also wenn jemand mal bei mir auf den Server geht und 100 bis 200 files in einem Rutsch lutscht, ist das eine Sache, wenn es aber dann einige Das wird schon ein Kon^m^m^m Mittbewerber sein der etwas ähnliches aufbauen möchte. tausend, zehntausend oder wie bei mit ein paar millionen sind, dann ist das kriminell. Besonderst wenn eine robots.txt existiert. Schlau sind die schon: immer brav mit t-online! CU -- |Michael Renner E-mail: [EMAIL PROTECTED] | |D-72072 Tuebingen Germany| |Germany Don't drink as root! ESC:wq -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
RE: Apache ausbremsen?
Hallo! | kann er nicht mehr php-Seiten Spidern. Vor allem ignorieren die | google-Spider- Maschinen die /robots.txt Das habe ich inzwischen auch bemerkt. Bei mir grasen täglich (!) die google-Spider-Maschinen den Webserver komplett ab. Das geht mit der Zeit ziemlich ins Traffic :( Gruss Sebastian -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Apache ausbremsen?
Hallo, Michael Renner schrieb am Donnerstag, den 29. Januar 2004: Gibt es Möglichkeiten den Apache per Konfiguration zu bremsen? Pro IP-Adresse nur eine Seite pro Sekunde? Oder etwas ähnlich schlaues? Ein reines Accounting pro IP bringt leider nix, eine Neueinwahl beim Provider würde sowas leicht umgehen. Es gibt das Paket libapache-mod-limitipconn. Das bietet das gewünschte. Mit freundlichen Grüßen Thomas Kobienia -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Apache ausbremsen?
Am 2004-01-29 12:37:42, schrieb Michael Renner: Moin, jemand zieht planmäsig und offenbar mit einem Script die Seiten unseres Webservers leer. Zwar sind die Seiten eigentlich zum anschauen da, aber wenn jemand in kurzer Zeit über 3 Seiten mit Informationen abruft muss ich davon ausgehen dass der mit den Daten etwas anderes vorhat als sein Wissen zu erweitern. Gibt es Möglichkeiten den Apache per Konfiguration zu bremsen? Pro IP-Adresse nur eine Seite pro Sekunde? Oder etwas ähnlich schlaues? Ein reines Accounting pro IP bringt leider nix, eine Neueinwahl beim Provider würde sowas leicht umgehen. Any hints? Ja, Bevor Du irgendwelche sinnlosen sachen unternimms, ueberpruefe doch mal die IP's... Kommen sie aus dem Pool EINES ISP's ? Wenn ja, wer ist der ISP ? Wenn in Europa, http://www.ripe.net/ gibt Auskunft ueber den Halter der IP's. Wenn Nein, Ebenfals RIPE aufsuchen und herausfinden ob es sich bei den IP's um eine der google-Spider-Maschinen handelt... Ist mir leztes Jahr in Paris passiert. hat 2,8 Millionen php Seiten gezogen... (Programmierfehler von mir) mittlerweile kann er nicht mehr php-Seiten Spidern. Vor allem ignorieren die google-Spider- Maschinen die /robots.txt |Michael Renner E-mail: [EMAIL PROTECTED] | Gruesse Michelle -- Registered Linux-User #280138 with the Linux Counter, http://counter.li.org/ -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Apache ausbremsen?
On 2004.01.29 12:37, Michael Renner wrote: Moin, jemand zieht planmäsig und offenbar mit einem Script die Seiten unseres Webservers leer. Zwar sind die Seiten eigentlich zum anschauen da, aber wenn jemand in kurzer Zeit über 3 Seiten mit Informationen abruft muss ich davon ausgehen dass der mit den Daten etwas anderes vorhat als sein Wissen zu erweitern. Ich weiss ja nicht, um was fuer Daten es da geht. Aber als ich noch keine DSL-Flatrate hatte, habe ich mich auch oefters mal in den PC-Pool an der Uni gesetzt und interessante Sites per WebReaper oder aehnlichem leergezogen. Liest sich off-line eben besser, wenn man alles schoen auf die Platte gepackt hat. Also bitte nicht immer gleich vom schlimmsten ausgehen. Die Menschen sind zwar im allgemeinen schlecht, aber doch mitunter besser als ihr Ruf. :-) Schoenen Gruss, Andreas -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Apache ausbremsen?
Hallo Michelle! On Thu, Jan 29, 2004 at 04:38:35PM +0100, Michelle Konzack wrote: Vor allem ignorieren die google-Spider-Maschinen die /robots.txt Das ist so pauschal leider nicht korrekt, meine haben sie beachtet... Gruß, Flo signature.asc Description: Digital signature
