Re: Unerklrliche Lastspitzen im Serverbetrieb
-BEGIN PGP SIGNED MESSAGE- Hash: SHA1 Am Dienstag, 25. März 2003 16:37 schrieb Jens Benecke: Hallo, auf einem meiner Server habe ich seit einiger Zeit zeitweise, unregelmäßig, plötzliche Lastspitzen im Betrieb. Das äußert sich darin, daß die load auf ca 50 ansteigt (!!!), der Rechner anfängt wie wild zu swappen, und ein ssh-Login ca. 2 Minuten bis zum Prompt braucht. Das ganze dauert ca. 2-20 min und danach ist die load wieder auf erträglichem Niveau und der Rechner ist wieder benutzbar. [...] riecht nach einem harvester oder spider. Hast Du dafür gesorgt, das die Web Authoren Ihre robots.txt pflegen/angelegt haben ? Habt ihr eine Idee? mit perl/python das log durchflöhen und den Server finden, der die Last erzeugt ? mfG Jürgen automatiX Linux Support Crew - -- Jürgen Sauer - AutomatiX GmbH, +49-4209-4699, [EMAIL PROTECTED] ** ** Das Linux Systemhaus - Service - Support - Server - Lösungen ** ** http://www.automatix.de http://www.kranautomatisierung.de** -BEGIN PGP SIGNATURE- Version: GnuPG v1.2.1 (GNU/Linux) iD8DBQE+gXO2W7UKI9EqarERAs53AKCOFenwcSKXDTwVk3bHy8s6UlKPCgCeKCoP eR2bFNvPgR4hDdPhRj1yr7E= =dtlV -END PGP SIGNATURE- -- Haeufig gestellte Fragen und Antworten (FAQ): http://www.de.debian.org/debian-user-german-FAQ/ Zum AUSTRAGEN schicken Sie eine Mail an [EMAIL PROTECTED] mit dem Subject unsubscribe. Probleme? Mail an [EMAIL PROTECTED] (engl)
Re: Unerklrliche Lastspitzen im Serverbetrieb
Hallo Jens,
On Tue, 25 Mar 2003 16:37:10 +0100
Jens Benecke [EMAIL PROTECTED] wrote:
[...]
Ich suche eine Möglichkeit, wie ich die Web-Logs nach besonderen
Ereignissen absuchen kann. Ich habe das Gefühl, unsere (stark
datenbanklastigen) CMS- und Portal-Seiten werden von irgendeinem Spammer
durchforstet oder ähnliches. Also, z.B. ein Statistiktool, was mir
beantworten kann, welche IP (innerhalb der letzten X Stunden) die
meisten HTTP-Requests gemacht hat, oder andersrum, welche URL am
häufigsten abgerufen wurde.
webalizer und analog sind zu allgemein, ie. fassen zu stark zusammen.
Damit kann ich zwar erkennen, daß die meisten Lastspitzen im Bereich
20-23 Uhr liegen, aber nicht WOHER sie kommen.
Habt ihr eine Idee?
Zur Not: grep, awk, perl, python, ...
z.B. (Ungetestet)
# Suche nach Ursprungs-Adresse
grep \[25/Mar/2003:2[0-2]: access.log | awk '{print $1}' | \
sort | uniq -c | sort -n | tail -n 30
# Suche nach URL
grep \[25/Mar/2003:2[0-2]: access.log | awk '{print $7}' | \
sort | uniq -c | sort -n | tail -n 30
Gruß
Jörg
--
Dipl.-Ing. Jörg Schütter http://www.lug-untermain.de/
http://www.schuetter.org/joerg/
[EMAIL PROTECTED]http://mypenguin.bei.t-online.de/
pgp0.pgp
Description: PGP signature
