und auch http://www.robotstxt.org/wc/robots.html
> > Hallo, > > > Zweiter Tipp (zu dem was Claudius schon sagte) > > > > Nimm einfach die n�chste Adresse, die Dir einf�llt und schau mal wie > > andere die robots.txt gestetzt haben > > http://server/robots.txt > > Erg�nzend noch... > > "robots.txt syntax checker" > http://www.tardis.ed.ac.uk/~sxw/robots/check/ > > "Mit der Datei robots.txt Seiten vor Robots sch�tzen" > http://www.bjoernsworld.de/suchmaschinen/robots-txt.html | [aspdecoffeehouse] als [email protected] subscribed | http://www.aspgerman.com/archiv/aspdecoffeehouse/ = Listenarchiv | Sie k�nnen sich unter folgender URL an- und abmelden: | http://www.aspgerman.com/aspgerman/listen/anmelden/aspdecoffeehouse.asp
