VAART-bericht van: henriette <[email protected]> 2010/9/3 careljan <[email protected]>: > VAART-bericht van: careljan <[email protected]> > > > Hoezo niet? robots.txt wordt toch ook door zoekmachines gerespecteerd, > of ben ik het die deze keer naief is? >
<http://botseer.ist.psu.edu> BotSeer is a search engine for robots.txt. Its goal is to provide information about and access to robots.txt files throughout the web by crawling and indexing web robots.txt files and related documents.[...] Henriette * Wat doet de markt? www.vaart.nl/peiling * Het adres voor reacties en nieuwe berichten: [email protected] * Afmelden op: [email protected] met tekst: unsubscribe VAART-L
