Moi, j'ai mis un fichier "robots.txt" qui contient

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /carrefour/
Disallow: /histoire/
Disallow: /stats/
Disallow: /reminder/

Et j'ai d�j� v�rifi� que les r�pertoires mentionn�s en "disallow" ne sont pas visit�s 
par les robots.
( mon syst�me de stats me donne des r�sultats comme:

Un visiteur: crawler14.googlebot.com (64.68.82.186) a �t� enregistr� une fois,
d�but de la visite � 23:12:59 on Thursday, July 17, 2003.
Le navigateur est Googlebot/2.1 (+http://www.googlebot.com/bot.html).

  Ce visiteur est arriv� sans provenance connue,
    et a visit� www.susinidesign.com/index.shtml
 )

Et Jamais, je n'ai eu de pages visit�es dans les r�pertoires "interdits"

Bien � vous
Dominique Susini
[EMAIL PROTECTED]
http://www.susinidesign.com


--
Gagnez un week-end romantique a Rome en participant au concours Ristorante!
http://www.oetker.be > > > Dr. Oetker "la qualite est la meilleure recette"
CyberCafe 2.0 <http://www.cybercafe.tv> Chaque Mardi 19h15 sur La 2!
Desabonnement par email : <mailto:[EMAIL PROTECTED]>

Répondre à