On Sat, 2003-03-08 at 19:42, Andres Seco Hernandez wrote:
>   Supongo que con el ROBOTS META TAG se podr� hacer algo, lo mirar�
>   ahora, pero os aviso por si a alguno le ocurre algo parecido.

�Robots meta tag?  Supongo que te refieres a robots.txt.

Si no tienes un robots.txt adecuado, realmente no se puede decir que sea
culpa del spider.  Viendo "guadawireless.net", veo que el robots.txt
dice:

-----------------------------------------------------------------------
User-agent: *
Disallow: admin.php
Disallow: /images
Disallow: /themes
Disallow: /manual
-----------------------------------------------------------------------

Dados los ejemplos que pones (donde "/index.php" es tu problema),
posiblemente querr�s algo como �sto:

-----------------------------------------------------------------------
User-agent: *
Disallow: /
-----------------------------------------------------------------------

Si el robot sigue jodiendo despu�s de eso, *entonces* considera
bloquearlo.

Saluditos desde Guadalajara (M�xico) :-)

 -CR


Responder a