Señores
Hace unos meses atras consulte como poder detener el scanneo por
parte de bots hacia los sitios que hay alojados en ciertos servidores y
la respuesta es tener un archivo de nombre robots.txt con el siguiente
contenido:
User-agent: *
Disallow: /
Pero revisando los accesos hacia el server me he dado cuenta que
estan sacando informacion desde el sitio generando un alto trafico a los
servidores y por ende el enlace se torna muy lento, por lo pronto eh
bloqueado las IP que me estan sacando la informacion y son generalmente
de Brasil y Francia y no hay aca ninguna posibilidad de que sean sitios
de gente conocida a la empresa.
Algun dato como poder bloquear definitivamente estos bots?
saludos
From [EMAIL PROTECTED] Mon Apr 11 14:03:58 2005
From: [EMAIL PROTECTED] (Cristian Rodriguez)
Date: Mon Apr 11 14:04:03 2005
Subject: Robots
In-Reply-To: <[EMAIL PROTECTED]>
References: <[EMAIL PROTECTED]>
Message-ID: <[EMAIL PROTECTED]>
On Apr 11, 2005 1:40 PM, Jose Miguel Vidal Lavin <[EMAIL PROTECTED]> wrote:
> Señores
>
> Hace unos meses atras consulte como poder detener el scanneo por
> parte de bots hacia los sitios que hay alojados en ciertos servidores y
> la respuesta es tener un archivo de nombre robots.txt con el siguiente
> contenido:
>
> User-agent: *
> Disallow: /
>
> Pero revisando los accesos hacia el server me he dado cuenta que
> estan sacando informacion desde el sitio generando un alto trafico a los
> servidores y por ende el enlace se torna muy lento, por lo pronto eh
> bloqueado las IP
mala idea,tapa el problema de fondo,no lo soluciona
que me estan sacando la informacion y son generalmente
> de Brasil y Francia y no hay aca ninguna posibilidad de que sean sitios
> de gente conocida a la empresa.
>
> Algun dato como poder bloquear definitivamente estos bots?
>
si son datos de la empresa y solo informacion de esta,podrias requerir
autorizacion para descargar cierto tipo de archivos.
tambien puedes usar apache mod_rewrite
http://www.google.cl/search?hl=es&q=mod_rewrite+bots
(UTFG :) )
salu2
