On Thu, Feb 08, 2001 at 11:05:16AM +0100, Jaume Sabater wrote: > Ahorita me falta tener un listado de las IPs de los robots, supongo que > mirando el access.log del apache los encontrar�. fgrep robots.txt access.log
Claro que los que no respetan las normas de etiqueta ser�n mas dif�ciles de descubrir. > Tambi�n hay que ver qu� le "gusta" mas a cada robot, para dar una respuesta > personalizada lo m�ximo. D�nde puedo encontrar esa informaci�n? Me temo que no ser� una labor muy f�cil descubrir los gustos de cada uno. Pero visita http://info.webcrawler.com/mak/projects/robots/robots.html para comenzar. Jaime
