Ciao Sandro, Sandro Fontana writes: > [...] > personalmente non ho mai capito neppure robot.txt, se non come una buona > indicazione su dove andare a ficcanasare > [...]
Almeno in alcuni casi - se rispettato - potrebbe risparmiare al web crawler di mettersi in un limbo di pagine dinamiche e non uscirne più! :) ________________________________________________________ http://www.sikurezza.org - Italian Security Mailing List
