Виж, това наистина е един доста ключов момент. Може да се направи нещо комбинирано - за по-известните паяци за които се знае че разбират от разширен синтаксис и го спазват - robots.txt. А за всички останали на които не можем да се доверим - iptables. Ще трябва да помисля и направя малко тестове по въпроса. :)
2008/7/29 Georgi Chorbadzhiyski <[EMAIL PROTECTED]> > On 07/29/08 11:54, Веселин Михайлов wrote: > > Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те > най-често > > обхождат сайтовете. Май идеята на Лазаров може би ще свърши по-добра > работа. > > Само ако паяците разбират разширения синтаксис на robots.txt > > -- > Georgi Chorbadzhiyski > http://georgi.unixsol.org/ > _______________________________________________ > Lug-bg mailing list > [email protected] > http://linux-bulgaria.org/mailman/listinfo/lug-bg >
_______________________________________________ Lug-bg mailing list [email protected] http://linux-bulgaria.org/mailman/listinfo/lug-bg
