Специалино паяците на Google можеш да лимитираш през Google Webmaster (https://www.google.com/webmasters/sitemaps/siteoverview)
Веселин Михайлов wrote: > Благодаря на всички за бързите отговори. Аз също успях да стигна до > едно работещо решение. Остана ми малко да доизкусуря скрипта и ще го > публикувам в блога си тия дни. В крайна сметка се оказа че решението > което замислих не е чак толкова добро, защото най-вероятно ще се > отрази на ранковете на сайтовете заради това временно прекъсване (за > това не бях помислил особенно :) ). > > Относно идеята за скрипт който наблюдава логовете - това ми беше > първата идея, но идеята е да бъде свършено това с минимално > натоварване на машината, затова питах за варианти само с iptables. > > Жоро, относно списъка с IP адреси на "паяците", може да бъде намерен > на http://www.iplists.com. > > Проблема е със предимно Google, Yahoo! и Twiceler, тъй като те > най-често обхождат сайтовете. Май идеята на Лазаров може би ще свърши > по-добра работа. ;) > > Още един път - благодаря на всички. > _______________________________________________ Lug-bg mailing list [email protected] http://linux-bulgaria.org/mailman/listinfo/lug-bg
