Веселин Михайлов wrote: > Здравейте група! > > Имам следният въпрос, над който се чудя и не успявам да стигна до > работещо решение. Възможно ли е (и как) да се ограничат временно > връзките на Web Crawler-те (IP адресите им) чрез лимит? > > Рових и четох документация, но нещо ми се изплъзва. Идеята е когато > един "паяк" направи определено количество връзки към хоста да бъде > блокиран за определено време (примерно час). > > Възможно ли е това да стане само с iptables или ще трябва да се пише > някакъв допълнителен скрипт/демон който да го прави? > > Поздрави! > ------------------------------------------------------------------------ > > _______________________________________________ > Lug-bg mailing list > [email protected] > http://linux-bulgaria.org/mailman/listinfo/lug-bg > Имаш проблем с определени роботи или като цяло имаш проблем с тях? Някой разбират от лимити в robots.txt: User-agent: * Request-rate: 1/60 Visit-time: 0200-0600
Това ще ги лимитира да влизат само веднъж на минута (за всяка търсачка) и само в часовата зона от 2ч до 6ч през ноща (UTC) Все пак сподели дали имаш проблем с конкретни паяци или? _______________________________________________ Lug-bg mailing list [email protected] http://linux-bulgaria.org/mailman/listinfo/lug-bg
