в идеале, в вашем случае было бы круто добавить заголовок Retry-After в 503-й ответ (чтобы роботу было понятнее, через сколько повторить запрос), но, такого, насколько я знаю, limit не умеет.
поэтому сигнализацию по интенсивности логично вынести в robots.txt, а вообще, роботы очень аккуратно делают запросы, они стараются не давать нагрузку больше, чем дает обычный серфинг. если вы упираетесь при индексации упираетесь в производительность, это звоночек о том, что запас по производительности у вас маленький 8 августа 2016 г., 15:54 пользователь nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k < nginx-fo...@forum.nginx.org> написал: > Спасибо за совет, но хотелось бы получить разъяснение именно по настройкам > nginx. Смысл вопроса - разобраться с нюансами работы nginx по ограничению > запросов. > > Posted at Nginx Forum: https://forum.nginx.org/read. > php?21,268830,268834#msg-268834 > > _______________________________________________ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru >
_______________________________________________ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru