Re: Updating the GPG Key for NGINX Products

2016-08-08 Пенетрантность Nick Shadrin 
Гена,

> On Aug 8, 2016, at 13:29, Gena Makhomed  wrote:
> 
> Здравствуйте!
> 
> https://www.nginx.com/blog/updating-gpg-key-nginx-products/
> Updating the GPG Key for NGINX Products
> 
> Извините за возможно глупый вопрос, зачем вы это делаете таким способом?
> 
> Например, для CentOS 7 вполне работает вариант
> 
> # rpm --import https://nginx.org/keys/nginx_signing.key
> 
> вместо двух строк:
> 
> # curl -O https://nginx.org/keys/nginx_signing.key
> # rpm --import ./nginx_signing.key

Это сделано по аналогии с инструкцией для Ubuntu.

> Я уж не говорю о том, что в CentOS принято ставить/удалять ключи
> вместе с пакетом репозитория, так как это сделано в EPEL или remi.
> И тогда не надо будет вручную править и менять GPG ключи в системе.
> 
> https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
> 
> http://rpms.remirepo.net/enterprise/remi-release-7.rpm
> 
> Файл ключа задается прямо в конфиге репозитория через gpgkey=
> 
> Может быть сделаете установку ключа по-нормальному для CentOS 7 ?
> 
> Тогда можно будет одной командой подключить репозиторий nginx
> и новый GPG ключ nginx будет автоматически установлен в системе.

В наших примерах настройки репозитория проверка отключена по умолчанию.

> 
> -- 
> Best regards,
> Gena
> 
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru 
> 



-- 
Nick Shadrin
Technical Solutions Architect
n...@nginx.com



___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Updating the GPG Key for NGINX Products

2016-08-08 Пенетрантность Gena Makhomed 

Здравствуйте!

https://www.nginx.com/blog/updating-gpg-key-nginx-products/
Updating the GPG Key for NGINX Products

Извините за возможно глупый вопрос, зачем вы это делаете таким способом?

Например, для CentOS 7 вполне работает вариант

# rpm --import https://nginx.org/keys/nginx_signing.key

вместо двух строк:

# curl -O https://nginx.org/keys/nginx_signing.key
# rpm --import ./nginx_signing.key

Я уж не говорю о том, что в CentOS принято ставить/удалять ключи
вместе с пакетом репозитория, так как это сделано в EPEL или remi.
И тогда не надо будет вручную править и менять GPG ключи в системе.

https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

http://rpms.remirepo.net/enterprise/remi-release-7.rpm

Файл ключа задается прямо в конфиге репозитория через gpgkey=

Может быть сделаете установку ключа по-нормальному для CentOS 7 ?

Тогда можно будет одной командой подключить репозиторий nginx
и новый GPG ключ nginx будет автоматически установлен в системе.

--
Best regards,
 Gena

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k 
Ясно, большое спасибо за ответы, теперь ситуация прояснилась.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268843#msg-268843

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность Валентин Бартенев 
On Monday 08 August 2016 07:48:35 nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k wrote:
> Поправка: промежутков всё таки 6, но тем не менее.
> Есть даже местами и по 8:
> 
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.337
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.279
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.047
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.614
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.428
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.506
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.239
> 08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.008
> 
> Или временная метка - это таки время выдачи ответа, т.е. из него нужно
> вычитать upstream_response_time, чтоб получить время прихода запроса ?
> 
[..]

Лог пишется после выдачи ответа, а поскольку у вас там $time_local, то
и значение этой переменной будет на момент окончания выдачи ответа.

Время прихода запроса вычитанием $upstream_response_time вы не получите,
поскольку неизвестно, как долго отдавался ответ клиенту, плюс так как
вы не указывали опцию no_delay, то часть запросов могла быть задержана
на какое-то время.

--
Валентин Бартенев
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность Evgeniy Berdnikov 
On Mon, Aug 08, 2016 at 07:27:14AM -0400, nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k 
wrote:
> Указал размер очереди =5:
> 
> limit_req zone=php_dos_bot burst=5;
> 
> Теперь в логе одни сплошные "200 OK":
> 
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 08/Aug/2016:14:19:32 +0300 200 site.com
> 
> Здесь видно 7 успешно обработанных запросов в секунду. Если 5r/s - это "не
> более 1 запроса в течение 200мс", то как в одной секунде уместилось 7 таких
> промежутков ?

 Элементарно: 4 раза по одному запросу в тайм-слоты по 200 мс, и 5 (burst)
 в оставшийся тайм-слот 200 мс, вот и 9 возможных запросов за 1 секунду.
 А здесь всего 7 запросов, что меньше установленного лимита.
-- 
 Eugene Berdnikov

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k 
Поправка: промежутков всё таки 6, но тем не менее.
Есть даже местами и по 8:

08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.337
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.279
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.047
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.614
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=1.428
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.506
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.239
08/Aug/2016:14:17:53 +0300 200 site.com upstream_response_time=0.008

Или временная метка - это таки время выдачи ответа, т.е. из него нужно
вычитать upstream_response_time, чтоб получить время прихода запроса ?

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268840#msg-268840

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность vitcool 
приятно видеть самого себя в начале пути :)

могу дать совет - начинайте дорабатывать бекенд. реально снять эту проблему
можно только на стороне, путем определения по ip кто именно пришел (яндекс
гугл или другой бот), там же можно выставить политику для других ботов, а
так же поставить нормальную защиту от парсинга

а по вашей методике, Вам очень быстро надоест добавлять новых ботов, а их
поверьте мне сотни, если не тысячи. вот недавно совсем приходил бот
поисковой системы которая ищет сайты по торговле продуктами не содержащими
толи глютамат натрия толи что то в этом роде

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268839#msg-268839

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность vitcool 
я использую код 429, его на самом деле многие понимают

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268838#msg-268838

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность Илья Шипицин 
в идеале, в вашем случае было бы круто добавить заголовок Retry-After  в
503-й ответ (чтобы роботу было понятнее, через сколько повторить запрос),
но, такого, насколько я знаю, limit не умеет.

поэтому сигнализацию по интенсивности логично вынести в robots.txt, а
вообще, роботы очень аккуратно делают запросы, они стараются не давать
нагрузку больше, чем дает обычный серфинг. если вы упираетесь при
индексации упираетесь в производительность, это звоночек о том, что запас
по производительности у вас маленький

8 августа 2016 г., 15:54 пользователь nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k <
nginx-fo...@forum.nginx.org> написал:

> Спасибо за совет, но хотелось бы получить разъяснение именно по настройкам
> nginx. Смысл вопроса - разобраться с нюансами работы nginx по ограничению
> запросов.
>
> Posted at Nginx Forum: https://forum.nginx.org/read.
> php?21,268830,268834#msg-268834
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Не работает proxy_cache_lock

2016-08-08 Пенетрантность Валентин Бартенев 
On Monday 08 August 2016 11:36:39 Регистрации . wrote:
> >А система у вас 32-х или 64-х битная?
> 
> uname -a:
> Linux 3.10.0-327.10.1.el7.x86_64 #1 SMP Tue Feb 16 17:03:50 UTC 2016 x86_64
> x86_64 x86_64 GNU/Linux
> 

Просто на 32-х битной системе ваша конфигурация с proxy_cache_lock_timeout
в 20 с лишнем лет невалидна и не загрузилась бы.

Что же касается остального, то судя по вашей же фразе:

 | По логам ($upstream_cache_status) некешированный только первый запрос.

Всё работает, а откуда берется трафик на графике и имеет ли он вообще
какое-то отношение к вашей проблеме - неизвестно.

Стоит сперва разобраться что это за трафик и что же на самом деле показано
на графике.

--
Валентин Бартенев
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k 
Спасибо за совет, но хотелось бы получить разъяснение именно по настройкам
nginx. Смысл вопроса - разобраться с нюансами работы nginx по ограничению
запросов.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268834#msg-268834

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность Валентин Бартенев 
On Monday 08 August 2016 06:21:14 nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k wrote:
> Поисковые боты часто дёргают сайты, чем создают большую нагрузку. Была
> предпринята попытка ограничить запросы к php-страницам.
> Вот конфиг nginx:
> 
> http {
>   ..
> 
>   limit_req_zone $bot_key zone=php_bot:100m rate=5r/s;
> 
[..]
> Секций server { ... } несколько, они все идентичные.
> В итоге после полного перезапуска nginx в логе видим:
> 
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.119
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.117
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.116
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.022
> 
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.129
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.074
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.030
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
> 
> За "01" секунду всего 3 успешно обработанных запроса, за предыдущую - 4,
> несмотря на то, что ограничение допускает обработку 5 запросов.
[..]

У модуля нет никакой дискретности в 1 секунду, так же как ограничение скорости
60 км/ч, не означает что это должна быть средняя скорость движения в течение
часа.

Установленное вами ограничения допускает не более 1 запроса в течение 200мс.

Если вы хотите разрешить всплески и принимать запросы, в том числе пришедшие с
интервалом менее 200мс, то нужно настроить параметр burst.

--
Валентин Бартенев
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Ограничение количества запросов

2016-08-08 Пенетрантность Илья Шипицин 
попробуйте вот такое прописать в robots.txt

User-agent: *
Allow: /
Crawl-delay: 5
Request-rate: 1/5
Visit-time: 1800-2359


8 августа 2016 г., 15:21 пользователь nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k <
nginx-fo...@forum.nginx.org> написал:

> Поисковые боты часто дёргают сайты, чем создают большую нагрузку. Была
> предпринята попытка ограничить запросы к php-страницам.
> Вот конфиг nginx:
>
> http {
> ..
>
> limit_req_zone $bot_key zone=php_bot:100m rate=5r/s;
>
> log_format bot '$time_local $status $server_name ...'
>
> server {
> ..
>
> location ~* \.php$ {
> ..
>
> set $bot_key "";
> if ($http_user_agent ~* 
> spider|bot|crawl|megaindex|yahoo){
> set $bot_key
> $server_name; }
>
> limit_req zone=php_bot;
> limit_req_status 503;
> limit_req_log_level notice;
>
> access_log /var/log/nginx/access-php-bot.log
>   bot
> if=$bot_key;
> }
> }
> }
>
> Секций server { ... } несколько, они все идентичные.
> В итоге после полного перезапуска nginx в логе видим:
>
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.119
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.117
> 08/Aug/2016:12:27:00 +0300 503 site.com
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.116
> 08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.022
>
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.129
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.074
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
> 08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.030
> 08/Aug/2016:12:27:01 +0300 503 site.com ...
>
> За "01" секунду всего 3 успешно обработанных запроса, за предыдущую - 4,
> несмотря на то, что ограничение допускает обработку 5 запросов.
> Почему так, в чём ошибка ? Какая временная метка указывается в логе -
> момента прихода запроса или момента выдачи ответа ?
> Даже если временная метка - это момент выдачи ответа, то всё равно маловато
> выходит: за каждую из секунд не пропустилось максимально допустимое
> количество запросов.
> Как корректно проверять правильно ли работает конфигурация nginx, понял ли
> nginx то, что от него хотели ?
>
> Posted at Nginx Forum: https://forum.nginx.org/read.
> php?21,268830,268830#msg-268830
>
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Ограничение количества запросов

2016-08-08 Пенетрантность nNgzlTtv3k5lzmKRvlmS22tSl8sJr68k 
Поисковые боты часто дёргают сайты, чем создают большую нагрузку. Была
предпринята попытка ограничить запросы к php-страницам.
Вот конфиг nginx:

http {
..

limit_req_zone $bot_key zone=php_bot:100m rate=5r/s;

log_format bot '$time_local $status $server_name ...'

server {
..

location ~* \.php$ {
..

set $bot_key "";
if ($http_user_agent ~* 
spider|bot|crawl|megaindex|yahoo){ set $bot_key
$server_name; }

limit_req zone=php_bot;
limit_req_status 503;
limit_req_log_level notice;

access_log /var/log/nginx/access-php-bot.log
bot
if=$bot_key;
}
}
}

Секций server { ... } несколько, они все идентичные.
В итоге после полного перезапуска nginx в логе видим:

08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.119
08/Aug/2016:12:27:00 +0300 503 site.com
08/Aug/2016:12:27:00 +0300 503 site.com
08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.117
08/Aug/2016:12:27:00 +0300 503 site.com
08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.116
08/Aug/2016:12:27:00 +0300 200 site.com ... upstream_response_time=0.022

08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.129
08/Aug/2016:12:27:01 +0300 503 site.com ...
08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.074
08/Aug/2016:12:27:01 +0300 503 site.com ...
08/Aug/2016:12:27:01 +0300 200 site.com ... upstream_response_time=0.030
08/Aug/2016:12:27:01 +0300 503 site.com ...

За "01" секунду всего 3 успешно обработанных запроса, за предыдущую - 4,
несмотря на то, что ограничение допускает обработку 5 запросов.
Почему так, в чём ошибка ? Какая временная метка указывается в логе -
момента прихода запроса или момента выдачи ответа ?
Даже если временная метка - это момент выдачи ответа, то всё равно маловато
выходит: за каждую из секунд не пропустилось максимально допустимое
количество запросов.
Как корректно проверять правильно ли работает конфигурация nginx, понял ли
nginx то, что от него хотели ?

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268830,268830#msg-268830

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: naxsi как dynamic module

2016-08-08 Пенетрантность VovansystemS 
> Да модуль версия зависим
это понятно. но планируется ли (и возможно ли) сделать такую
архитектуру подключения модулей, которая бы обеспечила возможность
собрать один раз модуль как dll для программы под windows, а затем
обновлять только по мере необходимости, а не при каждом выходе новой
версии nginx?

прошу прощения, если вопрос дурацкий, я не силён в системном
программировании под linux
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Не работает proxy_cache_lock

2016-08-08 Пенетрантность Регистрации . 
>А система у вас 32-х или 64-х битная?

uname -a:
Linux 3.10.0-327.10.1.el7.x86_64 #1 SMP Tue Feb 16 17:03:50 UTC 2016 x86_64
x86_64 x86_64 GNU/Linux

П.С.
Как-то неудобно тут отвечать. :)
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: HTTPS отдавать 444 в секции default

2016-08-08 Пенетрантность Helper code 
При использовании - ssl_ciphers aNULL получается облом для браузеров не
поддерживающих SNI. Без этой директивы все работает.

Posted at Nginx Forum: 
https://forum.nginx.org/read.php?21,268592,268824#msg-268824

___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru