Re: https cpu load
вс, 7 апр. 2019 г. в 23:22, Slawa Olhovchenkov : > On Sun, Apr 07, 2019 at 11:12:50PM +0500, Илья Шипицин wrote: > > > > > естественно. я предполагаю, что тот, кто будет сравнивать, понимает > это. > > > > > > и при этом не сообщая ничего о своем (референсном в данном случае) > > > профиле нагрузке? оригинально > > > > > > > это некое предположение, что "среднее хорошо написанное веб-приложение > для > > браузера" работает примерно одинаково. > > я не заметил, там говорилось что нгинкс колокейтится с приложением? > он не статику раздает, не проксей работает? > > > > > > > > > > > > > > > > > > > > > Вообще, я с вами согласен, моё предложение посмотреть профайлер > было > > > как > > > > > > раз про это. > > > > > > > > > > нет никакого смысла смотреть профайлер в данный момент. > > > > > > > > > > > > > в любом случае, чтобы узнать, на что расходуется cpu, надо смотреть > > > > профайлер. какие еще есть варианты ? > > > > > > очевидно он расходуется на https, это бесполезное знание. > > > > > > > > > неочевидно. > > например, у нас 70% cpu это компрессия. > > > > опять же, https это как минимум два вида нагрузки - ассиметричные > хендшейки > > и симметричное шифрование. сколько каждого из них, весьма интересно. > > это бесполезное знание, пока мы не узнали что на это расходуется > больше ожидаемого. если у нас большая частота новых соединений то > будет пик в ассиметричных хендшейках и что дальше? так и должно быть. > информация о том, что пик в хендшейках - полезна. допустим, у нас не используется http2 - значит надо его включить допустим, можно увеличить keepalive_requests допустим, можно поревьювить кеш SSL сессий (хотя, по приведенному конфигу - с ним все хорошо) допустим, можно поменять порядок шифрстютов (у GCM хендшейки дешевле) допустим, можно перейти на ECDSA (увеличение производительности от x4 на Xeon до x16 на Celeron) > и смотреть надо на это для начала, а не профайлинг запускать. > без профайлинга непонятно, действительно ли ssl в топе. > > да и вообще, поинтересоваться что за процессор и все такое. > > > из интересных моментов, каким-то странным образом при сборке портов > > freebsd, мы умудрились скомпилировать openssl с выключенной ассемблерной > > оптимизацией. > > это надо было постараться, да. > даже дважды (т.е. что бы для начала системный не устроил) > на freebsd до недавнего времени в base system поставлвлся openssl-1.0.1, постарались мы ровно один раз, когда "убрали" галочку с ассемблерной оптимизации > > > по профайлеру увидели, что 25% cpu уходит на "big numbers" арифметику > > (которая в случае включенной ассемблерной оптимизации умножилась на > ноль). > > > > еще из интересных моментов, был странный опыт с подменой ответа (какой-то > > баг чинили), вылилось это в то, что раздача инсталяторов (при обновлении > > тимсити) привела к всплеску cpu. увидели это тоже по gperftools > > это проявлялось тоьлко на https? > это пример того, как при помощи профайлера найти узкое место. проявлялось это, понятно, в единственной ситуации, вышел новый релиз teamcity, и несколько десятков агентов пошли скачивать инсталяторы. и это пошло сквозь регурярку > > > сколько раз использовал gperftools, еще не было повода пожалеть. > > ни разу не использовал и не жалею. > предпочитаю pcstat, но тогда когда имеет смысл. > вариантов профилирования миллион. неплохой обзор, например, тут http://openresty.org/slides/nginx-conf-2018/#1 > > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
On Sun, Apr 07, 2019 at 11:12:50PM +0500, Илья Шипицин wrote: > > > естественно. я предполагаю, что тот, кто будет сравнивать, понимает это. > > > > и при этом не сообщая ничего о своем (референсном в данном случае) > > профиле нагрузке? оригинально > > > > это некое предположение, что "среднее хорошо написанное веб-приложение для > браузера" работает примерно одинаково. я не заметил, там говорилось что нгинкс колокейтится с приложением? он не статику раздает, не проксей работает? > > > > > > > > > > > > > > > Вообще, я с вами согласен, моё предложение посмотреть профайлер было > > как > > > > > раз про это. > > > > > > > > нет никакого смысла смотреть профайлер в данный момент. > > > > > > > > > > в любом случае, чтобы узнать, на что расходуется cpu, надо смотреть > > > профайлер. какие еще есть варианты ? > > > > очевидно он расходуется на https, это бесполезное знание. > > > > > неочевидно. > например, у нас 70% cpu это компрессия. > > опять же, https это как минимум два вида нагрузки - ассиметричные хендшейки > и симметричное шифрование. сколько каждого из них, весьма интересно. это бесполезное знание, пока мы не узнали что на это расходуется больше ожидаемого. если у нас большая частота новых соединений то будет пик в ассиметричных хендшейках и что дальше? так и должно быть. и смотреть надо на это для начала, а не профайлинг запускать. да и вообще, поинтересоваться что за процессор и все такое. > из интересных моментов, каким-то странным образом при сборке портов > freebsd, мы умудрились скомпилировать openssl с выключенной ассемблерной > оптимизацией. это надо было постараться, да. даже дважды (т.е. что бы для начала системный не устроил) > по профайлеру увидели, что 25% cpu уходит на "big numbers" арифметику > (которая в случае включенной ассемблерной оптимизации умножилась на ноль). > > еще из интересных моментов, был странный опыт с подменой ответа (какой-то > баг чинили), вылилось это в то, что раздача инсталяторов (при обновлении > тимсити) привела к всплеску cpu. увидели это тоже по gperftools это проявлялось тоьлко на https? > сколько раз использовал gperftools, еще не было повода пожалеть. ни разу не использовал и не жалею. предпочитаю pcstat, но тогда когда имеет смысл. ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
вс, 7 апр. 2019 г. в 23:00, Slawa Olhovchenkov : > On Sun, Apr 07, 2019 at 10:02:22PM +0500, Илья Шипицин wrote: > > > вс, 7 апр. 2019 г. в 20:51, Slawa Olhovchenkov : > > > > > On Sun, Apr 07, 2019 at 06:14:18PM +0500, Илья Шипицин wrote: > > > > > > > On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov > wrote: > > > > > > > > > On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > > > > > > > > > > > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov >: > > > > > > > > > > > > > Здравствуйте, > > > > > > > > > > > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > > > > > > > > > > > 1 установленных соединений или 1 новых соединений в > > > секунду ? > > > > > > > > > > > > > > спасибо, установленных) > > > > > > > > > > > > > > > > > > > > > > > > > 20 установленных на 1 сервер обрабатываем > > > > > > > > > > какая разница сколько их, если скажем они все простаивают? > > > > > > > > > > имеет значение количество передаваемого трафика по этим > соединениям (в > > > > > гигабитах/с) и количество устанавливаемых соединений в секунду > (когда > > > > > считаются вся ассиметричная математика). > > > > > > > > > > > > > Я предполагаю, что на больших объёмах действует закон больших чисел, > и > > > > количество установленных соединений вытекает из того, что вы > написали. > > > > > > прежде чем ссылаться на закон больших чисел надо убедиться что в обоих > > > случаях происодит один и тот же эксперимент. > > > > > > > естественно. я предполагаю, что тот, кто будет сравнивать, понимает это. > > и при этом не сообщая ничего о своем (референсном в данном случае) > профиле нагрузке? оригинально > это некое предположение, что "среднее хорошо написанное веб-приложение для браузера" работает примерно одинаково. > > > > > > > > > > Вообще, я с вами согласен, моё предложение посмотреть профайлер было > как > > > > раз про это. > > > > > > нет никакого смысла смотреть профайлер в данный момент. > > > > > > > в любом случае, чтобы узнать, на что расходуется cpu, надо смотреть > > профайлер. какие еще есть варианты ? > > очевидно он расходуется на https, это бесполезное знание. > неочевидно. например, у нас 70% cpu это компрессия. опять же, https это как минимум два вида нагрузки - ассиметричные хендшейки и симметричное шифрование. сколько каждого из них, весьма интересно. из интересных моментов, каким-то странным образом при сборке портов freebsd, мы умудрились скомпилировать openssl с выключенной ассемблерной оптимизацией. по профайлеру увидели, что 25% cpu уходит на "big numbers" арифметику (которая в случае включенной ассемблерной оптимизации умножилась на ноль). еще из интересных моментов, был странный опыт с подменой ответа (какой-то баг чинили), вылилось это в то, что раздача инсталяторов (при обновлении тимсити) привела к всплеску cpu. увидели это тоже по gperftools сколько раз использовал gperftools, еще не было повода пожалеть. > интересоваться профалингом следует тоьлко если производительность не > соответсвет ожидаемой, а это пока не известно. > > > gperftools хорош для этой задачи. > > не имеет значениею > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
On Sun, Apr 07, 2019 at 10:02:22PM +0500, Илья Шипицин wrote: > вс, 7 апр. 2019 г. в 20:51, Slawa Olhovchenkov : > > > On Sun, Apr 07, 2019 at 06:14:18PM +0500, Илья Шипицин wrote: > > > > > On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov wrote: > > > > > > > On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > > > > > > > > > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > > > > > > > > > > > Здравствуйте, > > > > > > > > > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > > > > > > > > > 1 установленных соединений или 1 новых соединений в > > секунду ? > > > > > > > > > > > > спасибо, установленных) > > > > > > > > > > > > > > > > > > > > > 20 установленных на 1 сервер обрабатываем > > > > > > > > какая разница сколько их, если скажем они все простаивают? > > > > > > > > имеет значение количество передаваемого трафика по этим соединениям (в > > > > гигабитах/с) и количество устанавливаемых соединений в секунду (когда > > > > считаются вся ассиметричная математика). > > > > > > > > > > Я предполагаю, что на больших объёмах действует закон больших чисел, и > > > количество установленных соединений вытекает из того, что вы написали. > > > > прежде чем ссылаться на закон больших чисел надо убедиться что в обоих > > случаях происодит один и тот же эксперимент. > > > > естественно. я предполагаю, что тот, кто будет сравнивать, понимает это. и при этом не сообщая ничего о своем (референсном в данном случае) профиле нагрузке? оригинально > > > > > > Вообще, я с вами согласен, моё предложение посмотреть профайлер было как > > > раз про это. > > > > нет никакого смысла смотреть профайлер в данный момент. > > > > в любом случае, чтобы узнать, на что расходуется cpu, надо смотреть > профайлер. какие еще есть варианты ? очевидно он расходуется на https, это бесполезное знание. интересоваться профалингом следует тоьлко если производительность не соответсвет ожидаемой, а это пока не известно. > gperftools хорош для этой задачи. не имеет значениею ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
вс, 7 апр. 2019 г. в 20:51, Slawa Olhovchenkov : > On Sun, Apr 07, 2019 at 06:14:18PM +0500, Илья Шипицин wrote: > > > On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov wrote: > > > > > On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > > > > > > > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > > > > > > > > > Здравствуйте, > > > > > > > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > > > > > > > 1 установленных соединений или 1 новых соединений в > секунду ? > > > > > > > > > > спасибо, установленных) > > > > > > > > > > > > > > > > > 20 установленных на 1 сервер обрабатываем > > > > > > какая разница сколько их, если скажем они все простаивают? > > > > > > имеет значение количество передаваемого трафика по этим соединениям (в > > > гигабитах/с) и количество устанавливаемых соединений в секунду (когда > > > считаются вся ассиметричная математика). > > > > > > > Я предполагаю, что на больших объёмах действует закон больших чисел, и > > количество установленных соединений вытекает из того, что вы написали. > > прежде чем ссылаться на закон больших чисел надо убедиться что в обоих > случаях происодит один и тот же эксперимент. > естественно. я предполагаю, что тот, кто будет сравнивать, понимает это. > > > Вообще, я с вами согласен, моё предложение посмотреть профайлер было как > > раз про это. > > нет никакого смысла смотреть профайлер в данный момент. > в любом случае, чтобы узнать, на что расходуется cpu, надо смотреть профайлер. какие еще есть варианты ? gperftools хорош для этой задачи. > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
On Sun, Apr 07, 2019 at 06:14:18PM +0500, Илья Шипицин wrote: > On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov wrote: > > > On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > > > > > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > > > > > > > Здравствуйте, > > > > > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > > > > > 1 установленных соединений или 1 новых соединений в секунду ? > > > > > > > > спасибо, установленных) > > > > > > > > > > > > > 20 установленных на 1 сервер обрабатываем > > > > какая разница сколько их, если скажем они все простаивают? > > > > имеет значение количество передаваемого трафика по этим соединениям (в > > гигабитах/с) и количество устанавливаемых соединений в секунду (когда > > считаются вся ассиметричная математика). > > > > Я предполагаю, что на больших объёмах действует закон больших чисел, и > количество установленных соединений вытекает из того, что вы написали. прежде чем ссылаться на закон больших чисел надо убедиться что в обоих случаях происодит один и тот же эксперимент. > Вообще, я с вами согласен, моё предложение посмотреть профайлер было как > раз про это. нет никакого смысла смотреть профайлер в данный момент. ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
07.04.2019, 16:14, "Илья Шипицин" : > On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov wrote: >> On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: >> >>> сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : >>> >>> > Здравствуйте, >>> > >>> > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: >>> > >>> > > 1 установленных соединений или 1 новых соединений в секунду ? >>> > >>> > спасибо, установленных) >>> > >>> >>> >>> 20 установленных на 1 сервер обрабатываем >> >> какая разница сколько их, если скажем они все простаивают? >> >> имеет значение количество передаваемого трафика по этим соединениям (в >> гигабитах/с) и количество устанавливаемых соединений в секунду (когда >> считаются вся ассиметричная математика). > > Я предполагаю, что на больших объёмах действует закон больших чисел, и > количество установленных соединений вытекает из того, что вы написали. При разном характере нагрузки среднее время жизни соединения может быть очень разным -- Regards, Konstantin ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
On Sun, Apr 7, 2019, 1:17 AM Slawa Olhovchenkov wrote: > On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > > > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > > > > > Здравствуйте, > > > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > > > 1 установленных соединений или 1 новых соединений в секунду ? > > > > > > спасибо, установленных) > > > > > > > > > 20 установленных на 1 сервер обрабатываем > > какая разница сколько их, если скажем они все простаивают? > > имеет значение количество передаваемого трафика по этим соединениям (в > гигабитах/с) и количество устанавливаемых соединений в секунду (когда > считаются вся ассиметричная математика). > Я предполагаю, что на больших объёмах действует закон больших чисел, и количество установленных соединений вытекает из того, что вы написали. Вообще, я с вами согласен, моё предложение посмотреть профайлер было как раз про это. ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
On Sun, Apr 07, 2019 at 12:14:51AM +0500, Илья Шипицин wrote: > сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > > > Здравствуйте, > > > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > > > 1 установленных соединений или 1 новых соединений в секунду ? > > > > спасибо, установленных) > > > > > 20 установленных на 1 сервер обрабатываем какая разница сколько их, если скажем они все простаивают? имеет значение количество передаваемого трафика по этим соединениям (в гигабитах/с) и количество устанавливаемых соединений в секунду (когда считаются вся ассиметричная математика). ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
сб, 6 апр. 2019 г. в 23:40, Evgenii Davidov : > Здравствуйте, > > On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > > > 1 установленных соединений или 1 новых соединений в секунду ? > > спасибо, установленных) > 20 установленных на 1 сервер обрабатываем > > > > > сб, 6 апр. 2019 г. в 21:37, Evgenii Davidov : > > > > > > > > добрый день > > > > > > переключили сайт на https, когда меньше тысячи соединией работает, > когда > > > уже тысяч 5 то загрузка cpu у nginx 100% > > > > > > 8 ядер 2.53GHz > > > > > > worker_processes 8 > > > > > > ssl_session_cache shared:SSL:10m; > > > ssl_session_timeout 10m; > > > > > > подскажите пожалуйста: есть какие-то наблюдения какое нужно железо > чтобы > > > обслуживать скажем 1 соединений? > > > или надо распараллеливать на несколько серверов? > > > > > > спасибо > > > > > > -- > > > Evgenii V Davidov > > > ___ > > > nginx-ru mailing list > > > nginx-ru@nginx.org > > > http://mailman.nginx.org/mailman/listinfo/nginx-ru > > > ___ > > nginx-ru mailing list > > nginx-ru@nginx.org > > http://mailman.nginx.org/mailman/listinfo/nginx-ru > > -- > Evgenii V Davidov > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
Здравствуйте, On Sat, Apr 06, 2019 at 11:11:19PM +0500, Илья Шипицин пишет: > 1 установленных соединений или 1 новых соединений в секунду ? спасибо, установленных) > > сб, 6 апр. 2019 г. в 21:37, Evgenii Davidov : > > > > > добрый день > > > > переключили сайт на https, когда меньше тысячи соединией работает, когда > > уже тысяч 5 то загрузка cpu у nginx 100% > > > > 8 ядер 2.53GHz > > > > worker_processes 8 > > > > ssl_session_cache shared:SSL:10m; > > ssl_session_timeout 10m; > > > > подскажите пожалуйста: есть какие-то наблюдения какое нужно железо чтобы > > обслуживать скажем 1 соединений? > > или надо распараллеливать на несколько серверов? > > > > спасибо > > > > -- > > Evgenii V Davidov > > ___ > > nginx-ru mailing list > > nginx-ru@nginx.org > > http://mailman.nginx.org/mailman/listinfo/nginx-ru > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru -- Evgenii V Davidov ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: https cpu load
привет. предлагаю начать с http://nginx.org/ru/docs/ngx_google_perftools_module.html позволяет увидеть, действительно ли дело в https насчет https (если окажется, что дело в нем), есть пространство для оптимизации - установить ECDSA сертификат (если еще не установили), это может в 4 раза снизить нагрузку. также можно поменять порядок шифрсьютов, например, GCM и chacha могут в разы меньше тратить процессора. 1 установленных соединений или 1 новых соединений в секунду ? сб, 6 апр. 2019 г. в 21:37, Evgenii Davidov : > > добрый день > > переключили сайт на https, когда меньше тысячи соединией работает, когда > уже тысяч 5 то загрузка cpu у nginx 100% > > 8 ядер 2.53GHz > > worker_processes 8 > > ssl_session_cache shared:SSL:10m; > ssl_session_timeout 10m; > > подскажите пожалуйста: есть какие-то наблюдения какое нужно железо чтобы > обслуживать скажем 1 соединений? > или надо распараллеливать на несколько серверов? > > спасибо > > -- > Evgenii V Davidov > ___ > nginx-ru mailing list > nginx-ru@nginx.org > http://mailman.nginx.org/mailman/listinfo/nginx-ru ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
