Re: gzip filter failed to use preallocated memory
> Возможно. Я отправил его коллегам на review, если возражений не > будет - закоммичу. Спасибо! Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,277433#msg-277433 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Hello! On Wed, Nov 15, 2017 at 10:58:16AM -0500, S.A.N wrote: > Maxim Dounin Wrote: > --- > > Патч ниже по первой ошибке преаллокации пытается предполагать, что > > мы работаем с jtk zlib, и работает соответственно. Если и это не > > помогло - тогда уже начинает писать в лог alert'ы. > > Сработало, спасибо! > В логе сообщений уже нет, других изменений в поведении Nginx не заметил, > этот патч войдет в следующую версию Nginx? Возможно. Я отправил его коллегам на review, если возражений не будет - закоммичу. -- Maxim Dounin http://mdounin.ru/ ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Maxim Dounin Wrote: --- > Патч ниже по первой ошибке преаллокации пытается предполагать, что > мы работаем с jtk zlib, и работает соответственно. Если и это не > помогло - тогда уже начинает писать в лог alert'ы. Сработало, спасибо! В логе сообщений уже нет, других изменений в поведении Nginx не заметил, этот патч войдет в следующую версию Nginx? Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,277335#msg-277335 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Hello!
On Sat, Nov 11, 2017 at 08:36:18AM -0500, S.A.N wrote:
> Maxim Dounin Wrote:
> ---
> > Я, впрочем, подозреваю, что на самом деле там не это, а то, что
> > лежит по адресу https://github.com/jtkukunas/zlib. Название и
> > содержимое пакета как бы намекает:
> >
> > https://download.clearlinux.org/current/source/SRPMS/zlib-1.2.8.jtkv4-
> > 40.src.rpm
>
> Вы правы, в OS ClearLinux библеотека zlib из этого пакета и там нет
> константы Z_IPP_FAST_COMPRESSION.
> Я написал им issue, чтобы они добавили константу, но сомневаюсь что в
> ближайшем будущем они что-то сделают, хотя.
>
> Может быть сделать спец флаг компиляции Nginx ./configure --with-ipp-zlib
> Как уже предлагали в этой ветке
> https://forum.nginx.org/read.php?2,252113,252114#msg-252114
>
> Тогда мейнтейнеры смогут создавать свои сборки Nginx с 3rd party zlib.
> Этот вариант для вас приемлем?
Это не выглядит хорошим решением. Особенно с учётом того, что IPP
zlib и jtk zlib - это два разных zlib'а.
> > Уровень логгирования alert означает ситуацию, которая не должна
> > возникать при нормальной работе, и означает ошибку где-то. В
> > данном случае мы знаем причину - библиотека от Интел нарушает
> > документированный интерфейс zlib в части требований к памяти - и
> > этого достаточно для того, чтобы игнорировать и/или понизить
> > уровень ошибки до менее значительного в случае использования
> > этой библиотеки. Однако я бы предпочёл не трогать уровень
> > логгирования для всех остальных случаев.
>
> Я согласен с вашими словами, но я ничего не понял что нужно мне сделать,
> чтобы в логах не было этой ошибки?
> В конфиге отключить логирование этого alert можно только если указать
> уровень логирование emerge
> error_log log/error.log emerge;
> Но это не хорошо, мягко говоря, или вы имели виду чтобы я сделал свой патч и
> изменил в коде Nginx уровень логирование?
Патч ниже по первой ошибке преаллокации пытается предполагать, что
мы работаем с jtk zlib, и работает соответственно. Если и это не
помогло - тогда уже начинает писать в лог alert'ы.
# HG changeset patch
# User Maxim Dounin
# Date 1510720355 -10800
# Wed Nov 15 07:32:35 2017 +0300
# Node ID 63b85af82bb1ad8b7d29979619b22ecebd962c66
# Parent 9ba0a577601b7c1b714eb088bc0b0d21c6354699
Gzip: support for a zlib variant from Intel.
A zlib variant from Intel as available from https://github.com/jtkukunas/zlib
uses 64K hash instead of scaling it from the specified memory level, and
also uses 16-byte padding in one of the window-sized memory buffers, and can
force window bits to 13 if compression level is set to 1 and appropriate
compile options are used. As a result, nginx complained with "gzip filter
failed to use preallocated memory" alerts.
This change improves deflate_state allocation detection by testing that
items is 1 (deflate_state is the only allocation where items is 1).
Additionally, on first failure to use preallocated memory we now assume
that we are working with the Intel's modified zlib, and switch to using
appropriate preallocations. If this does not help, we complain with the
usual alerts.
Previous version of this patch was published at
http://mailman.nginx.org/pipermail/nginx/2014-July/044568.html.
The zlib variant in question is used by default in ClearLinux from Intel,
see http://mailman.nginx.org/pipermail/nginx-ru/2017-October/060421.html,
http://mailman.nginx.org/pipermail/nginx-ru/2017-November/060544.html.
diff --git a/src/http/modules/ngx_http_gzip_filter_module.c
b/src/http/modules/ngx_http_gzip_filter_module.c
--- a/src/http/modules/ngx_http_gzip_filter_module.c
+++ b/src/http/modules/ngx_http_gzip_filter_module.c
@@ -57,6 +57,7 @@ typedef struct {
unsigned nomem:1;
unsigned gzheader:1;
unsigned buffering:1;
+unsigned intel:1;
size_t zin;
size_t zout;
@@ -233,6 +234,8 @@ static ngx_str_t ngx_http_gzip_ratio =
static ngx_http_output_header_filter_pt ngx_http_next_header_filter;
static ngx_http_output_body_filter_ptngx_http_next_body_filter;
+static ngx_uint_t ngx_http_gzip_assume_intel;
+
static ngx_int_t
ngx_http_gzip_header_filter(ngx_http_request_t *r)
@@ -527,7 +530,27 @@ ngx_http_gzip_filter_memory(ngx_http_req
* *) 5920 bytes on amd64 and sparc64
*/
-ctx->allocated = 8192 + (1 << (wbits + 2)) + (1 << (memlevel + 9));
+if (!ngx_http_gzip_assume_intel) {
+ctx->allocated = 8192 + (1 << (wbits + 2)) + (1 << (memlevel + 9));
+
+} else {
+/*
+ * A zlib variant from Intel, https://github.com/jtkukunas/zlib.
+ * It can force window bits to 13 for fast compression level,
+
Re: gzip filter failed to use preallocated memory
Maxim Dounin Wrote: --- > Я, впрочем, подозреваю, что на самом деле там не это, а то, что > лежит по адресу https://github.com/jtkukunas/zlib. Название и > содержимое пакета как бы намекает: > > https://download.clearlinux.org/current/source/SRPMS/zlib-1.2.8.jtkv4- > 40.src.rpm Вы правы, в OS ClearLinux библеотека zlib из этого пакета и там нет константы Z_IPP_FAST_COMPRESSION. Я написал им issue, чтобы они добавили константу, но сомневаюсь что в ближайшем будущем они что-то сделают, хотя. Может быть сделать спец флаг компиляции Nginx ./configure --with-ipp-zlib Как уже предлагали в этой ветке https://forum.nginx.org/read.php?2,252113,252114#msg-252114 Тогда мейнтейнеры смогут создавать свои сборки Nginx с 3rd party zlib. Этот вариант для вас приемлем? > Уровень логгирования alert означает ситуацию, которая не должна > возникать при нормальной работе, и означает ошибку где-то. В > данном случае мы знаем причину - библиотека от Интел нарушает > документированный интерфейс zlib в части требований к памяти - и > этого достаточно для того, чтобы игнорировать и/или понизить > уровень ошибки до менее значительного в случае использования > этой библиотеки. Однако я бы предпочёл не трогать уровень > логгирования для всех остальных случаев. Я согласен с вашими словами, но я ничего не понял что нужно мне сделать, чтобы в логах не было этой ошибки? В конфиге отключить логирование этого alert можно только если указать уровень логирование emerge error_log log/error.log emerge; Но это не хорошо, мягко говоря, или вы имели виду чтобы я сделал свой патч и изменил в коде Nginx уровень логирование? Спасибо. Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,277289#msg-277289 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Hello! On Fri, Nov 10, 2017 at 09:35:02AM -0500, S.A.N wrote: > > Есть смысл разобраться, что у вас используется вместо zlib, > > Из коробки в ОС установлена пропатченная Intel библиотека zlib > https://software.intel.com/en-us/articles/how-to-use-zlib-with-intel-ipp-opertimization > > Вот что у нас выдает ldd > ldd /usr/lib64/libz.so > linux-vdso.so.1 (0x7ffed8d7c000) > libc.so.6 => /usr/lib64/haswell/libc.so.6 (0x7fe455d53000) > /usr/lib64/ld-linux-x86-64.so.2 (0x7fe455f8b000) > > > > как это что-то детектировать и аллоцировать под него память, и > > прислать патч. > > Мне сложно сказать как правильно детектировать эту библиотеку, и патч > написать я тоже не смогу (я не Си разработчик) но могу тестировать. > Intel, сделали хорошую работу, их gzip работает почти в 2 раза быстрей, не > хочется возвращаться на стандартную zlib. Я не поленился и таки скачал то, что дают по ссылке выше, и в патче вижу такое: --- zlib-1.2.8.orig/zlib.h 2017-05-29 16:04:42.703705000 +0300 +++ zlib-1.2.8/zlib.h 2017-05-29 16:09:45.779049000 +0300 @@ -187,6 +187,9 @@ #define Z_BEST_SPEED 1 #define Z_BEST_COMPRESSION 9 #define Z_DEFAULT_COMPRESSION (-1) +#if defined(WITH_IPP) +#define Z_IPP_FAST_COMPRESSION (-2) +#endif /* compression levels */ #define Z_FILTERED1 То есть определяется новая константа, Z_IPP_FAST_COMPRESSION. Если это действительно так, то можно попробовать что-нибудь простое, вроде: diff --git a/src/http/modules/ngx_http_gzip_filter_module.c b/src/http/modules/ngx_http_gzip_filter_module.c --- a/src/http/modules/ngx_http_gzip_filter_module.c +++ b/src/http/modules/ngx_http_gzip_filter_module.c @@ -1025,9 +1025,11 @@ ngx_http_gzip_filter_alloc(void *opaque, return p; } +#ifndef Z_IPP_FAST_COMPRESSION ngx_log_error(NGX_LOG_ALERT, ctx->request->connection->log, 0, "gzip filter failed to use preallocated memory: %ud of %ui", items * size, ctx->allocated); +#endif p = ngx_palloc(ctx->request->pool, items * size); Я, впрочем, подозреваю, что на самом деле там не это, а то, что лежит по адресу https://github.com/jtkukunas/zlib. Название и содержимое пакета как бы намекает: https://download.clearlinux.org/current/source/SRPMS/zlib-1.2.8.jtkv4-40.src.rpm Я когда-то смотрел на это - и пришёл к выводу, что сделать с этим ничего разумного не получается, никаких способов узнать о наличии модификаций ребята не оставили. При этом внесённые изменения очевидно противоречат документированным в zlib требованиям к памяти. Так что я решил отложить дальнейшие разбирательства до того момента, когда ребята одумаются и как-то приведут в порядок свою поделку. Но, похоже, лучше с тех пор не стало. > Возможно будет достаточно если Nginx изменит уровень ошибки, сейчас уровень > этой ошибки Alert, но это не правильно, потому что Nginx не падает и все > работает, я думаю правильно выдавать Notice, тогда можно не логировать > Notice уведомления и все будет норм? Уровень логгирования alert означает ситуацию, которая не должна возникать при нормальной работе, и означает ошибку где-то. В данном случае мы знаем причину - библиотека от Интел нарушает документированный интерфейс zlib в части требований к памяти - и этого достаточно для того, чтобы игнорировать и/или понизить уровень ошибки до менее значительного в случае использования этой библиотеки. Однако я бы предпочёл не трогать уровень логгирования для всех остальных случаев. -- Maxim Dounin http://mdounin.ru/ ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
> Есть смысл разобраться, что у вас используется вместо zlib, Из коробки в ОС установлена пропатченная Intel библиотека zlib https://software.intel.com/en-us/articles/how-to-use-zlib-with-intel-ipp-opertimization Вот что у нас выдает ldd ldd /usr/lib64/libz.so linux-vdso.so.1 (0x7ffed8d7c000) libc.so.6 => /usr/lib64/haswell/libc.so.6 (0x7fe455d53000) /usr/lib64/ld-linux-x86-64.so.2 (0x7fe455f8b000) > как это что-то детектировать и аллоцировать под него память, и > прислать патч. Мне сложно сказать как правильно детектировать эту библиотеку, и патч написать я тоже не смогу (я не Си разработчик) но могу тестировать. Intel, сделали хорошую работу, их gzip работает почти в 2 раза быстрей, не хочется возвращаться на стандартную zlib. Возможно будет достаточно если Nginx изменит уровень ошибки, сейчас уровень этой ошибки Alert, но это не правильно, потому что Nginx не падает и все работает, я думаю правильно выдавать Notice, тогда можно не логировать Notice уведомления и все будет норм? Спасабо. Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,277278#msg-277278 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Hello! On Fri, Nov 10, 2017 at 06:03:34AM -0500, S.A.N wrote: > Есть смысл мне писать в bug report, по этой проблеме, или шансы на > исправление близки к нулю? Есть смысл разобраться, что у вас используется вместо zlib, как это что-то детектировать и аллоцировать под него память, и прислать патч. -- Maxim Dounin http://mdounin.ru/ ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
Re: gzip filter failed to use preallocated memory
Есть смысл мне писать в bug report, по этой проблеме, или шансы на исправление близки к нулю? Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,277266#msg-277266 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
gzip filter failed to use preallocated memory
Здравствуйте. Мы начали использовать OS ClearLinux for Intel® Architecture, (отличная производительность) Все работает хорошо, но в логах Nginx мы постоянно видим [alert] 31591#31591: *1 gzip filter failed to use preallocated memory: 65536 of 16368 Таких записей очень много, не смотря на их уровень важности [alert] все работает нормально и Nginx отдает правильно упакованые gzip ответы. Я так понимаю, Nginx просто сообщает что у нас не стандартная gzip библиотека, но зачем [alert] и зачем так засорять лог, может стоит адаптировать код Nginx для работы с такими gzip библиотеками, или может мы можем скомпилить Nginx с спец опцией? Спасибо. Posted at Nginx Forum: https://forum.nginx.org/read.php?21,276955,276955#msg-276955 ___ nginx-ru mailing list nginx-ru@nginx.org http://mailman.nginx.org/mailman/listinfo/nginx-ru
