Re: Непонятна работа limit_rate

[Evgeniy Berdnikov]

On Wed, Oct 07, 2020 at 06:10:01PM +0300, Иван Мишин wrote:
>Но вот при такой конфигурации:
>limit_rate_after 15k; #150Mb
>limit_rate 2048k;
>proxy_max_temp_file_size 6144m;  
>Поведение не понятно. При таких параметрах директив работает так -
>скачивается 150Мб и затем обрыв. Почему?

 Посмотрите логи прокси и бэкенда, посмотрите что выдаёт "wget -d".
 Для полноты можно посмотреть анализатором трафика где какая коннекция
 закрывается, обратить внимание на отметки времени, сравнить с заданными
 на всех узлах таймаутами.
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Иван Мишин]

При директивах
limit_rate_after 15k; #150Mb
limit_rate 2048k;
proxy_max_temp_file_size 0;
Скачивание происходит так как и ожидается, без обрывов и прочего, а так же
обрезается скорость правильным образом в соответствии с  директивами
limit_rate_after и  limit_rate.

Но вот при такой конфигурации:
limit_rate_after 15k; #150Mb
limit_rate 2048k;
proxy_max_temp_file_size 6144m;

Поведение не понятно. При таких параметрах директив работает так -
скачивается 150Мб и затем обрыв. Почему?

ср, 7 окт. 2020 г. в 18:07, Иван Мишин :

> При директивах
>
> вт, 6 окт. 2020 г. в 17:16, Maxim Dounin :
>
>> Hello!
>>
>> On Tue, Oct 06, 2020 at 10:42:47AM +0300, Evgeniy Berdnikov wrote:
>>
>> > On Mon, Oct 05, 2020 at 10:24:17PM +0300, Alexey wrote:
>> > > День добрый!
>> > >
>> > > Вы качаете файл, получаемых от прокси апстрима?
>> > >
>> https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size
>> > >
>> > > Вы упираетесь в 1Гб временного файла. когда качается быстро, он
>> > > вообще в темп не пишется, если файл прилетает от апстрима быстрее
>> > > чем забираем, то он уже пишется во временный файл. вы успеваете
>> > > скачать столько, сколько прилетает до начала записи во временный
>> > > файл + макс размер файла.
>> >
>> >  Наличие лимита на размер временного файла это что, повод обрывать
>> закачку?
>>
>> Наличие лимита - ни разу не повод обрывать закачку, nginx её и не
>> обрывает.
>>
>> Другой вопрос, что если буфер забит - nginx'у некуда читать
>> дополнительные данные, и в результате бэкенд может закрыть
>> соединение по таймауту до того, как содержимое временного файла
>> будет отдано клиену и соответственно nginx сможет дальше читать
>> что-либо от бэкенда.
>>
>> При заявленном ограничении скорости в 2 мегабайта в секунду -
>> отправка клиенту гигабайта временных данных займёт секунд 500
>> минимум.  Если при этом с бэкенда эти данные летят по гигабитному
>> каналу со скоростью 100 мегабайт в секунду - прилетят они секунд за
>> 10.  То есть между nginx'ом и бэкендом 490 секунд ничего не будет
>> происходить.  Шансов на то, что бэкенд дождётся при настройках по
>> умолчанию - никаких.
>>
>> Соответственно нужно:
>>
>> - увеличить временный файл, чтобы ответы влезали;
>>
>> - или уменьшить временный файл, чтобы его содержимое могло
>>   отправиться до того, как сработает таймаут на бэкенде.
>>
>> Ну либо настраивать таймауты на бэкенде и/или ограничение
>> скорости, чтобы опять же временный файл мог отправиться до того,
>> как сработает таймаут на бэкенде.
>>
>> Вообще, когда речь идёт о том, что проксируются большие файлы -
>> одним из лучших решений может быть просто выключенная буферизация
>> на диск, "proxy_max_temp_file_size 0;".  Это позволяет избежать не
>> только проблем с таймаутами на бэкенде, но и траты ресурсов на
>> disk i/o, а равно проблем с переполнением диска под временные
>> файлы при большом количестве одновременных запросов.
>>
>> [...]
>>
>> --
>> Maxim Dounin
>> http://mdounin.ru/
>> ___
>> nginx-ru mailing list
>> nginx-ru@nginx.org
>> http://mailman.nginx.org/mailman/listinfo/nginx-ru
>
>
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Иван Мишин]

При директивах

вт, 6 окт. 2020 г. в 17:16, Maxim Dounin :

> Hello!
>
> On Tue, Oct 06, 2020 at 10:42:47AM +0300, Evgeniy Berdnikov wrote:
>
> > On Mon, Oct 05, 2020 at 10:24:17PM +0300, Alexey wrote:
> > > День добрый!
> > >
> > > Вы качаете файл, получаемых от прокси апстрима?
> > >
> https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size
> > >
> > > Вы упираетесь в 1Гб временного файла. когда качается быстро, он
> > > вообще в темп не пишется, если файл прилетает от апстрима быстрее
> > > чем забираем, то он уже пишется во временный файл. вы успеваете
> > > скачать столько, сколько прилетает до начала записи во временный
> > > файл + макс размер файла.
> >
> >  Наличие лимита на размер временного файла это что, повод обрывать
> закачку?
>
> Наличие лимита - ни разу не повод обрывать закачку, nginx её и не
> обрывает.
>
> Другой вопрос, что если буфер забит - nginx'у некуда читать
> дополнительные данные, и в результате бэкенд может закрыть
> соединение по таймауту до того, как содержимое временного файла
> будет отдано клиену и соответственно nginx сможет дальше читать
> что-либо от бэкенда.
>
> При заявленном ограничении скорости в 2 мегабайта в секунду -
> отправка клиенту гигабайта временных данных займёт секунд 500
> минимум.  Если при этом с бэкенда эти данные летят по гигабитному
> каналу со скоростью 100 мегабайт в секунду - прилетят они секунд за
> 10.  То есть между nginx'ом и бэкендом 490 секунд ничего не будет
> происходить.  Шансов на то, что бэкенд дождётся при настройках по
> умолчанию - никаких.
>
> Соответственно нужно:
>
> - увеличить временный файл, чтобы ответы влезали;
>
> - или уменьшить временный файл, чтобы его содержимое могло
>   отправиться до того, как сработает таймаут на бэкенде.
>
> Ну либо настраивать таймауты на бэкенде и/или ограничение
> скорости, чтобы опять же временный файл мог отправиться до того,
> как сработает таймаут на бэкенде.
>
> Вообще, когда речь идёт о том, что проксируются большие файлы -
> одним из лучших решений может быть просто выключенная буферизация
> на диск, "proxy_max_temp_file_size 0;".  Это позволяет избежать не
> только проблем с таймаутами на бэкенде, но и траты ресурсов на
> disk i/o, а равно проблем с переполнением диска под временные
> файлы при большом количестве одновременных запросов.
>
> [...]
>
> --
> Maxim Dounin
> http://mdounin.ru/
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Maxim Dounin]

Hello!

On Tue, Oct 06, 2020 at 10:42:47AM +0300, Evgeniy Berdnikov wrote:

> On Mon, Oct 05, 2020 at 10:24:17PM +0300, Alexey wrote:
> > День добрый!
> > 
> > Вы качаете файл, получаемых от прокси апстрима?
> > https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size
> > 
> > Вы упираетесь в 1Гб временного файла. когда качается быстро, он
> > вообще в темп не пишется, если файл прилетает от апстрима быстрее
> > чем забираем, то он уже пишется во временный файл. вы успеваете
> > скачать столько, сколько прилетает до начала записи во временный
> > файл + макс размер файла.
> 
>  Наличие лимита на размер временного файла это что, повод обрывать закачку?

Наличие лимита - ни разу не повод обрывать закачку, nginx её и не 
обрывает.

Другой вопрос, что если буфер забит - nginx'у некуда читать 
дополнительные данные, и в результате бэкенд может закрыть 
соединение по таймауту до того, как содержимое временного файла 
будет отдано клиену и соответственно nginx сможет дальше читать 
что-либо от бэкенда.

При заявленном ограничении скорости в 2 мегабайта в секунду - 
отправка клиенту гигабайта временных данных займёт секунд 500 
минимум.  Если при этом с бэкенда эти данные летят по гигабитному 
каналу со скоростью 100 мегабайт в секунду - прилетят они секунд за 
10.  То есть между nginx'ом и бэкендом 490 секунд ничего не будет 
происходить.  Шансов на то, что бэкенд дождётся при настройках по 
умолчанию - никаких.

Соответственно нужно:

- увеличить временный файл, чтобы ответы влезали;

- или уменьшить временный файл, чтобы его содержимое могло 
  отправиться до того, как сработает таймаут на бэкенде.

Ну либо настраивать таймауты на бэкенде и/или ограничение 
скорости, чтобы опять же временный файл мог отправиться до того, 
как сработает таймаут на бэкенде.

Вообще, когда речь идёт о том, что проксируются большие файлы - 
одним из лучших решений может быть просто выключенная буферизация 
на диск, "proxy_max_temp_file_size 0;".  Это позволяет избежать не 
только проблем с таймаутами на бэкенде, но и траты ресурсов на 
disk i/o, а равно проблем с переполнением диска под временные 
файлы при большом количестве одновременных запросов.

[...]

-- 
Maxim Dounin
http://mdounin.ru/
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Илья Шипицин]

вт, 6 окт. 2020 г. в 16:35, Evgeniy Berdnikov :

> On Tue, Oct 06, 2020 at 04:11:37PM +0500, Илья Шипицин wrote:
> >вт, 6 окт. 2020 г. в 15:45, Evgeniy Berdnikov <[1]b...@protva.ru>:
> >   найтись файл, который в буфер не влезет. При любых значениях
> >  настроечных
> >   параметров. Это нормальная ситуация, причём если Content-Length с
> >  апстрима
> >
> >с одной стороны я с вами соглашусь, что дефолтное поведение не
> выглядит
> >отличным.
> >вероятно, если файл больше нельзя сохранять в кеш, то можно просто не
> >пытаться его сохранять,
> >а обойтись тем, что сохранено, остаток дочитать, ну или подождать
> >с другой стороны, вы несчастны с дефолтным поведением - ок, меняете
> >настройку на более комфортную вам
> >и живете с ней.
> >аргументы за "поменять жизнь вообще всем" тяжело заходят. но почему
> бы не
> >поменять ее конкретно тому,
> >кто несчастен с дефолтом
>
>  Какая настройка "более комфортная", если апстрим не контролируем?
>

дефолтные настройки уходят корнями во времена, когда бекендом был апач, для
которого
одновременное поддержание многих открытых соединений являлось узким местом.

и задача, решаемая многими дефолтными настройками звучит примерно "по
возможности
быстро вычитать файл с апача, и закрыть соединение".

с тех пор ситуация успела поменяться,  C10K умеют вообще, наверное, все
сервера
(для справки https://en.wikipedia.org/wiki/C10k_problem )

не выглядит большой проблемой вычитывать файл и без всякого буфера (на
диске) отдавать его
клиенту. более того, если вы помониторите список рассылки, тут регулярно
приходят видеостримеры,
с жалобами "у нас чуть-чууть деградировала сеть в сторону клиента и
непонятным образом
выросла в потолок нагрузка на диск прокси". понятно, выросла, потому что
ответы стали складываться на диск.
диск во многих случаях медленнее, чем сеть в сторону апстрима.

ответственное решение - настроить для себя буферизацию правильно.



>  Например, там хостинг, юзер захочет -- положит 4 гига файл, захочет --
> 15G.
>  И что, мне из-за этого отказаться от кэша вообще, хотя он в 97% уместен?
>  Хотелось бы авторов nginx-a послушать.
>


ну, я не автор. мне тоже интересно услышать эту историю.


>
> >   пришёл, она опознаётся сразу. Поэтому обрыв передачи файла клиенту
> >   в таких условиях это баг, однозначно.
> --
>  Eugene Berdnikov
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Evgeniy Berdnikov]

On Tue, Oct 06, 2020 at 04:11:37PM +0500, Илья Шипицин wrote:
>вт, 6 окт. 2020 г. в 15:45, Evgeniy Berdnikov <[1]b...@protva.ru>:
>   найтись файл, который в буфер не влезет. При любых значениях
>  настроечных
>   параметров. Это нормальная ситуация, причём если Content-Length с
>  апстрима
> 
>с одной стороны я с вами соглашусь, что дефолтное поведение не выглядит
>отличным.
>вероятно, если файл больше нельзя сохранять в кеш, то можно просто не
>пытаться его сохранять,
>а обойтись тем, что сохранено, остаток дочитать, ну или подождать
>с другой стороны, вы несчастны с дефолтным поведением - ок, меняете
>настройку на более комфортную вам
>и живете с ней.
>аргументы за "поменять жизнь вообще всем" тяжело заходят. но почему бы не
>поменять ее конкретно тому,
>кто несчастен с дефолтом

 Какая настройка "более комфортная", если апстрим не контролируем?
 Например, там хостинг, юзер захочет -- положит 4 гига файл, захочет -- 15G.
 И что, мне из-за этого отказаться от кэша вообще, хотя он в 97% уместен?
 Хотелось бы авторов nginx-a послушать.

>   пришёл, она опознаётся сразу. Поэтому обрыв передачи файла клиенту
>   в таких условиях это баг, однозначно.
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Илья Шипицин]

вт, 6 окт. 2020 г. в 15:45, Evgeniy Berdnikov :

> On Tue, Oct 06, 2020 at 03:21:14PM +0500, Илья Шипицин wrote:
> >   Наличие лимита на размер временного файла это что, повод обрывать
> >  закачку?
> >
> >вы отдаете проксируемый контент по мере чтения.
> >статус 200 вы отдаете практически сразу.
> >поэтому клиент видит 200.
> >потом вы начинаете вычитывать ответ, и постепенно отдавать клиенту.
> >это регулируется (на выбор)
> >proxy_buffering (по умолчанию включено)
> >X-Accel-Buffering (можно отдать с апстрима)
> >proxy_max_temp_file_size (по  умолчанию 1Гб)
> >если вы с апстрима вычитываете на wire speed, а отдаете в узную
> дырочку,
> >то все шансы, что ответ попытается сбуферизоваться.
> >и это у него получится вплоть до размера 1Гб
> >а дальше - вы уже отдали (в сторону клиента) 200. поменять уже не
> можете.
>
>  А с чего бы статус менять? Не влез ответ в буфер -- положили на это болт
>  (можно удалить файл из буфера, etc) и продолжаем отдавать клиенту дальше.
>
> >это дефолтные настройки. их не меняют с целью сохранения совместимости
> >(вдруг кто-то от них зависит).
> >предполагается ответственный подход. если вы несчастливы с дефолтными
> >настройками - читаете документацию, меняете на нужные.
>
>  Не знаю, как ведёт себя nginx в данной конкретной ситуации, но думаю,
>

это определенный этап, который проходит каждый крупный сервис, который
отдает файлы больше чем 1Гб :)
осознание, что дефолтные настройки не очень удачные в этом месте


>  что его авторы не столь тупы, чтобы не понимать: на апстриме всегда может
>  найтись файл, который в буфер не влезет. При любых значениях настроечных
>  параметров. Это нормальная ситуация, причём если Content-Length с апстрима
>

с одной стороны я с вами соглашусь, что дефолтное поведение не выглядит
отличным.
вероятно, если файл больше нельзя сохранять в кеш, то можно просто не
пытаться его сохранять,
а обойтись тем, что сохранено, остаток дочитать, ну или подождать

с другой стороны, вы несчастны с дефолтным поведением - ок, меняете
настройку на более комфортную вам
и живете с ней.


аргументы за "поменять жизнь вообще всем" тяжело заходят. но почему бы не
поменять ее конкретно тому,
кто несчастен с дефолтом


>  пришёл, она опознаётся сразу. Поэтому обрыв передачи файла клиенту
>  в таких условиях это баг, однозначно.
> --
>  Eugene Berdnikov
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Evgeniy Berdnikov]

On Tue, Oct 06, 2020 at 03:21:14PM +0500, Илья Шипицин wrote:
>   Наличие лимита на размер временного файла это что, повод обрывать
>  закачку?
> 
>вы отдаете проксируемый контент по мере чтения.
>статус 200 вы отдаете практически сразу.
>поэтому клиент видит 200.
>потом вы начинаете вычитывать ответ, и постепенно отдавать клиенту.
>это регулируется (на выбор)
>proxy_buffering (по умолчанию включено)
>X-Accel-Buffering (можно отдать с апстрима)
>proxy_max_temp_file_size (по  умолчанию 1Гб)
>если вы с апстрима вычитываете на wire speed, а отдаете в узную дырочку,
>то все шансы, что ответ попытается сбуферизоваться.
>и это у него получится вплоть до размера 1Гб
>а дальше - вы уже отдали (в сторону клиента) 200. поменять уже не можете.

 А с чего бы статус менять? Не влез ответ в буфер -- положили на это болт
 (можно удалить файл из буфера, etc) и продолжаем отдавать клиенту дальше.

>это дефолтные настройки. их не меняют с целью сохранения совместимости
>(вдруг кто-то от них зависит).
>предполагается ответственный подход. если вы несчастливы с дефолтными
>настройками - читаете документацию, меняете на нужные.

 Не знаю, как ведёт себя nginx в данной конкретной ситуации, но думаю,
 что его авторы не столь тупы, чтобы не понимать: на апстриме всегда может
 найтись файл, который в буфер не влезет. При любых значениях настроечных
 параметров. Это нормальная ситуация, причём если Content-Length с апстрима
 пришёл, она опознаётся сразу. Поэтому обрыв передачи файла клиенту
 в таких условиях это баг, однозначно.
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Илья Шипицин]

вт, 6 окт. 2020 г. в 12:43, Evgeniy Berdnikov :

> On Mon, Oct 05, 2020 at 10:24:17PM +0300, Alexey wrote:
> > День добрый!
> >
> > Вы качаете файл, получаемых от прокси апстрима?
> >
> https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size
> >
> > Вы упираетесь в 1Гб временного файла. когда качается быстро, он
> > вообще в темп не пишется, если файл прилетает от апстрима быстрее
> > чем забираем, то он уже пишется во временный файл. вы успеваете
> > скачать столько, сколько прилетает до начала записи во временный
> > файл + макс размер файла.
>
>  Наличие лимита на размер временного файла это что, повод обрывать закачку?
>

вы отдаете проксируемый контент по мере чтения.
статус 200 вы отдаете практически сразу.
поэтому клиент видит 200.

потом вы начинаете вычитывать ответ, и постепенно отдавать клиенту.

это регулируется (на выбор)

proxy_buffering (по умолчанию включено)
X-Accel-Buffering (можно отдать с апстрима)
proxy_max_temp_file_size (по  умолчанию 1Гб)

если вы с апстрима вычитываете на wire speed, а отдаете в узную дырочку, то
все шансы, что ответ попытается сбуферизоваться.
и это у него получится вплоть до размера 1Гб

а дальше - вы уже отдали (в сторону клиента) 200. поменять уже не можете.


это дефолтные настройки. их не меняют с целью сохранения совместимости
(вдруг кто-то от них зависит).
предполагается ответственный подход. если вы несчастливы с дефолтными
настройками - читаете документацию, меняете на нужные.


>  Я бы предложил начать с wget -d.
>
> > 05.10.2020 20:16, Иван Мишин пишет:
> > >Забыл уточнить, что при обрыве в акцес логах все равно значится
> > >200 код, а в ерор логах пусто.
> > >
> > >пн, 5 окт. 2020 г. в 19:47, Иван Мишин  > >>:
> > >
> > >Добрый день!
> > >Есть локейшн с настроенными вот такими директивами:
> > >  limit_rate_after 15k; #150Mb
> > >  limit_rate 2048k;
> > >
> > >Пробую качать с помощью wget большой файл, и примерно через 7
> > >минут 49-55 секунд закачка обрывается ну и соответственно объем
> > >(1.1Гб) скачанных данных в зависимости от времени слегка разный.
> > >Как только убирают указанные выше две директивы, так все логично
> > >быстро качается и самое главное без обрыва , качается целиком.
> > >А проблема заключается в том что указанными директивами я лишь
> > >хотел подрезать скорость, но не понятно почему при этом файл не
> > >скачивается до конца! До 1.1Гб файлы скачиваются нормально, а
> > >больше уже нет. Хотел было грешить на таймауты какие-нибудь, но
> > >время обрыва хоть и примерно одинаковое, но все же не постоянное,
> > >поэтому идею с таймаутами отбросил.
> > >
> > >Прошу подсказать как решить проблему?
> > >
> --
>  Eugene Berdnikov
> ___
> nginx-ru mailing list
> nginx-ru@nginx.org
> http://mailman.nginx.org/mailman/listinfo/nginx-ru
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Evgeniy Berdnikov]

On Mon, Oct 05, 2020 at 10:24:17PM +0300, Alexey wrote:
> День добрый!
> 
> Вы качаете файл, получаемых от прокси апстрима?
> https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size
> 
> Вы упираетесь в 1Гб временного файла. когда качается быстро, он
> вообще в темп не пишется, если файл прилетает от апстрима быстрее
> чем забираем, то он уже пишется во временный файл. вы успеваете
> скачать столько, сколько прилетает до начала записи во временный
> файл + макс размер файла.

 Наличие лимита на размер временного файла это что, повод обрывать закачку?
 Я бы предложил начать с wget -d.

> 05.10.2020 20:16, Иван Мишин пишет:
> >Забыл уточнить, что при обрыве в акцес логах все равно значится
> >200 код, а в ерор логах пусто.
> >
> >пн, 5 окт. 2020 г. в 19:47, Иван Мишин  >>:
> >
> >Добрый день!
> >Есть локейшн с настроенными вот такими директивами:
> >  limit_rate_after 15k; #150Mb
> >  limit_rate 2048k;
> >
> >Пробую качать с помощью wget большой файл, и примерно через 7
> >минут 49-55 секунд закачка обрывается ну и соответственно объем
> >(1.1Гб) скачанных данных в зависимости от времени слегка разный.
> >Как только убирают указанные выше две директивы, так все логично
> >быстро качается и самое главное без обрыва , качается целиком.
> >А проблема заключается в том что указанными директивами я лишь
> >хотел подрезать скорость, но не понятно почему при этом файл не
> >скачивается до конца! До 1.1Гб файлы скачиваются нормально, а
> >больше уже нет. Хотел было грешить на таймауты какие-нибудь, но
> >время обрыва хоть и примерно одинаковое, но все же не постоянное,
> >поэтому идею с таймаутами отбросил.
> >
> >Прошу подсказать как решить проблему?
> >
-- 
 Eugene Berdnikov
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Alexey]

День добрый!

Вы качаете файл, получаемых от прокси апстрима?
https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_max_temp_file_size

Вы упираетесь в 1Гб временного файла. когда качается быстро, он вообще в 
темп не пишется, если файл прилетает от апстрима быстрее чем забираем, 
то он уже пишется во временный файл. вы успеваете скачать столько, 
сколько прилетает до начала записи во временный файл + макс размер файла.



05.10.2020 20:16, Иван Мишин пишет:
Забыл уточнить, что при обрыве в акцес логах все равно значится 200 
код, а в ерор логах пусто.


пн, 5 окт. 2020 г. в 19:47, Иван Мишин >:


Добрый день!
Есть локейшн с настроенными вот такими директивами:
  limit_rate_after 15k; #150Mb
  limit_rate 2048k;

Пробую качать с помощью wget большой файл, и примерно через 7
минут 49-55 секунд закачка обрывается ну и соответственно объем
(1.1Гб) скачанных данных в зависимости от времени слегка разный.
Как только убирают указанные выше две директивы, так все логично
быстро качается и самое главное без обрыва , качается целиком.
А проблема заключается в том что указанными директивами я лишь
хотел подрезать скорость, но не понятно почему при этом файл не
скачивается до конца! До 1.1Гб файлы скачиваются нормально, а
больше уже нет. Хотел было грешить на таймауты какие-нибудь, но
время обрыва хоть и примерно одинаковое, но все же не постоянное,
поэтому идею с таймаутами отбросил.

Прошу подсказать как решить проблему?


___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru



___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Re: Непонятна работа limit_rate

[Иван Мишин]

Забыл уточнить, что при обрыве в акцес логах все равно значится 200 код, а
в ерор логах пусто.

пн, 5 окт. 2020 г. в 19:47, Иван Мишин :

> Добрый день!
> Есть локейшн с настроенными вот такими директивами:
>   limit_rate_after 15k; #150Mb
>   limit_rate 2048k;
>
> Пробую качать с помощью wget большой файл, и примерно через 7 минут 49-55
> секунд закачка обрывается ну и соответственно объем (1.1Гб) скачанных
> данных в зависимости от времени слегка разный.
> Как только убирают указанные выше две директивы, так все логично быстро
> качается и самое главное без обрыва , качается целиком.
> А проблема заключается в том что указанными директивами я лишь хотел
> подрезать скорость, но не понятно почему при этом файл не скачивается до
> конца! До 1.1Гб файлы скачиваются нормально, а больше уже нет. Хотел было
> грешить на таймауты какие-нибудь, но время обрыва хоть и примерно
> одинаковое, но все же не постоянное, поэтому идею с таймаутами отбросил.
>
> Прошу подсказать как решить проблему?
>
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru

Непонятна работа limit_rate

[Иван Мишин]

Добрый день!
Есть локейшн с настроенными вот такими директивами:
  limit_rate_after 15k; #150Mb
  limit_rate 2048k;

Пробую качать с помощью wget большой файл, и примерно через 7 минут 49-55
секунд закачка обрывается ну и соответственно объем (1.1Гб) скачанных
данных в зависимости от времени слегка разный.
Как только убирают указанные выше две директивы, так все логично быстро
качается и самое главное без обрыва , качается целиком.
А проблема заключается в том что указанными директивами я лишь хотел
подрезать скорость, но не понятно почему при этом файл не скачивается до
конца! До 1.1Гб файлы скачиваются нормально, а больше уже нет. Хотел было
грешить на таймауты какие-нибудь, но время обрыва хоть и примерно
одинаковое, но все же не постоянное, поэтому идею с таймаутами отбросил.

Прошу подсказать как решить проблему?
___
nginx-ru mailing list
nginx-ru@nginx.org
http://mailman.nginx.org/mailman/listinfo/nginx-ru