On 21.02.2024 14:54, Anatoliy Melnik via nginx-ru wrote:
Если вы предлагаете писать напрямую с nginx-а в файл --
сделайте у себя ротацию файлов с интервалом 30 сек
при 200-250 тыс подключений/сек...
Если у вас уже есть такое рабочее решение -
поделитесь опытом, буду рад вас выслушать.
Я
Gena Makhomed Wrote:
---
> On 19.02.2024 16:01, Anatoliy Melnik via nginx-ru wrote:
>
> Если вы предлагаете писать напрямую с nginx-а в файл --
> сделайте у себя ротацию файлов с интервалом 30 сек
> при 200-250 тыс
On 19.02.2024 16:01, Anatoliy Melnik via nginx-ru wrote:
Если вы предлагаете писать напрямую с nginx-а в файл --
сделайте у себя ротацию файлов с интервалом 30 сек
при 200-250 тыс подключений/сек...
Если у вас уже есть такое рабочее решение -
поделитесь опытом, буду рад вас выслушать.
Я
Gena Makhomed Wrote:
---
> On 15.02.2024 12:49, Anatoliy Melnik via nginx-ru wrote:
>
> > Если вы предлагаете писать напрямую с nginx-а в файл --
> > сделайте у себя ротацию файлов с интервалом 30 сек
> > при 200-250 тыс
On 15.02.2024 12:49, Anatoliy Melnik via nginx-ru wrote:
Если вы предлагаете писать напрямую с nginx-а в файл --
сделайте у себя ротацию файлов с интервалом 30 сек
при 200-250 тыс подключений/сек...
Если у вас уже есть такое рабочее решение -
поделитесь опытом, буду рад вас выслушать.
"Я
Gena Makhomed Wrote:
---
> On 14.02.2024 13:30, Anatoliy Melnik via nginx-ru wrote:
>
> >>> Если вы предлагаете писать напрямую с nginx-а в файл --
> >>> сделайте у себя ротацию файлов с интервалом 30 сек
> >>> при 200-250 тыс
On 14.02.2024 13:30, Anatoliy Melnik via nginx-ru wrote:
Если вы предлагаете писать напрямую с nginx-а в файл --
сделайте у себя ротацию файлов с интервалом 30 сек
при 200-250 тыс подключений/сек...
Если у вас уже есть такое рабочее решение -
поделитесь опытом, буду рад вас выслушать.
В
Evgeniy Berdnikov Wrote:
---
> On Wed, Feb 14, 2024 at 02:30:57PM +0300, Anatoliy Melnik via nginx-ru
> wrote:
> > Все как раз получилось, дальше с этим работать было неудобно.
> > К тупой записи в файл претензий не было.
>
> Вы не
On Wed, Feb 14, 2024 at 02:30:57PM +0300, Anatoliy Melnik via nginx-ru wrote:
>Все как раз получилось, дальше с этим работать было неудобно.
>К тупой записи в файл претензий не было.
Вы не сообщили, почему "дальше с этим работать было неудобно".
Может, поясните? Если посмотреть на
Gena Makhomed Wrote:
---
> On 05.02.2024 15:21, Anatoliy Melnik via nginx-ru wrote:
>
> >> какую именно проблему Вы пытаетесь решить с помощью записи логов
> >> в unix socket, чтения данных из unix socket`а питоновским
> скриптом
> >>
On 05.02.2024 15:21, Anatoliy Melnik via nginx-ru wrote:
>> какую именно проблему Вы пытаетесь решить с помощью записи логов
>> в unix socket, чтения данных из unix socket`а питоновским скриптом
>> и потом записи данных этим питоновским скриптом в текстовой файл?
> Если вы предлагаете писать
вт, 13 февр. 2024 г. в 10:38, Anatoliy Melnik via nginx-ru <
nginx-ru@nginx.org>:
> Gena Makhomed Wrote:
> ---
> > On 12.02.2024 12:30, Anatoliy Melnik via nginx-ru wrote:
> >
> > > Из его собщения от 5 февраля однозначно следует, что он
> > >
Gena Makhomed Wrote:
---
> On 12.02.2024 12:30, Anatoliy Melnik via nginx-ru wrote:
>
> > Из его собщения от 5 февраля однозначно следует, что он
> > уже пытался настроить запись логов напрямую в файл но не смог
> > получить рабочего
On 12.02.2024 12:30, Anatoliy Melnik via nginx-ru wrote:
Из его собщения от 5 февраля однозначно следует, что он
уже пытался настроить запись логов напрямую в файл но не смог
получить рабочего решения при 200-250 тысячах подключений в секунду
и необходимости делать ротацию лога каждые 30
И снова здравствуйте.
Тут прям уже прям целое расследование: Что я сказал, что хотел сказать, где и
сколько соврал...
"Без меня меня женили"...
Читается как детективная история :)
Коль пошла такая дискуссия:
" [ https://forum.nginx.org/read.php?21,298858,299091#msg-299091 | Как лучше
вс, 11 февр. 2024 г. в 22:03, Evgeniy Berdnikov :
> On Sun, Feb 11, 2024 at 08:32:07PM +0200, Gena Makhomed wrote:
> > > Именно такая схема не с потолка упала, а появилась в результате
> экспериментальных проверок нескольких подходов.
> > > Рассказывать почему именно так, а не иначе -- долго,
On Sun, Feb 11, 2024 at 08:32:07PM +0200, Gena Makhomed wrote:
> > Именно такая схема не с потолка упала, а появилась в результате
> > экспериментальных проверок нескольких подходов.
> > Рассказывать почему именно так, а не иначе -- долго, скучно, с кучей
> > подробностей... и абсолютно
А "XY" проблема в левацки ориентированном комьюнити может восприниматься,
как хромосома и "токсичная маскулинность", простите((
On Sun, Feb 11, 2024, 19:32 Gena Makhomed wrote:
> On 09.02.2024 13:33, Anatoliy Melnik via nginx-ru wrote:
>
> > Есть nginx-ы, несколько разных версий. Проксируют
On Sun, Feb 11, 2024, 19:32 Gena Makhomed wrote:
> On 09.02.2024 13:33, Anatoliy Melnik via nginx-ru wrote:
>
> > Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
> > Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
>
> Несколько дней тому назад, в своем
On 09.02.2024 13:33, Anatoliy Melnik via nginx-ru wrote:
Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
Несколько дней тому назад, в своем сообщении от 5 февраля 2024 года
Вы озвучивали совсем другую
On Fri, Feb 9, 2024, 12:34 Anatoliy Melnik via nginx-ru
wrote:
> И снова здравствуйте.
> Прочитал все сообщения, Еще раз спасибо за помощь и участие.
>
> Возвращаясь к началу:
>
> Здравствуйте.
> Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
> Логи льются в syslog (слив в
И снова здравствуйте.
Прочитал все сообщения, Еще раз спасибо за помощь и участие.
Возвращаясь к началу:
Здравствуйте.
Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
По косвенным методам контроля
On 05.02.2024 23:21, Evgeniy Berdnikov wrote:
Если у вас уже есть такое рабочее решение - поделитесь опытом, буду рад вас
выслушать.
Создание нормального рабочего решения должно начинаться
с внимательного чтения документации и исходников nginx.
Насчёт чтения исходников -- выглядит
Hello!
On Mon, Feb 05, 2024 at 09:56:54PM +0200, Gena Makhomed wrote:
[...]
> Потому что если программа, которая читает данные из unix socket`а
> отвалится - тогда произойдет переполенение буфера и nginx тогда
> заблокируется на операции записи в unix socket, и как следствие
> этого -
On Mon, Feb 05, 2024 at 09:56:54PM +0200, Gena Makhomed wrote:
> On 05.02.2024 15:21, Anatoliy Melnik via nginx-ru wrote:
> > Если у вас уже есть такое рабочее решение - поделитесь опытом, буду рад вас
> > выслушать.
>
> Создание нормального рабочего решения должно начинаться
> с внимательного
пн, 5 февр. 2024 г. в 20:57, Gena Makhomed :
> On 05.02.2024 15:21, Anatoliy Melnik via nginx-ru wrote:
> >> какую именно проблему Вы пытаетесь решить с помощью записи логов
> >> в unix socket, чтения данных из unix socket`а питоновским скриптом
> >> и потом записи данных этим питоновским
On 05.02.2024 15:21, Anatoliy Melnik via nginx-ru wrote:
какую именно проблему Вы пытаетесь решить с помощью записи логов
в unix socket, чтения данных из unix socket`а питоновским скриптом
и потом записи данных этим питоновским скриптом в текстовой файл?
Если вы предлагаете писать напрямую с
Gena Makhomed
>какую именно проблему Вы пытаетесь решить с помощью записи логов
>в unix socket, чтения данных из unix socket`а питоновским скриптом
>и потом записи данных этим питоновским скриптом в текстовой файл?
Если вы предлагаете писать напрямую с nginx-а в файл -- сделайте у себя
On 05.02.2024 13:40, Anatoliy Melnik via nginx-ru wrote:
Итак конечный вариант решения:
Данные почти равномерно расходятся по 10-ти файлам, которые пишутся на tmpfs в
RAM.
Отказался и от rsyslog и от syslog-ng
В качестве принимающей стороны выступает пока python скрипт
В нем стартую 10
On Mon, Feb 05, 2024 at 02:40:42PM +0300, Anatoliy Melnik via nginx-ru wrote:
>syslog-ng при работе с unixSocket показал довольно низкую
>производительность. (Долго с ним не разбирался. Чисто дефолтная установка
>и минимальная настройка).
Syslog-ng производит огромное количество
И снова Здравствуйте :)
Итак конечный вариант решения:
В конфиге nginx вот такая конструкция
map "$remote_port" $log_selector_0 {
default 0;
~0$ 1;
}
map "$remote_port" $log_selector_1 {
default 0;
~1$ 1;
}
map "$remote_port" $log_selector_2 {
default 0;
~2$ 1;
}
map
Здравствуйте.
Всем спасибо за советы, постараюсь свести их в некую систему и поэтапно
применить, чтоб понять что и какой эффект даст в результате.
Попробую подвести итоги по теме:
На вопрос
"До примерно 50 тыс/сек сообщений статистика прокси и бекэндов сходится, а вот
начиная примерно с
ождение в количестве.
*От: *"Илья Шипицин"
*Кому: *"nginx-ru"
*Отправленные: *Среда, 17 Январь 2024 г 15:31:49
*Тема: *Re: Тест nginx -- сколько сообщений в log syslog без потерь?
ср, 17 янв. 2024 г. в 12:49, Anatoliy Melnik via nginx-ru
mailto:nginx-ru@nginx.org
On Thu, Jan 18, 2024, 20:10 Anatoliy Melnik via nginx-ru
wrote:
>
>
> > Чем гадать, что "вероятнее всего", возьмите исходники nginx, вставьте
> > счётчик передач в syslog, смотрите его и сравнивайте с количеством
> пакетов,
> > пришедших в syslog. Так можно исключить потери в сети.
>
tcpdump с
On Thu, Jan 18, 2024 at 10:10:14PM +0300, Anatoliy Melnik via nginx-ru wrote:
> > Чем гадать, что "вероятнее всего", возьмите исходники nginx, вставьте
> > счётчик передач в syslog, смотрите его и сравнивайте с количеством пакетов,
> > пришедших в syslog. Так можно исключить потери в сети.
>
>
Hello!
On Thu, Jan 18, 2024 at 07:15:10PM +0300, Anatoliy Melnik via nginx-ru wrote:
> Слив в 1 Syslog с 3-х nginx -ов, до суммарно 150тыс/сек все
> сходится (3х50), расхождение +- 0.1% , на 200 тыс (3х67тыс)
> расхождение достигает 4-7% (в syslog-е на 4-7% меньше, чем сумма
> по бекэндам)
> Чем гадать, что "вероятнее всего", возьмите исходники nginx, вставьте
> счётчик передач в syslog, смотрите его и сравнивайте с количеством пакетов,
> пришедших в syslog. Так можно исключить потери в сети.
Вроде при записи в unixSocket сеть отсутствует.
В любом варианте ваш совет трудно
On Thu, Jan 18, 2024 at 07:13:39PM +0300, Anatoliy Melnik via nginx-ru wrote:
>Фиксировал разными средствами.
>Этот "порог" наблюдается и на rsyslog, и на syslog-ng
>Сливал с 2-х nginx в один syslog -- получилось, расхождения в статистике
>пошли с 100тыс/сек, т.е. вероятнее всего
же результаты количественные.
Возможно я плохо искал методы тюнинга unixSocket, к сожалению не нашел.
- Исходное сообщение -
От: "Maxim Dounin"
Кому: "nginx-ru"
Отправленные: Среда, 17 Январь 2024 г 20:02:55
Тема: Re: Тест nginx -- сколько сообщений в log syslo
нается расхождение в количестве.
От: "Илья Шипицин"
Кому: "nginx-ru"
Отправленные: Среда, 17 Январь 2024 г 15:31:49
Тема: Re: Тест nginx -- сколько сообщений в log syslog без потерь?
ср, 17 янв. 2024 г. в 12:49, Anatoliy Melnik via nginx-ru < [
mai
Hello!
On Wed, Jan 17, 2024 at 02:49:30PM +0300, Anatoliy Melnik via nginx-ru wrote:
> Здравствуйте. Есть nginx-ы, несколько разных версий. Проксируют
> запросы к бекэндам. Логи льются в syslog (слив в файлы напрямую
> из nginx не желателен). По косвенным методам контроля вылезла
>
ср, 17 янв. 2024 г. в 12:49, Anatoliy Melnik via nginx-ru <
nginx-ru@nginx.org>:
> Здравствуйте.
> Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
> Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
> По косвенным методам контроля вылезла проблема:
> До
Здравствуйте.
Есть nginx-ы, несколько разных версий. Проксируют запросы к бекэндам.
Логи льются в syslog (слив в файлы напрямую из nginx не желателен).
По косвенным методам контроля вылезла проблема:
До примерно 50 тыс/сек сообщений статистика прокси и бекэндов сходится, а вот
начиная
43 matches
Mail list logo
