Gena Makhomed Wrote: ------------------------------------------------------- > On 12.02.2024 12:30, Anatoliy Melnik via nginx-ru wrote: > > > Из его собщения от 5 февраля однозначно следует, что он > > уже пытался настроить запись логов напрямую в файл но не смог > > получить рабочего решения при 200-250 тысячах подключений в секунду > > и необходимости делать ротацию лога каждые 30 секунд. И даже > предлагает > > мне самому попробовать и убедиться, что это не работает и что таким > > образом запись и ротацию логов в файл самим nginx при такой большой > > нагрузке и при таком интервале ротации - настроить невозможно, > > > Я предлагал попробовать и поделиться, лично я попробовал, получил > результат -- пишет, работает, возможно. И сделал это ДО того, как сюда > обратился... > > НО меня сей результат не удовлетворил. > > Так и расскажите, почему не удовлетворил, поделитесь опытом > с участниками и читателями этого списка рассылки. Тем более, > что здесь присутствуют и разрабочики nginx, так что если проблема > в коде nginx действителько существует - эту проблему в коде исправят. > > Насколько мне известно, переоткрытие лог-файлов по сигналу USR1 > происходит практически мгновенно и не требует перезапуска > рабочих процессов nginx, поэтому - не может приводить ни к каким > проблемам на любом количестве соединений при ротации лог-файлов > nginx раз в 30 секунд. > > Тем более, что директива access_log позволяет настроить > процесс записи логов наиболее оптимальным способом, ключив > буферизацию, и при необходимости - компрессию логов на лету. > > access_log path [buffer=size] [gzip[=level] [flush=time] > > Поэтому - я просто не понимаю, какие у Вас могли там возникнуть > проблемы, если делать ротацию логов nginx раз в 30 секунд на любом > количестве подключений - от количества подключений это вообще никак > не зависит, потому что новые рабочие процессы nginx при этом > не создаются и страрые рабочие процессы nginx не завершаются. > > кстати, и logrotate делает ротацию логов nginx таким же способом: > > # cat /etc/logrotate.d/nginx > > if [ -f /var/run/nginx.pid ]; then > kill -USR1 `cat /var/run/nginx.pid` > fi > > Для меня логи не цель, а средство. Источник для необходимых статистических данных. Чем не удовлетворил результат - смотрите чуть дальше. > > Да, да (понимаю) -- чем он меня "не удовлетворил"?? > > --- можете фантазировать сколько угодно. > > Могу, но не хочу. Поэтому и прошу Вас чтобы Вы сами рассказали всем > здесь присутствующим о том, какие проблемы Вы обнаружили при ротации > логов с помощью сигнала USR1. Я здесь не вижу вообще никаких проблем. > > > Задача по предотвращению исчерпания места на диске так же была > решена задолго ДО обращения сюда. > > Поделитесь своим опытом решения этой задачи. > Потому что я пока что не смог найти решения. > Мы с вами решаем задачи при разных исходных условиях и разных конечных целях. Еще и с разными ресурсами. Для меня главный вопрос, на который надо дать ответ: ЗАЧЕМ я пишу логи? ЧТО я дальше с ними буду делать? > > Возникает впечатление, что кому-то из вас принципиально важно > доказать незыблемую правоту своего мнения и ошибочность моих > действий. > > Вопрос - зачем? > > Я уже отвечал на этот Ваш вопрос. > > Этот список рассылки - он посвящен nginx, а не процессу > самоутверждения. > И если кто-то начинает ради самоутверждения распространять ложную > информацию про nginx, например, что nginx не способен самостоятельно > писать логи в файлы при количестве подключений 200-250 тысяч в > секунду > и ротации лог-файлов раз в 30 секунду и что решением этой проблемы > является набор костылей в виде syslog, unix socket, и десяти > одновременно запущеных копий скрипта на Python - то это FUD > и это вредит не только конкретно тому человеку, который это > делает, но и всему nginx community, то есть всем участниками > и читателям списка рассылки, потому что часть неопытных пользователей > nginx может в этот FUD поверить и считать эту Вашу информацию > истинной. > > FUD - это > https://en.wikipedia.org/wiki/Fear,_uncertainty,_and_doubt > https://ru.wikipedia.org/wiki/FUD > > > Это не конкурс или состязание, я сюда обратился за советом. > > Так я тоже обратился к Вам за советом - пожалуйста, поделитесь > опытом, > и расскажите, какие проблемы Вы обнаружили при ротации логов nginx > с помощью сигнала USR1 что были вынуждены отказаться от этого > варианта > работы и логами и были вынуждены в результате соорудить то, > что Вы назвали решением этой проблемы - в виде syslog, unix socket и > скрипта на Python запускемого в 10 экземплярах и пишущего логи в 10 > отдельных файлов. > > Решением какой именно _проблемы_ является эта конструкция, > которую Вы называете в своих сообщениях решением проблемы? > > > Какая разница насколько глубокое ущелье на моем пути, если я уже > построил через него мост? > > Может он не самый красивый, вечный, грузоподъемный и уникальный... > > Для моих целей его достаточно :) > > Возможно, по мнению кого-то, я вообще иду "не туда"! > > Дело тут не только и не столько в https://xkcd.ru/386/ > потому что идя не туда, Вы еще этот способ идти не туда > и рекламируете как _решение проблемы_, чем делаете FUD, > хотя лично Вам этот веб-сервер ничего плохого не сделал. > > > И? Вы свои аргументы привели, мое мнение они не изменили... > > Или для некоторых "есть только два мнения: моё и неправильное"? > > Поделитесь своим опытом, расскажите, почему эта конструкция > из syslog, unix socket и десяти скриптов на python, пишущих > сообщения в десять лог-файлов оказалась для Вас лучше, > чем встроенные в nginx возможности для записи и ротации логов? > Повторюсь: Логи - не цель, а всего лишь средство. Скрипт один, с модулем multiprocessing, так что экземпляров получается 11, но это не важно. Запись в файлы были лишь эпизодом для выяснения ограничений связки nginx->(unixSocket)->syslog Сейчас я вообще не пишу эти файлы, но при необходимости могу это начать делать так же на лету, не дергая ни nginx, ни сам сервис "типа персональный nginx-овый сислог". Все данные извлекаются в скрипте "на лету" и отображаются в соответствующих счетчиках. При необходимости сосчитать что-то другое/новое или по другом алгоритму - я всего лишь изменю несколько строк скрипта. На данном этапе проверенная производительность одной системы 240тыс/сек, прогноз исходя из статистики нагрузки - 400-420. Запись горы сообщений напрямую в файл из nginx-а работает, файлы ротируются, но мне это никак не помогает в решении поставленной задачи. Поэтому и "не удовлетворил". Собственно как следствие -- отсутствие проблемы доступного дискового пространства. Нагрузка на дисковую подсистему близка к нулю. И я с самого начала не говорил, что мне нужны файлы! Меня интересовала связка nginx->(unixSocket)->syslog. Именно эту проблему я и озвучил. Можно сослаться на мои посты: "Сами файлы логов живут максимум 15-20 минут, этого достаточно для извлечения необходимых данных." "Производительности хранилища точно достаточно для 150тыс/сек (один из способов замера -- запуск одновременно 3-х экземпляров rsyslog на одном физическом сервере и заливка в 3 сразу тестового набора в 12млн сообщений на каждый, итог 300-450тыс/сек в совокупности, непрерывно в течении нескольких часов заливка-ротация-удаление)" "Данные почти равномерно расходятся по 10-ти файлам, которые пишутся на tmpfs в RAM. " Это были лишь промежуточные этапы, мне нужно было убедиться, что проблема именно на этапе nginx->(unixSocket)->syslog. И запись в файл на очень быстрый носитель был, наверное, самый прямой путь, дающий адекватные результаты. Свою функцию этот этап выполнил, но повторюсь - это не было целью! И на каждом этапе обсуждения мне казалось очевидным: мне нужна рабочая связка nginx->(unixSocket)->syslog !!! Вот даже не знаю зачем тут все это излагаю... Уже непререкаемая уверенность в собственной непогрешимости в некоторых постах должна была меня насторожить. А уж выводы типа: > И если кто-то начинает ради самоутверждения распространять ложную > информацию про nginx, например, что nginx не способен самостоятельно > писать логи в файлы при количестве подключений 200-250 тысяч в > секунду... Буквально апогей!!!! Выршина дедукции!!! Шерлок Холмс не у вас, случайно, учился?? Чего уж там - давайте и углеродный след приплетем (нынче это модно). > > Или я чего-то не понимаю? > > «Ничего личного, только бизнес». Никогда не понимал восторгов этим правилом. Из личного опыта -- стараюсь не иметь дел с адептами этого подхода, и это сугубо личное. > > Источник: > https://uchet-jkh.ru/i/nicego-licnogo-tolko-biznes-otkuda-fraza > > -- > Best regards, > Gena > > _______________________________________________ > nginx-ru mailing list > nginx-ru@nginx.org > [ https://mailman.nginx.org/mailman/listinfo/nginx-ru | > https://mailman.nginx.org/mailman/listinfo/nginx-ru ] Best regards..... to be continued ???
_______________________________________________ nginx-ru mailing list nginx-ru@nginx.org https://mailman.nginx.org/mailman/listinfo/nginx-ru
