Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Mon, May 22, 2017 at 07:28:32PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 19:25 пользователь Slawa Olhovchenkov  
> написал:
> > kgdb можно потом смотреть, это просто что бы из адреса номера строк
> > получать -- у тебя ведь модули в том же порядке после перезагрузки
> > загрузятся (а у остальных нет так же собранной системы).
> >
> > а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
> > NMI и собрать корку.
> Ага, принял. Подумаю, как бы ловчее реализовать.

ipmitool power diag

> > зы: кстати, swap надеюсь не на zfs у тебя?
> Не. gmirror из пары разделов.

а на всякий случай, разбери его и сделай два отдельных раздела.
вроде не должно, но а вдруг...
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

22 мая 2017 г., 19:25 пользователь Slawa Olhovchenkov  написал:
> kgdb можно потом смотреть, это просто что бы из адреса номера строк
> получать -- у тебя ведь модули в том же порядке после перезагрузки
> загрузятся (а у остальных нет так же собранной системы).
>
> а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
> NMI и собрать корку.
Ага, принял. Подумаю, как бы ловчее реализовать.

> зы: кстати, swap надеюсь не на zfs у тебя?
Не. gmirror из пары разделов.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Mon, May 22, 2017 at 07:19:07PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 19:00 пользователь Slawa Olhovchenkov  
> написал:
> >> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> >> > вообще не zfsная проблема.
> >> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
> >> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
> >> считает, что памяти нет и дедлочится."
> >
> > Нет, сейчас у меня подозрения на другую картину.
> > Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
> > Примени опять мой патч, без исскуственного ограничения arc_min и когда
> > оно застопорится было бы интересно посмотреть на чем. для
> > zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
> > -- это можно через kgdb info line *addr делать.
> > у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
> В прошлый раз, когда я тестил твой переделанный патч (напомню, с
> дефолтным arc_min) система на тех 180 гигах ARC залипла намертво и
> полностью - так что ни сеть, ни консоль не отвечали. Как бы мне в
> таком случае kgdb смотреть? Если что - думаю, смогу прицепить SOL в
> IPMI.

kgdb можно потом смотреть, это просто что бы из адреса номера строк
получать -- у тебя ведь модули в том же порядке после перезагрузки
загрузятся (а у остальных нет так же собранной системы).

а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
NMI и собрать корку.

зы: кстати, swap надеюсь не на zfs у тебя?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

22 мая 2017 г., 19:00 пользователь Slawa Olhovchenkov  написал:
>> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
>> > вообще не zfsная проблема.
>> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
>> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
>> считает, что памяти нет и дедлочится."
>
> Нет, сейчас у меня подозрения на другую картину.
> Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
> Примени опять мой патч, без исскуственного ограничения arc_min и когда
> оно застопорится было бы интересно посмотреть на чем. для
> zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
> -- это можно через kgdb info line *addr делать.
> у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
В прошлый раз, когда я тестил твой переделанный патч (напомню, с
дефолтным arc_min) система на тех 180 гигах ARC залипла намертво и
полностью - так что ни сеть, ни консоль не отвечали. Как бы мне в
таком случае kgdb смотреть? Если что - думаю, смогу прицепить SOL в
IPMI.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

22 мая 2017 г., 19:10 пользователь Владимир Друзенко  
написал:
> А вот этот мой багрепорт случаем не о том же?
> https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=197884
Благодарю, подписался.
По теме: на первый взгляд вроде нет. У меня на этом серваке кроме
nginx и пары скриптов ничего не работает, флуктуаций свободной памяти
нет, всегда свободно около 10-13 гиг оперативы, а из двух гиг свопа не
используется ни страницы.
Кстати, build{world,kernel} в 26 потоков проходит прекрасно всегда.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Mon, May 22, 2017 at 06:47:33PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 18:39 пользователь Slawa Olhovchenkov  
> написал:
> > On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:
> >
> >> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
> >> написал:
> >> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
> >> >
> >> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> >> >> написал:
> >> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov 
> >> >> >  написал:
> >> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> >> >> туда.
> >> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> >> >> > будем посмотреть.
> >> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> >> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> >> >> зависит, кроме задержки до того, как система залипнет.
> >> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
> >> >
> >> > с патчем ARC тоже падает до минимума?
> >> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> >> > точно?
> >> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
> >> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения 
> >> приостановил
> >> свою работу.
> >
> > а какой из двух? pageout или zfsный?
> Без патчей проц хавает pagedaemon/uma, с твоим - arc_reclaim_thread,
> ЕМНИП. В обоих случаях - где-то 8-10% wcpu (стоит 2х 2630v2, HT on).

ну интересует не столько кто хавает проц, как кто его перестает вообще
хавать.
потому как память освобождать должны два треда в паралель.

> > и кстати, procstat в этом состоянии отличался?
> До procstat я, к сожалению, додумался уже после. Откатил все патчи,
> кроме фикса birth_hole из stable/10 (без него тоже ничего не меняется)
> и протестил ещё раз и собрал procstat, truss, etc. Пока это ядро и
> загружено.
> 
> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> > вообще не zfsная проблема.
> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
> считает, что памяти нет и дедлочится."

Нет, сейчас у меня подозрения на другую картину.
Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
Примени опять мой патч, без исскуственного ограничения arc_min и когда
оно застопорится было бы интересно посмотреть на чем. для
zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
-- это можно через kgdb info line *addr делать.
у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

22 мая 2017 г., 18:39 пользователь Slawa Olhovchenkov  написал:
> On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:
>
>> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
>> написал:
>> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
>> >
>> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
>> >> написал:
>> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
>> >> > написал:
>> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> >> >> туда.
>> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
>> >> > будем посмотреть.
>> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
>> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
>> >> зависит, кроме задержки до того, как система залипнет.
>> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
>> >
>> > с патчем ARC тоже падает до минимума?
>> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
>> > точно?
>> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
>> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
>> свою работу.
>
> а какой из двух? pageout или zfsный?
Без патчей проц хавает pagedaemon/uma, с твоим - arc_reclaim_thread,
ЕМНИП. В обоих случаях - где-то 8-10% wcpu (стоит 2х 2630v2, HT on).

> и кстати, procstat в этом состоянии отличался?
До procstat я, к сожалению, додумался уже после. Откатил все патчи,
кроме фикса birth_hole из stable/10 (без него тоже ничего не меняется)
и протестил ещё раз и собрал procstat, truss, etc. Пока это ядро и
загружено.

> возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> вообще не zfsная проблема.
Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
считает, что памяти нет и дедлочится."
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
> написал:
> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
> >
> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> >> написал:
> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> >> > написал:
> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> >> туда.
> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> >> > будем посмотреть.
> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> >> зависит, кроме задержки до того, как система залипнет.
> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
> >
> > с патчем ARC тоже падает до минимума?
> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> > точно?
> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
> свою работу.

а какой из двух? pageout или zfsный?
и кстати, procstat в этом состоянии отличался?

возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
вообще не zfsная проблема.

> > а что значит -- кроме скорости?
> Ну грубо говоря, без патчей освобождается 5 гиг в минуту, а с твоим
> или патчем Карла - 1 гиг в минуту.

а, понятно. я удивлся -- на скорость работы впрямую-то влиять не
должно было.

> > и в чем заключалось портирование? какие изменения были сделаны?
> 1. Накатил твой патч, часть изменений применить не удалось;
> 2. Нашёл аналогичные строки для rejected, впихнул туда уже руками;
> 3. Переименовал структуру vm_cnt в cnt (она так называлась до 11).
> Сам патч для releng/10.3 в аттаче.

ага.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  написал:
> On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
>
>> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
>> написал:
>> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
>> > написал:
>> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> >> туда.
>> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
>> > будем посмотреть.
>> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
>> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
>> зависит, кроме задержки до того, как система залипнет.
>> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
>
> с патчем ARC тоже падает до минимума?
> т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> точно?
С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
свою работу.

> а что значит -- кроме скорости?
Ну грубо говоря, без патчей освобождается 5 гиг в минуту, а с твоим
или патчем Карла - 1 гиг в минуту.

> и в чем заключалось портирование? какие изменения были сделаны?
1. Накатил твой патч, часть изменений применить не удалось;
2. Нашёл аналогичные строки для rejected, впихнул туда уже руками;
3. Переименовал структуру vm_cnt в cnt (она так называлась до 11).
Сам патч для releng/10.3 в аттаче.


slw_zfs.patch
Description: Binary data
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:

> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> написал:
> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> > написал:
> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> туда.
> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> > будем посмотреть.
> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> зависит, кроме задержки до того, как система залипнет.
> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457

с патчем ARC тоже падает до минимума?
т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
точно?

а что значит -- кроме скорости?
и в чем заключалось портирование? какие изменения были сделаны?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

18 мая 2017 г., 2:21 пользователь Anton Sayetsky  написал:
> 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> написал:
>> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> туда.
> Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> будем посмотреть.
Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
зависит, кроме задержки до того, как система залипнет.
Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  написал:
> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> туда.
Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
будем посмотреть.
Phabricator только один diff в один момент времени умеет? Если что -
запилю PR, прилеплю туда патч и ссылку на ревью.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 22:51 пользователь Slawa Olhovchenkov  написал:
> On Sat, May 06, 2017 at 10:45:33PM +0300, Anton Sayetsky wrote:
>
>> 6 мая 2017 г., 22:28 пользователь Slawa Olhovchenkov  
>> написал:
>> > On Sat, May 06, 2017 at 10:20:46PM +0300, Anton Sayetsky wrote:
>> >
>> >> >> >> /boot/loader.conf такой:
>> >> >> >> autoboot_delay="4"
>> >> >> >> loader_logo="beastie"
>> >> >> >> kern.geom.label.disk_ident.enable="0"
>> >> >> >> kern.geom.label.gptid.enable="0"
>> >> >> >> kern.ipc.nmbclusters="0"
>> >> >> >> zfs_load="YES"
>> >> >> >> vfs.zfs.arc_min="192G"
>> >> >> > 3. эту убери
>> >> >> Поставлено для 2 целей:
>> >> >> 1. Чтобы быстрее падало.
>> >> >> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
>> >> >> занять нечем.
>> >> >
>> >> > А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.
>> >> В отличие от тебя, я не столь силён в коде ZFS/vm, чтобы предлагать
>> >> свои патчи, однако не думаю, что это избавляет от необходимости хоть
>> >> какой-то аргументации совета по изменению настроек.
>> >
>> > а смысл? ты уже отказался ставить -STABLE и патчи.
>> Ну, я не вижу связи между arc_min и веткой системы. А посыл был именно
>> об изменении настройки, а не о патче. Кстати, этот из ревью может и
>> попробую адаптировать для releng/10.3.
>
> я нигде не говорил что можно применять что-либо одно или какую-то
> комбинацию. все рекомендации надо применять без исключений.
С UMA согласен - его чинить лучше, а не выключать.
С патчем тоже согласен - часть процесса починки.
Но при чём тут минимальный объём ARC?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

7 мая 2017 г., 15:46 пользователь Eugene Grosbein  написал:
> 07.05.2017 2:09, Anton Sayetsky пишет:
>
>>> Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
>>> "радостями" снапшота, включая отсутствие каких-либо багфиксов.
>> Ну, а -STABLE - изначально снэпшот -CURRENT, что в свою очередь
>> изначально снэпшот тараканов в голове не всегда адекватного коммитера.
>
> Ничего подобного - ветка STABLE не снапшот CURRENT.
Внимательнее, плз: я не утверждал, что -STABLE есть снэпшот -CURRENT в
произвольный момент времени, я утверждал, что он _изначально_ является
таковым, что подтверждается следующими коммитами, например:
https://svnweb.freebsd.org/base?view=revision=256281
https://svnweb.freebsd.org/base?view=revision=302408
Правда, мне не совсем понятно, какое это имеет отношение к дедлоку ZFS...

>> :-) Разница в степени QA же.
>
> QA в релизах FreeBSD весьма условный.
И это печально.

>> Кстати, как это без багфиксов? Errata же выходит.
>
> В релизы эти фиксы не попадают, максимум в ветку releng, но там
> бывают практически только фиксы безопасности и очень редко.
А releng/ с каких-то пор перестал быть релизом + patchlevel?
И да, просмотрел список errata за последние 2 года - стабильно раз в
пару месяцев выходят.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Eugene Grosbein]

07.05.2017 3:57, Владимир Друзенко пишет:

> Дело в том, что некоторые участники рассылке (опустим эпитеты) вместо того, 
> чтобы нажимать кнопочку «Ответить в рассылку» нажимают «Ответить всем» и не 
> вычищают получателей. В результате автор предыдущего письма получает две 
> копии одного и того же сообщения - одно из рассылки, а другое напрямую от 
> отвечающего.

Да, и это делается намеренно. Нынче доставка письма через SMTP дело 
проблематичное,
а так шансы сильно повышаются.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Eugene Grosbein]

07.05.2017 2:09, Anton Sayetsky пишет:

>> Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
>> "радостями" снапшота, включая отсутствие каких-либо багфиксов.
> Ну, а -STABLE - изначально снэпшот -CURRENT, что в свою очередь
> изначально снэпшот тараканов в голове не всегда адекватного коммитера.

Ничего подобного - ветка STABLE не снапшот CURRENT.

> :-) Разница в степени QA же.

QA в релизах FreeBSD весьма условный.

> Кстати, как это без багфиксов? Errata же выходит.

В релизы эти фиксы не попадают, максимум в ветку releng, но там
бывают практически только фиксы безопасности и очень редко.

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sun, May 07, 2017 at 05:18:34AM +0300, Valentin Nechayev wrote:

> hi,
> 
>  Sat, May 06, 2017 at 23:06:30, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
> pagedaemon/uma и подземный стук": 
> 
> > > Подозреваю, что это письмо ты второй копией тоже не получишь :)
> > > Mailman слишком умничает в некоторых вопросах. В частности, подписчику
> > > по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
> > > при этом письмо не посылается, если такой получатель уже замечен в
> > > h_To или h_Cc.
> > > Причём штатных средств рулить это групповым образом от админа - нет
> > 
> > Default options for new members joining this list.
> > (Details for new_member_options)
> 
> Это для новопришедших, а не уже заимпорченного. Видел, но поздно. :)
> OK, снял галочку на новопоступающих. Ждём обратных жалоб типа "дупы в
> эхе!"
> 
> > > (в отличие от плоского списка подписчиков), надо unpickleʼить
> > > состояние рассылки и менять вручную.
> > Membership List
> > 
> > not metoo -- Does the member want to avoid copies of their own
> > postings? 
> 
> Это через веб. Предлагаешь 200+ подписчиков каждому менять галочки? :)
> Но вообще-то not metoo не установлена (у большинства), в отличие от
> nodupes.

простейший скрипт решает

> > > Поскольку подписчик может таки себе это сам строить, я сильно не
> > > заморачивался.
> > вот уж блин спасибо.
> 
> Ну исправил же, я вижу :)
> Вообще в таких вопросах единогласия не дождёшься. За то же reply-to
> споры идут так давно, что впору и его по каждому подписчику раздельно
> регулировать.

имхо тут все просто -- если лист допускает письма от не-подписчиков --
replay-to автору и хороршим тоном отвечать всем (что бы ради
единственного письма не подписываться).

иначе -- replay-to в лист, что бы ветка не уходила случайно в мыло.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Valentin Nechayev]

hi,

 Sat, May 06, 2017 at 23:06:30, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
pagedaemon/uma и подземный стук": 

> > Подозреваю, что это письмо ты второй копией тоже не получишь :)
> > Mailman слишком умничает в некоторых вопросах. В частности, подписчику
> > по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
> > при этом письмо не посылается, если такой получатель уже замечен в
> > h_To или h_Cc.
> > Причём штатных средств рулить это групповым образом от админа - нет
> 
> Default options for new members joining this list.
> (Details for new_member_options)

Это для новопришедших, а не уже заимпорченного. Видел, но поздно. :)
OK, снял галочку на новопоступающих. Ждём обратных жалоб типа "дупы в
эхе!"

> > (в отличие от плоского списка подписчиков), надо unpickleʼить
> > состояние рассылки и менять вручную.
> Membership List
> 
> not metoo -- Does the member want to avoid copies of their own
> postings? 

Это через веб. Предлагаешь 200+ подписчиков каждому менять галочки? :)
Но вообще-то not metoo не установлена (у большинства), в отличие от
nodupes.

> > Поскольку подписчик может таки себе это сам строить, я сильно не
> > заморачивался.
> вот уж блин спасибо.

Ну исправил же, я вижу :)
Вообще в таких вопросах единогласия не дождёшься. За то же reply-to
споры идут так давно, что впору и его по каждому подписчику раздельно
регулировать.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 11:57:13PM +0300, Владимир Друзенко wrote:

> 06.05.2017 23:09, Slawa Olhovchenkov пишет:
> > On Sat, May 06, 2017 at 11:06:30PM +0300, Slawa Olhovchenkov wrote:
> >> On Sat, May 06, 2017 at 10:53:59PM +0300, Valentin Nechayev wrote:
> >>> hi,
> >>>
> >>>   Sat, May 06, 2017 at 20:13:10, slw wrote about "Re: [freebsd] ZFS, 
> >>> TMPFS, pagedaemon/uma и подземный стук":
> >>>
> >>>> 2netch: а какого я не получил это письмо через рассылку?
> >>>> только копию в личную почту?
> >>> Подозреваю, что это письмо ты второй копией тоже не получишь :)
> >>> Mailman слишком умничает в некоторых вопросах. В частности, подписчику
> >>> по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
> >>> при этом письмо не посылается, если такой получатель уже замечен в
> >>> h_To или h_Cc.
> >>> Причём штатных средств рулить это групповым образом от админа - нет
> >> Default options for new members joining this list.
> >> (Details for new_member_options)
> >>
> >> Conceal the member's address
> >> Acknowledge the member's posting
> >> Do not send a copy of a member's own post
> >> Filter out duplicate messages to list members (if possible)
> >>
> >>> (в отличие от плоского списка подписчиков), надо unpickleʼить
> >>> состояние рассылки и менять вручную.
> >> Membership List
> >>
> >> not metoo -- Does the member want to avoid copies of their own
> >> postings?
> > nodupes -- Does the member want to avoid duplicates of the same
> > message?
> >
> > в смысле
> Дело в том, что некоторые участники рассылке (опустим эпитеты) вместо 
> того, чтобы нажимать кнопочку «Ответить в рассылку» нажимают «Ответить 
> всем» и не вычищают получателей. В результате автор предыдущего письма 
> получает две копии одного и того же сообщения - одно из рассылки, а 
> другое напрямую от отвечающего.

и это правильно

> Научить участников рассылки нажимать правильную кнопочку невообразимо 
> сложней, чем накостылять фильтр на сервере рассылки - если в получателях 
> кроме адреса рассылки есть ещё и адреса участников рассылки, то им не 
> надо отправлять это письмо, дабы избежать дублей.
> 
> P.S. Ой, а вы сейчас сделали именно это - ответ всем вместо ответа в 
> рассылку.

потому что мне не было отправленно письмо из рассылки что бы на него
можно было ответить

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Владимир Друзенко]

06.05.2017 23:09, Slawa Olhovchenkov пишет:

On Sat, May 06, 2017 at 11:06:30PM +0300, Slawa Olhovchenkov wrote:

On Sat, May 06, 2017 at 10:53:59PM +0300, Valentin Nechayev wrote:

hi,

  Sat, May 06, 2017 at 20:13:10, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
pagedaemon/uma и подземный стук":


2netch: а какого я не получил это письмо через рассылку?
только копию в личную почту?

Подозреваю, что это письмо ты второй копией тоже не получишь :)
Mailman слишком умничает в некоторых вопросах. В частности, подписчику
по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
при этом письмо не посылается, если такой получатель уже замечен в
h_To или h_Cc.
Причём штатных средств рулить это групповым образом от админа - нет

Default options for new members joining this list.
(Details for new_member_options)

Conceal the member's address
Acknowledge the member's posting
Do not send a copy of a member's own post
Filter out duplicate messages to list members (if possible)


(в отличие от плоского списка подписчиков), надо unpickleʼить
состояние рассылки и менять вручную.

Membership List

not metoo -- Does the member want to avoid copies of their own
postings?

nodupes -- Does the member want to avoid duplicates of the same
message?

в смысле
Дело в том, что некоторые участники рассылке (опустим эпитеты) вместо 
того, чтобы нажимать кнопочку «Ответить в рассылку» нажимают «Ответить 
всем» и не вычищают получателей. В результате автор предыдущего письма 
получает две копии одного и того же сообщения - одно из рассылки, а 
другое напрямую от отвечающего.
Научить участников рассылки нажимать правильную кнопочку невообразимо 
сложней, чем накостылять фильтр на сервере рассылки - если в получателях 
кроме адреса рассылки есть ещё и адреса участников рассылки, то им не 
надо отправлять это письмо, дабы избежать дублей.


P.S. Ой, а вы сейчас сделали именно это - ответ всем вместо ответа в 
рассылку.



Поскольку подписчик может таки себе это сам строить, я сильно не
заморачивался.

вот уж блин спасибо.


___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 11:06:30PM +0300, Slawa Olhovchenkov wrote:

> On Sat, May 06, 2017 at 10:53:59PM +0300, Valentin Nechayev wrote:
> 
> > hi,
> > 
> >  Sat, May 06, 2017 at 20:13:10, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
> > pagedaemon/uma и подземный стук": 
> > 
> > > 2netch: а какого я не получил это письмо через рассылку?
> > > только копию в личную почту?
> > 
> > Подозреваю, что это письмо ты второй копией тоже не получишь :)
> > Mailman слишком умничает в некоторых вопросах. В частности, подписчику
> > по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
> > при этом письмо не посылается, если такой получатель уже замечен в
> > h_To или h_Cc.
> > Причём штатных средств рулить это групповым образом от админа - нет
> 
> Default options for new members joining this list.
> (Details for new_member_options)
> 
> Conceal the member's address
> Acknowledge the member's posting
> Do not send a copy of a member's own post
> Filter out duplicate messages to list members (if possible)
> 
> > (в отличие от плоского списка подписчиков), надо unpickleʼить
> > состояние рассылки и менять вручную.
> 
> Membership List
> 
> not metoo -- Does the member want to avoid copies of their own
> postings? 

nodupes -- Does the member want to avoid duplicates of the same
message?

в смысле

> > Поскольку подписчик может таки себе это сам строить, я сильно не
> > заморачивался.
> 
> вот уж блин спасибо.
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 10:53:59PM +0300, Valentin Nechayev wrote:

> hi,
> 
>  Sat, May 06, 2017 at 20:13:10, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
> pagedaemon/uma и подземный стук": 
> 
> > 2netch: а какого я не получил это письмо через рассылку?
> > только копию в личную почту?
> 
> Подозреваю, что это письмо ты второй копией тоже не получишь :)
> Mailman слишком умничает в некоторых вопросах. В частности, подписчику
> по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
> при этом письмо не посылается, если такой получатель уже замечен в
> h_To или h_Cc.
> Причём штатных средств рулить это групповым образом от админа - нет

Default options for new members joining this list.
(Details for new_member_options)

Conceal the member's address
Acknowledge the member's posting
Do not send a copy of a member's own post
Filter out duplicate messages to list members (if possible)

> (в отличие от плоского списка подписчиков), надо unpickleʼить
> состояние рассылки и менять вручную.

Membership List

not metoo -- Does the member want to avoid copies of their own
postings? 

> Поскольку подписчик может таки себе это сам строить, я сильно не
> заморачивался.

вот уж блин спасибо.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Valentin Nechayev]

hi,

 Sat, May 06, 2017 at 20:13:10, slw wrote about "Re: [freebsd] ZFS, TMPFS, 
pagedaemon/uma и подземный стук": 

> 2netch: а какого я не получил это письмо через рассылку?
> только копию в личную почту?

Подозреваю, что это письмо ты второй копией тоже не получишь :)
Mailman слишком умничает в некоторых вопросах. В частности, подписчику
по умолчанию ставится флаг nodupes (можешь зайти через веб снять его),
при этом письмо не посылается, если такой получатель уже замечен в
h_To или h_Cc.
Причём штатных средств рулить это групповым образом от админа - нет
(в отличие от плоского списка подписчиков), надо unpickleʼить
состояние рассылки и менять вручную.
Поскольку подписчик может таки себе это сам строить, я сильно не
заморачивался.


-netch-
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 10:45:33PM +0300, Anton Sayetsky wrote:

> 6 мая 2017 г., 22:28 пользователь Slawa Olhovchenkov  
> написал:
> > On Sat, May 06, 2017 at 10:20:46PM +0300, Anton Sayetsky wrote:
> >
> >> >> >> /boot/loader.conf такой:
> >> >> >> autoboot_delay="4"
> >> >> >> loader_logo="beastie"
> >> >> >> kern.geom.label.disk_ident.enable="0"
> >> >> >> kern.geom.label.gptid.enable="0"
> >> >> >> kern.ipc.nmbclusters="0"
> >> >> >> zfs_load="YES"
> >> >> >> vfs.zfs.arc_min="192G"
> >> >> > 3. эту убери
> >> >> Поставлено для 2 целей:
> >> >> 1. Чтобы быстрее падало.
> >> >> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
> >> >> занять нечем.
> >> >
> >> > А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.
> >> В отличие от тебя, я не столь силён в коде ZFS/vm, чтобы предлагать
> >> свои патчи, однако не думаю, что это избавляет от необходимости хоть
> >> какой-то аргументации совета по изменению настроек.
> >
> > а смысл? ты уже отказался ставить -STABLE и патчи.
> Ну, я не вижу связи между arc_min и веткой системы. А посыл был именно
> об изменении настройки, а не о патче. Кстати, этот из ревью может и
> попробую адаптировать для releng/10.3.

я нигде не говорил что можно применять что-либо одно или какую-то
комбинацию. все рекомендации надо применять без исключений.

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 22:28 пользователь Slawa Olhovchenkov  написал:
> On Sat, May 06, 2017 at 10:20:46PM +0300, Anton Sayetsky wrote:
>
>> >> >> /boot/loader.conf такой:
>> >> >> autoboot_delay="4"
>> >> >> loader_logo="beastie"
>> >> >> kern.geom.label.disk_ident.enable="0"
>> >> >> kern.geom.label.gptid.enable="0"
>> >> >> kern.ipc.nmbclusters="0"
>> >> >> zfs_load="YES"
>> >> >> vfs.zfs.arc_min="192G"
>> >> > 3. эту убери
>> >> Поставлено для 2 целей:
>> >> 1. Чтобы быстрее падало.
>> >> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
>> >> занять нечем.
>> >
>> > А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.
>> В отличие от тебя, я не столь силён в коде ZFS/vm, чтобы предлагать
>> свои патчи, однако не думаю, что это избавляет от необходимости хоть
>> какой-то аргументации совета по изменению настроек.
>
> а смысл? ты уже отказался ставить -STABLE и патчи.
Ну, я не вижу связи между arc_min и веткой системы. А посыл был именно
об изменении настройки, а не о патче. Кстати, этот из ревью может и
попробую адаптировать для releng/10.3.

>> Возможно, моё намерение протестить без использования UMA - глупость,
>> но для изменения arc_min не вижу никаких причин. Отрицательных
>> эффектов от установки такого значения не имеется. Положительный
>> имеется - если рядом работает клиент NFS, его кэши не вымывают ARC
>> полностью. Ну и наличие этой настройки на сабж не влияет - и с
>> дефолтным ограничением размера ARC снизу точно так же залипало всё,
>> только через более длительное время.
>
> можешь менять настройки как угодно, это никто тебе запретить не может.
Логично, и я же написал, почему именно эта настройка изменена. До
того, как появилась проблема с залипаниями, я уже сталкивался с тем,
что кэш клиента NFS вымывает ARC.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 22:25 пользователь Slawa Olhovchenkov  написал:
> On Sat, May 06, 2017 at 10:09:02PM +0300, Anton Sayetsky wrote:
>
>> 6 мая 2017 г., 19:31 пользователь Eugene Grosbein  
>> написал:
>> >> К сожалению, этот вариант неприменим. Правила таковы, что на
>> >> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
>> >> на которой подобной проблемы не было.
>> >
>> > И по моим ощущениям также ZFS ARC в 10.3 сломан, в отличие от 9.3.
>> Вот посмотрел я на линк, предоставленный Вячеславом
>> (https://reviews.freebsd.org/D7538) и думаю, что Karl Denninger уже 3
>> года ковыряется с родственной проблемой:
>> https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=187594
>> Вполне возможно, что стоит объединить усилия.
>
> он не считает нужным
А вот это странно.

>> > Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
>> > "радостями" снапшота, включая отсутствие каких-либо багфиксов.
>> Ну, а -STABLE - изначально снэпшот -CURRENT, что в свою очередь
>> изначально снэпшот тараканов в голове не всегда адекватного коммитера.
>> :-) Разница в степени QA же.
>> Кстати, как это без багфиксов? Errata же выходит.
>>
>> В любом случае, вновь поднимать этот флейм не считаю продуктивным -
>> никто мнения не изменит, да и проблему это не решит.
>
> оставаться на RELENG? да, не решит. это твой выбор.
Всех не заставишь ставить development branch, а если заставишь - то и
релизы не нужны.
Зато проблему вполне может решить коммит -> MFC/MFS -> errata.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 10:20:46PM +0300, Anton Sayetsky wrote:

> >> >> /boot/loader.conf такой:
> >> >> autoboot_delay="4"
> >> >> loader_logo="beastie"
> >> >> kern.geom.label.disk_ident.enable="0"
> >> >> kern.geom.label.gptid.enable="0"
> >> >> kern.ipc.nmbclusters="0"
> >> >> zfs_load="YES"
> >> >> vfs.zfs.arc_min="192G"
> >> > 3. эту убери
> >> Поставлено для 2 целей:
> >> 1. Чтобы быстрее падало.
> >> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
> >> занять нечем.
> >
> > А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.
> В отличие от тебя, я не столь силён в коде ZFS/vm, чтобы предлагать
> свои патчи, однако не думаю, что это избавляет от необходимости хоть
> какой-то аргументации совета по изменению настроек.

а смысл? ты уже отказался ставить -STABLE и патчи.

> Возможно, моё намерение протестить без использования UMA - глупость,
> но для изменения arc_min не вижу никаких причин. Отрицательных
> эффектов от установки такого значения не имеется. Положительный
> имеется - если рядом работает клиент NFS, его кэши не вымывают ARC
> полностью. Ну и наличие этой настройки на сабж не влияет - и с
> дефолтным ограничением размера ARC снизу точно так же залипало всё,
> только через более длительное время.

можешь менять настройки как угодно, это никто тебе запретить не может.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 10:09:02PM +0300, Anton Sayetsky wrote:

> 6 мая 2017 г., 19:31 пользователь Eugene Grosbein  
> написал:
> >> К сожалению, этот вариант неприменим. Правила таковы, что на
> >> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
> >> на которой подобной проблемы не было.
> >
> > И по моим ощущениям также ZFS ARC в 10.3 сломан, в отличие от 9.3.
> Вот посмотрел я на линк, предоставленный Вячеславом
> (https://reviews.freebsd.org/D7538) и думаю, что Karl Denninger уже 3
> года ковыряется с родственной проблемой:
> https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=187594
> Вполне возможно, что стоит объединить усилия.

он не считает нужным

> > А правило "только релизы в продакшне" касательно FreeBSD всегда вредное,
> > а не полезное, так как де-факто создаёт ровно те самые проблемы, которые 
> > призвано решать.
> Ну, твоя позиция - ставить -STABLE, моя же - -RELEASE, что вроде уже
> не раз обсуждалось в рассылке. Не думаю, что можно однозначно сказать,
> чья более правильная. Хотя если таки верить вендору - -STABLE/-CURRENT
> - для разрабов/тестеров, а не конечных пользователей.

правильно -- самому определять промежуточные ревизии для изготовления
образов и их ставить.

> > Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
> > "радостями" снапшота, включая отсутствие каких-либо багфиксов.
> Ну, а -STABLE - изначально снэпшот -CURRENT, что в свою очередь
> изначально снэпшот тараканов в голове не всегда адекватного коммитера.
> :-) Разница в степени QA же.
> Кстати, как это без багфиксов? Errata же выходит.
> 
> В любом случае, вновь поднимать этот флейм не считаю продуктивным -
> никто мнения не изменит, да и проблему это не решит.

оставаться на RELENG? да, не решит. это твой выбор.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 20:13 пользователь Slawa Olhovchenkov  написал:
> 2netch: а какого я не получил это письмо через рассылку?
> только копию в личную почту?
>
> On Sat, May 06, 2017 at 06:40:06PM +0300, Anton Sayetsky wrote:
>
>> 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
>> написал:
>> > On Sat, May 06, 2017 at 05:52:06PM +0300, Anton Sayetsky wrote:
>> >
>> >> Приветствую, товарищи.
>> >>
>> >> Имеется сервер с 256 GiB оперативы, который с помощью nginx раздаёт
>> >
>> > 0. надеюсь не через sendfile? только aio можно применять.
>> Естественно, aio. sendfile на этой железке вообще никогда не включался.
>
> в loader.conf загрузка aio не показана, generic aio не содержит, ты
> вообще молчишь.
Да как бы с конфигом ведра и/или модулями проблем нет - вот и не
посчитал необходимым сразу это добавлять. Но, естественно, готов
предоставить дополнительную инфу, которая может быть полезна для
разбирательств.

>> >> файлы по HTTP, и я наблюдаю весьма интересный эффект, который
>> >> проявляется только при выполнении определённых действий и только после
>> >> того, как ARC впервые вырастает до максимального объёма. При
>> >> совпадении этих условий процесс pagedaemon/uma начинает вытеснять ARC.
>> >> После достижения минимального значения через короткое время (от
>> >> мгновенно до ~10 минут) происходит залипание всех процессов (но чаще
>> >> всего, кроме nginx) в состоянии D. И, конечно же, всё это происходит
>> >> без каких-либо сообщений об ошибках.
>> >> Провоцируется так:
>> >> 1. Попытка сборки в TMPFS devel/m4 - залипает на "checking dup2"
>> >> (https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=207303)
>> >> 2. Попытка сборки в TMPFS lang/gcc - залипает на tar, который
>> >> выполняется в конце, перед созданием пакета
>> >> 3. tar cf - /usr/ports | xz ... (/usr/ports для примера, на других
>> >> каталогах также залипает)
>> >> Также при попытке сборки некоторых портов появляются странные ошибки
>> >> "нет файла" при копировании в $STAGEDIR, при это те же порты
>> >> собираются в poudriere, но иногда без тех самых файлов, которые не
>> >> были найдены на хосте.
>> >>
>> >> Версия системы:
>> >> root@cs0:~# freebsd-version -ku
>> >> 10.3-RELEASE-p14
>> >> 10.3-RELEASE-p18
>> >
>> > 1. Перейди на 11-STABLE
>> > 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> > туда.
>> К сожалению, этот вариант неприменим. Правила таковы, что на
>> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
>> на которой подобной проблемы не было.
>
> Ну страдай, если тебе так хочется.
Как писал ранее - проявляется только в строго определённых ситуациях
(кстати, сюда make -j 26 build{world|kernel} не входит, несмотря на
невозможность сборки некоторых портов), так что вряд ли есть
страдания. Скорее некоторое жжение от того, что при обновлении
приходится ещё и сессию на IPMI держать...

>> >> /boot/loader.conf такой:
>> >> autoboot_delay="4"
>> >> loader_logo="beastie"
>> >> kern.geom.label.disk_ident.enable="0"
>> >> kern.geom.label.gptid.enable="0"
>> >> kern.ipc.nmbclusters="0"
>> >> zfs_load="YES"
>> >> vfs.zfs.arc_min="192G"
>> > 3. эту убери
>> Поставлено для 2 целей:
>> 1. Чтобы быстрее падало.
>> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
>> занять нечем.
>
> А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.
В отличие от тебя, я не столь силён в коде ZFS/vm, чтобы предлагать
свои патчи, однако не думаю, что это избавляет от необходимости хоть
какой-то аргументации совета по изменению настроек.
Возможно, моё намерение протестить без использования UMA - глупость,
но для изменения arc_min не вижу никаких причин. Отрицательных
эффектов от установки такого значения не имеется. Положительный
имеется - если рядом работает клиент NFS, его кэши не вымывают ARC
полностью. Ну и наличие этой настройки на сабж не влияет - и с
дефолтным ограничением размера ARC снизу точно так же залипало всё,
только через более длительное время.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 19:31 пользователь Eugene Grosbein  написал:
>> К сожалению, этот вариант неприменим. Правила таковы, что на
>> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
>> на которой подобной проблемы не было.
>
> И по моим ощущениям также ZFS ARC в 10.3 сломан, в отличие от 9.3.
Вот посмотрел я на линк, предоставленный Вячеславом
(https://reviews.freebsd.org/D7538) и думаю, что Karl Denninger уже 3
года ковыряется с родственной проблемой:
https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=187594
Вполне возможно, что стоит объединить усилия.

> А правило "только релизы в продакшне" касательно FreeBSD всегда вредное,
> а не полезное, так как де-факто создаёт ровно те самые проблемы, которые 
> призвано решать.
Ну, твоя позиция - ставить -STABLE, моя же - -RELEASE, что вроде уже
не раз обсуждалось в рассылке. Не думаю, что можно однозначно сказать,
чья более правильная. Хотя если таки верить вендору - -STABLE/-CURRENT
- для разрабов/тестеров, а не конечных пользователей.

> Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
> "радостями" снапшота, включая отсутствие каких-либо багфиксов.
Ну, а -STABLE - изначально снэпшот -CURRENT, что в свою очередь
изначально снэпшот тараканов в голове не всегда адекватного коммитера.
:-) Разница в степени QA же.
Кстати, как это без багфиксов? Errata же выходит.

В любом случае, вновь поднимать этот флейм не считаю продуктивным -
никто мнения не изменит, да и проблему это не решит.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 08:28:34PM +0300, Oleg V. Nauman wrote:

> On Saturday 06 May 2017 20:13:10 Slawa Olhovchenkov wrote:
> > 2netch: а какого я не получил это письмо через рассылку?
> > только копию в личную почту?
> 
>  У меня cyrus любит 
> duplicatesuppression: yes
> из-за чего письма в рассылку и с копией мне доставляются в одном экземпляре,  
> а вот какое из них - в рассылку или личное - зависит от фазы луны.

у меня не цирус. у меня plain mbox.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Oleg V. Nauman]

On Saturday 06 May 2017 20:13:10 Slawa Olhovchenkov wrote:
> 2netch: а какого я не получил это письмо через рассылку?
> только копию в личную почту?

 У меня cyrus любит 
duplicatesuppression: yes
из-за чего письма в рассылку и с копией мне доставляются в одном экземпляре,  
а вот какое из них - в рассылку или личное - зависит от фазы луны.

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

2netch: а какого я не получил это письмо через рассылку?
только копию в личную почту?

On Sat, May 06, 2017 at 06:40:06PM +0300, Anton Sayetsky wrote:

> 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> написал:
> > On Sat, May 06, 2017 at 05:52:06PM +0300, Anton Sayetsky wrote:
> >
> >> Приветствую, товарищи.
> >>
> >> Имеется сервер с 256 GiB оперативы, который с помощью nginx раздаёт
> >
> > 0. надеюсь не через sendfile? только aio можно применять.
> Естественно, aio. sendfile на этой железке вообще никогда не включался.

в loader.conf загрузка aio не показана, generic aio не содержит, ты
вообще молчишь.

> >> файлы по HTTP, и я наблюдаю весьма интересный эффект, который
> >> проявляется только при выполнении определённых действий и только после
> >> того, как ARC впервые вырастает до максимального объёма. При
> >> совпадении этих условий процесс pagedaemon/uma начинает вытеснять ARC.
> >> После достижения минимального значения через короткое время (от
> >> мгновенно до ~10 минут) происходит залипание всех процессов (но чаще
> >> всего, кроме nginx) в состоянии D. И, конечно же, всё это происходит
> >> без каких-либо сообщений об ошибках.
> >> Провоцируется так:
> >> 1. Попытка сборки в TMPFS devel/m4 - залипает на "checking dup2"
> >> (https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=207303)
> >> 2. Попытка сборки в TMPFS lang/gcc - залипает на tar, который
> >> выполняется в конце, перед созданием пакета
> >> 3. tar cf - /usr/ports | xz ... (/usr/ports для примера, на других
> >> каталогах также залипает)
> >> Также при попытке сборки некоторых портов появляются странные ошибки
> >> "нет файла" при копировании в $STAGEDIR, при это те же порты
> >> собираются в poudriere, но иногда без тех самых файлов, которые не
> >> были найдены на хосте.
> >>
> >> Версия системы:
> >> root@cs0:~# freebsd-version -ku
> >> 10.3-RELEASE-p14
> >> 10.3-RELEASE-p18
> >
> > 1. Перейди на 11-STABLE
> > 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> > туда.
> К сожалению, этот вариант неприменим. Правила таковы, что на
> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
> на которой подобной проблемы не было.

Ну страдай, если тебе так хочется.

> >> /boot/loader.conf такой:
> >> autoboot_delay="4"
> >> loader_logo="beastie"
> >> kern.geom.label.disk_ident.enable="0"
> >> kern.geom.label.gptid.enable="0"
> >> kern.ipc.nmbclusters="0"
> >> zfs_load="YES"
> >> vfs.zfs.arc_min="192G"
> > 3. эту убери
> Поставлено для 2 целей:
> 1. Чтобы быстрее падало.
> 2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
> занять нечем.

А я не спрашиваю зачем ты это поставил, я говорю что надо сделать.

___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Eugene Grosbein]

> К сожалению, этот вариант неприменим. Правила таковы, что на
> "нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
> на которой подобной проблемы не было.

И по моим ощущениям также ZFS ARC в 10.3 сломан, в отличие от 9.3.

А правило "только релизы в продакшне" касательно FreeBSD всегда вредное,
а не полезное, так как де-факто создаёт ровно те самые проблемы, которые 
призвано решать.

Потому что релиз, даже X.3, не более чем снапшот с ветки stable со всеми
"радостями" снапшота, включая отсутствие каких-либо багфиксов.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  написал:
> On Sat, May 06, 2017 at 05:52:06PM +0300, Anton Sayetsky wrote:
>
>> Приветствую, товарищи.
>>
>> Имеется сервер с 256 GiB оперативы, который с помощью nginx раздаёт
>
> 0. надеюсь не через sendfile? только aio можно применять.
Естественно, aio. sendfile на этой железке вообще никогда не включался.

>> файлы по HTTP, и я наблюдаю весьма интересный эффект, который
>> проявляется только при выполнении определённых действий и только после
>> того, как ARC впервые вырастает до максимального объёма. При
>> совпадении этих условий процесс pagedaemon/uma начинает вытеснять ARC.
>> После достижения минимального значения через короткое время (от
>> мгновенно до ~10 минут) происходит залипание всех процессов (но чаще
>> всего, кроме nginx) в состоянии D. И, конечно же, всё это происходит
>> без каких-либо сообщений об ошибках.
>> Провоцируется так:
>> 1. Попытка сборки в TMPFS devel/m4 - залипает на "checking dup2"
>> (https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=207303)
>> 2. Попытка сборки в TMPFS lang/gcc - залипает на tar, который
>> выполняется в конце, перед созданием пакета
>> 3. tar cf - /usr/ports | xz ... (/usr/ports для примера, на других
>> каталогах также залипает)
>> Также при попытке сборки некоторых портов появляются странные ошибки
>> "нет файла" при копировании в $STAGEDIR, при это те же порты
>> собираются в poudriere, но иногда без тех самых файлов, которые не
>> были найдены на хосте.
>>
>> Версия системы:
>> root@cs0:~# freebsd-version -ku
>> 10.3-RELEASE-p14
>> 10.3-RELEASE-p18
>
> 1. Перейди на 11-STABLE
> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> туда.
К сожалению, этот вариант неприменим. Правила таковы, что на
"нетестовых" серваках стоит -RELEASE. Да и хватило мне обновления с 9,
на которой подобной проблемы не было.

>> /boot/loader.conf такой:
>> autoboot_delay="4"
>> loader_logo="beastie"
>> kern.geom.label.disk_ident.enable="0"
>> kern.geom.label.gptid.enable="0"
>> kern.ipc.nmbclusters="0"
>> zfs_load="YES"
>> vfs.zfs.arc_min="192G"
> 3. эту убери
Поставлено для 2 целей:
1. Чтобы быстрее падало.
2. Чтобы кэш таки не "опускался слишком низко", ибо больше там память
занять нечем.

>> vfs.zfs.prefetch_disable="1"
>> vfs.zfs.trim.enabled="0"
>> vfs.zfs.txg.timeout="10"
>> vfs.zfs.zio.use_uma="0"
> 4. эту не применяй
Поскольку менять версию оси - не вариант (до выхода 10.4R или 11.1R),
то думаю, что стоит проверить.

>> vfs.zfs.zfetch.max_streams="24"
>> hint.sc.0.flags="0x180"
>> hint.sc.0.vesa_mode="0x115"
>> hint.scbus.0.at="mps1"
>> hint.scbus.1.at="mps0"
>> hw.ix.num_queues="24"
>> hw.ix.rxd="4096"
>> hw.ix.txd="4096"
>> vboxdrv_load="YES"
>>
>> Конкретный идей у меня, к сожалению, нет. Куда смотреть в первую
>> очередь, как отлавливать и чинить?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Slawa Olhovchenkov]

On Sat, May 06, 2017 at 05:52:06PM +0300, Anton Sayetsky wrote:

> Приветствую, товарищи.
> 
> Имеется сервер с 256 GiB оперативы, который с помощью nginx раздаёт

0. надеюсь не через sendfile? только aio можно применять.

> файлы по HTTP, и я наблюдаю весьма интересный эффект, который
> проявляется только при выполнении определённых действий и только после
> того, как ARC впервые вырастает до максимального объёма. При
> совпадении этих условий процесс pagedaemon/uma начинает вытеснять ARC.
> После достижения минимального значения через короткое время (от
> мгновенно до ~10 минут) происходит залипание всех процессов (но чаще
> всего, кроме nginx) в состоянии D. И, конечно же, всё это происходит
> без каких-либо сообщений об ошибках.
> Провоцируется так:
> 1. Попытка сборки в TMPFS devel/m4 - залипает на "checking dup2"
> (https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=207303)
> 2. Попытка сборки в TMPFS lang/gcc - залипает на tar, который
> выполняется в конце, перед созданием пакета
> 3. tar cf - /usr/ports | xz ... (/usr/ports для примера, на других
> каталогах также залипает)
> Также при попытке сборки некоторых портов появляются странные ошибки
> "нет файла" при копировании в $STAGEDIR, при это те же порты
> собираются в poudriere, но иногда без тех самых файлов, которые не
> были найдены на хосте.
> 
> Версия системы:
> root@cs0:~# freebsd-version -ku
> 10.3-RELEASE-p14
> 10.3-RELEASE-p18

1. Перейди на 11-STABLE
2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
туда.


> /boot/loader.conf такой:
> autoboot_delay="4"
> loader_logo="beastie"
> kern.geom.label.disk_ident.enable="0"
> kern.geom.label.gptid.enable="0"
> kern.ipc.nmbclusters="0"
> zfs_load="YES"
> vfs.zfs.arc_min="192G"

3. эту убери

> vfs.zfs.prefetch_disable="1"
> vfs.zfs.trim.enabled="0"
> vfs.zfs.txg.timeout="10"
> vfs.zfs.zio.use_uma="0"

4. эту не применяй

> vfs.zfs.zfetch.max_streams="24"
> hint.sc.0.flags="0x180"
> hint.sc.0.vesa_mode="0x115"
> hint.scbus.0.at="mps1"
> hint.scbus.1.at="mps0"
> hw.ix.num_queues="24"
> hw.ix.rxd="4096"
> hw.ix.txd="4096"
> vboxdrv_load="YES"
> 
> Конкретный идей у меня, к сожалению, нет. Куда смотреть в первую
> очередь, как отлавливать и чинить?
> ___
> freebsd mailing list
> freebsd@uafug.org.ua
> http://mailman.uafug.org.ua/mailman/listinfo/freebsd
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

[Anton Sayetsky]

6 мая 2017 г., 17:52 пользователь Anton Sayetsky  написал:
> vfs.zfs.zio.use_uma="0"
Этот параметр ещё не применён, т.к. ребутиться весьма нежелательно -
это следует делать в моменты минимальной нагрузки.

// Приношу извинения за несколько опечаток в первом сообщении - был взволнован.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd