Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Slawa Olhovchenkov 
On Mon, May 22, 2017 at 07:28:32PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 19:25 пользователь Slawa Olhovchenkov  
> написал:
> > kgdb можно потом смотреть, это просто что бы из адреса номера строк
> > получать -- у тебя ведь модули в том же порядке после перезагрузки
> > загрузятся (а у остальных нет так же собранной системы).
> >
> > а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
> > NMI и собрать корку.
> Ага, принял. Подумаю, как бы ловчее реализовать.

ipmitool power diag

> > зы: кстати, swap надеюсь не на zfs у тебя?
> Не. gmirror из пары разделов.

а на всякий случай, разбери его и сделай два отдельных раздела.
вроде не должно, но а вдруг...
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
22 мая 2017 г., 19:25 пользователь Slawa Olhovchenkov  написал:
> kgdb можно потом смотреть, это просто что бы из адреса номера строк
> получать -- у тебя ведь модули в том же порядке после перезагрузки
> загрузятся (а у остальных нет так же собранной системы).
>
> а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
> NMI и собрать корку.
Ага, принял. Подумаю, как бы ловчее реализовать.

> зы: кстати, swap надеюсь не на zfs у тебя?
Не. gmirror из пары разделов.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Slawa Olhovchenkov 
On Mon, May 22, 2017 at 07:19:07PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 19:00 пользователь Slawa Olhovchenkov  
> написал:
> >> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> >> > вообще не zfsная проблема.
> >> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
> >> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
> >> считает, что памяти нет и дедлочится."
> >
> > Нет, сейчас у меня подозрения на другую картину.
> > Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
> > Примени опять мой патч, без исскуственного ограничения arc_min и когда
> > оно застопорится было бы интересно посмотреть на чем. для
> > zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
> > -- это можно через kgdb info line *addr делать.
> > у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
> В прошлый раз, когда я тестил твой переделанный патч (напомню, с
> дефолтным arc_min) система на тех 180 гигах ARC залипла намертво и
> полностью - так что ни сеть, ни консоль не отвечали. Как бы мне в
> таком случае kgdb смотреть? Если что - думаю, смогу прицепить SOL в
> IPMI.

kgdb можно потом смотреть, это просто что бы из адреса номера строк
получать -- у тебя ведь модули в том же порядке после перезагрузки
загрузятся (а у остальных нет так же собранной системы).

а вот как procstat прогнать... ну наверное собрать с ddb/kdb и дернуть
NMI и собрать корку.

зы: кстати, swap надеюсь не на zfs у тебя?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
22 мая 2017 г., 19:00 пользователь Slawa Olhovchenkov  написал:
>> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
>> > вообще не zfsная проблема.
>> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
>> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
>> считает, что памяти нет и дедлочится."
>
> Нет, сейчас у меня подозрения на другую картину.
> Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
> Примени опять мой патч, без исскуственного ограничения arc_min и когда
> оно застопорится было бы интересно посмотреть на чем. для
> zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
> -- это можно через kgdb info line *addr делать.
> у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
В прошлый раз, когда я тестил твой переделанный патч (напомню, с
дефолтным arc_min) система на тех 180 гигах ARC залипла намертво и
полностью - так что ни сеть, ни консоль не отвечали. Как бы мне в
таком случае kgdb смотреть? Если что - думаю, смогу прицепить SOL в
IPMI.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
22 мая 2017 г., 19:10 пользователь Владимир Друзенко  
написал:
> А вот этот мой багрепорт случаем не о том же?
> https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=197884
Благодарю, подписался.
По теме: на первый взгляд вроде нет. У меня на этом серваке кроме
nginx и пары скриптов ничего не работает, флуктуаций свободной памяти
нет, всегда свободно около 10-13 гиг оперативы, а из двух гиг свопа не
используется ни страницы.
Кстати, build{world,kernel} в 26 потоков проходит прекрасно всегда.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Slawa Olhovchenkov 
On Mon, May 22, 2017 at 06:47:33PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 18:39 пользователь Slawa Olhovchenkov  
> написал:
> > On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:
> >
> >> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
> >> написал:
> >> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
> >> >
> >> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> >> >> написал:
> >> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov 
> >> >> >  написал:
> >> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> >> >> туда.
> >> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> >> >> > будем посмотреть.
> >> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> >> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> >> >> зависит, кроме задержки до того, как система залипнет.
> >> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
> >> >
> >> > с патчем ARC тоже падает до минимума?
> >> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> >> > точно?
> >> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
> >> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения 
> >> приостановил
> >> свою работу.
> >
> > а какой из двух? pageout или zfsный?
> Без патчей проц хавает pagedaemon/uma, с твоим - arc_reclaim_thread,
> ЕМНИП. В обоих случаях - где-то 8-10% wcpu (стоит 2х 2630v2, HT on).

ну интересует не столько кто хавает проц, как кто его перестает вообще
хавать.
потому как память освобождать должны два треда в паралель.

> > и кстати, procstat в этом состоянии отличался?
> До procstat я, к сожалению, додумался уже после. Откатил все патчи,
> кроме фикса birth_hole из stable/10 (без него тоже ничего не меняется)
> и протестил ещё раз и собрал procstat, truss, etc. Пока это ядро и
> загружено.
> 
> > возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> > вообще не zfsная проблема.
> Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
> нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
> считает, что памяти нет и дедлочится."

Нет, сейчас у меня подозрения на другую картину.
Т.е. так может быть без патчей/с исскуственным ограничением arc_min.
Примени опять мой патч, без исскуственного ограничения arc_min и когда
оно застопорится было бы интересно посмотреть на чем. для
zfs/pagedaemon -- с ресолвом до сырца/строки в районе ожидания локов
-- это можно через kgdb info line *addr делать.
у меня подозрения на дедлок в районе работы с зонами UMA Kegs/Zones/Slabs.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
22 мая 2017 г., 18:39 пользователь Slawa Olhovchenkov  написал:
> On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:
>
>> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
>> написал:
>> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
>> >
>> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
>> >> написал:
>> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
>> >> > написал:
>> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> >> >> туда.
>> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
>> >> > будем посмотреть.
>> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
>> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
>> >> зависит, кроме задержки до того, как система залипнет.
>> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
>> >
>> > с патчем ARC тоже падает до минимума?
>> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
>> > точно?
>> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
>> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
>> свою работу.
>
> а какой из двух? pageout или zfsный?
Без патчей проц хавает pagedaemon/uma, с твоим - arc_reclaim_thread,
ЕМНИП. В обоих случаях - где-то 8-10% wcpu (стоит 2х 2630v2, HT on).

> и кстати, procstat в этом состоянии отличался?
До procstat я, к сожалению, додумался уже после. Откатил все патчи,
кроме фикса birth_hole из stable/10 (без него тоже ничего не меняется)
и протестил ещё раз и собрал procstat, truss, etc. Пока это ядро и
загружено.

> возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
> вообще не zfsная проблема.
Да, у меня тоже такое подозрение. Вроде "система думает, что памяти
нет и начинает вытеснять ARC. Когда вытеснять уже нечего - по-прежнему
считает, что памяти нет и дедлочится."
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Slawa Olhovchenkov 
On Mon, May 22, 2017 at 06:30:06PM +0300, Anton Sayetsky wrote:

> 22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  
> написал:
> > On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
> >
> >> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> >> написал:
> >> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> >> > написал:
> >> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> >> туда.
> >> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> >> > будем посмотреть.
> >> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> >> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> >> зависит, кроме задержки до того, как система залипнет.
> >> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
> >
> > с патчем ARC тоже падает до минимума?
> > т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> > точно?
> С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
> до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
> свою работу.

а какой из двух? pageout или zfsный?
и кстати, procstat в этом состоянии отличался?

возможно, что это или еще одна, отдельная проблема, вызываемая zfs или
вообще не zfsная проблема.

> > а что значит -- кроме скорости?
> Ну грубо говоря, без патчей освобождается 5 гиг в минуту, а с твоим
> или патчем Карла - 1 гиг в минуту.

а, понятно. я удивлся -- на скорость работы впрямую-то влиять не
должно было.

> > и в чем заключалось портирование? какие изменения были сделаны?
> 1. Накатил твой патч, часть изменений применить не удалось;
> 2. Нашёл аналогичные строки для rejected, впихнул туда уже руками;
> 3. Переименовал структуру vm_cnt в cnt (она так называлась до 11).
> Сам патч для releng/10.3 в аттаче.

ага.
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
22 мая 2017 г., 18:18 пользователь Slawa Olhovchenkov  написал:
> On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:
>
>> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
>> написал:
>> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
>> > написал:
>> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> >> туда.
>> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
>> > будем посмотреть.
>> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
>> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
>> зависит, кроме задержки до того, как система залипнет.
>> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
>
> с патчем ARC тоже падает до минимума?
> т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
> точно?
С твоим патчем ARC и дефолтным arc_min система залипла, когда ARC упал
до ~180 GiB, ЕМНИП. Непосредственно перед этим поток вытеснения приостановил
свою работу.

> а что значит -- кроме скорости?
Ну грубо говоря, без патчей освобождается 5 гиг в минуту, а с твоим
или патчем Карла - 1 гиг в минуту.

> и в чем заключалось портирование? какие изменения были сделаны?
1. Накатил твой патч, часть изменений применить не удалось;
2. Нашёл аналогичные строки для rejected, впихнул туда уже руками;
3. Переименовал структуру vm_cnt в cnt (она так называлась до 11).
Сам патч для releng/10.3 в аттаче.


slw_zfs.patch
Description: Binary data
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Slawa Olhovchenkov 
On Mon, May 22, 2017 at 06:00:16PM +0300, Anton Sayetsky wrote:

> 18 мая 2017 г., 2:21 пользователь Anton Sayetsky  
> написал:
> > 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> > написал:
> >> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
> >> туда.
> > Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> > будем посмотреть.
> Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
> патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
> зависит, кроме задержки до того, как система залипнет.
> Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457

с патчем ARC тоже падает до минимума?
т.е. если минимум оставить дефолтным -- то до примерно 16-30ГБ?
точно?

а что значит -- кроме скорости?
и в чем заключалось портирование? какие изменения были сделаны?
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd

Re: [freebsd] ZFS, TMPFS, pagedaemon/uma и подземный стук

2017-05-22 Пенетрантность Anton Sayetsky 
18 мая 2017 г., 2:21 пользователь Anton Sayetsky  написал:
> 6 мая 2017 г., 18:15 пользователь Slawa Olhovchenkov  
> написал:
>> 2. Примени https://reviews.freebsd.org/D7538 и отпишись о результатах
>> туда.
> Бэкпортировал я патч на releng/10.3, загрузил новое ведро - ждём и
> будем посмотреть.
Кроме скорости и пределов вытеснения ARC, не поменялось ничего. Как с
патчем из ревью, так и с патчем Karl. От arc_min тоже ничего не
зависит, кроме задержки до того, как система залипнет.
Запилил PR: https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=219457
___
freebsd mailing list
freebsd@uafug.org.ua
http://mailman.uafug.org.ua/mailman/listinfo/freebsd