Re: systemd nfs background mount
22.05.2019, sergio написал(а): > A:/share /mnt/share nfs4 auto,nodev,bg,rw 0 0 [...] > но если потом вдруг перезагрузиться, то повиснет навечно (пока не > появится A): > > A start job is running for /mnt ( / no limit) Некоторые рекомендуют сиё монтировать с добавлением x-systemd.automount,noauto Правда, хз, что будет, если при этом зайти в каталог. Подозреваю, что подвисание и надо добавить ещё и intr. -- Stanislav
systemd nfs background mount
Если в /etc/fstab написать: A:/share /mnt/share nfs4 auto,nodev,bg,rw 0 0 а потом сказать mount /mnt/share то при выключенном A оно ответит: mount.nfs4: backgrounding "A:/share" mount.nfs4: mount options: "rw,nodev,bg" но если потом вдруг перезагрузиться, то повиснет навечно (пока не появится A): A start job is running for /mnt ( / no limit) -- sergio.
Re: HA NFS
On 4/7/18, D. H.wrote: > Не знаю в каком сейчас состоянии проект, но когда-то было такое как > lustre. Весьма не плохо справлялась у довольно крупного европейского > сотового оператора. Вот боюсь, что для крупного оператора оно и не плохо, но на 2-х серваках не поднимешь. Там нужны сервера для метаданных и т.д.
Re: HA NFS
On 4/6/18, Павел Марченко <bbl...@gmail.com> wrote: > У меня в телефоне 4гб памяти, может все таки подумать над увеличением > памяти, если её не хватает? Во-первых, проект и так ограничен в ресурсах, а во-вторых, я не из тех, кто разбрасывается ресурсами только потому, что говнокоду их мало. > А по сабжу я так и не понял задачи. Мне интересно, кто как собирает высокодоступное хранилище, кроме nfs+drbd+pacemaker и glusterfs. Я других вариантов не нашёл, может плохо искал.
Re: HA NFS
У меня в телефоне 4гб памяти, может все таки подумать над увеличением памяти, если её не хватает? А по сабжу я так и не понял задачи. пт, 6 апр. 2018 г., 13:22 Hleb Valoshka <375...@gmail.com>: > Привет! > > Поделитесь какими решениями пользуетесь для создания (почти) > высокодоступных сетевых хранилищ. > > Задача такая: есть 2 виртуалки, из них собран кластер GlusterFS. > Работает, но довольно прожорлив в плане памяти, из 4-х ГБ почти не > остаётся памяти, иногда ядро убивает tar, который делает бэкапы (но > честно говоря, после обновления до последней стабильной версии > ситуация улучшилась, как минимум 1 ГБ освободить не проблема). Не > смотря на кеширование метаданных на стороне клиента говорят, что он > довольно медленный, но цифр мне не показывали. > > Пробовал настроить кластер на основе drdb + pacemaker + nfs, но с ним > хватает своих проблем: для drdb желательно иметь отдельный линк, > переключение на резервную ноду очень долгое (около минуты, с glusterfs > у меня максимум 10 сек), вывести одну ноду на обслуживание целая > проблема. > > Смотрел на прочие варианты, типа Ceph, GFS, но для этой задачи они > слишком сложны и перегружены. > > Может кто-нибудь в курсе простого и быстрого решения? >
HA NFS
Привет! Поделитесь какими решениями пользуетесь для создания (почти) высокодоступных сетевых хранилищ. Задача такая: есть 2 виртуалки, из них собран кластер GlusterFS. Работает, но довольно прожорлив в плане памяти, из 4-х ГБ почти не остаётся памяти, иногда ядро убивает tar, который делает бэкапы (но честно говоря, после обновления до последней стабильной версии ситуация улучшилась, как минимум 1 ГБ освободить не проблема). Не смотря на кеширование метаданных на стороне клиента говорят, что он довольно медленный, но цифр мне не показывали. Пробовал настроить кластер на основе drdb + pacemaker + nfs, но с ним хватает своих проблем: для drdb желательно иметь отдельный линк, переключение на резервную ноду очень долгое (около минуты, с glusterfs у меня максимум 10 сек), вывести одну ноду на обслуживание целая проблема. Смотрел на прочие варианты, типа Ceph, GFS, но для этой задачи они слишком сложны и перегружены. Может кто-нибудь в курсе простого и быстрого решения?
Re: перемонтировать раздел NFS
Hello Sohin, On Wed, 24 May 2017 12:09:48 +0300 Sohin Vyacheslav <in.s...@yandex.ua> wrote: > 24.05.2017 12:04, Alexander Gerasiov пишет: > > DATA AND METADATA COHERENCE > > а ман по какой команде кстати? в man umount такого раздела нет... nfs(5) -- Best regards, Alexander Gerasiov Contacts: e-mail: g...@cs.msu.su Homepage: http://gerasiov.net Skype: gerasiov PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1
Re: перемонтировать раздел NFS
24.05.2017 12:04, Alexander Gerasiov пишет: > DATA AND METADATA COHERENCE а ман по какой команде кстати? в man umount такого раздела нет... -- BW, Сохин Вячеслав
Re: перемонтировать раздел NFS
24.05.2017 12:04, Alexander Gerasiov пишет: > Сейчас вот посмотрел ман, там целый раздел про это: > > DATA AND METADATA COHERENCE спс, буду читать матчасть... -- BW, Сохин Вячеслав
Re: перемонтировать раздел NFS
Hello Sohin, On Wed, 24 May 2017 11:48:57 +0300 Sohin Vyacheslavwrote: > 24.05.2017 11:35, Alexander Gerasiov пишет: > > обычно секунды, может десятки. > > От чего зависит сейчас уже не вспомню, там еще разница между > > версиями протокола есть в этой части. > > прошло уже минут 50 - каталог не появился... Ну после того, как ты сказал umount с разными ключами и много раз - там вообще надо разбираться что и в каком состоянии находится. По умолчанию там 60 секунд вроде как время инвалидации кэша. Сейчас вот посмотрел ман, там целый раздел про это: DATA AND METADATA COHERENCE -- Best regards, Alexander Gerasiov Contacts: e-mail: g...@cs.msu.su Homepage: http://gerasiov.net Skype: gerasiov PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1
Re: перемонтировать раздел NFS
24.05.2017 11:35, Alexander Gerasiov пишет: > обычно секунды, может десятки. > От чего зависит сейчас уже не вспомню, там еще разница между версиями > протокола есть в этой части. прошло уже минут 50 - каталог не появился... -- BW, Сохин Вячеслав
Re: перемонтировать раздел NFS
24.05.2017 11:26, Alexander Gerasiov пишет: > Можно umount -f -l, но надо понимать, что процессам, которые открыли > файлы на этом разделе, может стать плохо. так ничего не произошло - остался подмонтирован раздел $ sudo umount -f -l /mnt/storage/nfs $ sudo mount /mnt/storage/nfs mount.nfs: /mnt/storage/nfs is busy or already mounted -- BW, Сохин Вячеслав
Re: перемонтировать раздел NFS
Hello Sohin, On Wed, 24 May 2017 11:29:16 +0300 Sohin Vyacheslav <in.s...@yandex.ua> wrote: > 24.05.2017 11:26, Alexander Gerasiov пишет: > > Не проще ли дождаться, когда она появится? Там не такой уж большой > > лаг на синхронизацию, хоть и не очень детерминированный. > > а как узнать сколько времени ждать? обычно секунды, может десятки. От чего зависит сейчас уже не вспомню, там еще разница между версиями протокола есть в этой части. > > > Можно umount -f -l, но надо понимать, что процессам, которые открыли > > файлы на этом разделе, может стать плохо. > > пробовал без -l: > $ sudo umount -f /mnt/storage/nfs > umount.nfs4: /mnt/storage/nfs: device is busy Ну так я не зря написал про -l -- Best regards, Alexander Gerasiov Contacts: e-mail: g...@cs.msu.su Homepage: http://gerasiov.net Skype: gerasiov PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1
Re: перемонтировать раздел NFS
24.05.2017 11:26, Alexander Gerasiov пишет: > Не проще ли дождаться, когда она появится? Там не такой уж большой лаг > на синхронизацию, хоть и не очень детерминированный. а как узнать сколько времени ждать? > Можно umount -f -l, но надо понимать, что процессам, которые открыли > файлы на этом разделе, может стать плохо. пробовал без -l: $ sudo umount -f /mnt/storage/nfs umount.nfs4: /mnt/storage/nfs: device is busy -- BW, Сохин Вячеслав
Re: перемонтировать раздел NFS
Hello Sohin, On Wed, 24 May 2017 11:00:42 +0300 Sohin Vyacheslav <in.s...@yandex.ua> wrote: > День добрый, > > а как можно правильно перемонтировать подключенный NFS раздел? > там появилась еще 1 папка, которой в данный момент не видно... Не проще ли дождаться, когда она появится? Там не такой уж большой лаг на синхронизацию, хоть и не очень детерминированный. У меня в практике было только в скриптах автоматизации проблема с этим, там пришлось всё-таки файлы на машины раскидывать по отдельному протоколу, чтобы не мучаться с гонками "на сервере новый файл есть, но на клиентах запускать программу с использованием этого файла пока нельзя, потому что NFS его еще не увидел". > > umount предварительно не проходит, так как много разных процесов > используют расшаренный каталог: > > $ sudo umount /mnt/storage/nfs > umount.nfs4: /mnt/storage/nfs: device is busy Можно umount -f -l, но надо понимать, что процессам, которые открыли файлы на этом разделе, может стать плохо. -- Best regards, Alexander Gerasiov Contacts: e-mail: g...@cs.msu.su Homepage: http://gerasiov.net Skype: gerasiov PGP fingerprint: 04B5 9D90 DF7C C2AB CD49 BAEA CA87 E9E8 2AAC 33F1
Re: перемонтировать раздел NFS
24.05.2017 11:00, Sohin Vyacheslav пишет: > > может как-то можно с опцией remount? такая команда не проходит: $ sudo mount -o remount,rw ip-address:/mnt/storage/nfs /mnt/storage/nfs никаких варнингов, но и нужный каталог все-еще пустой(( -- BW, Сохин Вячеслав
перемонтировать раздел NFS
День добрый, а как можно правильно перемонтировать подключенный NFS раздел? там появилась еще 1 папка, которой в данный момент не видно... umount предварительно не проходит, так как много разных процесов используют расшаренный каталог: $ sudo umount /mnt/storage/nfs umount.nfs4: /mnt/storage/nfs: device is busy текущий fstab $ cat /etc/fstab . ip-address:/mnt/storage/nfs /mnt/storage/nfs nfs rsize=8192,wsize=8192,timeo=14,intr может как-то можно с опцией remount? -- BW, Сохин Вячеслав
Re: проблемка с sshfs и nfs
Alexey Shalin c...@hoster.kg writes: делаю cat /etc/group | grep name_group (или cat /etc/group) выводиться name_group:x:3912: после чего апач стартует без проблем Не думаю, что эти события связаны. кэш например nfs как вариант.. У Вас /etc монтируется через nfs? как словлю ошибку обязательно покажу порядок действия.. но он всегда не изменен Как словите - покажите лог апача. pgpznFxC8Hcr2.pgp Description: PGP signature
Re: проблемка с sshfs и nfs
да в /storage/etc лежит passwd, shadow для chroot /storage оки словлю покажу --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/561007960.20131105180...@hoster.kg
Re: проблемка с sshfs и nfs
Alexey Shalin c...@hoster.kg writes: да в /storage/etc лежит passwd, shadow для chroot /storage оки словлю покажу Насколько мне известно, расшаривать файлы /etc/fstab, /etc/passwd, /etc/shadow по nfs - неправильно, потому что нужны они ещё до того, как nfs-разделы начнут монтироваться. Скажите вот что: Вы каким-либо образом подменяете исходные варианты этих файлов при монтировании nfs-раздела? Содержатся ли в исходных вариантах искомые группы, в частности, группа www-data, которую скорее всего и ищет apache2? pgpqTbpTXLkFe.pgp Description: PGP signature
Re: проблемка с sshfs и nfs
Добрый день нет не подменяю сама система грузиться без проблем т.к. у нее есть свой passwd shadow и fstab как только система подгрузилась, монтируется storage - который на данный момент содержит debootstrap stable релиз debian (на момент всей установки это был lenny) так вот как только смонтировался /storage монтируется с файлого сервера через sshfs каталог /storage/etc в /var/lib/extrausers для использования libnss-extrausers т.е. грубо говоря когда я вне чрута сделаю\ getent passwd я увиже юзеров как целевой системы так и из chroot более подробно тут http://ru.ispdoc.com/index.php/%D0%9C%D0%B0%D1%81%D1%82%D0%B5%D1%80-%D1%83%D0%B7%D0%B5%D0%BB --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1104197338.20131106090...@hoster.kg
проблемка с sshfs и nfs
Добрый утр возникает след. проблемка ... =)) есть nfs шара, которая на ноды моунтится в диру /storage и уже в /storage через chroot запукаются приложения вот .. и там же на ноде монтируется через sshfs каталог /storage в /var/lib/extrausers 192.168.15.71:/ 807G 673G 94G 88% /storage /etc/fstab 192.168.15.71:/ /storage nfs4 rw,rsize=32768,wsize=32768,proto=tcp,hard,intr,noatime,noauto,actimeo=240,acregmin=10,acdirmin=30,timeo=50,async 0 0 sshfs /usr/bin/sshfs 192.168.15.71:/storage/etc /var/lib/extrausers 192.168.15.71:/storage/etc 807G 673G 94G 88% /var/lib/extrausers так вот проблема вот в чем, иногда апач не старует и говорит, что apache2 bad group name хотя группа есть 100%, потому что если сделать cat /etc/group и попробовать запустить апач сразу стартует без проблем если вызвать в vi /etc/group то можно найти группу тоже пробовал так #!/bin/bash cat /etc/group /dev/null /etc/init.d/apache2 start не помогает.. а вот если отдельно в шеле тоже самое делать .. работает без проблем --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/512223467.20131105103...@hoster.kg
Re: проблемка с sshfs и nfs
5 ноября 2013 г., 11:35 пользователь Alexey Shalin написал: так вот проблема вот в чем, иногда апач не старует и говорит, что apache2 bad group name #!/bin/bash И что в вашем скрипте сугубо башевого? cat /etc/group /dev/null Как это могло бы помочь? /etc/init.d/apache2 start
Re: проблемка с sshfs и nfs
так если в выполнить в баше теже команды cat /etc/group /etc/init.d/apache2 start стартует без проблем есть подозрение, что апач или система хранить в кэше файл со старыми данными при действии cat /etc/group кэш обновляется и апач стартует без проблем --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/131997203.20131105115...@hoster.kg
Re: проблемка с sshfs и nfs
Alexey Shalin c...@hoster.kg writes: при действии cat /etc/group кэш обновляется и апач стартует без проблем Я лично не знаю такого кэша. Вообще, нефиг придумывать объяснения из воздуха. Лог апача показывайте. pgpEtOLtm8t7X.pgp Description: PGP signature
Re: проблемка с sshfs и nfs
при запуске апача он сам выдает почему не может стартануть и показываеть он apache2 bad group name name_group делаю cat /etc/group | grep name_group (или cat /etc/group) выводиться name_group:x:3912: после чего апач стартует без проблем кэш например nfs как вариант.. как словлю ошибку обязательно покажу порядок действия.. но он всегда не изменен bash#/etc/init.d/apache2 start apache2 bad group name name_group bash#cat /etc/group bash#/etc/init.d/apache2 start и все запускается ошибка появлется не всегда...но появляется --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/265681570.20131105132...@hoster.kg
Re: NFS high cpu usage
в основном блоги держат местные юзеры .. для них доступ открыт, а вот для всех остальных закрыт брут да есть... но это и помогло не особо сильно load average: 8.03, 10.04, 7.95 плавает.. иногда доходит до 12 потом уходит вниз опять до 2-3.. потом опять вверх и постоянно так маячит =) --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/375125797.20131024121...@hoster.kg
Re: NFS high cpu usage
вот запустил на одном сервер nfsiostat 1 это самый пик 192.168.15.71:/ mounted on /storage: op/s rpc bklog 547.000.00 read: ops/skB/s kB/op retrans avg RTT (ms)avg exe (ms) 68.000 908.148 13.3550 (0.0%) 13.132 13.162 write:ops/skB/s kB/op retrans avg RTT (ms)avg exe (ms) 31.000 623.637 20.1170 (0.0%) 7.581 7.645 nfsstat Server rpc stats: calls badcalls badclntbadauthxdrcall 0 0 0 0 0 Client rpc stats: calls retransauthrefrsh 1936492327 7068 1936731584 Client nfs v4: null read writecommit open open_conf 0 0% 7093408 0% 13484954 0% 1515440% 628589818 32% 320650976 16% open_noatopen_dgrdclosesetattr fsinfo renew 64425 0% 72307 0% 627629447 32% 1504410 0% 2 0% 10053 0% setclntidconfirm lock locktlockuaccess 190% 190% 3235009 0% 0 0% 3112120 0% 87088212 4% getattr lookup lookup_root remove rename link 219749301 11% 9105259 0% 1 0% 1061275 0% 77562 0% 6 0% symlink create pathconf statfs readlink readdir 5 0% 1004140% 1 0% 8329500% 1559 0% 2267805 0% server_caps delegreturn getacl setacl fs_locations rel_lkowner 3 0% 7701500 0% 0 0% 0 0% 0 0% 3063112 0% secinfo exchange_id create_ses destroy_ses sequence get_lease_t 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% reclaim_comp layoutgetgetdevinfo layoutcommit layoutreturn getdevlist 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% (null) 0 0% 192.168.15.71:/ mounted on /storage: op/s rpc bklog 1187.000.00 read: ops/skB/s kB/op retrans avg RTT (ms)avg exe (ms) 51.000 829.742 16.2690 (0.0%) 20.314 20.392 write:ops/skB/s kB/op retrans avg RTT (ms)avg exe (ms) 2.000 1.004 0.5020 (0.0%) 2.000 2.000 0 nfs_readpage() calls read 0 pages 44 nfs_readpages() calls read 222 pages (5.0 pages per call) 47 nfs_updatepage() calls 2 nfs_writepage() calls wrote 2 pages 7485 nfs_writepages() calls wrote 0 pages (0.0 pages per call) смонтировано так 192.168.15.71:/ /storage nfs4 rw,rsize=32768,wsize=32768,proto=tcp,hard,intr,noatime,noauto,actimeo=240,acregmin=10,acdirmin=30,timeo=50,async 0 0 --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/8910365410.20131024121...@hoster.kg --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1212275692.20131024130...@hoster.kg
Re: NFS high cpu usage
может кому и поможет не факт что именно в этом была причина но после долго анализа ... пыток... было обнаружено офигенная арава коннектов к wp-login.php закрыл в фаерволе обращение к этому файлы(на роутере) и нагрузка на NAS серваке с 7.50 упала сразу до 4.. сейчас падает до 1.5 = --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1138836305.20131023174...@hoster.kg
Re: NFS high cpu usage
Alexey Shalin c...@hoster.kg writes: была обнаружено офигенная арава коннектов к wp-login.php Вот тут должно возникнуть подозрение на брут. Посмотрели в логах веб-сервера, откуда стучатся? закрыл в фаерволе обращение к этому файлы(на роутере) Это, конечно, взломщиков отрубило. Но не расстроится ли владелец блога, когда он сам не сможет воспользоваться скриптом логина? pgpZ8ANnfJdcj.pgp Description: PGP signature
Re: NFS high cpu usage
Вот сейчас LA 21 atop PRC | sys 60.04s | user 0.10s | #proc348 | #zombie0 | #exit 0 | CPU | sys581% | user 1% | irq 26% | idle175% | wait 17% | cpu | sys 73% | user 0% | irq 4% | idle 20% | cpu003 w 3% | cpu | sys 73% | user 0% | irq 3% | idle 20% | cpu006 w 3% | cpu | sys 73% | user 0% | irq 3% | idle 22% | cpu007 w 1% | cpu | sys 72% | user 0% | irq 4% | idle 22% | cpu001 w 2% | cpu | sys 72% | user 0% | irq 4% | idle 21% | cpu000 w 4% | cpu | sys 72% | user 0% | irq 3% | idle 23% | cpu002 w 2% | cpu | sys 73% | user 0% | irq 2% | idle 23% | cpu005 w 2% | cpu | sys 71% | user 0% | irq 4% | idle 24% | cpu004 w 2% | CPL | avg1 22.24 | avg5 17.22 | avg15 17.03 | csw 100337 | intr 114999 | MEM | tot 27.5G | free 376.1M | cache 7.5G | buff 11.7G | slab7.8G | SWP | tot 24.1G | free 24.1G | | vmcom 101.8M | vmlim 37.9G | DSK | sdb | busy 32% | read 188 | write477 | avio4 ms | NET | transport | tcpi 95669 | tcpo 88046 | udpi 0 | udpo 0 | NET | network | ipi95685 | ipo88059 | ipfrw 0 | deliv 95685 | NET | eth0 1% | pcki 46989 | pcko 42842 | si 8971 Kbps | so 11 Mbps | NET | eth1 1% | pcki 47533 | pcko 42862 | si 9085 Kbps | so 11 Mbps | NET | bond0 | pcki 94522 | pcko 85704 | si 18 Mbps | so 23 Mbps | iotop Total DISK READ: 18.50 K/s | Total DISK WRITE: 425.58 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IOCOMMAND 30875 be/4 root3.70 K/s7.40 K/s 0.00 % 0.98 % [nfsd] 30876 be/4 root3.70 K/s 25.90 K/s 0.00 % 0.69 % [nfsd] 14450 be/4 root 11.10 K/s0.00 B/s 0.00 % 0.03 % python /usr/bin/iotop 30840 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30849 be/4 root0.00 B/s 18.50 K/s 0.00 % 0.00 % [nfsd] 30857 be/4 root0.00 B/s 33.31 K/s 0.00 % 0.00 % [nfsd] 30862 be/4 root0.00 B/s 29.61 K/s 0.00 % 0.00 % [nfsd] 30863 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30864 be/4 root0.00 B/s 40.71 K/s 0.00 % 0.00 % [nfsd] 30865 be/4 root0.00 B/s 59.21 K/s 0.00 % 0.00 % [nfsd] 30871 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30872 be/4 root0.00 B/s3.70 K/s 0.00 % 0.00 % [nfsd] 30878 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30885 be/4 root0.00 B/s 40.71 K/s 0.00 % 0.00 % [nfsd] 30887 be/4 root0.00 B/s 14.80 K/s 0.00 % 0.00 % [nfsd] 30893 be/4 root0.00 B/s0.00 B/s 0.00 % 0.00 % [nfsd] 30898 be/4 root0.00 B/s 33.31 K/s 0.00 % 0.00 % [nfsd] 30901 be/4 root0.00 B/s3.70 K/s 0.00 % 0.00 % [nfsd] 30903 be/4 root0.00 B/s 18.50 K/s 0.00 % 0.00 % [nfsd] 30905 be/4 root0.00 B/s 14.80 K/s 0.00 % 0.00 % [nfsd] 30911 be/4 root0.00 B/s 33.31 K/s 0.00 % 0.00 % [nfsd] 30913 be/4 root0.00 B/s 22.20 K/s 0.00 % 0.00 % [nfsd] 30915 be/4 root0.00 B/s 11.10 K/s 0.00 % 0.00 % [nfsd] 30929 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30930 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30943 be/4 root0.00 B/s 33.31 K/s 0.00 % 0.00 % [nfsd] 30954 be/4 root0.00 B/s 48.11 K/s 0.00 % 0.00 % [nfsd] 30959 be/4 root0.00 B/s7.40 K/s 0.00 % 0.00 % [nfsd] 30967 be/4 root0.00 B/s 29.61 K/s 0.00 % 0.00 % [nfsd] 30916 be/4 root0.00 B/s 11.10 K/s 0.00 % 0.00 % [nfsd] чуть позже PRC | sys 61.68s | user 0.08s | #proc350 | #zombie0 | #exit 4 | CPU | sys599% | user 1% | irq 26% | idle156% | wait 19% | cpu | sys 75% | user 0% | irq 3% | idle 20% | cpu000 w 1% | cpu | sys 75% | user 0% | irq 4% | idle 18% | cpu006 w 3% | cpu | sys 75% | user 0% | irq 4% | idle 18% | cpu001 w 3% | cpu | sys 75% | user 0% | irq 4% | idle 20% | cpu003 w 1% | cpu | sys 75% | user 0% | irq 3% | idle 19% | cpu002 w 3% | cpu | sys 75% | user 0% | irq 3% | idle 21% | cpu005 w 1% | cpu | sys 74% | user 0% | irq 3% | idle 18% | cpu004 w 5% | cpu | sys 74% | user 0% | irq 2% | idle 21% | cpu007 w 2% | CPL | avg1 13.58 | avg5 16.01 | avg15 16.65 | csw 104366 | intr 108379 | MEM | tot 27.5G | free 334.7M | cache 7.5G | buff 11.7G | slab7.7G | SWP | tot 24.1G | free 24.1G | | vmcom 101.9M | vmlim 37.9G | DSK | sdb | busy 36% | read 171 | write306 | avio7 ms | DSK | sda | busy 0% | read 0 | write 3 | avio0 ms | NET | transport | tcpi 85126 | tcpo 81587 | udpi 12 | udpo 12
Re: NFS high cpu usage
могу предположить, что LA как-то связано с nfs процессами в статусе D --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/397082912.20131021132...@hoster.kg
NFS high cpu usage
Сведение о Сервер Intel(R) Xeon(TM) MP CPU 3.16GHz root@nas2-backup:~# cat /proc/cpuinfo | grep cpu | wc -l 32 хотя топ показывает от 0 до 7 free -g total used free sharedbuffers cached Mem:27 27 0 0 8 11 не осталось свободной памяти ...=(( а так 27GB RAID контроллер *-storage description: RAID bus controller product: MegaRAID vendor: LSI Logic / Symbios Logic physical id: 7 bus info: pci@:13:07.0 logical name: scsi2 version: 01 width: 32 bits clock: 66MHz capabilities: storage pm bus_master cap_list rom configuration: driver=megaraid latency=32 resources: irq:134 memory:d8ff-d8ff(prefetchable) memory:df60-df60(prefetchable) Диски: 10x148Gb SCSI U320 15k /dev/sdb1 807G 674G 93G 88% /storage /dev/sdb1 /storage ext4 defaults,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0,noatime,nodiratime,noacl,errors=remount-ro 0 1 сетевые карты ethtool -i eth0 driver: tg3 version: 3.116 firmware-version: 5704-v3.36, ASFIPMIc v2.36 bus-info: :10:02.0 ethtool -i eth1 driver: tg3 version: 3.116 firmware-version: 5704-v3.36, ASFIPMIc v2.36 bus-info: :10:02.0 ifconfig bond0 Link encap:Ethernet HWaddr 00:0f:1f:ff:d6:4d inet addr:192.168.15.71 Bcast:192.168.15.255 Mask:255.255.255.0 inet6 addr: fe80::20f:1fff:feff:d64d/64 Scope:Link UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1 RX packets:1062818202 errors:0 dropped:3918 overruns:0 frame:0 TX packets:1041317321 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:258867684559 (241.0 GiB) TX bytes:396569192650 (369.3 GiB) на сервере запушен только nfs-kernel-server uname -a Linux nas2-backup 2.6.32-5-amd64 #1 SMP Sun Sep 23 10:07:46 UTC 2012 x86_64 GNU/Linux Debian 6. Что имеем... раз в день или два.. нагрузка LA растет семи-мильными шагами... Но сделав рестатр nfs LA падает до 1 или 2 через часиков 10 начнет растит хотя не всегда так --- сервер подключен линком в DLINK (не управляемый свитч) далее к этому свитчу подключена делл-шасси на серверах, что поставлены в эту шасси на интерфейсах dropped:0 а вот сервера, которые подключены CISCO Catalyst 2948G (кажется) есть dropped:х Вопрос.. почему растет нагрузка LA, что заметно на чтении и записи .. на серверах, которые монтируют /storage куда рыть.. куда копать.. куда тыкать .. я уже все перепробовал --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/972853259.20131018151...@hoster.kg
Re: NFS high cpu usage
Alexey Shalin ☫ → To debian-russian@lists.debian.org @ Fri, Oct 18, 2013 15:16 +0600 Сведение о Сервер Intel(R) Xeon(TM) MP CPU 3.16GHz root@nas2-backup:~# cat /proc/cpuinfo | grep cpu | wc -l 32 хотя топ показывает от 0 до 7 free -g total used free sharedbuffers cached Mem:27 27 0 0 8 11 не осталось свободной памяти ...=(( а так 27GB http://www.linuxatemyram.com/ -- Bright regards, Sergey Korobitsin, Chief Research Officer Arta Software, http://arta.kz/ xmpp:underta...@jabber.arta.kz -- Спектакль - это не совокупность образов; нет, Спектакль это общественные отношения, обусловленные образами. -- Ги-Эрнст Дебор, Общество Спектакля -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131018091426.ga22...@undertaker.dev.lan.arta.kz
Re: NFS high cpu usage
free -g total used free sharedbuffers cached Mem:27 27 0 0 8 12 -/+ buffers/cache: 6 21 Swap: 24 0 24 если вы про это - то да в кэше 21Gb :) --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/131164198.20131018152...@hoster.kg
Re: NFS high cpu usage
On Fri, Oct 18, 2013 at 03:16:02PM +0600, Alexey Shalin wrote: Вопрос.. почему растет нагрузка LA, что заметно на чтении и записи .. на серверах, которые монтируют /storage куда рыть.. куда копать.. куда тыкать .. я уже все перепробовал Странно, казалось бы при росте нагрузки в первую очередь следует задаться вопросом, кто и почему кушает процессор... Вы не забыли поинтересоваться, что такое LA? :) -- Eugene Berdnikov -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131018093307.gb11...@cio.protva.ru
Re: NFS high cpu usage
LA - load average: ввиду того, что на серваке только крутиться nfsd в top - он только и есть... типа\ 30842 root 20 0 000 S 16 0.0 1:01.17 nfsd 30896 root 20 0 000 S 13 0.0 1:30.96 nfsd 30955 root 20 0 000 R 13 0.0 0:39.93 nfsd 30840 root 20 0 000 S 11 0.0 0:53.49 nfsd 30948 root 20 0 000 S 10 0.0 0:54.35 nfsd 30963 root 20 0 000 S9 0.0 1:20.05 nfsd 30914 root 20 0 000 S8 0.0 0:59.11 nfsd 30960 root 20 0 000 S8 0.0 0:53.85 nfsd 30957 root 20 0 000 S7 0.0 1:09.49 nfsd 30882 root 20 0 000 R3 0.0 1:46.03 nfsd 30915 root 20 0 000 S2 0.0 1:42.61 nfsd или так 30842 root 20 0 000 D 23 0.0 1:03.34 nfsd 30963 root 20 0 000 S 22 0.0 1:21.67 nfsd 30955 root 20 0 000 D 22 0.0 0:41.79 nfsd 30889 root 20 0 000 D 20 0.0 1:03.72 nfsd 30966 root 20 0 000 D 17 0.0 1:12.57 nfsd 30840 root 20 0 000 S 16 0.0 0:55.29 nfsd 30914 root 20 0 000 S 15 0.0 0:59.71 nfsd 30967 root 20 0 000 D 13 0.0 1:33.34 nfsd 30882 root 20 0 000 S 10 0.0 1:47.53 nfsd --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/238395068.20131018154...@hoster.kg
Re: NFS high cpu usage
On Fri, Oct 18, 2013 at 03:49:45PM +0600, Alexey Shalin wrote: LA - load average: Знание расшифровки аббревиатуры ещё не означает, что понятен смысл этой величины и/или алгоритм её вычисления. Похоже, непонятен. ввиду того, что на серваке только крутиться nfsd в top - он только и есть... типа\ 30842 root 20 0 000 S 16 0.0 1:01.17 nfsd 30896 root 20 0 000 S 13 0.0 1:30.96 nfsd 30955 root 20 0 000 R 13 0.0 0:39.93 nfsd 30840 root 20 0 000 S 11 0.0 0:53.49 nfsd 30948 root 20 0 000 S 10 0.0 0:54.35 nfsd 30963 root 20 0 000 S9 0.0 1:20.05 nfsd 30914 root 20 0 000 S8 0.0 0:59.11 nfsd 30960 root 20 0 000 S8 0.0 0:53.85 nfsd 30957 root 20 0 000 S7 0.0 1:09.49 nfsd 30882 root 20 0 000 R3 0.0 1:46.03 nfsd 30915 root 20 0 000 S2 0.0 1:42.61 nfsd или так 30842 root 20 0 000 D 23 0.0 1:03.34 nfsd 30963 root 20 0 000 S 22 0.0 1:21.67 nfsd 30955 root 20 0 000 D 22 0.0 0:41.79 nfsd 30889 root 20 0 000 D 20 0.0 1:03.72 nfsd 30966 root 20 0 000 D 17 0.0 1:12.57 nfsd 30840 root 20 0 000 S 16 0.0 0:55.29 nfsd 30914 root 20 0 000 S 15 0.0 0:59.71 nfsd 30967 root 20 0 000 D 13 0.0 1:33.34 nfsd 30882 root 20 0 000 S 10 0.0 1:47.53 nfsd Замечательно. Вы имеете кучу работающих процессов nfsd, так что отличное от нуля LA неудивительно. Почему бы не озадачиться теперь вопросом, чем они занимаются, и насколько это нормально? :) -- Eugene Berdnikov -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20131018100952.gf17...@protva.ru
Re: NFS high cpu usage
On 18/10/13 13:16, Alexey Shalin wrote: root@nas2-backup:~# cat /proc/cpuinfo | grep cpu | wc -l 32 А можно поинтересоваться, что означает эта цифра? -- sergio. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/52610bf0@sergio.spb.ru
Re: NFS high cpu usage
да есть рабочие процессы nfsd данная папка /storage монтируется на 8 веб нод + 1 основная нода на веб нодах - апач для отдачи динамики 1 основной - nginx для отдачи статики на просторах тырнета написано, что нужно 2 коннект от nfs client в один кабель т.е. грубо говоря nfs client1 nfs client2 идут по одному ethrnet cable nfs client3 nfs client4 идут по след. ethrnet cable --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/887486349.20131018163...@hoster.kg
Re: NFS high cpu usage
я просто не то вырезал через grep :) нужно было грепать по processor cat /proc/cpuinfo | grep processor | wc -l 8 8 процессоров --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/668235670.20131018163...@hoster.kg
Re: NFS high cpu usage
18.10.2013 14:31, Alexey Shalin пишет: да есть рабочие процессы nfsd данная папка /storage монтируется на 8 веб нод + 1 основная нода на веб нодах - апач для отдачи динамики 1 основной - nginx для отдачи статики Дисковая система на nfs-сервере действительно способна пережевать нагрузку от этих девяти нод? Чтение\запись там не последовательные. на просторах тырнета написано, что нужно 2 коннект от nfs client в один кабель Это полезно для разгрузки прерываний от сетевой карты, при настроенном smp affinity или если клиенты упёрлись в сеть по скорости. я просто не то вырезал через grep :) нужно было грепать по processor cat /proc/cpuinfo | grep processor | wc -l 8 8 процессоров grep -c MHz /proc/cpuinfo Короче и по ресурсам менее затратно. -- Best regards, Mikhail - WWW: http://www.antmix.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: NFS high cpu usage
18.10.2013 14:48, Mikhail A Antonov пишет: 18.10.2013 14:31, Alexey Shalin пишет: да есть рабочие процессы nfsd данная папка /storage монтируется на 8 веб нод + 1 основная нода на веб нодах - апач для отдачи динамики 1 основной - nginx для отдачи статики Дисковая система на nfs-сервере действительно способна пережевать нагрузку от этих девяти нод? Чтение\запись там не последовательные. В догонку - посмотри atop и iotop -- Best regards, Mikhail - WWW: http://www.antmix.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: NFS high cpu usage
iostat Total DISK READ: 323.37 K/s | Total DISK WRITE: 166.33 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IOCOMMAND 30847 be/4 root7.43 K/s 360.53 K/s 0.00 % 57.73 % [nfsd] 30845 be/4 root0.00 B/s 341.95 K/s 0.00 % 49.46 % [nfsd] 30955 be/4 root 118.94 K/s 397.70 K/s 0.00 % 41.39 % [nfsd] 30914 be/4 root 78.05 K/s 293.63 K/s 0.00 % 36.32 % [nfsd] 30899 be/4 root0.00 B/s0.00 B/s 0.00 % 30.57 % [nfsd] 30940 be/4 root0.00 B/s 193.28 K/s 0.00 % 14.35 % [nfsd] 30852 be/4 root 26.02 K/s7.43 K/s 0.00 % 13.66 % [nfsd] 30848 be/4 root 52.04 K/s 341.95 K/s 0.00 % 11.67 % [nfsd] 30948 be/4 root 40.89 K/s 557.53 K/s 0.00 % 9.70 % [nfsd] 30925 be/4 root0.00 B/s 449.74 K/s 0.00 % 9.39 % [nfsd] вот поймал load average: 2.10, 2.53, 2.55 atop PRC | sys 16.22s | user 0.08s | #proc350 | #zombie0 | #exit 0 | CPU | sys157% | user 1% | irq 23% | idle589% | wait 30% | cpu | sys 21% | user 0% | irq 3% | idle 75% | cpu006 w 1% | cpu | sys 20% | user 0% | irq 3% | idle 71% | cpu000 w 6% | cpu | sys 20% | user 0% | irq 3% | idle 77% | cpu001 w 0% | cpu | sys 20% | user 0% | irq 3% | idle 76% | cpu002 w 1% | cpu | sys 20% | user 0% | irq 3% | idle 77% | cpu007 w 0% | cpu | sys 19% | user 0% | irq 3% | idle 78% | cpu004 w 0% | cpu | sys 19% | user 0% | irq 3% | idle 70% | cpu003 w 8% | cpu | sys 19% | user 0% | irq 3% | idle 65% | cpu005 w 14% | CPL | avg1 1.92 | avg52.54 | avg15 2.56 | csw 188389 | intr 100103 | MEM | tot 27.5G | free 373.6M | cache 12.6G | buff8.7G | slab5.6G | SWP | tot 24.1G | free 24.1G | | vmcom 101.6M | vmlim 37.9G | DSK | sdb | busy 19% | read 56 | write336 | avio4 ms | DSK | sda | busy 0% | read 0 | write 1 | avio0 ms | NET | transport | tcpi 59236 | tcpo 59143 | udpi 0 | udpo 0 | NET | network | ipi59249 | ipo59156 | ipfrw 0 | deliv 59250 | NET | eth1 0% | pcki 29809 | pcko 29547 | si 5636 Kbps | so 7564 Kbps | NET | eth0 0% | pcki 29747 | pcko 29295 | si 5632 Kbps | so 7537 Kbps | NET | bond0 | pcki 59556 | pcko 58842 | si 11 Mbps | so 15 Mbps | но думаю нужно подождать когда будет опять нагрузка --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/10110572803.20131018171...@hoster.kg
Re: проблема с NFS
On Thu, Sep 26, 2013 at 10:41:15AM +0600, Alexey Shalin wrote: # jumbo frame support mtu 9000 -- ну уверен нужно ли это, т.к у всех остальных машинах 1500 Это вполне вероятно и причина. У всех устройств в одной IP-подесети должен быть один размер MTU. Иначе устройства со стандартным MTU не смогут принять большие фреймы, будет чёрная дыра, т.e. тайм-ауты. bonding тоже надо аккуратно делать, его надо со строны свича включать с LACP. Иначе возможна расконфигурация и тоже - черная дыра. я пробовал hard вместо soft... не особо лучше было soft маунт на NFS это путь к потере данных, его нельзя использовать на RW. а зачем nginx на nfs ? с нфс монтится chroot окружение, которое используется на клиентских машинах, от общего низя =( Ошибки были похоже с лога nginx, но раз там всё на NFS то надо быть ещё внимательнее. на счет железа, вообщем-то мы планируем перейти на другую полку, уже на сас винтах, правда винты там 7.2к =( спасибо за вектор движения NL-SAS на 7.2K скорее всего будут ещё медленнее чем античные SCSI. В общем, надо смотреть на iostat -xdk 2 и если там svctm больше 10-20, то это тормозят диски. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20130929214434.gb17...@vesuvius.wapper.ru
Re: проблема с NFS
Спасибо будем наблюдать!!! --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4110225686.20130930092...@hoster.kg
Re: проблема с NFS
On Wed, Sep 25, 2013 at 08:53:22AM +0600, Alexey Shalin wrote: проблема такая Sep 25 02:30:52 ispcp kernel: [25965.872151] nfs: server 192.168.15.71 not responding, timed out 2013/09/24 18:56:17 [crit] 10657#0: *847376 open() summer-camp-block.jpg failed (5: Input/output error), client: 95.108.158.234, server: blc.com.kg, request: GET /sites/default/files/images/summer-camp-block.jpg HTTP/1.1, host: www.blc.com.kg NFS-сервер не справляется (особенно во время бекапа) или сеть слишком загружена. Из-за soft-маунта на клиентах вылезают ошибки в аппликухах. soft маунт это зло. Подскажите куда копать Много чего можно попробовать, но самое деятельное - поставить nginx на сервер nfs и делать proxypass, так лучше работает. Или вообще отказаться от общего хранилища в пользу дисков в серверах. Запускать бекап с ionice и/или так чтобы он не вымывал кеш. Проверить что сеть гигабитная и вынести бекапную сеть на другие интерфейсы Апгрейдить NFS-сервер на актуальное железо. SCSI U320 в конце 2013 это музейные экспонаты, как перфокарты. Если есть деньги, то netapp поставить %) -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20130925151859.ga17...@vesuvius.wapper.ru
Re: проблема с NFS
Добрый день на сервере настроен bonding для двух интерфейсов, auto bond0 iface bond0 inet static address 192.168.15.71 netmask 255.255.255.0 network 192.168.15.0 gateway 192.168.15.230 slaves eth0 eth1 # jumbo frame support mtu 9000 -- ну уверен нужно ли это, т.к у всех остальных машинах 1500 # Load balancing and fault tolerance bond-mode balance-rr bond-miimon 100 bond-downdelay 200 bond-updelay 200 dns-nameservers 192.168.15.230 я пробовал hard вместо soft... не особо лучше было а зачем nginx на nfs ? с нфс монтится chroot окружение, которое используется на клиентских машинах, от общего низя =( на счет железа, вообщем-то мы планируем перейти на другую полку, уже на сас винтах, правда винты там 7.2к =( спасибо за вектор движения на счет интерфейсом тоже дельное предложение сеть точно 1Gb --- Старший Системный Администратор Алексей Шалин ОсОО Хостер kg - http://www.hoster.kg ул. Ахунбаева 123 (здание БГТС) h...@hoster.kg -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/1841871536.20130926104...@hoster.kg
проблема с NFS
Доброе всем утро!! У меня возникла проблема с NFS (вернее она уже давно существует) проблема такая имеется 1 NFS сервер (DELL 6800 CPU Intel(R) Xeon(TM) MP CPU 3.16GHz x 8, Памяти 27 гигов) к нему подключена полка с SCSI винтами U320 15k .. в RAID 5 смонтирован сюда этот диск /dev/sdb1 807G 681G 86G 89% /storage Монтируется так /dev/sdb1 /storage ext4 defaults,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0,noatime,nodiratime,noacl,errors=remount-ro 0 1 раздается через nfs так /storage 192.168.15.0/24(rw,async,secure,no_root_squash,no_all_squash,no_subtree_check,fsid=root,no_acl) apt-cache showpkg nfs-kernel-server Package: nfs-kernel-server Versions: 1:1.2.2-4squeeze2 (/var/lib/apt/lists/ftp.ru.debian.org_debian_dists_stable_main_binary-amd64_Packages) (/var/lib/dpkg/status) Description Language: File: /var/lib/apt/lists/ftp.ru.debian.org_debian_dists_stable_main_binary-amd64_Packages MD5: 899bf536fe9edad1d8a30a8fada5180d Reverse Depends: zfs-fuse,nfs-kernel-server rgmanager,nfs-kernel-server nfs-common,nfs-kernel-server 1:1.0.7-5 ltsp-server,nfs-kernel-server ltsp-server-standalone,nfs-kernel-server harden-servers,nfs-kernel-server fai-server,nfs-kernel-server fai-quickstart,nfs-kernel-server education-main-server,nfs-kernel-server Dependencies: 1:1.2.2-4squeeze2 - libblkid1 (2 2.16) libc6 (2 2.3) libcomerr2 (2 1.01) libgssapi-krb5-2 (2 1.6.dfsg.2) libgssglue1 (0 (null)) libk5crypto3 (2 1.6.dfsg.2) libkrb5-3 (2 1.6.dfsg.2) libnfsidmap2 (0 (null)) librpcsecgss3 (0 (null)) libwrap0 (2 7.6-4~) nfs-common (5 1:1.2.2-4squeeze2) ucf (0 (null)) lsb-base (2 1.3-9ubuntu3) knfs (0 (null)) nfs-server (0 (null)) knfs (0 (null)) nfs-server (0 (null)) Provides: 1:1.2.2-4squeeze2 - nfs-server knfs Reverse Provides: cat /etc/default/nfs-kernel-server # Number of servers to start up RPCNFSDCOUNT=100 # Runtime priority of server (see nice(1)) RPCNFSDPRIORITY=0 # Options for rpc.mountd. # If you have a port-based firewall, you might want to set up # a fixed port here using the --port option. For more information, # see rpc.mountd(8) or http://wiki.debian.org/?SecuringNFS RPCMOUNTDOPTS=--manage-gids # Do you want to start the svcgssd daemon? It is only required for Kerberos # exports. Valid alternatives are yes and no; the default is no. NEED_SVCGSSD= # Options for rpc.svcgssd. RPCSVCGSSDOPTS= На этом серваке стоит Debian 6 root@nas2-backup:~# uname -a Linux nas2-backup 2.6.32-5-amd64 #1 SMP Sun Sep 23 10:07:46 UTC 2012 x86_64 GNU/Linux root@nas2-backup:~# root@nas2-backup:~# cat /etc/debian_version 6.0.5 root@nas2-backup:~# Данная шара /storage раздается на 10 компов Монтируется так 192.168.15.71:/ /storage nfs4 rw,rsize=65000,wsize=65000,proto=tcp,soft,intr,noatime,noauto,actimeo=240,acregmin=10,acdirmin=30,timeo=50,async 0 0 так вот в логах можно найти такое 2013/09/24 18:56:17 [crit] 10657#0: *847376 open() summer-camp-block.jpg failed (5: Input/output error), client: 95.108.158.234, server: blc.com.kg, request: GET /sites/default/files/images/summer-camp-block.jpg HTTP/1.1, host: www.blc.com.kg причем много.. потом это сообщение пропадает и все вроде бы работает, но во время такой ошибки.. ессно файлы не зачитываются так это происходит ночью в основном (пред. ошибка была когда сервер nfs был не доступен) так вот ночью с nfs сервера делается rsync На другой сервер.. возможно из-за этого и выходит такая ошибка так же есть такие ошибки Sep 25 02:30:52 ispcp kernel: [25965.872151] nfs: server 192.168.15.71 not responding, timed out Sep 25 02:30:52 ispcp kernel: [25965.872159] nfs: server 192.168.15.71 not responding, timed out Sep 25 02:30:52 ispcp kernel: [25965.872163] nfs: server 192.168.15.71 not responding, timed out Sep 25 04:12:37 ispcp kernel: [32071.136033] nfs: server 192.168.15.71 not responding, timed out Sep 25 05:38:37 ispcp kernel: [37230.976215] nfs: server 192.168.15.71 not responding, timed out Sep 25 05:43:14 ispcp kernel: [37507.584032] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:49 ispcp kernel: [38803.232052] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296104] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296116] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296120] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296125] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296129] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296133] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296136] nfs: server 192.168.15.71 not responding, timed out Sep 25 06:04:57 ispcp kernel: [38811.296140] nfs: server 192.168.15.71 not responding, timed out Sep 25
Re: Загрузка Debian 7.1 при недоступном сервер NFS
В общем никак. При любых комбинациях параметров нфс оно тупит при загрузке и ставит машину раком при потере связи с сервером во время работы. On Aug 20, 2013 7:04 PM, Bogdan bog...@gmail.com wrote: Добрый день. Монтирую шату с опциями: defaults,vers=3,bg При недоступности сервера процесс загрузки клиентского компьютера занимает очень много времени. Я ожидал, что bg решит эту проблему, видимо эта магия работает как-то иначе. Расскажите пожалуйста, как прописать шару в fstab, чтобы её недоступность не сказывалась на скорости загрузки. Спасибо! -- WBR, Bogdan B. Rudas
Re: Загрузка Debian 7.1 при недоступном сервер NFS
Может, проблема в том, что тупит не сам NFS, а просто выставлены большие таймауты? Сервера нет, пакеты уходят в пустоту. Попробуйте поиграться с параметром монтирования timeo. P.S.: поправьте у себя подпись — должно быть два знака «-» и один пробел после них. У вас пробела нет, поэтому почтовые клиенты считают что это простой текст и копируют его в ответы. 21.08.2013 13:01, Alex Frost пишет: В общем никак. При любых комбинациях параметров нфс оно тупит при загрузке и ставит машину раком при потере связи с сервером во время работы. On Aug 20, 2013 7:04 PM, Bogdan bog...@gmail.com mailto:bog...@gmail.com wrote: Добрый день. Монтирую шату с опциями: defaults,vers=3,bg При недоступности сервера процесс загрузки клиентского компьютера занимает очень много времени. Я ожидал, что bg решит эту проблему, видимо эта магия работает как-то иначе. Расскажите пожалуйста, как прописать шару в fstab, чтобы её недоступность не сказывалась на скорости загрузки. Спасибо! -- WBR, Bogdan B. Rudas -- С уважением, Алексей Важнов jabber: vazh...@jabber.ru, vazh...@jabber.org -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/5214b2ec.9080...@inbox.ru
Re: Загрузка Debian 7.1 при недоступном сервер NFS
On Wed, Aug 21, 2013 at 06:30:36PM +0600, Alexey Vazhnov wrote: Может, проблема в том, что тупит не сам NFS, а просто выставлены большие таймауты? Таймаут, очевидно, дефолтный. P.S.: поправьте у себя подпись — должно быть два знака «-» и один пробел после них. У вас пробела нет, поэтому почтовые клиенты считают что это простой текст и копируют его в ответы. Это не так. Впрочем, вы ещё и отвечаете не тому, так что это нормально. -- WBR, wRAR -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20130821125903.ga21...@belkar.wrar.name
Загрузка Debian 7.1 при недоступном сервер NFS
Добрый день. Монтирую шату с опциями: defaults,vers=3,bg При недоступности сервера процесс загрузки клиентского компьютера занимает очень много времени. Я ожидал, что bg решит эту проблему, видимо эта магия работает как-то иначе. Расскажите пожалуйста, как прописать шару в fstab, чтобы её недоступность не сказывалась на скорости загрузки. Спасибо! -- WBR, Bogdan B. Rudas
Re: Загрузка Debian 7.1 при недоступном сервер NFS
On Tue, Aug 20, 2013 at 07:04:12PM +0300, Bogdan wrote: При недоступности сервера процесс загрузки клиентского компьютера занимает очень много времени. Больше минуты? -- WBR, wRAR signature.asc Description: Digital signature
Re: Загрузка Debian 7.1 при недоступном сервер NFS
20.08.2013 22:04, Bogdan пишет: Добрый день. Монтирую шату с опциями: defaults,vers=3,bg При недоступности сервера процесс загрузки клиентского компьютера занимает очень много времени. Я ожидал, что bg решит эту проблему, видимо эта магия работает как-то иначе. Расскажите пожалуйста, как прописать шару в fstab, чтобы её недоступность не сказывалась на скорости загрузки. Спасибо! -- WBR, Bogdan B. Rudas Посмотрите на опцию soft -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/5213a7d2.1020...@ruta.ru
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
а что если поправить init-скрипт nfs-сервера, чтобы он запускался с другим umask? start-stop-daemon штатно умеет (man на предмет опции -k|--umask). если я правильно понял философию этого дела, umask - это свойство процесса, и устанавливается он при запуске оного. менять системный юмаск я бы не стал - потом насоздается системных файлов с доступом кому попало, проблем не оберешься -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20130320123327.006ae...@ulf.tvoe.tv
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
{} \; # find $PATH_TO_FOLDER -type d -exec chmod g+s {} \; # Укажите папку в которой следить за изменениями в файлах PATH_TO_FOLDER=/storage/shares/common case $1 in start|) rm -f /tmp/inotifywait.log /usr/local/bin/inotifywait.sh $PATH_TO_FOLDER /tmp/inotifywait.log 21 ;; restart|reload|force-reload) echo Error: argument '$1' not supported 2 exit 3 ;; stop) # killall inotifywait ??? ;; *) echo Usage: inotifywait.sh [start|stop] 2 exit 3 ;; esac : 4. Выполнить включение авто запуска данного скрипта при старте системы. update-rc.d inotifywait-common defaults 5. Изменить значение параметра влияющего на работу API ядра inotify. Сначала проверим сколько файлов и каталогов у нас используется сейчас: ls -R /storage/shares/common | grep -c '' 665291 Соответственно значения 100 будет более чем достаточно для этой папки на первое время. Если планируется следить еще за одной папкой - рассчитываем это значение исходя из большего из двух значений. Вносим изменения в sysctl.conf echo /etc/sysctl.conf echo # This specifies a limit on the number of watches that can be associated with each inotify instance. /etc/sysctl.conf echo fs.inotify.max_user_watches=100 /etc/sysctl.conf Также стоит отметить, что файлы создаваемые пользователями принадлежат основной группе пользователя. При создании файла/папки на общем ресурсе в нашем случае NFS нам необходимо помимо разрешений для группы изменять также и саму группу объекта ФС. Для решения данной задачи будем использовать GUID бит для нашего родительского каталога. Данный бит также будет наследоваться всеми дочерними каталогами и файлами Установим его нашему сетевому каталогу: chown g+s /storage/shares/common Пару слов о расширенных списках контроля доступа в Линукс: Они являются дополнением к обычной системе разрешений и задают именно дополнительные права отличные от основного пользователя и группы. На них распространяются те же правила что и на обычные права. Системная маска к ним также применяется. В ACL есть понятие прав по умолчанию. Так вот если они заданы, то 1. Они наследуются дочерними каталогами 2. К ним также применяется системная маска, то есть если в системной маске каких бит доступа нет, то и в расширенных acl этих бит доступа не будет! Если они не заданы, то 1. Новому объекту задаются права пользователя, группы и других при помощи стандартного системного механизма. 2. К ним также применяется системная маска, то есть если в системной маске каких бит доступа нет, то и в расширенных acl этих бит доступа не будет! По сути использовать их можно, если например необходимо разным группам пользователей сделать разные права соответственно один право только на чтение, другим на чтение и запись. И вообще их можно использовать для задания дополнительных прав пользователей. А default acl нужно использовать для наследования прав дополнительных пользователей и групп дочерними объектами, но при этом права для новых файлов вне зависимости от того, как они создаются будут обрезаться системной маской. В итоге самое главное - это системная маска. В связи с этим вопрос можно ли изменив значение системной маски изменить поведение наследования расширенных и обычных прав ? ОТВЕТ: ДА, но это повлияет на безопасность, так как файлы могут быть доступны на запись не только его владельцу. Пожалуйста! Поправите меня если я где то ошибаюсь? -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
Привет Владимир On 03/14/2013 05:59 AM, Владимир Скубриев wrote: У тебя решение с использованием inotify-wait ? Я написал демон на c++. В принципе уже работает, но хочу красоту навести. -- Сергей -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/khsk7j$36m$1...@ger.gmane.org
есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
Добрый день! Есть сервер NFS и расшареный каталог. В нем есть папка common которой установлены расширенные acl по умолчанию setfacl -m d:g:__USERS__:rwx common/ и установлена маска по умолчанию: setfacl -m d:m:rwx common/ Если зайти на сервер NFS локально и создать там файл и папку локально user@comp:/storage/shares/common# getfacl dir-local-created/ # file: dir-local-created/ # owner: root # group: __USERS__ # flags: -s- user::rwx group::rwx group:__USERS__:rwx mask::rwx other::r-x default:user::rwx default:group::rwx default:group:__USERS__:rwx default:mask::rwx default:other::r-x С папкой проблем нет: default:mask::rwx user@comp:/storage/shares/common# getfacl file-local-created # file: file-local-created # owner: root # group: __USERS__ user::rw- group::rwx#effective:rw- group:__USERS__:rwx#effective:rw- mask::rw- other::r-- С Файлом есть проблема: mask::rw- Маска поменялась. Я так понимаю в этом случае она все равно пересчитывается исходя из текущего (umask) и системного (/etc/login.defs) значений масок. Я прав ? Как быть ? Если хочется чтобы наследование работало исключительно в зависимости от того, какие разрешения заданы родительскому объекту ? А вот с NFS несколько другая история. user@comp:/storage/common$ getfacl file-created-with-default-acl-for-group-and-default-mask # file: file-created-with-default-acl-for-group-and-default-mask # owner: skubriev # group: __USERS__ user::rw- group::rwx#effective:rw- group:__USERS__:rwx#effective:rw- mask::rw- other::r-- При создании файла на при монтированном через nfs ресурсе файл создается с маской mask::rw- user@comp:/storage/common$ getfacl file-copy-from-home-with-default-acl-for-group-and-default-mask # file: file-copy-from-home-with-default-acl-for-group-and-default-mask # owner: skubriev # group: __USERS__ user::rw- group::rwx#effective:r-- group:__USERS__:rwx#effective:r-- mask::r-- other::r-- При копировании на при монтированный через nfs ресурс файл создается с маской mask::r-- Где здесь логика ? И почему наследование не работает, ну или работает но при этом подчиняется системному umask. Очень не хочется городит велосипед. Я имею в виду, что пока вижу только одно решение данной проблемы отдельным демоном следить за правами или изменениями в файловой системе и фиксить автоматом права на появляющиеся новый файлы. Я так понимаю тут тесно переплелись несколько компонентов системы начиная системными вызовами заканчивая NFS. Но ведь не может быть такого, что есть в Windows , с некоторых пор работает в mac os и не может быть реализовано на linux. А как вы решаете эту проблему? -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/5140610d.1070...@skubriev.ru
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
Привет Владимир On 03/13/2013 12:20 PM, Владимир Скубриев wrote: Очень не хочется городит велосипед. Я имею в виду, что пока вижу только одно решение данной проблемы отдельным демоном следить за правами или изменениями в файловой системе и фиксить автоматом права на появляющиеся новый файлы. Когда-то я столкнулся с такой же или похожей проблемой. Сейчас пишу демон для этих целей. Можно посмотреть на какой-нибудь существующий inotify - демон и доточить под эти нужды. -- C уважением, Сергей Спиридонов -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/khpout$3t5$1...@ger.gmane.org
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
On 03/13/2013 03:46 PM, Sergey Spiridonov wrote: Привет Владимир On 03/13/2013 12:20 PM, Владимир Скубриев wrote: Очень не хочется городит велосипед. Я имею в виду, что пока вижу только одно решение данной проблемы отдельным демоном следить за правами или изменениями в файловой системе и фиксить автоматом права на появляющиеся новый файлы. Когда-то я столкнулся с такой же или похожей проблемой. Сейчас пишу демон для этих целей. Можно посмотреть на какой-нибудь существующий inotify - демон и доточить под эти нужды. Привет! Да я в курсе на счета демона и inotify. По крайней мере задание так и звучало: Написать демона, разобраться с inotify - найти выход из положения. Но ведь теплоходостроение - не сложный путь! А я легких путей не ищу. Кстати ты на каком этапе по написанию демона ? Можешь поделится наработками ? Дабы я лишнюю работу не делал ? Могу конечно и присоединится к работе. У самого задача так стоит. Но если честно я против велосипедов. Поэтому конечно и задал вопрос. Подождем что скажут другие. Вдруг есть не простой - но более правильный вариант решения этой проблемы - космического характера. Получается что наша gnu/линукс которая так славится своей unixway философией загнала нас в тупик из которого пока выхода нет - кроме как сочинять велосипед. А что если изменить системный umask не пробывал как будет вести себя наследование ? Просто я еще не пробывал. -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/51406df7.6090...@skubriev.ru
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
On Wed, Mar 13, 2013 at 04:15:51PM +0400, Владимир Скубриев wrote: Получается что наша gnu/линукс которая так славится своей unixway философией загнала нас в тупик из которого пока выхода нет - кроме как сочинять велосипед. Может, изучить матчасть? Например, нет операции copy. У файловой системы другой API, в нём есть другие операции. Некоторые поддерживаются через протокол nfs, некоторые нет, но в любом случае сначала нужно выяснить, что именно делает программа, которая копирует файл (а она может вести себя по-разному в зависимости от параметров), и почему система так реагирует. А потом уже заниматься философией и обобщать... А что если изменить системный umask не пробывал как будет вести себя наследование ? Просто я еще не пробывал. Так сложно попробЫвать? -- Eugene Berdnikov -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20130313124812.gy32...@protva.ru
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
Привет Владимир On 03/13/2013 01:15 PM, Владимир Скубриев wrote: On 03/13/2013 03:46 PM, Sergey Spiridonov wrote: Кстати ты на каком этапе по написанию демона ? На этапе компилируется и даже запускается :) Читает конфигурацию из файла, обходит заданные деревья, реагирует на события. Можешь поделится наработками ? Дабы я лишнюю работу не делал ? Планирую через пару дней что-то рабочее иметь. Выложу куда-нить если ещё надо будет. -- С уважением, Сергей Спиридонов -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/khq0q5$jkh$1...@ger.gmane.org
Re: есть ли решение проблемы наследования acl mask при создании/копировании файлов через NFS
On 03/13/2013 06:00 PM, Sergey Spiridonov wrote: Привет Владимир On 03/13/2013 01:15 PM, Владимир Скубриев wrote: On 03/13/2013 03:46 PM, Sergey Spiridonov wrote: Кстати ты на каком этапе по написанию демона ? На этапе компилируется и даже запускается :) Читает конфигурацию из файла, обходит заданные деревья, реагирует на события. Можешь поделится наработками ? Дабы я лишнюю работу не делал ? Планирую через пару дней что-то рабочее иметь. Выложу куда-нить если ещё надо будет. У тебя решение с использованием inotify-wait ? Я сейчас сделал вот это: http://en.positon.org/post/A-solution-to-the-umask-problem%3A-inotify-to-force-permissions Сейчас проверяю как оно работает. -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru
Re: Производительность NFS при большом количестве клиентов.
Ну давай конкретизируем, так проще: 1. Есть 1 NFS-расшара на 500 Gb. Используется круглосуточно. 2. Есть 300 постоянных подключений (проекты программистские и связь с серверами работающими, соответственно файлов открыто уйма) 3. Сейчас используется 1 HP G7, рядом стоит второй такой же. 4. Сеть - 1 гигабит витой, на комутаторе Прокурва, в каждом серваке RAID10 по 600 гиг. 25.10.2012 00:44, Anatoly Molchanov пишет: Сначала нужно сформулировать условие задачи: 1. Описание ресурсов и характер их использования 2. Описание клиентов и степень их активности 3. Имеющееся железо (с учетом того, которое можно купить) - Сеть (оптика/витуха/инфинибэнд) - Диски/массивы и т.д. 24 октября 2012 г., 23:14 пользователь evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru написал: Хорошо, тогда дурацкий вопрос: как кластеризовать NFS? 24.10.2012 22:49, Anatoly Molchanov пишет: Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. 24 октября 2012 г., 22:21 пользователь evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru написал: Доброго времени суток! Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org mailto:debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org mailto:listmas...@lists.debian.org Archive: http://lists.debian.org/508831bf.1060...@mail.ru
Re: Производительность NFS при большом количестве клиентов.
На сервере четыре сетевых интерфейса? Можете примерно оценить производительность массивов? 25 октября 2012 г., 10:21 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Ну давай конкретизируем, так проще: 1. Есть 1 NFS-расшара на 500 Gb. Используется круглосуточно. 2. Есть 300 постоянных подключений (проекты программистские и связь с серверами работающими, соответственно файлов открыто уйма) 3. Сейчас используется 1 HP G7, рядом стоит второй такой же. 4. Сеть - 1 гигабит витой, на комутаторе Прокурва, в каждом серваке RAID10 по 600 гиг. 25.10.2012 00:44, Anatoly Molchanov пишет: Сначала нужно сформулировать условие задачи: 1. Описание ресурсов и характер их использования 2. Описание клиентов и степень их активности 3. Имеющееся железо (с учетом того, которое можно купить) - Сеть (оптика/витуха/инфинибэнд) - Диски/массивы и т.д. 24 октября 2012 г., 23:14 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Хорошо, тогда дурацкий вопрос: как кластеризовать NFS? 24.10.2012 22:49, Anatoly Molchanov пишет: Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. 24 октября 2012 г., 22:21 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Доброго времени суток! Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/508831bf.1060...@mail.ru
Re: Производительность NFS при большом количестве клиентов.
Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. 24 октября 2012 г., 22:21 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Доброго времени суток! Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. -- To UNSUBSCRIBE, email to debian-russian-REQUEST@lists.**debian.orgdebian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/**508831bf.1060...@mail.ruhttp://lists.debian.org/508831bf.1060...@mail.ru
Re: Производительность NFS при большом количестве клиентов.
On Wed, Oct 24, 2012 at 10:49:54PM +0400, Anatoly Molchanov wrote: Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. Подтверждаю. По каким-то причинам, NFS чувствителен к железу. У меня был случай (давно), когда сетевая карта вешала сервер _только_на_NFS_нагрузке. Уже не помню, ядерный был сервер или нет. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20121024185709.ga9...@nano.ioffe.rssi.ru
Re: Производительность NFS при большом количестве клиентов.
Хорошо, тогда дурацкий вопрос: как кластеризовать NFS? 24.10.2012 22:49, Anatoly Molchanov пишет: Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. 24 октября 2012 г., 22:21 пользователь evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru evgeny_ver...@mail.ru mailto:evgeny_ver...@mail.ru написал: Доброго времени суток! Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org mailto:debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org mailto:listmas...@lists.debian.org Archive: http://lists.debian.org/508831bf.1060...@mail.ru
Re: Производительность NFS при большом количестве клиентов.
Сначала нужно сформулировать условие задачи: 1. Описание ресурсов и характер их использования 2. Описание клиентов и степень их активности 3. Имеющееся железо (с учетом того, которое можно купить) - Сеть (оптика/витуха/инфинибэнд) - Диски/массивы и т.д. 24 октября 2012 г., 23:14 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Хорошо, тогда дурацкий вопрос: как кластеризовать NFS? 24.10.2012 22:49, Anatoly Molchanov пишет: Довольно давно я наблюдал подобную картину, проблема была в недостатке моих знаний и опыта. Много нагрузки было от сетевой активности, сетевая карта с собственным мозгом решила проблему. Сейчас для 100+ пользователей я бы сразу использовал кластер из двух (минимум) серверов. 24 октября 2012 г., 22:21 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Доброго времени суток! Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/508831bf.1060...@mail.ru
Re: Производительность NFS при большом количестве клиентов.
25 октября 2012 г., 0:21 пользователь evgeny_ver...@mail.ru evgeny_ver...@mail.ru написал: Рассказали мне тут знакомые любопытную историю. Столкнулись они с проблемой такого плана: если к NFS-ресурсу прицепляется сотня пользователей, то сервер выедает 100% ядра и на этом жалобно попискивая, умирает. Кто-нибудь сталкивался с таким поведением? Они, не найдя причин и решений, перешли на SMB и GlusterFS. Подобное встречал при использовании unfsd (userspace daemon). После смены на ядерный сервер - порядка 150-200 человек в офисе работали нормально. Ядро выжиралось только в часы пик (толпа народу пришла и включила рабочие станции). Да, маленькое примечание: nfs-сервер работал на Centos5. -- Stanislav
Re: nfs вместо самбы
Уажи свой ip. И покажи cat /etc/exports Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает?
Re: nfs вместо самбы
29.12.2011 11:13, Иван Лох пишет: On Thu, Dec 29, 2011 at 11:08:27AM +0700, Ivan Petrov wrote: Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? Например потому, что ресурс не экспортирован. А может быть из-за этого? --- Тем не менее каждый запрос RPC содержит идентификатор пользователя uid, инициировавшего запрос, и список идентификаторов групп gid, куда входит пользователь. Но эти идентификаторы используются не для аутентификации, а для определения прав доступа конкретного пользователя к файлам и каталогам. - -- With regards, Ivan Petrov ip2010petrov wow-wow yandex... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/jdgrg0$5tp$1...@dough.gmane.org
Re: nfs вместо самбы
Если просишь помощи в рассылки. То отвечай на заданные вопросы. Их не просто так задают. 29.12.2011 11:13, Иван Лох пишет: On Thu, Dec 29, 2011 at 11:08:27AM +0700, Ivan Petrov wrote: Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? Например потому, что ресурс не экспортирован. А может быть из-за этого? --- Тем не менее каждый запрос RPC содержит идентификатор пользователя uid, инициировавшего запрос, и список идентификаторов групп gid, куда входит пользователь. Но эти идентификаторы используются не для аутентификации, а для определения прав доступа конкретного пользователя к файлам и каталогам. -
nfs вместо самбы
Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? -- With regards, Ivan Petrov ip2010petrov wow-wow yandex... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/jdgp3t$oou$2...@dough.gmane.org
Re: nfs вместо самбы
On Thu, Dec 29, 2011 at 11:08:27AM +0700, Ivan Petrov wrote: Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? Например потому, что ресурс не экспортирован. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20111229041308.ga10...@nano.ioffe.rssi.ru
Re: nfs вместо самбы
29.12.2011 11:15, Andrey Bragin пишет: Уажи свой ip. И покажи cat /etc/exports Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? С удовольствием. Ув. Андрей, но только вечером, т.к. надо войти телнетом, поставить mc или что-то еще и прочитать настройки. А я подзабыл как это делается. Буду вспоминать -- With regards, Ivan Petrov ip2010petrov wow-wow yandex... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/jdgs3j$84i$2...@dough.gmane.org
Re: nfs вместо самбы
Телнетом наврятли по ssh надеюсь всетаки. ip посмотреть можно так: /sbin/ifconfig или /sbin/ip addr show файл экспотрата так: cat /etc/exports И выше я немого перепутал. Думал то был ответ на мой вопрос. С уважением, Брагин Андрей Системный администратор Группа компаний АРМАДА +7 (495) 797-6020 #1686 +7 (916) 668-3436 email: abra...@armd.ru В сообщении от 29 December 2011 08:59:28 автор Ivan Petrov написал: 29.12.2011 11:15, Andrey Bragin пишет: Уажи свой ip. И покажи cat /etc/exports Вдогонку к предыдущему письму: sudo mount -t nfs 192.168.0.1:/tmp/mnt/disk0_1 /mnt/wl500 -o rw mount.nfs: 192.168.0.1:/tmp/mnt/disk0_1 failed, reason given by server: Permission denied Почему сервер не пускает? С удовольствием. Ув. Андрей, но только вечером, т.к. надо войти телнетом, поставить mc или что-то еще и прочитать настройки. А я подзабыл как это делается. Буду вспоминать
венда, nfs, samba
есть у нас сетевой сервак nfs на котором мы между друг дружкой шарим музыку. появился вендузятник в сети, соответственно на одном из _клиентов_ поставили samba и расшарили nfs-смонтированную директорию. то есть схема такая nfs - клиент - самба - локалка - венда проблема следующая, если самба расшаривает локальные ресурсы, то венда их читает без проблем. если самба расшаривает то что смонтировано через nfs, то венда видит и читает содержимое каталогов, но при любом обращении к контенту файла (то есть например копирование) тупо зависает и висит. что интересно ни по таймаутам не выкидывает никак по другому. похоже что на каком-то mutex висит какой-то из серверов. сервер nfs - unfsd 0.9.21+dfsg-1 самба - 2:3.2.5-4lenny13 а вот если smbclient'ом попытаться файл скачать, то он повисев отваливается с надпись parallel_read returned NT_STATUS_IO_TIMEOUT getting file \music\test.mp3 of size 5648384 as portal_still_alive.mp3 SMBecho failed. Maybe server has closed the connection Receiving SMB: Server stopped responding есть какой-либо вариант пустить венду на nfs-шару? -- ... mpd is off . ''`. Dmitry E. Oboukhov : :’ : email: un...@debian.org jabber://un...@uvw.ru `. `~’ GPGKey: 1024D / F8E26537 2006-11-21 `- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537 signature.asc Description: Digital signature
Re: венда, nfs, samba
On Tue, 2010-11-30 at 20:46 +0300, Dmitry E. Oboukhov wrote: есть у нас сетевой сервак nfs на котором мы между друг дружкой шарим музыку. появился вендузятник в сети, соответственно на одном из _клиентов_ поставили samba и расшарили nfs-смонтированную директорию. то есть схема такая nfs - клиент - самба - локалка - венда проблема следующая, если самба расшаривает локальные ресурсы, то венда их читает без проблем. если самба расшаривает то что смонтировано через nfs, то венда видит и читает содержимое каталогов, но при любом обращении к контенту файла (то есть например копирование) тупо зависает и висит. Виснет винда или самба/nfs? Я натыкался когда-то на похожую проблему с расшариванием cifs mount point по nfs. В такой конфигурации NFS лочился при попытке обратиться к файлам в cifs mount point. Решения найдено не было. -- Stas
Re: венда, nfs, samba
проблема следующая, если самба расшаривает локальные ресурсы, то венда их читает без проблем. если самба расшаривает то что смонтировано через nfs, то венда видит и читает содержимое каталогов, но при любом обращении к контенту файла (то есть например копирование) тупо зависает и висит. SM Виснет винда или самба/nfs? похоже что самба. smbclient отваливается по таймауту, а венда не отваливается. соответственно венда висит до перезагрузки. -- ... mpd is off . ''`. Dmitry E. Oboukhov : :’ : email: un...@debian.org jabber://un...@uvw.ru `. `~’ GPGKey: 1024D / F8E26537 2006-11-21 `- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537 signature.asc Description: Digital signature
Re: венда, nfs, samba
On Tue, Nov 30, 2010 at 08:46:23PM +0300, Dmitry E. Oboukhov wrote: есть у нас сетевой сервак nfs на котором мы между друг дружкой шарим музыку. появился вендузятник в сети, соответственно на одном из _клиентов_ поставили samba и расшарили nfs-смонтированную директорию. Для nfs есть клиенты под винду. Например... http://support.microsoft.com/kb/324055 -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20101130183810.ga16...@nano.ioffe.rssi.ru
Re: венда, nfs, samba
есть у нас сетевой сервак nfs на котором мы между друг дружкой шарим музыку. появился вендузятник в сети, соответственно на одном из _клиентов_ поставили samba и расшарили nfs-смонтированную директорию. ИЛ Для nfs есть клиенты под винду. Например... ИЛ http://support.microsoft.com/kb/324055 не, установка софта под венду не подходит: я в ее админинге не шарю, сломаю еще чего-нидь, потом копайся восстанавливай. -- ... mpd is off . ''`. Dmitry E. Oboukhov : :’ : email: un...@debian.org jabber://un...@uvw.ru `. `~’ GPGKey: 1024D / F8E26537 2006-11-21 `- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537 signature.asc Description: Digital signature
Re: венда, nfs, samba
А поставить самбу туда где nfs стоить нельзя? Можно ещё webdav попробовать. -- sergio. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4cf54b56.4030...@sergio.spb.ru
Re: венда, nfs, samba
30.11.2010 21:38, Иван Лох пишет: On Tue, Nov 30, 2010 at 08:46:23PM +0300, Dmitry E. Oboukhov wrote: есть у нас сетевой сервак nfs на котором мы между друг дружкой шарим музыку. появился вендузятник в сети, соответственно на одном из _клиентов_ поставили samba и расшарили nfs-смонтированную директорию. Для nfs есть клиенты под винду. Например... http://support.microsoft.com/kb/324055 У меня на Windows7 не заработала кириллица в именах файлов и папок. На этом эксперименты закончились. Подозреваю что оно не умеет кириллицу на nfs. Да, у меня на nfs utf8. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4cf54d3a.20...@solarnet.ru
Re: венда, nfs, samba
s А поставить самбу туда где nfs стоить нельзя? неа, там локалка в общем это openvpn и два шлюза :) -- ... mpd is off . ''`. Dmitry E. Oboukhov : :’ : email: un...@debian.org jabber://un...@uvw.ru `. `~’ GPGKey: 1024D / F8E26537 2006-11-21 `- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537 signature.asc Description: Digital signature
Re: nfs
Dmitry Nezhevenko wrote: On Sat, Sep 04, 2010 at 10:59:20PM +0600, Andrey Rahmatullin wrote: On Sat, Sep 04, 2010 at 11:55:18PM +0700, Andrei Lomov wrote: Отдельно хочется отметить удобство когда все машины пишут в лог имя localhost. :-/ У Вас не так? У нас нормальный хостнейм пишется. Может у человека на всех машинах хостенйм localhost =) Правильно -- Всего доброго, А.Л. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/i5vusm$v4...@dough.gmane.org
Re: nfs
05.09.2010 15:28, Andrei Lomov пишет: Dmitry Nezhevenko wrote: On Sat, Sep 04, 2010 at 10:59:20PM +0600, Andrey Rahmatullin wrote: On Sat, Sep 04, 2010 at 11:55:18PM +0700, Andrei Lomov wrote: Отдельно хочется отметить удобство когда все машины пишут в лог имя localhost. :-/ У Вас не так? У нас нормальный хостнейм пишется. Может у человека на всех машинах хостенйм localhost =) Правильно Наверное это особый вид извращения. Ага, открываем десяток ssh на разные машины и долго тупим на какой же мы машине сейчас находимся и с какой же это машины логи (при разборе месяцев через 3-5). Примеров удобства куча. -- Best regards, Mikhail. - xmpp: ant...@stopicq.ru www: http://www.antmix.pp.ru/ signature.asc Description: OpenPGP digital signature
Re: nfs
On Sat, Sep 04, 2010 at 11:55:18PM +0700, Andrei Lomov wrote: Отдельно хочется отметить удобство когда все машины пишут в лог имя localhost. :-/ У Вас не так? У нас нормальный хостнейм пишется. -- WBR, wRAR (ALT Linux Team) Powered by the ALT Linux fortune(6): Дупы, еще куда ни шло. А трипы зачем? ;-) -- zerg in sisyphus@ signature.asc Description: Digital signature
Re: nfs
On Sat, Sep 04, 2010 at 10:59:20PM +0600, Andrey Rahmatullin wrote: On Sat, Sep 04, 2010 at 11:55:18PM +0700, Andrei Lomov wrote: Отдельно хочется отметить удобство когда все машины пишут в лог имя localhost. :-/ У Вас не так? У нас нормальный хостнейм пишется. Может у человека на всех машинах хостенйм localhost =) -- WBR, Dmitry signature.asc Description: Digital signature
nfs
Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny Машина main отдает свою директорию /mnt/pool: /etc/exports: /mnt/pool client(rw,async) small(rw,async) Вот так она загружается: ... Sep 2 12:10:19 localhost kernel: [ 15.825702] NET: Registered protocol family 10 Sep 2 12:10:19 localhost kernel: [ 15.825702] lo: Disabled Privacy Extensions Sep 2 12:10:19 localhost kernel: [ 17.045409] RPC: Registered udp transport module. Sep 2 12:10:19 localhost kernel: [ 17.045409] RPC: Registered tcp transport module. Sep 2 12:10:19 localhost kernel: [ 17.181414] Installing knfsd (copyright (C) 1996 o...@monad.swb.de). Sep 2 12:10:19 localhost rsyslogd: [origin software=rsyslogd swVersion=3.18.6 x-pid=2777 x-info=http://www.rsyslog.com;] restart Sep 2 12:10:20 localhost kernel: [ 19.835085] lp0: using parport0 (interrupt-driven). Sep 2 12:10:20 localhost kernel: [ 19.849419] ppdev: user-space parallel port driver Sep 2 12:10:21 localhost kernel: [ 21.107408] NFSD: Using /var/lib/nfs/v4recovery as the NFSv4 state recovery directory Sep 2 12:10:21 localhost kernel: [ 21.127210] NFSD: starting 90-second grace period ... Sep 2 12:10:24 localhost dhcdbd: Started up. Sep 2 12:10:33 localhost kernel: [ 35.218123] ip_tables: (C) 2000-2006 Netfilter Core Team Sep 2 12:10:41 localhost kernel: [ 43.492169] RPC: multiple fragments per record not supported Sep 2 12:11:29 localhost kernel: [ 93.135475] RPC: multiple fragments per record not supported Sep 2 12:11:47 localhost kernel: [ 112.379231] RPC: multiple fragments per record not supported ... Sep 2 12:26:00 localhost kernel: [ 996.474816] RPC: multiple fragments per record not supported Sep 2 12:26:18 localhost kernel: [ 1016.119333] RPC: multiple fragments per record not supported Sep 2 12:29:00 localhost kernel: [ 1186.462031] NET: Registered protocol family 4 Sep 2 12:29:00 localhost kernel: [ 1186.554340] NET: Registered protocol family 3 Sep 2 12:29:00 localhost kernel: [ 1186.634340] NET: Registered protocol family 5 Sep 2 12:44:28 localhost kernel: [ 2200.224015] RPC: multiple fragments per record not supported Машина client монтирует ресурс: /etc/fstab: main:/mnt/pool /mnt/p...@main nfs user,soft,tcp,retrans=10,timeo=1,retry=1,bg,noauto,rsize=8192,wsize=8192 0 Пытаемся писать в подмонтированную директорию: ... Sep 2 12:48:54 localhost kernel: [ 972.780152] RPC: Registered udp transport module. Sep 2 12:48:54 localhost kernel: [ 972.780158] RPC: Registered tcp transport module. Sep 2 12:48:54 localhost kernel: [ 972.780163] RPC: Registered tcp NFSv4.1 backchannel transport module. Sep 2 12:48:54 localhost kernel: [ 972.851436] Slow work thread pool: Starting up Sep 2 12:48:54 localhost kernel: [ 972.851570] Slow work thread pool: Ready Sep 2 12:48:54 localhost kernel: [ 972.851748] FS-Cache: Loaded Sep 2 12:48:54 localhost kernel: [ 972.936752] FS-Cache: Netfs 'nfs' registered for caching Sep 2 12:48:54 localhost kernel: [ 972.941493] svc: failed to register lockdv1 RPC service (errno 97). Sep 2 12:50:27 localhost kernel: [ 1065.628076] nfs: server main not responding, timed out Sep 2 12:50:27 localhost kernel: [ 1065.628107] nfs: server main not responding, timed out ... Интуиции никакой, что дальше делать? -- Всего доброго, А.Л. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/i5nfee$4s...@dough.gmane.org
Re: nfs
Andrei Lomov - debian-russian@lists.debian.org @ Thu, 02 Sep 2010 13:15:56 +0700: AL Sep 2 12:48:54 localhost kernel: [ 972.941493] svc: failed to register AL lockdv1 RPC service (errno 97). Мне навскидку представляется, что источник проблемы - тут. А руки, по старой памяти, могут расти из отсутствия portmap. На клиенте, кажется, а не на сервере. Могут, впрочем, быть и другие несовместимости. На сервере стоит nfs-kernel-server? Userspace реализации NFS у нас сейчас (по-разному) неработоспособны. -- Машины пока еще от копирования защищены хитрой немецкой технологией сборка трезвымAlex Korchmar в bjndsl$1p2...@ddt.demos.su -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/82727...@wizzle.ran.pp.ru
Re: nfs
On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny 1) rpcinfo -p 2) nfswatch Ну и проверить, что одна версия протокола используется... -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20100902104246.ga15...@nano.ioffe.rssi.ru
Re: nfs
Artem Chuprina wrote: Andrei Lomov - debian-russian@lists.debian.org @ Thu, 02 Sep 2010 13:15:56 +0700: AL Sep 2 12:48:54 localhost kernel: [ 972.941493] svc: failed to register AL lockdv1 RPC service (errno 97). Мне навскидку представляется, что источник проблемы - тут. А руки, по старой памяти, могут расти из отсутствия portmap. На клиенте, кажется, а не на сервере. Могут, впрочем, быть и другие несовместимости. На сервере стоит nfs-kernel-server? Да. Плохо понимаю ситуацию, на всякий случай вот rpcinfo: main:/home/andrei# rpcinfo -p прог-ма верс прото порт 102 tcp111 portmapper 102 udp111 portmapper 1000241 udp 59413 status 1000241 tcp 53006 status 132 udp 2049 nfs 133 udp 2049 nfs 134 udp 2049 nfs 1000211 udp 44310 nlockmgr 1000213 udp 44310 nlockmgr 1000214 udp 44310 nlockmgr 132 tcp 2049 nfs 133 tcp 2049 nfs 134 tcp 2049 nfs 1000211 tcp 56632 nlockmgr 1000213 tcp 56632 nlockmgr 1000214 tcp 56632 nlockmgr 151 udp 35607 mountd 151 tcp 34308 mountd 152 udp 35607 mountd 152 tcp 34308 mountd 153 udp 35607 mountd 153 tcp 34308 mountd client:/mnt/pool/home0/andrei# rpcinfo -p прог-ма верс прото порт 102 tcp111 portmapper 102 udp111 portmapper 1000241 udp 41345 status 1000241 tcp 58861 status 1000211 udp 49846 nlockmgr 1000213 udp 49846 nlockmgr 1000214 udp 49846 nlockmgr 1000211 tcp 32817 nlockmgr 1000213 tcp 32817 nlockmgr 1000214 tcp 32817 nlockmgr -- Всего доброго, А.Л. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/i5o8ec$d4...@dough.gmane.org
Re: nfs
Иван Лох wrote: On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny 1) rpcinfo -p 2) nfswatch nfswatch -- может, не так? на нахожу Ну и проверить, что одна версия протокола используется... А как проверить? Версии пакетов nfs-common одинаковые -- Всего доброго, А.Л. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/i5o8ip$d4...@dough.gmane.org
Re: nfs
On Thu, Sep 02, 2010 at 08:24:56PM +0700, Andrei Lomov wrote: Иван Лох wrote: On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny 1) rpcinfo -p 2) nfswatch nfswatch -- может, не так? на нахожу http://nfswatch.sourceforge.net/ nfswatch: Таблица версий: 4.99.11-1 0 500 ftp://ftp.fi.debian.org unstable/main Packages 990 ftp://ftp.fi.debian.org testing/main Packages В stable -- нет -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20100902135319.gb15...@nano.ioffe.rssi.ru
Re: nfs
On Thu, Sep 02, 2010 at 05:53:19PM +0400, Иван Лох wrote: On Thu, Sep 02, 2010 at 08:24:56PM +0700, Andrei Lomov wrote: Иван Лох wrote: On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny 1) rpcinfo -p 2) nfswatch nfswatch -- может, не так? на нахожу http://nfswatch.sourceforge.net/ nfswatch: Таблица версий: 4.99.11-1 0 500 ftp://ftp.fi.debian.org unstable/main Packages 990 ftp://ftp.fi.debian.org testing/main Packages В stable -- нет Версия из Squeeze собирается коректно в Lenny pbuilder с немного обновленными пакетами (из lenny-backports). Если Вы на i386, вот собранный пакет: http://devel.ringlet.net/net/nfswatch/debian/ Если Вы на другой архитектуре, может, кто-нибудь еще соберет пакет (простой Lenny pbuilder с новым debhelper-ом); все нужное (собственно, .dsc, .orig.tar.gz и debian.tar.gz) - на указанной ссылке, а в сущности то же самое как в Squeeze. Всего лучшего, Петр -- Peter Pentchev r...@space.bgr...@ringlet.netr...@freebsd.org PGP key:http://people.FreeBSD.org/~roam/roam.key.asc Key fingerprint FDBA FD79 C26F 3C51 C95E DF9E ED18 B68D 1619 4553 What would this sentence be like if pi were 3? signature.asc Description: Digital signature
Re: nfs
On Thu, Sep 02, 2010 at 05:30:37PM +0300, Peter Pentchev wrote: On Thu, Sep 02, 2010 at 05:53:19PM +0400, Иван Лох wrote: On Thu, Sep 02, 2010 at 08:24:56PM +0700, Andrei Lomov wrote: Иван Лох wrote: On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Не могу разобраться, почему не идет запись по nfs ... На двух машинах стоит lenny 1) rpcinfo -p 2) nfswatch nfswatch -- может, не так? на нахожу http://nfswatch.sourceforge.net/ nfswatch: Таблица версий: 4.99.11-1 0 500 ftp://ftp.fi.debian.org unstable/main Packages 990 ftp://ftp.fi.debian.org testing/main Packages В stable -- нет Версия из Squeeze собирается коректно в Lenny pbuilder с немного обновленными пакетами (из lenny-backports). Если Вы на i386, вот собранный пакет: http://devel.ringlet.net/net/nfswatch/debian/ Если Вы на другой архитектуре, может, кто-нибудь еще соберет пакет (простой Lenny pbuilder с новым debhelper-ом); все нужное (собственно, .dsc, .orig.tar.gz и debian.tar.gz) - на указанной ссылке, а в сущности то же самое как в Squeeze. А если Вы хотите собирать пакет в Lenny, а не в pbuilder из Squeeze, тогда Вам будет нужен пакет в Debian source format 1.0, не 3.0 (quilt). Такой есть на той же ссылке, но с другой версии (lenny-backports): http://devel.ringlet.net/net/nfswatch/debian/nfswatch_4.99.11-1~bpo50+1.dsc Всего лучшего, Петр -- Peter Pentchev r...@space.bgr...@ringlet.netr...@freebsd.org PGP key:http://people.FreeBSD.org/~roam/roam.key.asc Key fingerprint FDBA FD79 C26F 3C51 C95E DF9E ED18 B68D 1619 4553 because I didn't think of a good beginning of it. signature.asc Description: Digital signature
Re: nfs
On Thu, Sep 02, 2010 at 01:15:56PM +0700, Andrei Lomov wrote: Машина client монтирует ресурс: /etc/fstab: main:/mnt/pool /mnt/p...@main nfs user,soft,tcp,retrans=10,timeo=1,retry=1,bg,noauto,rsize=8192,wsize=8192 0 Должно быть: hard,bg,intr,tcp,ver=3 и user (если надо) soft - это зло, а значения rsize/wsize тут лет на 15 устарели, сейчас они по дефолту 1MB. /mnt/pool на main это нормальная ФС или какая-то экзотика через fuse? Sep 2 12:48:54 localhost kernel: [ 972.780158] RPC: Registered tcp transport module. Отдельно хочется отметить удобство когда все машины пишут в лог имя localhost. :-/ -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20100902163545.gb20...@pompeii.v.shared.ru
Баги NFS
Всем привет. Может кто-нибудь подсказать в чем могут быть траблы с NFS? Окружение: * Сервер на debian lenny, клиент на убунте 10.04. * Сеть Wifi g. * На сервере расшарены папки по nfs4 (до этого был nfs3 и те же проблемы): /srv/nfs4 192.168.0.0/16(ro,nohide,sync,no_subtree_check,insecure,root_squash,fsid=0) /srv/nfs4/storage1 192.168.0.0/16(rw,nohide,sync,no_subtree_check,insecure,root_squash) /srv/nfs4/storage2 192.168.0.0/16(rw,nohide,sync,no_subtree_check,insecure,root_squash) /srv/nfs4/torrent 192.168.0.0/16(rw,nohide,async,no_subtree_check,insecure,root_squash) /srv/nfs4/workspace 192.168.0.0/16(rw,nohide,sync,no_subtree_check,insecure,root_squash) /srv/nfs4/cd1 192.168.0.0/16(ro,nohide,async,no_subtree_check,insecure,root_squash) /srv/nfs4/cd2 192.168.0.0/16(ro,nohide,async,no_subtree_check,insecure,root_squash) /srv/nfs4/cd3 192.168.0.0/16(ro,nohide,async,no_subtree_check,insecure,root_squash) на клиенте подключены как обычно (сейчас посмотреть не могу, может чуть позже) Проблема: папки нормально открываются с клиента и с ними можно работать. Запускаю, например, проигрывание mp3 файлов. Проигрываеться рандомное кол-во секунд (от 0 до нескольких часов) после чего выдает ошибку неверный дискриптор файла и естественно все обрывается. Еще инфа: Если монтировать папки по sshfs то все нормально =), никаких сбоев не наблюдается. Сомнения: наверное дело не в NFS а в Wifi, но см. sshfs... Так можно как-нибудь сделать работу WiFi/NFS более стабильной. Или хотя бы найти и разобраться в чем именно проблема? -- Roman V. Nikolaev mail:rsha...@rambler.ru icq: 198-364-657 jabber: rsha...@jabber.org site:http://www.rshadow.ru signature.asc Description: OpenPGP digital signature