Re: проблема с NFS

2013-09-29 Пенетрантность Pavel Ammosov
On Thu, Sep 26, 2013 at 10:41:15AM +0600, Alexey Shalin wrote:
 # jumbo frame support
 mtu 9000 -- ну уверен нужно ли это, т.к у всех остальных машинах 1500

Это вполне вероятно и причина. У всех устройств в одной IP-подесети должен быть
один размер MTU. Иначе устройства со стандартным MTU не смогут принять большие
фреймы, будет чёрная дыра, т.e. тайм-ауты.

bonding тоже надо аккуратно делать, его надо со строны свича включать с LACP.
Иначе возможна расконфигурация и тоже - черная дыра.

 
 я пробовал hard вместо soft... не особо лучше было

soft маунт на NFS это путь к потере данных, его нельзя использовать на RW.

 а зачем nginx на nfs ? с нфс монтится chroot окружение, которое используется
 на клиентских машинах, от общего низя =(

Ошибки были похоже с лога nginx, но раз там всё на NFS то надо быть ещё
внимательнее.

 на счет железа, вообщем-то мы планируем перейти на другую полку, уже на сас
 винтах, правда винты там 7.2к =( спасибо за вектор движения

NL-SAS на 7.2K скорее всего будут ещё медленнее чем античные SCSI.

В общем, надо смотреть на iostat -xdk 2 и если там svctm больше 10-20, то это
тормозят диски.


-- 
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/20130929214434.gb17...@vesuvius.wapper.ru



Re: проблема с NFS

2013-09-29 Пенетрантность Alexey Shalin
Спасибо будем наблюдать!!!

---
Старший Системный Администратор
Алексей Шалин
ОсОО Хостер kg - http://www.hoster.kg
ул. Ахунбаева 123 (здание БГТС)
h...@hoster.kg


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/4110225686.20130930092...@hoster.kg



Re: проблема с NFS

2013-09-25 Пенетрантность Pavel Ammosov
On Wed, Sep 25, 2013 at 08:53:22AM +0600, Alexey Shalin wrote:
 проблема такая
 Sep 25 02:30:52 ispcp kernel: [25965.872151] nfs: server 192.168.15.71 not 
 responding, timed out
 2013/09/24 18:56:17 [crit] 10657#0: *847376 open() summer-camp-block.jpg 
 failed (5: Input/output error), client: 95.108.158.234, server: blc.com.kg, 
 request: GET /sites/default/files/images/summer-camp-block.jpg HTTP/1.1, 
 host: www.blc.com.kg

NFS-сервер не справляется (особенно во время бекапа) или сеть слишком 
загружена. 
Из-за soft-маунта на клиентах вылезают ошибки в аппликухах. soft маунт это зло.

 Подскажите куда копать

Много чего можно попробовать, но самое деятельное - поставить nginx на сервер
nfs и делать proxypass, так лучше работает. Или вообще отказаться от общего
хранилища в пользу дисков в серверах.

Запускать бекап с ionice и/или так чтобы он не вымывал кеш.

Проверить что сеть гигабитная и вынести бекапную сеть на другие интерфейсы

Апгрейдить NFS-сервер на актуальное железо. SCSI U320 в конце 2013 это музейные 
экспонаты, как перфокарты. 
Если есть деньги, то netapp поставить %)


-- 
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/20130925151859.ga17...@vesuvius.wapper.ru



Re: проблема с NFS

2013-09-25 Пенетрантность Alexey Shalin
Добрый день
на сервере настроен bonding для двух интерфейсов,
auto bond0
iface bond0 inet static
address 192.168.15.71
netmask 255.255.255.0
network 192.168.15.0
gateway 192.168.15.230
slaves eth0 eth1
# jumbo frame support
mtu 9000 -- ну уверен нужно ли это, т.к у всех остальных машинах 1500
# Load balancing and fault tolerance
bond-mode balance-rr
bond-miimon 100
bond-downdelay 200
bond-updelay 200
dns-nameservers 192.168.15.230

я пробовал hard вместо soft... не особо лучше было
а зачем nginx на nfs ? с нфс монтится chroot окружение, которое используется на 
клиентских машинах, от общего низя =(
на счет железа, вообщем-то мы планируем перейти на другую полку, уже на сас 
винтах, правда винты там 7.2к =( 
спасибо за вектор движения

на счет интерфейсом тоже дельное предложение 
сеть точно 1Gb

---
Старший Системный Администратор
Алексей Шалин
ОсОО Хостер kg - http://www.hoster.kg
ул. Ахунбаева 123 (здание БГТС)
h...@hoster.kg


--
To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org
with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org
Archive: http://lists.debian.org/1841871536.20130926104...@hoster.kg



проблема с NFS

2013-09-24 Пенетрантность Alexey Shalin
Доброе всем утро!!
У  меня  возникла  проблема  с  NFS  (вернее она уже давно существует)
проблема такая

имеется 1 NFS сервер (DELL 6800 CPU Intel(R) Xeon(TM) MP CPU 3.16GHz x
8, Памяти 27 гигов)
к нему подключена полка с SCSI винтами U320 15k ..  в RAID 5
смонтирован сюда этот диск
/dev/sdb1 807G  681G   86G  89% /storage

Монтируется так
/dev/sdb1 /storage ext4 
defaults,usrjquota=aquota.user,grpjquota=aquota.group,jqfmt=vfsv0,noatime,nodiratime,noacl,errors=remount-ro
 0 1

раздается через nfs так
/storage 
192.168.15.0/24(rw,async,secure,no_root_squash,no_all_squash,no_subtree_check,fsid=root,no_acl)

 apt-cache showpkg nfs-kernel-server
Package: nfs-kernel-server
Versions:
1:1.2.2-4squeeze2 
(/var/lib/apt/lists/ftp.ru.debian.org_debian_dists_stable_main_binary-amd64_Packages)
 (/var/lib/dpkg/status)
 Description Language:
 File: 
/var/lib/apt/lists/ftp.ru.debian.org_debian_dists_stable_main_binary-amd64_Packages
  MD5: 899bf536fe9edad1d8a30a8fada5180d


Reverse Depends:
  zfs-fuse,nfs-kernel-server
  rgmanager,nfs-kernel-server
  nfs-common,nfs-kernel-server 1:1.0.7-5
  ltsp-server,nfs-kernel-server
  ltsp-server-standalone,nfs-kernel-server
  harden-servers,nfs-kernel-server
  fai-server,nfs-kernel-server
  fai-quickstart,nfs-kernel-server
  education-main-server,nfs-kernel-server
Dependencies:
1:1.2.2-4squeeze2 - libblkid1 (2 2.16) libc6 (2 2.3) libcomerr2 (2 1.01) 
libgssapi-krb5-2 (2 1.6.dfsg.2) libgssglue1 (0 (null)) libk5crypto3 (2 
1.6.dfsg.2) libkrb5-3 (2 1.6.dfsg.2) libnfsidmap2 (0 (null)) librpcsecgss3 (0 
(null)) libwrap0 (2 7.6-4~) nfs-common (5 1:1.2.2-4squeeze2) ucf (0 (null)) 
lsb-base (2 1.3-9ubuntu3) knfs (0 (null)) nfs-server (0 (null)) knfs (0 (null)) 
nfs-server (0 (null))
Provides:
1:1.2.2-4squeeze2 - nfs-server knfs
Reverse Provides:


 cat /etc/default/nfs-kernel-server
# Number of servers to start up
RPCNFSDCOUNT=100

# Runtime priority of server (see nice(1))
RPCNFSDPRIORITY=0

# Options for rpc.mountd.
# If you have a port-based firewall, you might want to set up
# a fixed port here using the --port option. For more information,
# see rpc.mountd(8) or http://wiki.debian.org/?SecuringNFS
RPCMOUNTDOPTS=--manage-gids

# Do you want to start the svcgssd daemon? It is only required for Kerberos
# exports. Valid alternatives are yes and no; the default is no.
NEED_SVCGSSD=

# Options for rpc.svcgssd.
RPCSVCGSSDOPTS=



На этом серваке стоит Debian 6
root@nas2-backup:~# uname -a
Linux nas2-backup 2.6.32-5-amd64 #1 SMP Sun Sep 23 10:07:46 UTC 2012 x86_64 
GNU/Linux
root@nas2-backup:~#

root@nas2-backup:~# cat /etc/debian_version
6.0.5
root@nas2-backup:~#


Данная шара /storage раздается на 10 компов

Монтируется так
192.168.15.71:/ /storage nfs4 
rw,rsize=65000,wsize=65000,proto=tcp,soft,intr,noatime,noauto,actimeo=240,acregmin=10,acdirmin=30,timeo=50,async
 0 0

так вот в логах можно найти такое

2013/09/24 18:56:17 [crit] 10657#0: *847376 open() summer-camp-block.jpg 
failed (5: Input/output error), client: 95.108.158.234, server: blc.com.kg, 
request: GET /sites/default/files/images/summer-camp-block.jpg HTTP/1.1, 
host: www.blc.com.kg

причем много.. потом это сообщение пропадает

и  все  вроде  бы  работает, но во время такой ошибки.. ессно файлы не
зачитываются

так  это  происходит  ночью  в  основном (пред. ошибка была когда
сервер nfs был не доступен) так вот ночью с nfs сервера делается rsync
На другой сервер.. возможно из-за этого и выходит такая ошибка

так же есть такие ошибки
Sep 25 02:30:52 ispcp kernel: [25965.872151] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 02:30:52 ispcp kernel: [25965.872159] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 02:30:52 ispcp kernel: [25965.872163] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 04:12:37 ispcp kernel: [32071.136033] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 05:38:37 ispcp kernel: [37230.976215] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 05:43:14 ispcp kernel: [37507.584032] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:49 ispcp kernel: [38803.232052] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296104] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296116] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296120] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296125] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296129] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296133] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296136] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25 06:04:57 ispcp kernel: [38811.296140] nfs: server 192.168.15.71 not 
responding, timed out
Sep 25