On 17.04.2012 18:55, Vadim S. Goncharov wrote:
On 16.04.2012 19:30, Vadim S. Goncharov wrote:
Ну а вопросы, понятно, классические: кто виноват (что это вообще такое с
ним происходит) и что делать (чтобы починить это, вернуть raidz2 в
нормальное состояние) ?

На текущий момент, то есть спустя сутки пока машинка стояла без
вмешательства, картина стала вот такая, еще более весёлая:

Всё страньше и страньше. Вчера вечером из дома проверил, ребилд вроде бы закончен, всё стало ONLINE. Однако в zpool iostat -v запись на проблемный диск еще шла, причем шустрее, чем было до того. Примерно вот так (и по сей момент такое же):

backup:~# zpool iostat -v
               capacity     operations    bandwidth
pool         used  avail   read  write   read  write
----------  -----  -----  -----  -----  -----  -----
backup0     3,41T  7,47T    155    132  12,6M  1,27M
  raidz2    3,41T  7,47T    155    132  12,6M  1,27M
    mfid0       -      -     88     35  2,04M   139K
    mfid1       -      -     93     35  2,04M   139K
    mfid10      -      -     74     35  2,05M   140K
    mfid7       -      -     89     35  2,05M   139K
    mfid9       -      -     89     35  2,05M   139K
    mfid2       -      -     95     36  2,03M   140K
    mfid3       -      -     95     35  2,06M   139K
    mfid4       -      -     94     35  2,01M   139K
    mfid11      -      -     10    140   387K  1,30M
    mfid5       -      -     93     36  1,98M   139K
    mfid8       -      -     80     35  2,00M   139K
    mfid6       -      -     88     36  2,00M   140K
----------  -----  -----  -----  -----  -----  -----

Сегодня прихожу, картина в zpool status другая. Проверяю из соседнего скрина (логин из дома был на десктоп, из скрина которого уже на сервер) - а там картина опять другая! Проверил несколько раз, воспроизводится:

Из screen (из дома):

backup:~# zpool status                              0/pts/2 [15:19:18]
  pool: backup0
 state: ONLINE
status: The pool is formatted using an older on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on older software versions.
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        backup0     ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            mfid0   ONLINE       0     0     0
            mfid1   ONLINE       0     0     0
            mfid10  ONLINE       0     0     0
            mfid7   ONLINE       0     0     0
            mfid9   ONLINE       0     0     0
            mfid2   ONLINE       0     0     0
            mfid3   ONLINE       0     0     0
            mfid4   ONLINE       0     0     0
            mfid11  ONLINE       0     0     0
            mfid5   ONLINE       0     0     0
            mfid8   ONLINE       0     0     0
            mfid6   ONLINE       0     0     0

errors: No known data errors
backup:~# env                                       0/pts/2 [15:19:31]
_=/usr/bin/env
MORE=-eFig
LESS=-eFi
EDITOR=vim
RPROMPT=%?/%l [%*]
REPORTTIME=30
HISTFILE=/home/nuclight/.zhist
SAVEHIST=9999
HISTSIZE=9999
LOGCHECK=1
WATCH=all
OLDPWD=/backup0/system/usr/home/nuclight
PWD=/home/nuclight
SHLVL=1
PS1=%(!.%B%m:.%B%n@%m:)%3(~,%-1d..%2d,%2~)%(!.# .>)%b
HOME=/home/nuclight
MAIL=/var/mail/nuclight
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/games:/usr/local/sbin:/usr/local/bin:/home/nuclight/bin
TERM=screen
SHELL=/bin/tcsh
LOGNAME=root
USER=root
USERNAME=root
SUDO_COMMAND=/usr/local/bin/zsh
SUDO_USER=nuclight
SUDO_UID=10031
SUDO_GID=10001

А вот аналогичное из простого xterm на том же десктопе:

backup:~# zpool status                              0/pts/0 [15:19:12]
  pool: backup0
 state: ONLINE
status: The pool is formatted using an older on-disk format.  The pool can
        still be used, but some features are unavailable.
action: Upgrade the pool using 'zpool upgrade'.  Once this is done, the
        pool will no longer be accessible on older software versions.
scrub: scrub stopped after 307425718563495972h25m with 9303873882360250368 errors on Sun Jan 0 00:00:00 1900
config:

        NAME        STATE     READ WRITE CKSUM
        backup0     ONLINE       0     0     0
          raidz2    ONLINE       0     0     0
            mfid0   ONLINE       0     0     0  6,69E repaired
            mfid1   ONLINE       0     0     0  10,3E repaired
            mfid10  ONLINE       0     0     0  13,8E repaired
            mfid7   ONLINE       0     0     0  449P repaired
            mfid9   ONLINE       0     0     0  3,13E repaired
            mfid2   ONLINE       0     0     0  12,1E repaired
            mfid3   ONLINE       0     0     0  15,1E repaired
            mfid4   ONLINE       0     0     0  8,00E repaired
            mfid11  ONLINE       0     0     0  11,3E repaired
            mfid5   ONLINE       0     0     0  14,1E repaired
            mfid8   ONLINE       0     0     0  3,06E repaired
            mfid6   ONLINE       0     0     0  2,69E repaired

errors: No known data errors
backup:~# env                                       0/pts/0 [15:19:40]
_=/usr/bin/env
LANG=ru_RU.UTF-8
MORE=-eFig
LESS=-eFi
EDITOR=vim
RPROMPT=%?/%l [%*]
REPORTTIME=30
HISTFILE=/home/nuclight/.zhist
SAVEHIST=9999
HISTSIZE=9999
LOGCHECK=1
WATCH=all
OLDPWD=/backup0/system/usr/home/nuclight
PWD=/home/nuclight
SHLVL=1
PS1=%(!.%B%m:.%B%n@%m:)%3(~,%-1d..%2d,%2~)%(!.# .>)%b
HOME=/home/nuclight
MAIL=/var/mail/nuclight
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/games:/usr/local/sbin:/usr/local/bin:/home/nuclight/bin
TERM=xterm
SHELL=/bin/tcsh
LOGNAME=root
USER=root
USERNAME=root
SUDO_COMMAND=/usr/local/bin/zsh
SUDO_USER=nuclight
SUDO_UID=10031
SUDO_GID=10001

Кроме LANG, разницы не вижу. Проверил unset LANG - ага, действительно, меняет вывод. Расскажите, каких еще чудес от него ждать?..

--
WBR, Vadim Goncharov, NUCL1-RIPE

Ответить