28.09.2011 15:39, Владимир Друзенко пишет:
Огромное спасибо всем за ответы!
Немного резюмирую сказанное всеми + то, что сам нагуглил:
1. ZFS на 2Gb памяти вполне себе жизнеспособен даже при нагрузке;
2. amd64 для ZFS лучше чем i386, не смотря на то, что памяти всего 2Gb;
3. dedup на таком конфиге и при желании увеличить скорость обмена с
дисками совсем не жилец - и памяти ему подавай и скорость в итоге
только падает ("в среднем по больнице");
4. compression=gzip (любой уровень) тоже не жилец - даже на
существенно более производительных процессорах наблюдается падение
скорости записи в разы, но на сервере бэкапов может вполне пригодиться;
5. compression=lzjb при хранении хорошо-сжимаемого контента (например
документы офисных приложений) может не только сэкономить место, но и
скорость увеличить, но здесь без тестов не обойтись и я это
обязательно проделаю как появится возможность;
6. Процессора на всё это добро хватит, надеюсь даже на compression=lzjb;
7. Аппаратный RAID не панацея и действительно может оказаться хуже по
ключевым для файл-сервера показателям (таким как скорость обмена с
дисками - линейная и IOPS), чем софтварный на zfs (тоже проведу ещё
ряд тестирований, в том числе с ChunkSize 64Kb - хотя бы для
успокоения души);
Установил 9.0-BETA3.
Вот какая железка:
# pciconf -lv | grep -A4 twa
twa0@pci0:5:2:0: class=0x010400 card=0x100313c1 chip=0x100313c1
rev=0x00 hdr=0x00
vendor = '3ware Inc'
device = '9550SX SATA-II RAID PCI-X'
class = mass storage
subclass = RAID
Создал RAID5 с ChunkSize 64Kb. Всё стало еще более уныло: dd (с bs=1M,
16M) выдаёт около 60, но как-то не стабильно - то 55, а то 67Mb/s.
diskinfo -t /dev/da0 тоже не блещет постоянством (при этом на машинке
вообще ничего не делается):
Transfer rates:
outside: 102400 kbytes in 1.470584 sec = 69632
kbytes/sec
middle: 102400 kbytes in 1.510843 sec = 67777
kbytes/sec
inside: 102400 kbytes in 1.229457 sec = 83289
kbytes/sec
Transfer rates:
outside: 102400 kbytes in 1.496176 sec = 68441
kbytes/sec
middle: 102400 kbytes in 1.223109 sec = 83721
kbytes/sec
inside: 102400 kbytes in 1.221118 sec = 83858
kbytes/sec
Transfer rates:
outside: 102400 kbytes in 1.435923 sec = 71313
kbytes/sec
middle: 102400 kbytes in 1.467965 sec = 69756
kbytes/sec
inside: 102400 kbytes in 1.322657 sec = 77420
kbytes/sec
Думал, что может он ещё строит RAID5 и поэтому такие не ровные результаты.
Установил sysutils/tw_cli:
# /usr/local/sbin/tw_cli /c0 show
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-5 OK - - 64K 1396.95 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 S0MUJ1DQ112329
p1 OK u0 465.76 GB 976773168 S0MUJ1DQ112330
p2 OK u0 465.76 GB 976773168 S0MUJ1DQ112327
p3 OK u0 465.76 GB 976773168 S0MUJ1DQ112326
Судя по "Status OK" RAID5 уже построился, да и времени уже прошло
~полтора суток.
Тогда в чём причины такой низкой скорости - тормозной контроллер?
Сейчас ещё пересоберу ядро - выкину всякие INVARIANTS, WITNESS и т.д.,
но не думаю, что это поможет...
Вот ещё нагуглил интересую переписку:
http://freebsd.1045724.n5.nabble.com/twa-driver-and-3ware-9690SA-issues-td4074766.html
"I had a 16 disk 3ware SATA RAID6, with UFS, and battery-backed cache.
I converted to a 14 disk ZFS software RAIDZ2 with a smaller 3ware
mirrored boot disk.
Quick benchmarked using dd as follows:
Creating a 6GB file: UFS+3ware=308mb/s ZFS=357mb/s
Reading a 6GB file: UFS+3ware=113mb/s ZFS=424mb/s"
Так что всё идёт к тому, что будет raidz вместо аппаратного RAID5.
Кто-то спрашивал какая пропускная способность сети.
Отвечаю: на маме две гигабитныесетевухи, сеть везде гигабит и все
сервера, а так же большая часть рабочих станций с гигабитными
сетевухами подключены к 48 портовому гигабитному свитчу "GSM7248 L2
Managed Gigabit Switch".
Реальную скорость между двумя машинками по NFS я видел и 117Mbytes/s!
Так что дисковая подсистема имеет шанс стать узким местом.
По поводу 9.0 вместо 8.1: для тестов думаю можно BETA2 (просто тогда я
ставил не было даже BETA1), но в продакшн точно BETA2 не вариант. Да и
текущий RELENG_8 не очень хочется - это значит, что через пол годика
надо будет всё равно обновляться до 9.0 (ну может до 9.1 через годик).
Всяко лишняя работа. (Просьба не разводитьв этом топикефлейм на тему
"старое проверенное временем и стабильное ПО лучший выбор для продакшн".)
Встречный вопрос - может кто знает в чём причина задержки и когда
примерно можно ожидать релиза?
Беглое листание англоязычных рассылок и shcedule.html/TODO не
просветлило.
А не из-за этого ли релиз задерживался (очередные BETA/RC):
http://security.freebsd.org/advisories/FreeBSD-SA-11:03.bind.asc
http://security.freebsd.org/advisories/FreeBSD-SA-11:04.compress.asc
http://security.freebsd.org/advisories/FreeBSD-SA-11:05.unix.asc ?
