19 января 2014 г., 0:23 пользователь Vladislav V. Prodan <[email protected]> написал: > > > > 19 января 2014 г., 0:03 пользователь Anton Sayetsky <[email protected]> > написал: > >> 18 января 2014 г., 23:46 пользователь Vladislav V. Prodan >> <[email protected]> написал: >> > >> > >> > >> > 18 января 2014 г., 23:09 пользователь Anton Sayetsky <[email protected]> >> > написал: >> > >> >> Приветствую, коллеги! >> >> Возникла необходимость реализации сабжа. >> >> Размер хранилища - 100+ ТиБ, средний размер файлов - от 1 до 10 ГиБ, >> >> трафик - 4-5 Гбит/с, ~400 сессий, до 3-х коннектов на каждую. >> >> Требуемый протокол отдачи - HTTP. >> >> В плане софта выбор пал на FreeBSD 9.2-RELEASE amd64, ZFS, nginx. В >> >> связи с вышеизложенным возникли некоторые вопросы: >> >> 1. Правильно ли я понимаю, что для данных параметров о UFS можно >> >> забыть? (Боюсь даже представить, сколько времени на устройстве такого >> >> размера может выполняться fsck, например.) >> > >> > >> > Этого достаточно из недостатков на таком массиве. >> > >> >> >> >> 2. Есть ли смысл крутить что-то в ZFS, кроме atime=off? >> > >> > >> > да >> > По наблюдениям, на 1ТиБ данных требуется 1ГиБ памяти. >> > Если у вас меньше памяти, надо немного тюнинговать ZFS arc* параметры >> Расчёт - 256 ГиБ, что заведомо превышает максимальный объём хранилища, >> который может быть достигнут, так что наверное, sysctl крутить не >> придётся. > > > Недавно пробегала жалоба, что системы свыше 128ГБ то ли паниковали, то ли > работали не так. О как, а вот это уже весьма неприятно. Отписал followup в соотв. PR. > >> >> > >> >> >> >> 3. Научилась ли ZFS нормально воспринимать (не падать и пересобирать >> >> пул) изменение имени дисков (da3->da10)? Или придётся извращаться с >> >> GEOM_LABEL? >> > >> > >> > Лучше использовать Gpart_label >> > >> >> >> >> 4. Стоит ли с учётом предыдущего включать autoreplace? >> > >> > >> > нет. >> > Лучше ручками менять диски. >> Вот это уже хуже... хотелось бы вмешательство админа свести к >> минимуму, в иделе - только физическая замена диска в случае вылета. > > > Ну, поставите их в hotspare. ZFS сама должна подхватить и начать > замену/перенос данных. Это естественно, HS будет. Но диски-то мрут, да и расширение возможно - так что когда-нибудь придётся вставлять и новые винты. > >> >> Кстати, в 10-ке случаем не появилось что-нибудь аналогичное >> /dev/disk/by-uuid оффтопика? Всё-таки это удобнее, ибо избавляет от >> необходимости юзать gpart/glabel перед впихиванием диска в пул. > > > У каждого свои предпочтения при разбитии дисков и маркировки разделов. Вопрос несколько не в этом. :) В линухе есть вот такая штука: [root@wcm ~]# ll -R /dev/disk/ /dev/disk/: итого 0 drwxr-xr-x 2 root root 160 Сен 28 17:55 by-id drwxr-xr-x 2 root root 60 Сен 28 17:55 by-label drwxr-xr-x 2 root root 160 Сен 28 17:55 by-path drwxr-xr-x 2 root root 60 Сен 28 17:55 by-uuid
/dev/disk/by-id: итого 0 lrwxrwxrwx 1 root root 9 Сен 28 17:55 scsi-SATA_SAMSUNG_HD103UJS12PJBWS502701 -> ../../sdb lrwxrwxrwx 1 root root 9 Сен 28 17:55 scsi-SATA_SAMSUNG_HD253GJS24JI47B328137 -> ../../sda lrwxrwxrwx 1 root root 10 Сен 28 17:55 scsi-SATA_SAMSUNG_HD253GJS24JI47B328137-part1 -> ../../sda1 lrwxrwxrwx 1 root root 10 Сен 28 17:55 scsi-SATA_SAMSUNG_HD253GJS24JI47B328137-part2 -> ../../sda2 lrwxrwxrwx 1 root root 10 Сен 28 17:55 scsi-SATA_SAMSUNG_HD253GJS24JI47B328137-part3 -> ../../sda3 lrwxrwxrwx 1 root root 10 Сен 28 17:55 scsi-SATA_SAMSUNG_HD253GJS24JI47B328137-part4 -> ../../sda4 /dev/disk/by-label: итого 0 lrwxrwxrwx 1 root root 10 Сен 28 17:55 boot -> ../../sda1 /dev/disk/by-path: итого 0 lrwxrwxrwx 1 root root 9 Сен 28 17:55 pci-0000:00:1f.2-scsi-0:0:0:0 -> ../../sda lrwxrwxrwx 1 root root 10 Сен 28 17:55 pci-0000:00:1f.2-scsi-0:0:0:0-part1 -> ../../sda1 lrwxrwxrwx 1 root root 10 Сен 28 17:55 pci-0000:00:1f.2-scsi-0:0:0:0-part2 -> ../../sda2 lrwxrwxrwx 1 root root 10 Сен 28 17:55 pci-0000:00:1f.2-scsi-0:0:0:0-part3 -> ../../sda3 lrwxrwxrwx 1 root root 10 Сен 28 17:55 pci-0000:00:1f.2-scsi-0:0:0:0-part4 -> ../../sda4 lrwxrwxrwx 1 root root 9 Сен 28 17:55 pci-0000:00:1f.2-scsi-1:0:0:0 -> ../../sdb /dev/disk/by-uuid: итого 0 lrwxrwxrwx 1 root root 10 Сен 28 17:55 677a4046-4c01-4d42-93ce-8034c62d99a7 -> ../../sda1 [root@wcm ~]# Метки уникальные и создаются автоматически, как и ufsid/gptid во фре, но создаются и для целых дисков, а не только для разделов.
