On Sun, 19 Jan 2014 01:49:04 +0400 Slawa Olhovchenkov <[email protected]> wrote:
> On Sat, Jan 18, 2014 at 11:09:38PM +0200, Anton Sayetsky wrote: > > > Приветствую, коллеги! > > Возникла необходимость реализации сабжа. > > Размер хранилища - 100+ ТиБ, средний размер файлов - от 1 до 10 ГиБ, > > трафик - 4-5 Гбит/с, ~400 сессий, до 3-х коннектов на каждую. > > Требуемый протокол отдачи - HTTP. > > В плане софта выбор пал на FreeBSD 9.2-RELEASE amd64, ZFS, nginx. В > > связи с вышеизложенным возникли некоторые вопросы: > > 1. Правильно ли я понимаю, что для данных параметров о UFS можно > > забыть? (Боюсь даже представить, сколько времени на устройстве > > такого размера может выполняться fsck, например.) > > 2. Есть ли смысл крутить что-то в ZFS, кроме atime=off? > > 3. Научилась ли ZFS нормально воспринимать (не падать и пересобирать > > пул) изменение имени дисков (da3->da10)? Или придётся извращаться с > > GEOM_LABEL? > > 4. Стоит ли с учётом предыдущего включать autoreplace? > > 5. Каковы возможные общие рекомендации тюнинга ОС? > > 6. Каковы возможные общие рекомендации тюнинга nginx? Стоит ли > > включать accept_filter? Что делать с output_buffers? sendfile vs > > directio vs aio? > > 5Гбит, 400сессий -- это слишком маленькие цифры для такого большого > объема (100ТБ) что бы возникли какие-либо проблемы. > > ЗЫ: памятью не забудьте озаботиться и сколько ее должно быть примерно?:) речь, я так понимаю, о хранилке с проном^Wфильмами. я года 2 назад пытался подобное поднять в 1 месте. hdd там были.. sata на 5400, чтоли, raidz. объем 10Тб. пушной зверек приходил уже при ~30 одновременных качальщиках/смотрящих оттуда фильмы. выглядело это как падение скорости до 2-3мбит на клиенте и %busy близком к 100% на сервере. 8Гб памяти торчало. всякие префетчи, vfs.zfs.vdev.min_pending / vfs.zfs.vdev.max_pending и еще кучу пар-ров тогда пробовал крутить. не вышел каменный цветок. на это же железо поставили дэбилиан, cофтовый рейд5, xfs. влили теже фильмы, пустили хомячков.. 2х1Gbps практически полностью и выжрали, причем винты были загружены на 60-70% . -- wbr, tiger
