15.12.2012 02:03, Slawa Olhovchenkov пишет:
On Sat, Dec 15, 2012 at 01:34:51AM +0400, Владимир Друзенко wrote:
15.12.2012 01:06, Slawa Olhovchenkov пишет:
On Sat, Dec 15, 2012 at 12:56:30AM +0400, Владимир Друзенко wrote:
Гугление показывает, что под топик нет файловой системы для совместного
доступа к блочному устройству нескольких различных серверов.
Не путать с распределёнными и сетевыми ФС. Ищу аналоги GFS/GFS2 для FreeBSD.
Цель: подключить 2 (3, 4, N?) сервера с FreeBSD к одной хранилке по
FC/SAS и иметь доступ к одним и тем же данным, например для Live
Migration виртуалок.
GigabitEthernet уступает в линейном доступе почти в 2 раза даже обычным
современным десктопным винтам SATA 7200rpm. Стоит ли говорить об IOPS и
latency, а если ещё хранилка с RAID из N современных SAS 15krpm? В таком
а давайте поговорим об iops и latency.
у гигабитного езернета задержка 4мкс, 230Kiops.
Спасибо, посмеялся - не стоит так верить маркетинговым материалам.
В реально жизни хорошо если будет 40мкс и то, только для мелких пакетов.
я посчитал для 512 байт
Для 1500 байт будет поболе, что уж говорить о Jumbo frames.
у винта задержка так же растет с размером запрашиваемого блока
С IOPS примерно такая же ситуация - достигается только сферическими
пакетами в вакууме.
вообще-то у винта iopsы так же падают с размером, даже если seek не нужен.
Оставим теоретические выкладки в стороне. Факт остаётся фактом -
GigabitEthernet узкое место в данной схеме и рассматривать его можно
только в последнюю очередь или как резерв.
На всякий случай уточню - меня не волнует "скорость электричества в
проводах и тд", важен суммарный latency и IOPS при обращении приложения
к данным на хранилке блоками не менее 4 килобайт. Сюда кроме этих
маркетингвых 4мс добавляется большое количество других протоколов и
подсистем.
А важен-то итоговый overhead. В FC и SAS он существенно меньше, чем в
Ethernet.
горшок помощнее и будет нивелированно.
Простите, чего?
что не устраивает?
Тон отвечающего.
а тон спрашивающего типа образец идеальности?
Прошу процитировать меня из первого письма, где я позволил себе лишнего.
В ответ на неуважительное отношение, мог и съязвить - не спорю, но
только в ответ.
случае разница будет на порядок.
в пользу езернета? согласен.
Цифры сравнения FC 8Gbit и SAS 6Gbit с 1GbitEthernet в студию!
а чего мы именно такое соотношение берем, FC на 8, а езернет на 1?
FC бывает на 2, а езернет 10, почему берем именно такое соотношение?
ну и кроме SAS на 6 есть и sata на 1.5.
Потому что FC 8 есть, SAS 6 винты уже подключены и гигабит есть.
А для 10GbitEthernet нужно покупать железа на "100500 кувейтский динаров".
По NFS через гигабит больше 120Mbytes/s я не видел, а вот по FC видел и
более 600Mbytes/s. В 2 раза больше винтов и мы увидим разницу в 10 раз.
lagg здесь не поможет - один сервер с хранилки всё равно не сможет
читать/писать быстрее чем 1Gbit/s, при этом с тем же IOPS и latency.
Есть ещё вариант с 10GigabitEthernet, но цена вопроса по сравнению с FC
оставляет желать лучшего...
IP и поверх FC бывает.
Чем в данном случае поможет лишний уровень инкапсуляции? Повысит
пропускную способность канала, уменьшит latency или увеличит IOPS?
:-D
позволит применить NFS поверх FC,
В таком случае хранилка должна уметь и IP over FC и NFS, а я что-то
такого в её спецификации не вижу - IBM DS3500. Да и в более продвинутых
тоже.
FC over Ethernet (FCoE) некоторые умеют, но это не решит вопрос, к тому
же DS3500 не умеет FCoE (в спецификации такого не вижу).
Точно ничего не путаем и "обычные" (low/mid) хранилки такое умеют?
Что-то сомневаюсь.
раз дешевые 10G езернетовские карты
Это какие? 1000$ за сетевуху? Это надо для каждого сервера + ещё ставить
дополнительный сервер в качестве интерфейса к хранилке - брать по
FC/SAS/iSCSI, а отдавать по NFS.
тебе недоступны.
хотя супермикровская X9DRG-HTF с двумя 10G дырками на борту стоит
согласно гуглу $562.
Никто не будет покупать мамы для самосборов, да и готовые сервера на
супермикро тоже. Если что и буду покупать то IBM xSeries. У нас
партнёрский статус со скидками и прочее, но это всё равно не дёшево.
В любом случае это никак не влияет на решение вопроса - хранилка слишком
глупая и 10GbitEthernet ничем не поможет, т.к. она умеет пускать через
него только iSCSI.
И мы всё равно возвращаемся к ФС. Одно могу теперь сказать с
уверенностью - других "прямых" вариантов нет.
Ещё бы iSCSI предложили бы... :-\
iSCSI не решает данную задачу
В общем даже не смешно - гигабит всё равно остаётся узким местом.
Так что пока я вижу единственный адекватный вариант - это такая ФС.
P.S. Интересны любые мысли в тему. :-]
P.S. Давайте всё же вернёмся к ФС, т.к. гигабит медленный для таких
задач, а FC 8Gbit вполне устраивает.
