17.12.2012 20:33, Slawa Olhovchenkov пишет:
On Mon, Dec 17, 2012 at 08:21:54PM +0400, Владимир Друзенко wrote:

17.12.2012 18:06, Slawa Olhovchenkov пишет:
On Mon, Dec 17, 2012 at 05:43:57PM +0400, Владимир Друзенко wrote:

я, кстати, не уверен что _полка_ позволит к одной партиции нескольким
хостам одновременно доступаться.
Позволяет, проверил - в админке есть настройки для этого.

ну дальше вопрос простой -- насколько у кластерных FS просаживается
производительность?

тут вот почти по твоей теме 
http://www.blog.turmair.de/2011/03/ocfs2-vs-nfs-benchmarks-and-the-reality/
    > So ??? I found myself confronted with the choice between two very
different beasts: NFS and OCFS2(+iSCSI).
Я и не сомневался, что по тому же гигабиту NFS будет самым быстрым решением.
А если заменить iSCSI 1Gbit/s на FC 8Gbit/s и посмотреть ещё раз на тесты?
ну и заменить 1Gbit ethernet на 10Gbit, ага?
Сколько можно повторять, что нет 10Gbit и в ближайшее время не
предвидится. Карточки дорогие, свитчи ещё дороже.
я уже привел цены -- 10G на материнке практически бесплатно,
коммутатор стоит вменяемых денег.
Схемы:
1. Что есть (в данный момент n = 1): ПОЛКА --FC 8Gbit-- СЕРВЕРn;
2. Твой вариант: ПОЛКА --FC 8Gbit-- СЕРВЕР-ШЛЮЗ с NFS --10Gbit-- "10Gbit
Ethernet Switch" --10Gbit-- СЕРВЕРn.
1. Необходимо n-1 FC 8Gbit карточек;
и пачка sfp.
Это в пределах погрешности на фоне цены серверов и карточек.
А то давай ещё витуху будем считать для 10Gbit Ethernet, коннекторы RJ-45 и оптику для FC. Бред.

2. Нужен СЕРВЕР-ШЛЮЗ, 10Gbit Ethernet Switch, n+1 10Gbit Ethernet карточек.
у тебя сервера под виртуализацию уже куплены?
если нет -- то карты не нужны, просто закупаешь уже с 10G на борту.
Я уже говорил, что врядли что-то отличное от IBM будем брать (из-за скидок дешевле разве что самосбор будет, но не сильно, да и врядли мы пойдём на это), а у них это отдельной опцией, впрочем как и FC, хотя в первом приближении можно считать их цену равной или, как минимум, соизмеримой.

Как я погляжу придирки опять к несущественному - основная стоимость твоего варианта приходится на СЕРВЕР-ШЛЮЗ и "10Gbit Ethernet Switch".
Остальные расходы в обоих вариантах сопоставимы и они в разы меньше этих.

Ещё очень важный момент - это точки отказа. В случае сбоя на NFS-шлюзе и/или на "10Gbit Ethernet Switch" ВСЕ виртуалки останавливаются. :-( У полки полное дублирования всех компонент. Сбой на одном из серверов виртуалок не затрагивает остальные сервера.

Что будет дешевле и во сколько раз? Зачем советовать потратить
дополнительные XXk$, когда всё что нужно уже есть?
Не хватает только поддержки ПО. Та же VMware ESXi прекрасно работает по
этой схеме со своей VMFS. Oracle DB с ASM. Примеров достаточно.
у VMware FS довольно специфичная, она не расчитана на обычные
приложения. в этом варианте можно прооптимизироваться и сделать
довольно оптимально.

Я не понимаю такого упорства в рекомендации купить кучу другого барахла,
вместо того, чтобы подумать и использовать что есть.
Мы же не с нуля выбираем - полка и сервер с FC есть и работают. Речь о
том как бы подключить второй (3ий, 4ый...) сервак, когда (если?) он
появится.
Или лучше каждый раз всё выкидывать и покупать заново? Кто должен
спонсировать подобный идиотизм?
Предлагаю эту ветку обсуждения больше не развивать, из-за скатывания её
в абсурд.
да-да, выбрали не масштабируемое решение и будем бится головой в эту
бетонную стену.
С какого это перепугу FC не масшабируемое? Вы из параллельной вселенной или просто не компетентны в вопросе? Сваливать недостатки ПО на не масштабируемость железа - что тут ещё можно сказать... Только напрямую (без FC-свитча) можно подключить 8 серверов по FC. А со свитчём!

тем более выкидывать ничего не надо.


Да и вообще вопрос был об аналогах для FreeBSD.
Судя по молчанию именно по этому вопросу - ничего у FreeBSD в этом
направлении нет. Печально. :-(

хорошо написанная FS -- это гораздо сложнее гипервизора.
а у кластерной FS есть дополнительная подстава с тем, что надо доступ
к метаинформации синхронизировать, что не добавляет ни простоты ни
производительности.
Это не повод не делать такие ФС.

ок, сделай.
Радует меня такая манера общения - 2 дня ходить вокруг да около вместо того, чтобы сразу сказать, что "ничего нет" или "ничего не знаю" по этому вопросу. Кастыли с NFS-шлюзом я сразу отмёл в сторону, ещё до написания первого письма в треде - уж лучше тот же GFS2 на Linux поднять.

P.S. У варианта с NFS-шлюзом единственный плюс - его легко реализовать используя только FreeBSD и никаких других операционок не надо. Но с точки зрения стратегии развития ИТ инфраструктуры - это вовсе не аргумент. А с "нормальным" вариантом на FreeBSD глухо, что и печалит. :,-(


Ответить