Re: RAID контроллеры
>> Тут вопрос больше не про покупку, а про то, что посетовали: почему я не >> привёл примеры аппаратных решений, а только RAIDZ, и привели в пример >> контроллеры от HP. > Если RAIDZ или mdadm - то нужен HBA. Он обычно стоит на $200-$300 дешевле и > является набором портов без мозгов. > Замечу, что возможно и на RAID аппаратный ставить ZFS, как я недавно узнал (то, что это будет плохо работать, пусть не миф, но и далеко не бесспорное утверждение). уступает как именно рэйд контролер. Можно использовать как hba контроллер как писал выше другой участник дискуссии. Вообщем по бюджету и расходы... >>> По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого >>> плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не, >>> ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с >>> контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по >>> остатку - могут и диск не найти для горячей замены по контракту. >>> >>> Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для >>> дома - только за откат/бумагу что виноват платный саппорт HP. >>> >> Ясно. > > >
Re: RAID контроллеры
13 мая 2018 г., 14:00 пользователь artiomнаписал: > Понятно. Видимо, в таком случае аппаратный RAID действительно оправдан. Не совсем так. Сейчас сей рейд используется как обычный контроллер, т.е. прокидывает диски в ОС, где mdadm и собирает рейд. Получается значительно быстрее - не 90-100МБ/сек на запись, а 200-250МБ/сек. Т.е. однозначно упирается в сеть (2x1G), а не в рейд, как было при аппаратном рейде. По iops быстродействие не изменилось, но там iops особо не требуется. >> Там массивы порядка 50-60Тб объёмом. К ним надо несколько больше >> памяти, особенно, если таки пользоваться zfs не так же, как ext4... >> zfs не пробовал - нет столько памяти, чтоб отдать только для фс. >> >> > -- Stanislav
Re: RAID контроллеры
artiomwrote: > >> они дольше живут? Утилита по контролю и настройке да на любителя. Тем не > >> менее она выполняет все нужные функции. По производительности да 410 уже > > Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ? > > > Вот, кстати, SMART отдельных дисков они "затеняют"? > Все контроллеры? Не все, через Adaptec'овские ASRы видно все диски. Из старых LSIишных вообще было не достать, из новых как-то с приплясыванием вокруг 'smartctl -d megaraid,#{device_id} /dev/sdx' можно получить. > Тут вопрос больше не про покупку, а про то, что посетовали: почему я не > привёл примеры аппаратных решений, а только RAIDZ, и привели в пример > контроллеры от HP. Если RAIDZ или mdadm - то нужен HBA. Он обычно стоит на $200-$300 дешевле и является набором портов без мозгов. > >> уступает как именно рэйд контролер. Можно использовать как hba контроллер > >> как писал выше другой участник дискуссии. Вообщем по бюджету и расходы... > > По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого > > плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не, > > ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с > > контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по > > остатку - могут и диск не найти для горячей замены по контракту. > > > > Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для > > дома - только за откат/бумагу что виноват платный саппорт HP. > > > Ясно.
Re: RAID контроллеры
Понятно. Видимо, в таком случае аппаратный RAID действительно оправдан. 10.05.2018 10:26, Stanislav Vlasov пишет: > 8 мая 2018 г., 23:38 пользователь artiomнаписал: > >> Про ZFS: не обязательно столько памяти. Стоит у коллеги на атоме с 2 ГБ. > > Там массивы порядка 50-60Тб объёмом. К ним надо несколько больше > памяти, особенно, если таки пользоваться zfs не так же, как ext4... > >>> zfs не пробовал - нет столько памяти, чтоб отдать только для фс. > >
Re: RAID контроллеры
Это сервер бекапа..5 рейд..с батарейкой. на него скидывает бекапы бакула с кучки тазиков... В пики поток гиг.. упираюсь чисто в сетевую. в рейде.. ща скажу сколько дисков # ./hpacucli controller slot=1 pd all show Smart Array P212 in Slot 1 array A physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA, 3 TB, OK) physicaldrive 1I:1:2 (port 1I:box 1:bay 2, SATA, 3 TB, OK) physicaldrive 1I:1:3 (port 1I:box 1:bay 3, SATA, 3 TB, OK) physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA, 3 TB, OK) physicaldrive 1I:1:5 (port 1I:box 1:bay 5, SATA, 3 TB, OK) physicaldrive 1I:1:6 (port 1I:box 1:bay 6, SATA, 3 TB, OK) По большей части я чаще упираюсь в производительность SRC хостов на которых 13,671,486 файлов в FULL бекапе..и из них большая часть тонны мелких файлов аля css/js 10.05.2018 12:53, Andrey Jr. Melnikov пишет: > Это который судя по картинкам с https://habr.com/post/330286/ больше 100Mb/s > с батарейкой и SSD выдать не может? Так я тебя растрою - у меня в 2004 году > LSI > SATA 150-6 в 5м рейде из дисков SATA1 100 гигов на запись давал со свистом. > При этом учитывая, что онный LSI в то время был самым дешевым и ничем сильно > не выдающимся (в отличии от 3ware и areca).
Re: RAID контроллеры
Anton Gorlovwrote: > Dl180G6 сервант, с P210 > родных дисков не было от родясь.. стоит солянка из сиагейтов и wd.Всё > работает без видимых проблем уже более 5 лет.диски меняются по мере > помирания. Это который судя по картинкам с https://habr.com/post/330286/ больше 100Mb/s с батарейкой и SSD выдать не может? Так я тебя растрою - у меня в 2004 году LSI SATA 150-6 в 5м рейде из дисков SATA1 100 гигов на запись давал со свистом. При этом учитывая, что онный LSI в то время был самым дешевым и ничем сильно не выдающимся (в отличии от 3ware и areca). > 09.05.2018 16:47, Andrey Jr. Melnikov пишет: > > Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с > > не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной > > фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI > > везде пестрели желтыми треугольникам, воплями про warranty и прочими > > светодиодными пугалками.
Re: RAID контроллеры
Dl180G6 сервант, с P210 родных дисков не было от родясь.. стоит солянка из сиагейтов и wd.Всё работает без видимых проблем уже более 5 лет.диски меняются по мере помирания. 09.05.2018 16:47, Andrey Jr. Melnikov пишет: Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI везде пестрели желтыми треугольникам, воплями про warranty и прочими светодиодными пугалками.
Re: RAID контроллеры
8 мая 2018 г., 23:38 пользователь artiomнаписал: > Про ZFS: не обязательно столько памяти. Стоит у коллеги на атоме с 2 ГБ. Там массивы порядка 50-60Тб объёмом. К ним надо несколько больше памяти, особенно, если таки пользоваться zfs не так же, как ext4... >> zfs не пробовал - нет столько памяти, чтоб отдать только для фс. -- Stanislav
Re: RAID контроллеры
Igor Savlookwrote: > Извините что вклиниваюсь, но тут такая бодрая тема по рейдам. Вопрос а > LSI уже померли и не производят или они стали адово дорогими? Нет, LSI (сожравшее сначало Symbios, потом MegaRaid, Mylex, 3ware) было пожранно avago а потом укрупнилось до broadcom. История напоминает печально известную судьбу US Robotics котороую тоже перепродавали раз так с несколько. В результате всех этих поглощений - найти хоть что-то от старых плат стало почти невозможно. Пожранный 3ware сильно помог увеличению пропускной способности (до того LSI было +- из общей кучи). А так - LSI даже и дешевле. Если кончно разобраться в куче HBA гордо названных RAID/JBOD. И утили управления за последние 10 лет как были шлаком, так и остались. В старом megactl приходилось плясать пляски святого Витта чтоб создать raid 10/50 (ибо делалось там это весьма альтернативным методом), megacli - еще куда не шло. Новый аваго-броадкомовский CtrlR интерфейс вызывает сопли умиления по давно-забытому В-ТрубуВижу фирмы Борланд. В каком виде показывает storcli show smart - можно посмотреть тут http://pyatilistnik.org/wp-content/uploads/2015/07/smart-diskov-lsi.jpg Овчинка то на овчинку похожа, но выглядит плоховато. > On Wed, 2018-05-09 at 14:37 +, Леонид Кальмаев wrote: > > Вам шашечки или ехать? Я написал про бюджет. Основной функционал там > > работает. Если вам нужен чтоб и смарт и рэйд и за дёшево то вам > > дорога к mdadm. Те-же адаптеки не популярные нужно ещё сготовить чтоб > > в системе нормально определились и и работали. > > > > ср, 9 мая 2018 г., 21:08 Andrey Jr. Melnikov : > > > Леонид Кальмаев wrote: > > > > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --] > > > > > > > Не вводите людей в заблуждение. Нормально работают контролеры hp > > > в плане > > > > жёстких дисков. Если вы суете им какую нибудь тошибу которая > > > быстро сыпится > > > > и выходит из строя, контролер не виноват. В плане батареек у вас > > > в телефоне > > > Да ты что? Весь интернет завален вопросами "а будет-ли работать HP > > > raid с > > > не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с > > > HPшной > > > фирмварью"? И это - новые, а старые так сразу при втыкании не > > > COMPAQ SCSI > > > везде пестрели желтыми треугольникам, воплями про warranty и > > > прочими > > > светодиодными пугалками. > > > > > > > они дольше живут? Утилита по контролю и настройке да на > > > любителя. Тем не > > > > менее она выполняет все нужные функции. По производительности да > > > 410 уже > > > Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART > > > логи ? > > > > > > > уступает как именно рэйд контролер. Можно использовать как hba > > > контроллер > > > > как писал выше другой участник дискуссии. Вообщем по бюджету и > > > расходы... > > > По факту - HP делает вендор-локед шлак. Со всеми вытекающими из > > > этого > > > плюшками для своего кармана - то батарейки по $100, то ключи для > > > RAID5 (не, > > > ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших > > > дядей с > > > контрактом на охреннилион баксов - поддержка, гарантия, все понты. > > > А по > > > остатку - могут и диск не найти для горячей замены по контракту. > > > > > > Для дома/для семьи - контроллеры HP смысла не имеют от слова > > > совсем. Не для > > > дома - только за откат/бумагу что виноват платный саппорт HP. > > > > > > > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov > > m>: > > > > > > > > Н. Артём wrote: > > > > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs > > > программный RAID. > > > > > > Найденные RAID контроллеры стоили порядка $1000-$1500. > > > > > > Предложили как вариант, контроллеры HP p222 или p420, которые > > > с кэшем и > > > > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130- > > > $250). > > > > > > Что это и какие у них достоинства/недостатки? Почему стоят > > > столько? > > > > > HP не брать ни при каком раскладе. Только если будут > > > доплачивать. > > > > > Контроллеры - говно, фирмварь обижается на любые диски не > > > брендированные > > > > > HP, > > > > > батарейки - дохнут через 3 года эксплуатации, новые хрен > > > купишь, китайские > > > > > - > > > > > не всегда работают. Тул для управления - отдельная песТня. > > > > > Dellовские perc'и - такое-же изделие. > > > > > > > > > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с > > > батарейками > > > > > и > > > > > кэшами. > > > > > > > > > > Больше производителей рейдов увы не осталось. > > > > > > > > > > > > >
Re: RAID контроллеры
Леонид Кальмаевwrote: > [-- text/plain, кодировка base64, кодировка: UTF-8, 86 строк --] > Вам шашечки или ехать? Я написал про бюджет. Основной функционал там За 8000 можно найти ASR6805 с кабелями. Это что - дорого? LSI SAS 9240-4i вообще за 5 можно купить. Или LSI MegaRAID SAS9240-8I SGL за те-же 5 штук. И это заметь - не в москве. > работает. Если вам нужен чтоб и смарт и рэйд и за дёшево то вам дорога к > mdadm. Те-же адаптеки не популярные нужно ещё сготовить чтоб в системе Нет уж, в mdadm можно играться от полной нищеты. Один только момент, что формат версии > 0.90 задрочит полностью начало дисков (там же у нас область решейпа живет и прочие счетчики эвентов) + еще там-же где-то рядом будет журнал от FS - прощай производительность. И что-то никто из "проповедников mdadm" не вспоминает про write amplification из-за рейда помноженное на кривость подключения SATA портов к мосту. А то купят супер-ультра-нитра материнку к 6 сата портами, нафаришируют по самое немогу PCI-E железками и оппа, 20 HSIO lane все заняты, и все 6 портов по Up to 6Gb/s* висят на 2х нитках по 3Gb/s. > нормально определились и и работали. Да-да-да. Я вот с месяц назад mdadm выкинул в топку. Ибо в данной конфигурации попытка пустить background check на raid10 far-layout приводила к деадлоку унутре. I/O wait с констатных 10% упал до 0.15%, а скорость дисковых операций выросла настолько немного, что одно и то-же действие с кучей таблиц mysql на mdadm занимало 5 минут, а на железном рейде как-то за две минуты справляется. > ср, 9 мая 2018 г., 21:08 Andrey Jr. Melnikov : > > Леонид Кальмаев wrote: > > > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --]^M > > > > > Не вводите людей в заблуждение. Нормально работают контролеры hp в плане > > > жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро > > сыпится > > > и выходит из строя, контролер не виноват. В плане батареек у вас в > > телефоне > > Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с > > не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной > > фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI > > везде пестрели желтыми треугольникам, воплями про warranty и прочими > > светодиодными пугалками. > > > > > они дольше живут? Утилита по контролю и настройке да на любителя. Тем не > > > менее она выполняет все нужные функции. По производительности да 410 уже > > Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ? > > > > > уступает как именно рэйд контролер. Можно использовать как hba контроллер > > > как писал выше другой участник дискуссии. Вообщем по бюджету и расходы... > > По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого > > плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не, > > ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с > > контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по > > остатку - могут и диск не найти для горячей замены по контракту. > > > > Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для > > дома - только за откат/бумагу что виноват платный саппорт HP. > > > > > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov : > > > > > > Н. Артём wrote: > > > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный > > RAID. > > > > > Найденные RAID контроллеры стоили порядка $1000-$1500. > > > > > Предложили как вариант, контроллеры HP p222 или p420, которые с > > кэшем и > > > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). > > > > > Что это и какие у них достоинства/недостатки? Почему стоят столько? > > > > HP не брать ни при каком раскладе. Только если будут доплачивать. > > > > Контроллеры - говно, фирмварь обижается на любые диски не > > брендированные > > > > HP, > > > > батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, > > китайские > > > > - > > > > не всегда работают. Тул для управления - отдельная песТня. > > > > Dellовские perc'и - такое-же изделие. > > > > > > > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с > > батарейками > > > > и > > > > кэшами. > > > > > > > > Больше производителей рейдов увы не осталось. > > > > > > > > > > > >
Re: RAID контроллеры
Леонид Кальмаевwrote: > [-- text/plain, кодировка base64, кодировка: UTF-8, 44 строк --] > Не вводите людей в заблуждение. Нормально работают контролеры hp в плане > жёстких дисков. Если вы суете им какую нибудь тошибу которая быстро сыпится > и выходит из строя, контролер не виноват. В плане батареек у вас в телефоне Да ты что? Весь интернет завален вопросами "а будет-ли работать HP raid с не-HP дисками" и "закойхрен платить 3 цены за гнилую барракуду с HPшной фирмварью"? И это - новые, а старые так сразу при втыкании не COMPAQ SCSI везде пестрели желтыми треугольникам, воплями про warranty и прочими светодиодными пугалками. > они дольше живут? Утилита по контролю и настройке да на любителя. Тем не > менее она выполняет все нужные функции. По производительности да 410 уже Да, температуру с дисков тоже можно увидеть ? ERC покрутить? SMART логи ? > уступает как именно рэйд контролер. Можно использовать как hba контроллер > как писал выше другой участник дискуссии. Вообщем по бюджету и расходы... По факту - HP делает вендор-локед шлак. Со всеми вытекающими из этого плюшками для своего кармана - то батарейки по $100, то ключи для RAID5 (не, ну мы конечно продали рэйд, но 0/1/10). Это хорошо для больших дядей с контрактом на охреннилион баксов - поддержка, гарантия, все понты. А по остатку - могут и диск не найти для горячей замены по контракту. Для дома/для семьи - контроллеры HP смысла не имеют от слова совсем. Не для дома - только за откат/бумагу что виноват платный саппорт HP. > ср, 9 мая 2018 г., 18:33 Andrey Jr. Melnikov : > > Н. Артём wrote: > > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID. > > > Найденные RAID контроллеры стоили порядка $1000-$1500. > > > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и > > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). > > > Что это и какие у них достоинства/недостатки? Почему стоят столько? > > HP не брать ни при каком раскладе. Только если будут доплачивать. > > Контроллеры - говно, фирмварь обижается на любые диски не брендированные > > HP, > > батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, китайские > > - > > не всегда работают. Тул для управления - отдельная песТня. > > Dellовские perc'и - такое-же изделие. > > > > Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с батарейками > > и > > кэшами. > > > > Больше производителей рейдов увы не осталось. > > > >
Re: RAID контроллеры
Н. Артёмwrote: > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID. > Найденные RAID контроллеры стоили порядка $1000-$1500. > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). > Что это и какие у них достоинства/недостатки? Почему стоят столько? HP не брать ни при каком раскладе. Только если будут доплачивать. Контроллеры - говно, фирмварь обижается на любые диски не брендированные HP, батарейки - дохнут через 3 года эксплуатации, новые хрен купишь, китайские - не всегда работают. Тул для управления - отдельная песТня. Dellовские perc'и - такое-же изделие. Авито в помошь - там и LSI попадаются и Adaptec. Иногда даже с батарейками и кэшами. Больше производителей рейдов увы не осталось.
Re: RAID контроллеры
Ясно, спасибо. Про ZFS: не обязательно столько памяти. Стоит у коллеги на атоме с 2 ГБ. 08.05.2018 12:01, Stanislav Vlasov пишет: > 8 мая 2018 г., 13:35 пользователь Н. Артёмнаписал: >> Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID. >> Найденные RAID контроллеры стоили порядка $1000-$1500. >> Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и >> батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). >> Что это и какие у них достоинства/недостатки? Почему стоят столько? > > Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е. > можно переткнуть диски в другой аналогичный контроллер и оно > поднимется. > Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас > используются те же контроллеры, те же диски, но рейд - через mdadm и > копирование упирается в сеть, а не в массив) > zfs не пробовал - нет столько памяти, чтоб отдать только для фс. >
Re: RAID контроллеры
с p410/p420 вообще странно ведут себе с не HP дисками. я для себя остановился на LSI с HBA и mdadm/zfs/ceph в зависимости от того что требуется в итоге 8 мая 2018 г., 12:01 пользователь Stanislav Vlasovнаписал: > 8 мая 2018 г., 13:35 пользователь Н. Артём написал: > > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID. > > Найденные RAID контроллеры стоили порядка $1000-$1500. > > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). > > Что это и какие у них достоинства/недостатки? Почему стоят столько? > > Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е. > можно переткнуть диски в другой аналогичный контроллер и оно > поднимется. > Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас > используются те же контроллеры, те же диски, но рейд - через mdadm и > копирование упирается в сеть, а не в массив) > zfs не пробовал - нет столько памяти, чтоб отдать только для фс. > > -- > Stanislav >
Re: RAID контроллеры
8 мая 2018 г., 13:35 пользователь Н. Артёмнаписал: > Тут как-то вставал вопрос о RAID контроллерах vs ZFS vs программный RAID. > Найденные RAID контроллеры стоили порядка $1000-$1500. > Предложили как вариант, контроллеры HP p222 или p420, которые с кэшем и > батарейкой стоят на ebay в районе $80-100 (на самом деле $130-$250). > Что это и какие у них достоинства/недостатки? Почему стоят столько? Достоинства: таки рейд. Хранит конфигурацию рейда на дисках, т.е. можно переткнуть диски в другой аналогичный контроллер и оно поднимется. Недостатки: тормоз в режиме рейда, что в raid5, что в raid6 (сейчас используются те же контроллеры, те же диски, но рейд - через mdadm и копирование упирается в сеть, а не в массив) zfs не пробовал - нет столько памяти, чтоб отдать только для фс. -- Stanislav