subject:"Re\: NAS"



07.07.2017 23:56, Artem Chuprina пишет:
> artiom -> debian-russian@lists.debian.org  @ Fri, 7 Jul 2017 23:11:07 +0300:
> 
>   > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
>   > Хороша ли эта идея?
>  
>   Если у такого подхода и есть преимущества — мне о них
>   неизвестно.
>  
>  >>> Простая замена дисков, большое количество USB, питание в том же разъёме,
>  >>> и отсутствие необходимости в отдельном блоке питания (комп может быть
>  >>> запитан от 12 вольт).
>  >>>
>  >> 
>  >>  Тут  как раз проблемы. Для раскрутки диска требуется неслабый
>  >>  ток - в пике до 1А для 2.5" дисков и до 2А для 3.5".
>  >>  По спецификации USB порт выдает 0.5A для USB2 и 0.9А для USB3.
>  >>  То что диски вообще работают в таких портах следствие того,
>  >>  что реально никто ток не ограничивает, а кратковременная
>  >>  перегрузка не так страшна. Тем не менее, бывало, что в USB2
>  >>  внешний диск и не стартовал.
>  >> 
>  >>  Надежда, что несколько USB портов дадут больший ток
>  >>  иллюзорна. На практике, рядом стоящие порты сидят на одной
>  >>  ветке питания и делят ее между собой.
>  >>  Так что если больше 2 дисков, то скорее всего будут проблемы.
>  >> 
>  >> Ю.
>  > Ok, понял.
>  > Да, а какие диски "лучше" (и в чём): 2.5 или 3.5?
>  > Что имеет смысл брать?
> 
> Это зависит от аппетитов, понтов и тараканов в голове. Для NAS, скорее
> всего, 3.5. При тех же объеме и скорости они (вроде бы) дешевле, а также
> бывают быстрее или большего объема, чем вообще бывают 2.5. 2.5 тише и
> менее прожорливы, но если речь идет о восьми дисках, а не максимум двух,
> то о тишине речь уже не идет.
> 
Максимум?

Re: NAS



07.07.2017 23:28, Tim Sattarov пишет:
> On 07/07/17 04:23 PM, artiom wrote:
> Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
> USB Mass Storage и SATA  протоколы, в пользу SATA.
>
 Что мне это даёт (я не общаюсь с диском напрямую)?

>>> Ты и с USB/SATA напрямую не общаешься, и с RAID, а однако они тебе
>>> нужны/не нужны.
>>> набор команд ограничивает возможности устройства.
>>>
>> Ещё раз: я не общаюсь напрямую с устройством.
>> Специфичные команды, типа ATA шифрования мне не требуются.
>> ФС не заточена под конкретные устройства, драйвера дисковой подсистемы,
>> вроде, тоже не имеют оптимизаций под конкретные модели дисков, и
>> никакого прироста в скорости, надёжности или уменьшении
>> энергопотребления (не в ущерб остальному) это не даст.
>>
> я не знаю, зачем ты споришь, судя по твоим постам, ты в этом деле
> теоретик, практического опыта у тебя нет, но есть уже твёрдрые убеждения.
Практического опыта в построении NAS - нет.
Собственно, построив хотя бы одну, я небольшой опыт приобрету, хотя мне
не сильно нужен опыт, но сильно нужен NAS для решения части моих проблем.
Всё ради этого.

> Тебе пытаются помочь, ответить на твои вопросы, немного благодарности и
> уважения не помешают и сделают общение более приятным.
> 
Конечно я благодарен. Но мнений много, и единственно верного не бывает.
В попытке опровергнуть моё твёрдое (и, возможно неправильное) мнение, вы
приводите аргументы, что мне и нужно.
Не знаю, где тут вы неуважение увидели.
И, конечно, я благодарен, т.к. это, фактически, бесплатная помощь в моём
"проекте".

Re: NAS

2017-07-07 Пенетрантность Artem Chuprina

artiom -> debian-russian@lists.debian.org  @ Fri, 7 Jul 2017 23:11:07 +0300:

  > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
  > Хороша ли эта идея?
 
  Если у такого подхода и есть преимущества — мне о них
  неизвестно.
 
 >>> Простая замена дисков, большое количество USB, питание в том же разъёме,
 >>> и отсутствие необходимости в отдельном блоке питания (комп может быть
 >>> запитан от 12 вольт).
 >>>
 >> 
 >>  Тут  как раз проблемы. Для раскрутки диска требуется неслабый
 >>  ток - в пике до 1А для 2.5" дисков и до 2А для 3.5".
 >>  По спецификации USB порт выдает 0.5A для USB2 и 0.9А для USB3.
 >>  То что диски вообще работают в таких портах следствие того,
 >>  что реально никто ток не ограничивает, а кратковременная
 >>  перегрузка не так страшна. Тем не менее, бывало, что в USB2
 >>  внешний диск и не стартовал.
 >> 
 >>  Надежда, что несколько USB портов дадут больший ток
 >>  иллюзорна. На практике, рядом стоящие порты сидят на одной
 >>  ветке питания и делят ее между собой.
 >>  Так что если больше 2 дисков, то скорее всего будут проблемы.
 >> 
 >> Ю.
 > Ok, понял.
 > Да, а какие диски "лучше" (и в чём): 2.5 или 3.5?
 > Что имеет смысл брать?

Это зависит от аппетитов, понтов и тараканов в голове. Для NAS, скорее
всего, 3.5. При тех же объеме и скорости они (вроде бы) дешевле, а также
бывают быстрее или большего объема, чем вообще бывают 2.5. 2.5 тише и
менее прожорливы, но если речь идет о восьми дисках, а не максимум двух,
то о тишине речь уже не идет.

Re: NAS

2017-07-07 Пенетрантность Tim Sattarov

On 07/07/17 04:23 PM, artiom wrote:
 Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
 USB Mass Storage и SATA  протоколы, в пользу SATA.

>>> Что мне это даёт (я не общаюсь с диском напрямую)?
>>>
>> Ты и с USB/SATA напрямую не общаешься, и с RAID, а однако они тебе
>> нужны/не нужны.
>> набор команд ограничивает возможности устройства.
>>
> Ещё раз: я не общаюсь напрямую с устройством.
> Специфичные команды, типа ATA шифрования мне не требуются.
> ФС не заточена под конкретные устройства, драйвера дисковой подсистемы,
> вроде, тоже не имеют оптимизаций под конкретные модели дисков, и
> никакого прироста в скорости, надёжности или уменьшении
> энергопотребления (не в ущерб остальному) это не даст.
>
я не знаю, зачем ты споришь, судя по твоим постам, ты в этом деле
теоретик, практического опыта у тебя нет, но есть уже твёрдрые убеждения.
Тебе пытаются помочь, ответить на твои вопросы, немного благодарности и
уважения не помешают и сделают общение более приятным.

Re: NAS



07.07.2017 23:09, Tim Sattarov пишет:
> On 07/07/17 03:46 PM, artiom wrote:
>>
>> 06.07.2017 23:21, Tim Sattarov пишет:
>>> On 06/07/17 03:45 PM, artiom wrote:
 но убедительных аргументов в пользу сата я не смог найти.
>>> Не, ну блин
>>> USB3 максимальная скорость 5Gbps
>>> SATA3 максимальная скорость 6Gbps
>>>
>> И везде узкое место - диск.
> см предыдущее общение по этому поводу. в том числе случай с несколькими
> дисками на одной шине
Да, уже видел. Но только получается не 5 Гб/с тогда.
Но, чтобы шина стала узким местом, там получается, на один контроллер
(который подключен по одной шине, если вообще в проц не интегрирован),
надо навесить от 3-х дисков.

>> А просто USB диски не существуют?
> ты про HDD сейчас ? насколько я знаю, нет. Могу ошибаться.
Да, про HDD.

>>
>>> Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
>>> USB Mass Storage и SATA  протоколы, в пользу SATA.
>>>
>> Что мне это даёт (я не общаюсь с диском напрямую)?
>>
> Ты и с USB/SATA напрямую не общаешься, и с RAID, а однако они тебе
> нужны/не нужны.
> набор команд ограничивает возможности устройства.
> 
Ещё раз: я не общаюсь напрямую с устройством.
Специфичные команды, типа ATA шифрования мне не требуются.
ФС не заточена под конкретные устройства, драйвера дисковой подсистемы,
вроде, тоже не имеют оптимизаций под конкретные модели дисков, и
никакого прироста в скорости, надёжности или уменьшении
энергопотребления (не в ущерб остальному) это не даст.

Re: NAS



07.07.2017 08:45, yuri.nefe...@gmail.com пишет:
> On Fri, 7 Jul 2017, Andrey Jr. Melnikov wrote:
> 
>>
>> А на самом деле - даже простенький железный рейд с своим кешом и
>> батарейкой
>> даст прикурить софтовому рейду.
>>
> 
>   Мне кажется тут уже писали, но повторю простенькую мысль.
>   Кроме производительности иногда еще важна надежность.
>   Рейд на основе контроллера часто умирает вместе с контроллером.
>   Вот только в мае переводил корзину на 24 диска на софт-райд,
>   так как стало понятно, что за 10 лет, прошедших с
>   момента покупки, доступность используемого контроллера на
>   рынке стала практически нулевой. Если, не дай бог, с ним что-то
>   случится, то головная боль по восстановлению данных будет
>   невыносимой. С софт-рейдом я просто заменю его на какой-то
>   другой.
> 
Про это тоже говорили. И это огромный минус в сторону рэйдов.
Каждый контроллер хранит метаданные в своём формате, стандартов нет, и
они не взаимозаменяемы.

>   А производительность, да, страдает. На RAID6 это особенно
>   заметно в моменты сборки рейда, проверки целостности и т.п.
>   Причем это родовые особенности софт-рейда, процессор и
>   память тут не при чем.
> Ю.

Re: NAS



07.07.2017 02:16, Vasiliy P. Melnik пишет:
> А на самом деле - даже простенький железный рейд с своим кешом и
> батарейкой
> даст прикурить софтовому рейду.
> 
> 
> Это стереотипы - когда процессоры были медленными и ресурсов не хватало
> это все имело смысл, сейчас это все бестолковая трата денег. Я рейд
> контроллеры только для винды покупаю 
> 
Потому что, нет ZFS?

Re: NAS



07.07.2017 00:19, yuri.nefe...@gmail.com пишет:
> On Thu, 6 Jul 2017, artiom wrote:
> 
>>> > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
>>> > Хороша ли эта идея?
>>>
>>> Если у такого подхода и есть преимущества — мне о них
>>> неизвестно.
>>>
>> Простая замена дисков, большое количество USB, питание в том же разъёме,
>> и отсутствие необходимости в отдельном блоке питания (комп может быть
>> запитан от 12 вольт).
>>
> 
>  Тут  как раз проблемы. Для раскрутки диска требуется неслабый
>  ток - в пике до 1А для 2.5" дисков и до 2А для 3.5".
>  По спецификации USB порт выдает 0.5A для USB2 и 0.9А для USB3.
>  То что диски вообще работают в таких портах следствие того,
>  что реально никто ток не ограничивает, а кратковременная
>  перегрузка не так страшна. Тем не менее, бывало, что в USB2
>  внешний диск и не стартовал.
> 
>  Надежда, что несколько USB портов дадут больший ток
>  иллюзорна. На практике, рядом стоящие порты сидят на одной
>  ветке питания и делят ее между собой.
>  Так что если больше 2 дисков, то скорее всего будут проблемы.
> 
> Ю.
Ok, понял.
Да, а какие диски "лучше" (и в чём): 2.5 или 3.5?
Что имеет смысл брать?

Re: NAS

2017-07-07 Пенетрантность Tim Sattarov

On 07/07/17 03:46 PM, artiom wrote:
>
> 06.07.2017 23:21, Tim Sattarov пишет:
>> On 06/07/17 03:45 PM, artiom wrote:
>>> но убедительных аргументов в пользу сата я не смог найти.
>> Не, ну блин
>> USB3 максимальная скорость 5Gbps
>> SATA3 максимальная скорость 6Gbps
>>
> И везде узкое место - диск.
см предыдущее общение по этому поводу. в том числе случай с несколькими
дисками на одной шине
> А просто USB диски не существуют?
ты про HDD сейчас ? насколько я знаю, нет. Могу ошибаться.
>
>> Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
>> USB Mass Storage и SATA  протоколы, в пользу SATA.
>>
> Что мне это даёт (я не общаюсь с диском напрямую)?
>
Ты и с USB/SATA напрямую не общаешься, и с RAID, а однако они тебе
нужны/не нужны.
набор команд ограничивает возможности устройства.

Re: NAS



07.07.2017 01:19, Andrey Jr. Melnikov пишет:
> artiom  wrote:
> 
>> 06.07.2017 19:39, Andrey Jr. Melnikov пишет:
>>> artiom  wrote:
>>>
 2. Коробочка.
 Для NAS вообще отдельно продаются коробки 
>>> Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition
>>> диски ставить не будешь, а все остальные - очень не любят тепло. 
>>> Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) 
>>> загнулся примерно за год.
>> Сигейт мог загнуться и не от этого, но понятно, что достаточно просторная.
> Было бы в коробке градусов 30 - оно бы крутилось и крутилось, т.к. записи на
> него почти не производилось.
> 
Это не важно.
Я где-то здесь кидал ссылку.
В сигейтах была серьёзная ошибка, приводящая к негерметичности и быстрой
смерти диска.

 не на Али (оттуда доставлять дорого габаритные грузы)?
>>> Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. 
>>>
>> Да, но это будет по цене равно половине цены коробки, плюс, это "коробка
>> в мешке", т.к. неизвестно что и в каком состоянии привезут.
> В нормальном. И "industrial pc" приезжали и мониторы. 
> 
Осциллограф приезжал, всё ok, но цена доставки там была включена, а для
просто коробочки это весьма дорого, и руками перед покупкой её не пощупаешь.

 3. Железо.
 - Покупать готовую железку не имеет смысла: дорого и
 малопроизводительно. Так?
>>> Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и 
>>> коробка на 4 диска.
>>>
>> 4 - маловато, хотелось бы 8-10, на вырост.
> Ааа, так ты дома ЦОД собрался делать? Объясни мне - зачем 8 дырок?
См. выше: на вырост.
10 Тб для NAS не так и много.
Автокачка фильмов, бэкапы, подключение к хранилищу ещё кого-нибудь и
всё, места нет.

> Ну предположим, тыщ за 5 можно на авито найти б/у адаптек на 8 дыр.
> И поставить туда 8 дисков по скажем 2Tb. 
> Путем несложной математики 8 x 6600 = 52800 + 5000 за рейд - имеем 57000
> денег за 4x2 = 8Tb (raid1) места.
> При том, что 2 диска по 8Tb - обойдутся 2 x 22820 = 45640.
> 
Минус рэйд, читайте внимательнее.
Даже при таком подсчёте непонятном (ни модели, ничего), разница в 7 тыр.
Неприятно, но терпимо, с учётом последующей необходимости в замене
дисков (лучше поменять диск за 6600, чем за 23000, так что экономия при
первой же замене, мне боком выйдет).

Да, про это я писал: цена за мегабайт падает с увеличением объёма.
Но у них есть недостаток: цена и надёжность.
По статистике (была ссылка) наиболее надёжные диски на 2-4 Тб, кроме
того, при выходе из строя одного диска на 8 Тб, я потеряю 8 Тб, а не 2,
и платить мне придётся за новый 8 Тб диск, а не за 2-х Тб.

> А теперь давай смотреть на питание - каждый диск жреть в пике под 2A по 12v
24 Вт? Что-то многовато вы загнули. Разве что, в пике, да и то
сомнительно, кроме того, это ток выдаваемый блоком, и по нескольким
каналам, что приемлемо (но греться будет), суммарная мощность же небольшая.

> - итого: ящик из 8 дисков - 16A + контроллер, который тоже не святым духом
> питается vs 2 диска - просто 4A.
> 
Кроме тепловыделения, нет большой разницы (пиковой нагрузки они редко
достигают).

> Это без учета всяких вентиляторов и прочей мелкой, но очень нужной требухи.
> 
Да, вентиляторы - крайне неприятно, но в конце концов, возможно
поставить большой, но низкооборотистый, который при достаточном
воздушном потоке, не даёт сильного шума.

>> Но идея ясна. Я ещё коробки посмотрю в магазинах, у меня пока руки до
>> всего не доходят.
> Коробка на 8 дисков - называется "дисковая полка". Со всеми радостями в виде
> шума, размера и FC-коннекторов.
> 
Ну это перебор, я точно видел именно коробки (personal, не server), а не
полки.

 - Возможно купить коробку и поставить в неё китайский промышленный ПК в
 корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант?
>>> Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме
>>> древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая
>>> воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым
>>> недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1
>>> SATA порт.
>>>
>> В том и дело, что на i3-i7 без турбинки:
>> https://ru.aliexpress.com/item/Fanless-Mini-PC-Core-i5-4200U-i3-4010U-Industrial-Computer-2-COM-HDMI-VGA-Dual-Display/32760393174.html
>> Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои
>> плюсы, да и по пропускной способности интерфейс подходит.
>> Вариант?
> 
> Не-а. Те-же 4 винта по 2 Tb, будут жрать суммарно в пике 4 ампера с USB3.0.
> Я как-то не уверен, что китацы не сэкономили на стабилизаторах питания. Плюс
> еще что-то жрет сам ящик - итого нужен промышленный блок питания на 12v
> ампер этак 6, а лучше 8.
> 
В чём проблема? Они достаточно компактны.

> Плюс - вчитываемся в маркетинговый буллщит про USB3.0 и медленно понимаем,
> что 5 GBps - это мы теоретическую on wire скорость сказали (ну цифра то
> красивая, да?), а на самом деле - она порядка 4 Gbps

Re: NAS

2017-07-07 Пенетрантность Andrey Jr. Melnikov



06.07.2017 23:21, Tim Sattarov пишет:
> On 06/07/17 03:45 PM, artiom wrote:
>> но убедительных аргументов в пользу сата я не смог найти.
> Не, ну блин
> USB3 максимальная скорость 5Gbps
> SATA3 максимальная скорость 6Gbps
> 
И везде узкое место - диск.

> Плюс если ты подключаешь SATA диск через  USB то в итоге используешь
> USB-SATA адаптер, разве что, ты не подключаешь флэшки на терабайт через
> один хаб.
> 
А просто USB диски не существуют?

> Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
> USB Mass Storage и SATA  протоколы, в пользу SATA.
> 
Что мне это даёт (я не общаюсь с диском напрямую)?

Re: NAS

Stanislav Vlasov  wrote:
> 7 июля 2017 г., 11:40 пользователь   написал:
> >> HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться
> >> железным рейдом?
> >> А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
> >> а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.

> >   Числа странные, что первое, что второе.

> Неоднократно повторялись на разных, но однотипных серверах.
У HP рейды обычно полный шлак.

> Измерялись, правда, один раз и на предыдущей партии дисков, но в любом
> случае при копировании с соседних серверов в случае аппаратного рейда
> упирались в диск, в случае программного в 2x1G сеть.
Ага, а в каком режиме этот рейд воткнутый через рейзер в мать работает? И
PCI-E какой версии в чудо-серверах?

> >   Вот довольно любопытная статья по поводу  Software vs hardware RAID
> >
> > https://serverfault.com/questions/685289/software-vs-hardware-raid-performance-and-cache-usage

> Полностью с ней согласен, за исключением того, что там не указан тип
> контроллера, который имеет смысл использовать в аппаратном рейде. Они
> далеко не одинаковы и непонятно, что имелось ввиду под mid-to-high-end
> card.
Ну не HPшные рэйды, эт точно :)

> P.S. для работы вообще предпочёл бы отдельное хранилище с доступом по
> нескольким 10GE, но это будет сильно дороже...
40G уже в ходу, зачем городить portchannel из 10-к ?

Впрочем - можно взять 
http://www.ebay.com/itm/Myricom-10G-PCIE-8A-CJ-CX4-10GbE-10Gb-10G-Ethernet-NIC-HBA-Mac-Pro-Linux-NAS-/322422075006
и поиметь свои 10G до ящика с дисками.
Если уж так хочется 40G - Mellanox ConnectX-3 VPI InfiniBand+ 40GBE в руки.

Re: NAS

2017-07-07 Пенетрантность Andrey Jr. Melnikov

yuri.nefe...@gmail.com wrote:
> [-- text/plain, кодировка 8bit, кодировка: UTF-8, 23 строк --]

> On Fri, 7 Jul 2017, Andrey Jr. Melnikov wrote:

> >
> > А на самом деле - даже простенький железный рейд с своим кешом и батарейкой
> > даст прикурить софтовому рейду.
> >

>   Мне кажется тут уже писали, но повторю простенькую мысль.
>   Кроме производительности иногда еще важна надежность.
>   Рейд на основе контроллера часто умирает вместе с контроллером.

Ни разу не видел. За последние 20 лет. 

>   Вот только в мае переводил корзину на 24 диска на софт-райд,
>   так как стало понятно, что за 10 лет, прошедших с
>   момента покупки, доступность используемого контроллера на
>   рынке стала практически нулевой. Если, не дай бог, с ним что-то
>   случится, то головная боль по восстановлению данных будет
>   невыносимой. С софт-рейдом я просто заменю его на какой-то
>   другой.
10 лет? Это музейный экспонат. Начиная с того, что оно обычно не умеет LUN'ы
размером больше 2Tb и заканчивая полным непониманием новомодных
4k-per-sector дисков. Его надо было вместе с массивом списать лет 5 назад.

>   А производительность, да, страдает. На RAID6 это особенно
>   заметно в моменты сборки рейда, проверки целостности и т.п.
>   Причем это родовые особенности софт-рейда, процессор и
>   память тут не при чем.
Каджый волен заблуждаться как ему хочется. Возьми и загрузи по полной
машинку с софт-рейдом и посмотри - насколько просядет производительность.

Софт-рейд - это возможность здесь и сейчас скрестить ужа с ежом по быстрому,
а не ждать пока "ХуангЛиВонСунь и ко" напишет новую фирмварь для рейда.

Re: NAS

2017-07-07 Пенетрантность Victor Wagner

On Fri, 7 Jul 2017 01:19:04 +0300
"Andrey Jr. Melnikov"  wrote:
в
> > 4 - маловато, хотелось бы 8-10, на вырост.  
> Ааа, так ты дома ЦОД собрался делать? Объясни мне - зачем 8 дырок?
> Ну предположим, тыщ за 5 можно на авито найти б/у адаптек на 8 дыр.
> И поставить туда 8 дисков по скажем 2Tb. 
> Путем несложной математики 8 x 6600 = 52800 + 5000 за рейд - имеем
> 57000 денег за 4x2 = 8Tb (raid1) места.
> При том, что 2 диска по 8Tb - обойдутся 2 x 22820 = 45640.

А если поставить 8x8 будет 64Тб.  Тогда туда можно, пока не поздно,
скачать с торрентов копию Library Genesis и копию arjlover.net.

У меня в ЖЖ некоторое время назад обсуждался вопрос "как за минимальные
деньги завести копию Library Genesis". Так ни до чего хорошего не
дообсуждались. Там терабайт двадцать или тридцать. Arjlover со своими
8.3 нервно курит в углу, а флибуста с википедией вообще боятся голову
из мышиной норки высунуть. 

в

Re: NAS

2017-07-07 Пенетрантность Stanislav Vlasov

7 июля 2017 г., 11:40 пользователь   написал:
>> HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться
>> железным рейдом?
>> А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
>> а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.

>   Числа странные, что первое, что второе.

Неоднократно повторялись на разных, но однотипных серверах.
Измерялись, правда, один раз и на предыдущей партии дисков, но в любом
случае при копировании с соседних серверов в случае аппаратного рейда
упирались в диск, в случае программного в 2x1G сеть.

>   Вот довольно любопытная статья по поводу  Software vs hardware RAID
>
> https://serverfault.com/questions/685289/software-vs-hardware-raid-performance-and-cache-usage

Полностью с ней согласен, за исключением того, что там не указан тип
контроллера, который имеет смысл использовать в аппаратном рейде. Они
далеко не одинаковы и непонятно, что имелось ввиду под mid-to-high-end
card.

-- 
Stanislav

P.S. для работы вообще предпочёл бы отдельное хранилище с доступом по
нескольким 10GE, но это будет сильно дороже...

Re: NAS

2017-07-07 Пенетрантность yuri . nefedov


On Fri, 7 Jul 2017, Stanislav Vlasov wrote:


7 июля 2017 г., 3:40 пользователь Andrey Jr. Melnikov
 написал:

А на самом деле - даже простенький железный рейд с своим кешом и батарейкой
даст прикурить софтовому рейду.


HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться
железным рейдом?
А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.



  Числа странные, что первое, что второе.
  Но не суть важно.

  Вот довольно любопытная статья по поводу  Software vs hardware RAID
  
https://serverfault.com/questions/685289/software-vs-hardware-raid-performance-and-cache-usage

Ю.

Re: NAS

2017-07-06 Пенетрантность Stanislav Vlasov

7 июля 2017 г., 10:45 пользователь Sergey Matveev
 написал:

>>А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
>>а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.
>
> Действительно, все тоже мне встречаемые железные RAID-ы, возможно кроме
> очень дорогих и топовых, на RAID6 всегда были медленнее чем mdadm. RAID5
> вообще только XOR операцию использует, а вот RAID6 уже тяжёл и требует
> процессора.

Проблема в том, что с raid5 было примерно так же, хоть и не настолько
большая разница была.
Но от raid5 отказались из-за ненадёжности.

-- 
Stanislav

Re: NAS

2017-07-06 Пенетрантность Stanislav Vlasov

*** Stanislav Vlasov  [2017-07-07 08:40]:
>А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
>а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.

Действительно, все тоже мне встречаемые железные RAID-ы, возможно кроме
очень дорогих и топовых, на RAID6 всегда были медленнее чем mdadm. RAID5
вообще только XOR операцию использует, а вот RAID6 уже тяжёл и требует
процессора.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

2017-07-06 Пенетрантность yuri . nefedov

On Fri, 7 Jul 2017, Andrey Jr. Melnikov wrote:

А на самом деле - даже простенький железный рейд с своим кешом и батарейкой
даст прикурить софтовому рейду.

Мне кажется тут уже писали, но повторю простенькую мысль.
Кроме производительности иногда еще важна надежность.
Рейд на основе контроллера часто умирает вместе с контроллером.
Вот только в мае переводил корзину на 24 диска на софт-райд,
так как стало понятно, что за 10 лет, прошедших с
момента покупки, доступность используемого контроллера на
рынке стала практически нулевой. Если, не дай бог, с ним что-то
случится, то головная боль по восстановлению данных будет
невыносимой. С софт-рейдом я просто заменю его на какой-то
другой.

А производительность, да, страдает. На RAID6 это особенно
заметно в моменты сборки рейда, проверки целостности и т.п.
Причем это родовые особенности софт-рейда, процессор и
память тут не при чем.
Ю.

Re: NAS

7 июля 2017 г., 3:40 пользователь Andrey Jr. Melnikov
 написал:
> А на самом деле - даже простенький железный рейд с своим кешом и батарейкой
> даст прикурить софтовому рейду.

HP Smart Array P410 достаточно простенький, чтоб всё ещё считаться
железным рейдом?
А то raid6 из 8 с ним давал порядка 100 МБ/сек при наличии батарейки,
а raid6 mdadm на тех же дисках в том же сервере - порядка 400 МБ/сек.

-- 
Stanislav

Re: NAS

2017-07-06 Пенетрантность Vasiliy P. Melnik

>
> А на самом деле - даже простенький железный рейд с своим кешом и батарейкой
> даст прикурить софтовому рейду.
>

Это стереотипы - когда процессоры были медленными и ресурсов не хватало это
все имело смысл, сейчас это все бестолковая трата денег. Я рейд контроллеры
только для винды покупаю

Re: NAS

2017-07-06 Пенетрантность Vasiliy P. Melnik

>
> Зеркало в теории даст прирост на чтение в X раз, если **работать из X
> потоков** на Х дисках.
>

надо рейд10 строить - тогда будет прирост. Я тестировал примерно пол года
назад, правда у меня почему-то разваливался рейд10 собранный из ссд-эшек,
при том, что рейд10 из обычных винтов без проблем работает

Re: NAS

2017-07-06 Пенетрантность Andrey Jr. Melnikov

artiom  wrote:

> 06.07.2017 19:39, Andrey Jr. Melnikov пишет:
> > artiom  wrote:
> > 
> >> 2. Коробочка.
> >> Для NAS вообще отдельно продаются коробки 
> > Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition
> > диски ставить не будешь, а все остальные - очень не любят тепло. 
> > Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) 
> > загнулся примерно за год.
> Сигейт мог загнуться и не от этого, но понятно, что достаточно просторная.
Было бы в коробке градусов 30 - оно бы крутилось и крутилось, т.к. записи на
него почти не производилось.

> >> не на Али (оттуда доставлять дорого габаритные грузы)?
> > Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. 
> > 
> Да, но это будет по цене равно половине цены коробки, плюс, это "коробка
> в мешке", т.к. неизвестно что и в каком состоянии привезут.
В нормальном. И "industrial pc" приезжали и мониторы. 

> >> 3. Железо.
> >> - Покупать готовую железку не имеет смысла: дорого и
> >> малопроизводительно. Так?
> > Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и 
> > коробка на 4 диска.
> > 
> 4 - маловато, хотелось бы 8-10, на вырост.
Ааа, так ты дома ЦОД собрался делать? Объясни мне - зачем 8 дырок?
Ну предположим, тыщ за 5 можно на авито найти б/у адаптек на 8 дыр.
И поставить туда 8 дисков по скажем 2Tb. 
Путем несложной математики 8 x 6600 = 52800 + 5000 за рейд - имеем 57000
денег за 4x2 = 8Tb (raid1) места.
При том, что 2 диска по 8Tb - обойдутся 2 x 22820 = 45640.

А теперь давай смотреть на питание - каждый диск жреть в пике под 2A по 12v
- итого: ящик из 8 дисков - 16A + контроллер, который тоже не святым духом
питается vs 2 диска - просто 4A.

Это без учета всяких вентиляторов и прочей мелкой, но очень нужной требухи.

> Но идея ясна. Я ещё коробки посмотрю в магазинах, у меня пока руки до
> всего не доходят.
Коробка на 8 дисков - называется "дисковая полка". Со всеми радостями в виде
шума, размера и FC-коннекторов.

> >> - Возможно купить коробку и поставить в неё китайский промышленный ПК в
> >> корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант?
> > Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме
> > древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая
> > воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым
> > недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1
> > SATA порт.
> > 
> В том и дело, что на i3-i7 без турбинки:
> https://ru.aliexpress.com/item/Fanless-Mini-PC-Core-i5-4200U-i3-4010U-Industrial-Computer-2-COM-HDMI-VGA-Dual-Display/32760393174.html
> Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои
> плюсы, да и по пропускной способности интерфейс подходит.
> Вариант?

Не-а. Те-же 4 винта по 2 Tb, будут жрать суммарно в пике 4 ампера с USB3.0.
Я как-то не уверен, что китацы не сэкономили на стабилизаторах питания. Плюс
еще что-то жрет сам ящик - итого нужен промышленный блок питания на 12v
ампер этак 6, а лучше 8.

Плюс - вчитываемся в маркетинговый буллщит про USB3.0 и медленно понимаем,
что 5 GBps - это мы теоретическую on wire скорость сказали (ну цифра то
красивая, да?), а на самом деле - она порядка 4 Gbps (raw) за минусом 8b/10b
помехоусточивого кодирования - получаем порядка 3.2 GBps. Тоже хорошо, (но
вот тут мы тоже умолчали, зачем консумеру такие подробности?) - это скорость
до хаба. А поскольку один хаб обслуживает 4 порта, то делим эти 3.2Gbps на
количество активных портов.

Но и это еще не всё - дальше зависит от китайцев, на какую PCI-E шину
(x1/x2/x4/x8/x16) они посадили хаб. Если на 1x - то больше чем 250 Mb/s на
контроллер ты никогда не увидишь. Да и из этих 250 Mb/s надо отсчитать
производственные потери на корявый размер пакета - который в USB максимум 1024 
байта.

И на последок - USB винты достаточно агрессивно экономят электроэнергию,
поэтому они паркуются при любом удобном случае и не сильно расчитаны на
постоянную работу.

Ты всё еще хочешь рэйд для бедных на USB винтах? ;)

Re: NAS

2017-07-06 Пенетрантность Oleksandr Gavenko

On 2017-07-07, Oleksandr Gavenko wrote:

> Например RAID 5 из 5 шт. Запись 1 блока требует 4 паралельных чтения (место
> куда писать не нужно считывать) и 2 паралельных записей (сами данные и
> скоректированую парность), чтение может быть в 5 раз быстрее, это все в
> теории...

Неправда, достаточно 2 чтения - старое место + парность и 2 записи - новые
даные и парность.

-- 
http://defun.work/

Re: NAS

2017-07-06 Пенетрантность Oleksandr Gavenko

On 2017-07-06, Ivan Shmakov wrote:

>  > — RAID, кроме mirror, не дают повышения надёжности (упал диск —
>  > потерял часть данных, упал диск в рэйде — рейд может и не
>  > пересобраться, потеряются все данные, упало два — капут).  Это верно?
>
>   Все RAID, кроме RAID0, именно что повышают надежность.
>   (RAID0, напротив, повышает производительность в ущерб
>   надежности.)

И все же Вы недоговариваете про скорость чтения, подчеркивая только
"надежность".

Зеркало в теории даст прирост на чтение в X раз, если **работать из X
потоков** на Х дисках.

https://superuser.com/questions/385519/does-raid1-increase-performance-with-linux-mdadm

Т.к. на вертящихся дисках нету смысла последовательные данные читать с разных
дисков то в `md` драйвере скорее всего не делали round robin для RAID 1. Хотя
это уже имеет смысл для SSD носителей... Я подробностей не знаю и md может
быть туповатый и не дать x2 даже при чтении двумя потоками...

Также RAID 5 и 6 в зависимости от числа носителей дают буст в IOPS на
чтение.

Например RAID 5 из 5 шт. Запись 1 блока требует 4 паралельных чтения (место
куда писать не нужно считывать) и 2 паралельных записей (сами данные и
скоректированую парность), чтение может быть в 5 раз быстрее, это все в
теории...

Проверяют ли драйвера RAID на чтении в случае зеркала совпадение обоих блоков
и в случае 5 / 6 - парность? Наверно чексумы эфективнее считать чем повышеное
количество байтов ганять... Что скажет сообщество?

-- 
http://defun.work/

Re: NAS

2017-07-06 Пенетрантность Tim Sattarov

On 06/07/17 04:45 PM, Sergey Matveev wrote:
> *** Tim Sattarov  [2017-07-06 23:22]:
>> Не, ну блин
>> USB3 максимальная скорость 5Gbps
>> SATA3 максимальная скорость 6Gbps
> Ну для подключения одного жёсткого диска-то это как-раз не важно.
> Сколько современные диски вытают скорость?
> 150-200 MBps, а это 1.2-1.6 Gbps. Но если конечно несколько дисков
> пойдут по одному "проводу", то тогда можно и упереться в 5-6 Gbps.
>

Тут наверное нужно больше упирать на то, что "чистых" USB дисков нет,
есть USB-SATA адаптеры.
разве что мы говорим о Flash drive, где реализован USB mass storage,
предпочтительно USB attached SCSI.

оверхед и трансляция протокола на адаптере.

Если речь об одном диске - то какая разница :) хоть PATA.

Re: NAS

2017-07-06 Пенетрантность yuri . nefedov

On Thu, 6 Jul 2017, artiom wrote:

> — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
> Хороша ли эта идея?

Если у такого подхода и есть преимущества — мне о них
неизвестно.

Простая замена дисков, большое количество USB, питание в том же разъёме,
и отсутствие необходимости в отдельном блоке питания (комп может быть
запитан от 12 вольт).

Тут как раз проблемы. Для раскрутки диска требуется неслабый
ток - в пике до 1А для 2.5" дисков и до 2А для 3.5".
По спецификации USB порт выдает 0.5A для USB2 и 0.9А для USB3.
То что диски вообще работают в таких портах следствие того,
что реально никто ток не ограничивает, а кратковременная
перегрузка не так страшна. Тем не менее, бывало, что в USB2
внешний диск и не стартовал.

Надежда, что несколько USB портов дадут больший ток
иллюзорна. На практике, рядом стоящие порты сидят на одной
ветке питания и делят ее между собой.
Так что если больше 2 дисков, то скорее всего будут проблемы.

Ю.

Re: NAS

*** Tim Sattarov  [2017-07-06 23:22]:
>Не, ну блин
>USB3 максимальная скорость 5Gbps
>SATA3 максимальная скорость 6Gbps

Ну для подключения одного жёсткого диска-то это как-раз не важно.
Сколько современные диски вытают скорость?
150-200 MBps, а это 1.2-1.6 Gbps. Но если конечно несколько дисков
пойдут по одному "проводу", то тогда можно и упереться в 5-6 Gbps.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

2017-07-06 Пенетрантность Tim Sattarov

On 06/07/17 03:45 PM, artiom wrote:
> но убедительных аргументов в пользу сата я не смог найти.
Не, ну блин
USB3 максимальная скорость 5Gbps
SATA3 максимальная скорость 6Gbps

Плюс если ты подключаешь SATA диск через  USB то в итоге используешь
USB-SATA адаптер, разве что, ты не подключаешь флэшки на терабайт через
один хаб.

Не проверял, но вроде бы ещё отличается набор команд, которыми оперирует
USB Mass Storage и SATA  протоколы, в пользу SATA.

Re: NAS

06.07.2017 22:51, Sergey Matveev пишет:
> У меня только мой опыт есть в этом вопросе и я не задумываясь бы, при
> схожей цене, делал бы SATA. Помнится, была даже *серверная* Intel плата,
> но, правда, с ещё 32-х битным процессором, довольно старая, и там USB
> устройства просто время от времени отключались и подключались снова
> (судя по сообщениям в dmesg). Аналогично было с подключением дисков к
> десктопным материнкам или ноутбучным. Не исключено что проблемы были в
> SATA<->USB контейнере, хотя их поменялось три. Без нагрузки, работало
> сносно, а как дать активные IO операции, так слетало. SATA для меня
> прост: или работает или нет (если провода/контакты в порядке, такое
> бывало). Плюс, насколько понимаю, USB подсистема жрёт больше CPU
> ресурсов в ядре, чем SATA.
Ok, контуры NAS потихоньку прорисовываются.

Re: NAS

*** artiom  [2017-07-06 22:46]:
>А тут не вопрос скупости: стоить это будет примерно одинаково.
>Скорее, целесообразность. Потому, что мне решение с юсб, хоть и
>показалось маргинальным, но убедительных аргументов в пользу сата я не
>смог найти.

У меня только мой опыт есть в этом вопросе и я не задумываясь бы, при
схожей цене, делал бы SATA. Помнится, была даже *серверная* Intel плата,
но, правда, с ещё 32-х битным процессором, довольно старая, и там USB
устройства просто время от времени отключались и подключались снова
(судя по сообщениям в dmesg). Аналогично было с подключением дисков к
десктопным материнкам или ноутбучным. Не исключено что проблемы были в
SATA<->USB контейнере, хотя их поменялось три. Без нагрузки, работало
сносно, а как дать активные IO операции, так слетало. SATA для меня
прост: или работает или нет (если провода/контакты в порядке, такое
бывало). Плюс, насколько понимаю, USB подсистема жрёт больше CPU
ресурсов в ядре, чем SATA.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS



06.07.2017 22:37, Sergey Matveev пишет:
> *** artiom  [2017-07-06 22:28]:
>> Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои
>> плюсы, да и по пропускной способности интерфейс подходит.
>> Вариант?
> 
> Лично я на всяком железе (не серверном, "простом" домашнем) делал не раз
> всякие простые шлюзы в Интернет и NAS-ы, но всегда так случалось что
> работает оно, как бы, нестабильно. Бывает что USB устройство отвалится и
> снова появится. Лично я вот для себя уяснил что скупой платит дважды :-),
> и я бы не стал делать на USB ничего, разве что загрузиться с неё например.
> Но это лично мой опыт -- USB фигово работает, а SATA без проблем.
> 
А тут не вопрос скупости: стоить это будет примерно одинаково.
Скорее, целесообразность. Потому, что мне решение с юсб, хоть и
показалось маргинальным, но убедительных аргументов в пользу сата я не
смог найти.

Re: NAS

*** artiom  [2017-07-06 22:28]:
>Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои
>плюсы, да и по пропускной способности интерфейс подходит.
>Вариант?

Лично я на всяком железе (не серверном, "простом" домашнем) делал не раз
всякие простые шлюзы в Интернет и NAS-ы, но всегда так случалось что
работает оно, как бы, нестабильно. Бывает что USB устройство отвалится и
снова появится. Лично я вот для себя уяснил что скупой платит дважды :-),
и я бы не стал делать на USB ничего, разве что загрузиться с неё например.
Но это лично мой опыт -- USB фигово работает, а SATA без проблем.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS



06.07.2017 20:57, Ivan Shmakov пишет:
>> artiom  writes:
> 
>   (Не то, чтобы у меня был большой опыт администрирования NAS, RAID
>   и подобного, но…)
> 
> […]
> 
>  > 1. Диски.  — Я посмотрел и выяснил, что стоимость мегабайта обратно
>  > пропорциональна объёму диска. Это верно?  — Но менять диск на 6 Тб
>  > гораздо дороже, чем диск на 3 Тб, а в случае поломки, менять диск
>  > придётся.  — Какие диски лучше использовать (объём, марка)?  Был обзор
>  > со статистикой, вроде как Хитачи отказывают меньше всех.  Так?
> 
>  > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
>  > Хороша ли эта идея?
> 
>   Если у такого подхода и есть преимущества — мне о них
>   неизвестно.
> 
Простая замена дисков, большое количество USB, питание в том же разъёме,
и отсутствие необходимости в отдельном блоке питания (комп может быть
запитан от 12 вольт).

>   FTR, SATA изначально разрабатывалась с поддержкой «горячей
>   замены» — вплоть до физического уровня (e. g., удлиненные
>   контакты для «общего» провода.)  На практике, иные носители
>   бывало переподключал к машинам по нескольку раз на дню;
>   без каких-либо проблем — программных или аппаратных.
> 
Ok, учту. Но питание ещё имеется. Там разъёмы другие.

> […]
> 
>  > — Аппаратные RAID контроллеры могут быть лишь дорогими, либо это те
>  > же самые программные и вместо них лучше использовать обычный
>  > программный RAID, предоставляемый ОС.  Это верно?
> 
>   Я так полагаю, аппаратный RAID5/RAID6 для дома легко выйдет за
>   любой разумный бюджет.
> 
Ну это уже выяснили, да и, я так понял, не нужен он.
Кроме того, что отвалить $500-$1k только за контроллер я не готов, так
он ещё и не особенно нужен.
Отказался от рэйдов в пользу ZFS.

>  > — RAID, кроме mirror, не дают повышения надёжности (упал диск —
>  > потерял часть данных, упал диск в рэйде — рейд может и не
>  > пересобраться, потеряются все данные, упало два — капут).  Это верно?
> 
>   Все RAID, кроме RAID0, именно что повышают надежность.
>   (RAID0, напротив, повышает производительность в ущерб
>   надежности.)
> 
Товарищ занимался разработкой контроллеров для рэйдов, и говорил, что
это не совсем так: рэйд добавляет точки отказа.

>  > — Mirror — слишком дорого, не стоит его ставить на домашний NAS?
> 
>   RAID1 требует двух устройств, так что он, в некотором смысле,
>   наименее дорогой.  RAID5 требует не менее трех; RAID6 — не менее
>   четырех.  OTOH, «накладные расходы» у них меньше: объем
>   «избыточных» данных для RAID1 составляет половину от суммарного
>   объема массива; для RAID5 — не более трети (1/N, где N —
>   количество дисков); для RAID4 — не более половины (2/N.)
> 
> […]
> 
Короче: ZFS.

Re: NAS

2017-07-06 Пенетрантность Andrey Jr. Melnikov



06.07.2017 19:39, Andrey Jr. Melnikov пишет:
> artiom  wrote:
> 
>> 2. Коробочка.
>> Для NAS вообще отдельно продаются коробки 
> Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition
> диски ставить не будешь, а все остальные - очень не любят тепло. 
> Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) 
> загнулся примерно за год.
> 
Сигейт мог загнуться и не от этого, но понятно, что достаточно просторная.

>> не на Али (оттуда доставлять дорого габаритные грузы)?
> Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. 
> 
Да, но это будет по цене равно половине цены коробки, плюс, это "коробка
в мешке", т.к. неизвестно что и в каком состоянии привезут.

>> 3. Железо.
>> - Покупать готовую железку не имеет смысла: дорого и
>> малопроизводительно. Так?
> Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и 
> коробка на 4 диска.
> 
4 - маловато, хотелось бы 8-10, на вырост.
Но идея ясна. Я ещё коробки посмотрю в магазинах, у меня пока руки до
всего не доходят.

>> - Возможно купить коробку и поставить в неё китайский промышленный ПК в
>> корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант?
> Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме
> древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая
> воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым
> недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1
> SATA порт.
> 
В том и дело, что на i3-i7 без турбинки:
https://ru.aliexpress.com/item/Fanless-Mini-PC-Core-i5-4200U-i3-4010U-Industrial-Computer-2-COM-HDMI-VGA-Dual-Display/32760393174.html?spm=2114.13010308.0.0.IAmeaa_platform=aaf=1488189260576_trace_key=507ac0faeb6d4bb68152e467860f5cba-1488189260576-01893-zj6qB6AIM_platform=aaf=1488189261398=zj6qB6AIM_trace_key=507ac0faeb6d4bb68152e467860f5cba-1488189261398-09148-zj6qB6AIM
Возможно использовать USB 3 вместо SATA, у этого варианта даже есть свои
плюсы, да и по пропускной способности интерфейс подходит.
Вариант?

Re: NAS

2017-07-06 Пенетрантность Ivan Shmakov

> artiom  writes:

(Не то, чтобы у меня был большой опыт администрирования NAS, RAID
и подобного, но…)

[…]

 > 1. Диски.  — Я посмотрел и выяснил, что стоимость мегабайта обратно
 > пропорциональна объёму диска. Это верно?  — Но менять диск на 6 Тб
 > гораздо дороже, чем диск на 3 Тб, а в случае поломки, менять диск
 > придётся.  — Какие диски лучше использовать (объём, марка)?  Был обзор
 > со статистикой, вроде как Хитачи отказывают меньше всех.  Так?

 > — Один товарищ продвигал идею использовать USB 3.0 вместо SATA.
 > Хороша ли эта идея?

Если у такого подхода и есть преимущества — мне о них
неизвестно.

FTR, SATA изначально разрабатывалась с поддержкой «горячей
замены» — вплоть до физического уровня (e. g., удлиненные
контакты для «общего» провода.)  На практике, иные носители
бывало переподключал к машинам по нескольку раз на дню;
без каких-либо проблем — программных или аппаратных.

[…]

 > — Аппаратные RAID контроллеры могут быть лишь дорогими, либо это те
 > же самые программные и вместо них лучше использовать обычный
 > программный RAID, предоставляемый ОС.  Это верно?

Я так полагаю, аппаратный RAID5/RAID6 для дома легко выйдет за
любой разумный бюджет.

 > — RAID, кроме mirror, не дают повышения надёжности (упал диск —
 > потерял часть данных, упал диск в рэйде — рейд может и не
 > пересобраться, потеряются все данные, упало два — капут).  Это верно?

Все RAID, кроме RAID0, именно что повышают надежность.
(RAID0, напротив, повышает производительность в ущерб
надежности.)

 > — Mirror — слишком дорого, не стоит его ставить на домашний NAS?

RAID1 требует двух устройств, так что он, в некотором смысле,
наименее дорогой.  RAID5 требует не менее трех; RAID6 — не менее
четырех.  OTOH, «накладные расходы» у них меньше: объем
«избыточных» данных для RAID1 составляет половину от суммарного
объема массива; для RAID5 — не более трети (1/N, где N —
количество дисков); для RAID4 — не более половины (2/N.)

[…]

-- 
FSF associate member #7257  np. Delta – Main Theme remix — moonove   230E 334A

Re: NAS

artiom  wrote:

> 2. Коробочка.
> Для NAS вообще отдельно продаются коробки 
Коробка долна быть просторная и ВЕНТИЛИРУЕМАЯ. Домой ты себе RaidEdition
диски ставить не будешь, а все остальные - очень не любят тепло. 
Терабайтный сигейт в домашнем гейтвее (стоит в шкафу - сушит всякое) 
загнулся примерно за год.

> не на Али (оттуда доставлять дорого габаритные грузы)?
Зависит от способа отправки. Тыщи за 3 могут и EMS'ом заслать. 

> 3. Железо.
> - Покупать готовую железку не имеет смысла: дорого и
> малопроизводительно. Так?
Зависит от. Найди б/у'шный HP MicroServer Gen7/Gen8 - вот тебе и мать и 
коробка на 4 диска.

> - Возможно купить коробку и поставить в неё китайский промышленный ПК в
> корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант?
Ага. И питальник нестандартный. И китайский пром-пк на каком-нить атоме
древнем (но без охлаждения) или на мобильном i5-i7 - но с турбинкой, которая
воет. Что там у нас еще осталось? Матери на j1900 - они почти все с родовым
недостаком - 2 SATA порта. То, что продают китайцы на али - так там вобще 1
SATA порт.

Re: NAS

2017-07-04 Пенетрантность artiom

> 2) ко всем поделкам на основе чего-то стараюсь не использовать, без
> особой на то необходимости, ибо глюки основного дистрибутива плюс глюки
> кастомного дистрибутива - иногда получается не очень
> 
Вовсе не поделка, достаточно давно разрабатывают.
Я бы сказал, что это нечто вроде прошивки для широкого спектра NAS
устройств, и делать нечто своё, когда есть готовое, протестированное и
опробованное, смысла нет.
Думал, у вас будет аргументация, если не в пользу использования FreeNAS
вместо OpenVault, то хотя бы в пользу FreeBSD с ZFS против Linux с ZFS.

> 3 июля 2017 г., 23:43 пользователь artiom  > написал:
> 
> FreeNAS на её основе.
> 
> 03.07.2017 20:58, Vasiliy P. Melnik пишет:
> > FreeNAS? Почему?
> >
> >
> > Залип - думаю при чем тут нас :) фря - это freebsd
> >
> 
>

Re: NAS

2017-07-03 Пенетрантность Vasiliy P. Melnik

1) у Вас был четки вопрос - я дал четкий ответ, мысли читать не умею,
поэтому вопрос-ответ
2) ко всем поделкам на основе чего-то стараюсь не использовать, без особой
на то необходимости, ибо глюки основного дистрибутива плюс глюки кастомного
дистрибутива - иногда получается не очень

3 июля 2017 г., 23:43 пользователь artiom  написал:

> FreeNAS на её основе.
>
> 03.07.2017 20:58, Vasiliy P. Melnik пишет:
> > FreeNAS? Почему?
> >
> >
> > Залип - думаю при чем тут нас :) фря - это freebsd
> >
>
>

Re: NAS

2017-07-03 Пенетрантность artiom

FreeNAS на её основе.

03.07.2017 20:58, Vasiliy P. Melnik пишет:
> FreeNAS? Почему?
> 
> 
> Залип - думаю при чем тут нас :) фря - это freebsd 
>

Re: NAS

2017-07-03 Пенетрантность Vasiliy P. Melnik

>
> FreeNAS? Почему?
>

Залип - думаю при чем тут нас :) фря - это freebsd

Re: NAS

2017-07-03 Пенетрантность artiom



03.07.2017 14:49, Vasiliy P. Melnik пишет:
> 
> 
> 2017-07-03 13:13 GMT+03:00 Dmitry Kulagin  >:
> 
> 24.06.2017 13 :02, Vasiliy P. Melnik пишет:
> 
> по текущей лицензии зфс я линуксе из коробки мы не увидим, но
> есть модули собранные.
> 
> Поддержки в установщике вроде еще нет, однако в только что вышедшем
> Debian Stretch
> (в бекпортах для Jessie, тоже присутствует):
> 
> 
> И с большой долей вероятности в установщике и не будет. Но это и не
> требуется - откусить от диска раздел под системный лвм, допустим 100
> гигов, 9-тка умеет загружать кернел с лвм-раздела, остальное не
> распределять - просто разделы создать. После установки поставить модули
> zfs-а, свободные разделы определить в пулы как хочется.
> 
> З.Ы. но я бы фрю поставил, если машина чисто под бекапы будет использоваться
FreeNAS? Почему?

Re: NAS

2017-07-03 Пенетрантность Vasiliy P. Melnik

2017-07-03 13:13 GMT+03:00 Dmitry Kulagin :

> 24.06.2017 13:02, Vasiliy P. Melnik пишет:
>
>> по текущей лицензии зфс я линуксе из коробки мы не увидим, но есть модули
>> собранные.
>>
>> Поддержки в установщике вроде еще нет, однако в только что вышедшем
> Debian Stretch
> (в бекпортах для Jessie, тоже присутствует):
>

И с большой долей вероятности в установщике и не будет. Но это и не
требуется - откусить от диска раздел под системный лвм, допустим 100 гигов,
9-тка умеет загружать кернел с лвм-раздела, остальное не распределять -
просто разделы создать. После установки поставить модули zfs-а, свободные
разделы определить в пулы как хочется.

З.Ы. но я бы фрю поставил, если машина чисто под бекапы будет использоваться

Re: NAS

2017-07-03 Пенетрантность Dmitry Kulagin


24.06.2017 11:48, Sergey Matveev пишет:

*** Артём Н.  [2017-06-24 01:33]:

Xeon избыточен для NAS, мне так кажется (и это изделие позиционируется не как 
NAS, а как офисный сервер).
Для ZFS обязательна (крайне желательна) ECC память?
И нужен ли ZFS?

Лично я, поработав с ZFS уже три года, абсолютно ни с чем больше дела
иметь не хочу. И я говорю про домашние компьютеры, где 1-2 диска сейчас.
ECC -- чтобы не думалось, чтобы лучше "перебздеть". Xeon -- чтобы был ECC.
Самые младшие модели стоили довольно дёшево. Сейчас вот например на
nix.ru Xeon за 6.5 тыс.руб. вон можно купить -- я бы брал не раздумывая,
так как это плата за спокойствие (само собой с ECC памятью).


DDR4-ECC память поддерживают сейчас не только xeon, но и celeron G, 
pentium G и core-i3, но цена материнок все равно начинается от 10к 
рублей за c23x чипсет.

Re: NAS

2017-07-03 Пенетрантность Dmitry Kulagin


24.06.2017 13:02, Vasiliy P. Melnik пишет:
по текущей лицензии зфс я линуксе из коробки мы не увидим, но есть 
модули собранные.


Поддержки в установщике вроде еще нет, однако в только что вышедшем 
Debian Stretch

(в бекпортах для Jessie, тоже присутствует):
$ apt-cache show zfs-dkms
Package: zfs-dkms
Source: zfs-linux
Version: 0.6.5.9-5
Installed-Size: 7961
Maintainer: Debian ZFS on Linux maintainers 


Architecture: all
Provides: zfs-modules
Depends: dkms (>> 2.1.1.2-5), lsb-release, debconf (>= 0.5) | debconf-2.0
Pre-Depends: spl-dkms (>= 0.6.5.9)
Recommends: zfsutils-linux, zfs-zed
Description-en: OpenZFS filesystem kernel modules for Linux
 The Z file system is a pooled filesystem designed for maximum data
 integrity, supporting data snapshots, multiple copies, and data
 checksums.
 .
 This DKMS package includes the SPA, DMU, ZVOL, and ZPL components of
 OpenZFS.
Description-md5: c1e6760fc57260785aae3a4a3780013b
Homepage: http://www.zfsonlinux.org/
Section: contrib/kernel
Priority: optional
Filename: pool/contrib/z/zfs-linux/zfs-dkms_0.6.5.9-5_all.deb
Size: 1079744
MD5sum: 3d7a446b9dd3cc37ed26a2878362c5ab
SHA256: 0f947f09ed9e7c7244e1c77c46b2a182ec05796bf9b8a4d220475ba16affb554

Re: NAS

2017-06-24 Пенетрантность Oleksandr Gavenko



24.06.2017 19:25, Oleksandr Gavenko пишет:
> On 2017-06-24, Артём Н. wrote:
> 
>>> Когда говорят о надожности в RAID - приводят пример легитимной операции
>>> удаления файла )) Где же надежность?
>>>
>> Она легитимна, хотя и может быть нужный файл удалён умышленно, это крайне 
>> маловероятно.
>> Вопрос в том, что будет, если один из пачки дисков откажет, и что выдержит 
>> рейд.
>>
> Если API позволяет удлить файл, то самый важный файл будет удален. Закон 
> Мерфи.
> 
Это уровень ПО: возможно сделать архивы "только для чтения" (immutable,
например поставить).
RAID же всё-таки уровень железа.

> Я отписался только из-за терминологии и ожиданиях, которое люди вкладывают,
> когда говорят о RAID. Ваше реакция - типична на мое замечание и пример с
> удалением файла не убеждает отказаться от "надежности" и начать говорить об
> "доступности". Как хотите, по сути это философская позиция ))
> 
Ok, доступность, так доступность, возможно терминологически корректнее.

> RAID позволяет уменьшить время простоя в случае апаратных проблем, увеличить
> скорость чтения, распаралелить чтение, делает линейным раздробленное
> пространство дисков. Может еще что то делает, я их не готовил.
> 
Но тоже самое делает ZFS?
Нет у меня особого желания заниматсья рэйдами: мне нужно девайс сделать.
Если их возможно заменить (весь комплекс с рэйд-лвм-фс) на что-то одно,
я буду только рад.

>>> Дома за доступностьплатить нет смысла. А за надежность есть.
>>>
>>> Но достигается надежность избыточностью, бекапами и архивированием.
>>>
>> С NAS?
>> Репликацией в облако?
> 
> Посудите сами, что Вы хотите? Уменьшить цену поддержки данных NAS?
> 
> В RAID Вы выжимаете ресурс у 2-3 дисков одновременно. Без RAID Вы держите 1
> диск и раз в день/месяц делаете копию, как пожелаете.
> 
> Время тратите на средства резервирования данных, вместо настройки RAID.
> 
> А делать то копию все равно нужно, если стоит вопрос сохранности данных.
> 
> Говорить про надежность RAID особо нечего. Выдержит ли сбой 1/2/3 дисков
> одновременно. Тоже и про распаралеливание чтений / записей много не
> поговоришь. Даже на Wikipedia все написано.
> 
Читал я, но давно, тут просто ещё вопрос про контроллер ранее был.

Re: NAS

On 2017-06-24, Артём Н. wrote:

>> Когда говорят о надожности в RAID - приводят пример легитимной операции
>> удаления файла )) Где же надежность?
>>
> Она легитимна, хотя и может быть нужный файл удалён умышленно, это крайне 
> маловероятно.
> Вопрос в том, что будет, если один из пачки дисков откажет, и что выдержит 
> рейд.
>
Если API позволяет удлить файл, то самый важный файл будет удален. Закон Мерфи.

Я отписался только из-за терминологии и ожиданиях, которое люди вкладывают,
когда говорят о RAID. Ваше реакция - типична на мое замечание и пример с
удалением файла не убеждает отказаться от "надежности" и начать говорить об
"доступности". Как хотите, по сути это философская позиция ))

RAID позволяет уменьшить время простоя в случае апаратных проблем, увеличить
скорость чтения, распаралелить чтение, делает линейным раздробленное
пространство дисков. Может еще что то делает, я их не готовил.

>> Дома за доступностьплатить нет смысла. А за надежность есть.
>>
>> Но достигается надежность избыточностью, бекапами и архивированием.
>>
> С NAS?
> Репликацией в облако?

Посудите сами, что Вы хотите? Уменьшить цену поддержки данных NAS?

В RAID Вы выжимаете ресурс у 2-3 дисков одновременно. Без RAID Вы держите 1
диск и раз в день/месяц делаете копию, как пожелаете.

Время тратите на средства резервирования данных, вместо настройки RAID.

А делать то копию все равно нужно, если стоит вопрос сохранности данных.

Говорить про надежность RAID особо нечего. Выдержит ли сбой 1/2/3 дисков
одновременно. Тоже и про распаралеливание чтений / записей много не
поговоришь. Даже на Wikipedia все написано.

-- 
http://defun.work/

Re: NAS


On 24.06.2017 15:54, Oleksandr Gavenko wrote:

On 2017-06-23, artiom wrote:


- RAID, кроме mirror, не дают повышения надёжности (упал диск - потерял
часть данных, упал диск в рэйде - рейд может и не пересобраться,
потеряются все данные, упало два - капут). Это верно?
- Mirror - слишком дорого, не стоит его ставить на домашний NAS?


Обычно говорят что RAID повышает *доступность*. Меньше простоя.

Когда говорят о надожности в RAID - приводят пример легитимной операции
удаления файла )) Где же надежность?


Она легитимна, хотя и может быть нужный файл удалён умышленно, это крайне 
маловероятно.
Вопрос в том, что будет, если один из пачки дисков откажет, и что выдержит рейд.


Дома за доступностьплатить нет смысла. А за надежность есть.

Но достигается надежность избыточностью, бекапами и архивированием.


С NAS?
Репликацией в облако?

Re: NAS

2017-06-24 Пенетрантность Oleksandr Gavenko


On 24.06.2017 16:05, Oleksandr Gavenko wrote:

On 2017-06-23, Sergey Matveev wrote:


то Western Digital, но ни в коем случае
не всякие Green модели, типа тихие, экологичные и прочее -- насколько
знаю, это просто бракованные модели которые на пониженных
нагрузках/мощностях хоть как-то тянуть. У меня все зелёные модели
сдыхали довольно быстро -- табу на их приобретение.


Добавлю свою небольшую статистику по всем двум зеленым, которые были, дохнут
заразы. За годик.Но было это давно, лет 5 назад.


См. выше, там есть статистика от backblaze.

Re: NAS

On 2017-06-23, Sergey Matveev wrote:

> то Western Digital, но ни в коем случае
> не всякие Green модели, типа тихие, экологичные и прочее -- насколько
> знаю, это просто бракованные модели которые на пониженных
> нагрузках/мощностях хоть как-то тянуть. У меня все зелёные модели
> сдыхали довольно быстро -- табу на их приобретение.

Добавлю свою небольшую статистику по всем двум зеленым, которые были, дохнут
заразы. За годик.Но было это давно, лет 5 назад.

-- 
http://defun.work/

Re: NAS

2017-06-24 Пенетрантность Oleksandr Gavenko

On 2017-06-23, artiom wrote:

> - RAID, кроме mirror, не дают повышения надёжности (упал диск - потерял
> часть данных, упал диск в рэйде - рейд может и не пересобраться,
> потеряются все данные, упало два - капут). Это верно?
> - Mirror - слишком дорого, не стоит его ставить на домашний NAS?

Обычно говорят что RAID повышает *доступность*. Меньше простоя.

Когда говорят о надожности в RAID - приводят пример легитимной операции
удаления файла )) Где же надежность?

Дома за доступностьплатить нет смысла. А за надежность есть.

Но достигается надежность избыточностью, бекапами и архивированием.

-- 
http://defun.work/

Re: NAS

*** Артём Н.  [2017-06-24 13:33]:
>Так программное управление питанием дисков через штатные средства или там 
>какой-то специальный контроллер?

Точно не знаю, но вроде это типа какая-то SCSI (?) команда есть для
backplane к которому подключены диски чтобы он отключил питание. Или
команда на сам жёсткий диск идёт. Специальных backplane/controller я не
вроде видел где написано что они могут отключать питание -- наверное оно
и так предусматривается, кроме дешёвых систем.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS


On 24.06.2017 13:06, Vasiliy P. Melnik wrote:

Данные невозможно было восстановить или просто не имело смысла, т.к.
проще переустановить


монтирование пула приводило к краху системы, никакого программного обеспечения 
по восстановлению данных из зфс на тот момент не существовало, подозреваю, что 
и на текущий момент нет

На любой системе?
Т.е., подключение пула в другую систему или загрузка в ремонтной системе и 
последующее монтирование тоже крашились?
С kernel panic что-ли?

Re: NAS

On 24.06.2017 13:25, Sergey Matveev wrote:

*** artiom [2017-06-24 13:06]:

Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
дорого стоят как время потраченное на вылет хотя бы одного из массива и
его восстановление. Если у вас нет возможности поменять hotspare диски,
то хотя бы это сильно увеличит время работы этого массива пока вылетит
то один, то другой диск (или третий в случае с RAIDZ3).

Слабо представляю, как это в домашнем NAS реализовать.
Просто держать один диск резервным и неиспользуемым?

Ну... да. Hotspare диски это называется. В mdadm или ZFS оно spare так и
называется. Если кто-то вылетел, то mdadm/ZFS автоматически диск
подхватывают в массив. По хорошему они и питание на диск должны
отключить, чтобы он не крутился пока бездействует.

И вручную отслеживать проблемы, его включать, в случае вылета кого-либо
из рабочих?

Если питание не отключить (или в корзине нет места для spare диска), то
да, мониторинг и ручное вмешательство.

Так программное управление питанием дисков через штатные средства или там
какой-то специальный контроллер?

Re: NAS

*** Vasiliy P. Melnik  [2017-06-24 13:04]:
>по текущей лицензии зфс я линуксе из коробки мы не увидим, но есть модули
>собранные.

Там просто же ещё вопрос интеграции ZFS со всем остальным окружением. В
последний раз когда я видел ZFS на GNU/Linux, то в top-е ничего о нём не
было. А в FreeBSD в top-е показывается состояние всех его кэшей:

Mem: 299M Active, 286M Inact, 1369M Wired, 773M Buf, 5867M Free
ARC: 299M Total, 54M MFU, 233M MRU, 437K Anon, 4121K Header, 8092K Other
 186M Compressed, 398M Uncompressed, 1.33:1 Ratio, 102M Overhead

Автоматическое монтирование/передёргивание NFS mountd демона, iSCSI
демона (чтобы блочные volume-ы zfs set-ом пробрасывать) или SMB. Хотя в
FreeBSD тоже iSCSI/SMB поддержки такой нет. Мелочи, а приятно.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

2017-06-24 Пенетрантность Vasiliy P. Melnik

*** artiom  [2017-06-24 13:06]:
>> Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
>> дорого стоят как время потраченное на вылет хотя бы одного из массива и
>> его восстановление. Если у вас нет возможности поменять hotspare диски,
>> то хотя бы это сильно увеличит время работы этого массива пока вылетит
>> то один, то другой диск (или третий в случае с RAIDZ3).
>> 
>Слабо представляю, как это в домашнем NAS реализовать.
>Просто держать один диск резервным и неиспользуемым?

Ну... да. Hotspare диски это называется. В mdadm или ZFS оно spare так и
называется. Если кто-то вылетел, то mdadm/ZFS автоматически диск
подхватывают в массив. По хорошему они и питание на диск должны
отключить, чтобы он не крутился пока бездействует.

>И вручную отслеживать проблемы, его включать, в случае вылета кого-либо
>из рабочих?

Если питание не отключить (или в корзине нет места для spare диска), то
да, мониторинг и ручное вмешательство.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

>
> Данные невозможно было восстановить или просто не имело смысла, т.к.
> проще переустановить


монтирование пула приводило к краху системы, никакого программного
обеспечения по восстановлению данных из зфс на тот момент не существовало,
подозреваю, что и на текущий момент нет

Re: NAS



24.06.2017 12:58, Sergey Matveev пишет:
> *** artiom  [2017-06-24 12:55]:
>>> В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
>>> стремительно) -- спасёт RAIDZ2 и RAIDZ3.
>> Короче, вы всё-таки агитируете за ZFS?
> 
> Лично я -- да, всеми руками. Одно но, о котором не сказал раньше: я
> использую FreeBSD (HardenedBSD) и мало знаю о поддержке ZFS в GNU/Linux.
> Не исключаю что с ней хуже -- поэтому тут ничего не могу сказать и опыта
> не имею. Но, будь моя машина, рискнул бы.
> 
Думаю, принципиальной разницы нет, да и выбрать конкретный софт я всегда
успею.
Пока надо про железо понять.

> Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
> дорого стоят как время потраченное на вылет хотя бы одного из массива и
> его восстановление. Если у вас нет возможности поменять hotspare диски,
> то хотя бы это сильно увеличит время работы этого массива пока вылетит
> то один, то другой диск (или третий в случае с RAIDZ3).
> 
Слабо представляю, как это в домашнем NAS реализовать.
Просто держать один диск резервным и неиспользуемым?
И вручную отслеживать проблемы, его включать, в случае вылета кого-либо
из рабочих?

Re: NAS

2017-06-24 Пенетрантность Vasiliy P. Melnik



24.06.2017 13:02, Vasiliy P. Melnik пишет:
> по текущей лицензии зфс я линуксе из коробки мы не увидим, но есть
> модули собранные.
> 
Там мануальчик, вроде официальный, для Debian есть.

> 24 июня 2017 г., 12:58 пользователь Sergey Matveev
> > написал:
> 
> *** artiom >
> [2017-06-24 12:55]:
> >> В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
> >> стремительно) -- спасёт RAIDZ2 и RAIDZ3.
> >Короче, вы всё-таки агитируете за ZFS?
> 
> Лично я -- да, всеми руками. Одно но, о котором не сказал раньше: я
> использую FreeBSD (HardenedBSD) и мало знаю о поддержке ZFS в GNU/Linux.
> Не исключаю что с ней хуже -- поэтому тут ничего не могу сказать и опыта
> не имею. Но, будь моя машина, рискнул бы.
> 
> Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
> дорого стоят как время потраченное на вылет хотя бы одного из массива и
> его восстановление. Если у вас нет возможности поменять hotspare диски,
> то хотя бы это сильно увеличит время работы этого массива пока вылетит
> то один, то другой диск (или третий в случае с RAIDZ3).
> 
> --
> Sergey Matveev (http://www.stargrave.org/)
> OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF
> 
>

Re: NAS

по текущей лицензии зфс я линуксе из коробки мы не увидим, но есть модули
собранные.

24 июня 2017 г., 12:58 пользователь Sergey Matveev 
написал:

> *** artiom  [2017-06-24 12:55]:
> >> В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
> >> стремительно) -- спасёт RAIDZ2 и RAIDZ3.
> >Короче, вы всё-таки агитируете за ZFS?
>
> Лично я -- да, всеми руками. Одно но, о котором не сказал раньше: я
> использую FreeBSD (HardenedBSD) и мало знаю о поддержке ZFS в GNU/Linux.
> Не исключаю что с ней хуже -- поэтому тут ничего не могу сказать и опыта
> не имею. Но, будь моя машина, рискнул бы.
>
> Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
> дорого стоят как время потраченное на вылет хотя бы одного из массива и
> его восстановление. Если у вас нет возможности поменять hotspare диски,
> то хотя бы это сильно увеличит время работы этого массива пока вылетит
> то один, то другой диск (или третий в случае с RAIDZ3).
>
> --
> Sergey Matveev (http://www.stargrave.org/)
> OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF
>
>

Re: NAS



24.06.2017 12:40, Vasiliy P. Melnik пишет:
> Лично я, поработав с ZFS уже три года, абсолютно ни с чем больше дела
> иметь не хочу. И я говорю про домашние компьютеры, где 1-2 диска сейчас.
> ECC -- чтобы не думалось, чтобы лучше "перебздеть". Xeon -- чтобы
> был ECC.
> Самые младшие модели стоили довольно дёшево. Сейчас вот например на
> nix.ru  Xeon за 6.5 тыс.руб. вон можно купить -- я бы
> брал не раздумывая,
> так как это плата за спокойствие (само собой с ECC памятью).
> 
> 
> Я сталкивался с ситуацией, когда монтирование раздела приводило к крашу
> системы. Как потом выяснилось - всему виной была мертвая планка
> оперативки, которая в паре с другой работала и сервер заводился, а сама
> по себе отказывалась работать.
> 
> Меня спасло только то, что я как-то давно получил проблему с заполнением
> стореджа данными пользователей и в итоге нерабочую систему, поэтому
> начал делить диски на два пула - один пул для системы, второй - для
> данных. В итоге я потерял только пул с системой, чтобы было не критично.
> Опять же удобно если 3 диска , то для системы сделать пул зеркало из
> трех разделов, чтобы гарантированно запустилась система, и raidz для
> данных, если не критична скорость доступа.
Данные невозможно было восстановить или просто не имело смысла, т.к.
проще переустановить?

Re: NAS

*** artiom  [2017-06-24 12:55]:
>> В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
>> стремительно) -- спасёт RAIDZ2 и RAIDZ3.
>Короче, вы всё-таки агитируете за ZFS?

Лично я -- да, всеми руками. Одно но, о котором не сказал раньше: я
использую FreeBSD (HardenedBSD) и мало знаю о поддержке ZFS в GNU/Linux.
Не исключаю что с ней хуже -- поэтому тут ничего не могу сказать и опыта
не имею. Но, будь моя машина, рискнул бы.

Даже если не ZFS, то я агитирую за RAID6, вместо JBOD-ов. Диски не так
дорого стоят как время потраченное на вылет хотя бы одного из массива и
его восстановление. Если у вас нет возможности поменять hotspare диски,
то хотя бы это сильно увеличит время работы этого массива пока вылетит
то один, то другой диск (или третий в случае с RAIDZ3).

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS



24.06.2017 11:48, Sergey Matveev пишет:
> *** Артём Н.  [2017-06-24 01:33]:
>> Xeon избыточен для NAS, мне так кажется (и это изделие позиционируется не 
>> как NAS, а как офисный сервер).
>> Для ZFS обязательна (крайне желательна) ECC память?
>> И нужен ли ZFS?
> 
> Лично я, поработав с ZFS уже три года, абсолютно ни с чем больше дела
> иметь не хочу. И я говорю про домашние компьютеры, где 1-2 диска сейчас.
> ECC -- чтобы не думалось, чтобы лучше "перебздеть". Xeon -- чтобы был ECC.
> Самые младшие модели стоили довольно дёшево. Сейчас вот например на
> nix.ru Xeon за 6.5 тыс.руб. вон можно купить -- я бы брал не раздумывая,
> так как это плата за спокойствие (само собой с ECC памятью).
> 
Дело не столько в том, за сколько его возможно купить, сколько в том,
что он мощный и требует охлаждения.
А зачем? Если бы у меня была пара свободных полуподвальных помещений
(которые не затопляются), я бы не думал о шумности и прочем, а когда это
стоит в квартире и постоянно работает, совсем не хочется слышать шум
вентиляторов.


>> Вышел из строя второй диск, сдох контроллер (в случае аппаратного), зависла 
>> ОС (из-за system.d) в процессе пересборки.
>> Или:
>>> Значит он не рабочий, с багами,
>>> кривой? Тогда ничто не поможет.
>> Вариантов много.
> 
> Ага, понятно. Если вышел из строя второй диск, то только RAID6 или ZFS
> RAIDZ2 спасёт. В случае с остальными ошибками -- да, поверю что
> rebuild-у станет плохо. Но в случае с ZFS -- абсолютно пофиг: он
> продолжит с того же самого места или, пускай с нуля, но гарантированно
> ничего не потеряется.
Почему?

> Плюс в RAIDZ копируется не полностью весь жёсткий
> диск, а только реально полезные данные на нём -- если на диске 50% места
> свободно, то только половина его объёма и будет передана.
> 
Да, вот вспомнил про минус ZFS: он в каком-то из режимов, который
как-раз используется в NAS, требует немалого объёма памяти (там
начиналось от 8 Гб).

>>> Само собой своевременно делая rebuild,
>>> подставляя новые диски, при утрате старых.
>>>
>> Вот последнее как-раз сложно.
> 
> Если вы не собираетесь делать rebuild, то да, рано или поздно, когда
> вылетят все диски, то массив будет недоступен. Но, опять же, в JBOD-е вы
> его сразу же потеряете, в RAID6/RAIDZ6 после двух дисков только.
>
Ok, ясно.

>> В смысле, не держит? Это Debian. Возможно туда впилить ZFS не особо 
>> напрягаясь.
> 
> Я только на список основных фич и перечисленных в них ФС посмотрел. Если
> можно, то ok.
> 
Можно.

>>> Но, в случае ZFS, вам нужно забыть будет про RAID.
>>>
>> Почему он не дружит с рэйдами?
> 
> Потому-что будет работать хуже. Да и просто бессмысленно это. ZFS сам
> себе RAID. Напомню что это не просто ФС, а штука которая *полностью*
> заменяет любые RAID/mdadm, LVM и всё такое. RAID тупая штука, которая
> оперирует только strip-ами и не знает ничего про данные на них. Его
> можно запустить поверх RAID, но будет только хуже.
> 
А дружит ли он с LUKS?
Ведь ему плевать должно быть, если я ему даю шифрованные разделы, в
качестве нижнего уровня?
И что имеется ввиду под знанием ZFS о данных?

Re: NAS

2017-06-24 Пенетрантность Vasiliy P. Melnik



24.06.2017 11:52, Sergey Matveev пишет:
> *** Артём Н.  [2017-06-24 11:44]:
>>> Одновременно -- я такого не встречал и не слышал что такое бывает.
>> Запросто.
> 
> А я всё-равно не слышал о таком ни у кого на практике :-)
Ну вот есть статистика на больших объёмах, хотя вероятность и мала,
согласен.

> В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
> стремительно) -- спасёт RAIDZ2 и RAIDZ3.
> 
Короче, вы всё-таки агитируете за ZFS?

>> Ну, в том и фишка, что доступа к NAS может не быть неделю (не потащусь же я 
>> в другой город диск заменить).
> 
> Тогда RAID5/6/Z1/Z2/Z3 чтобы хотя бы какие-то вылеты он переживал, до
> полной неработоспособности. В случае с RAID0/stripe/JBOD он откажет
> сразу же после одного диска.
> 
JBOD не откажет, там откажет один диск, но JBOD меня как-то не привлекает.

 Интересно, а что там говорят про ZFS?
>>> В каком плане? Про его зеркало и RAIDZ? Всё то же самое что и про RAID.
>> В плане замены рэйдов, LVM и прочего на ZFS.
> 
> Он полностью заменяет RAID, LVM и всё прочее. Всё так и есть. Лично по
> мне, так настолько удобнее и лучше, что кроме ZFS ничего не хочется
> использовать впредь.
> 
Ok, придётся про него всё-таки почитать.

Re: NAS

>
> Лично я, поработав с ZFS уже три года, абсолютно ни с чем больше дела
> иметь не хочу. И я говорю про домашние компьютеры, где 1-2 диска сейчас.
> ECC -- чтобы не думалось, чтобы лучше "перебздеть". Xeon -- чтобы был ECC.
> Самые младшие модели стоили довольно дёшево. Сейчас вот например на
> nix.ru Xeon за 6.5 тыс.руб. вон можно купить -- я бы брал не раздумывая,
> так как это плата за спокойствие (само собой с ECC памятью).
>

Я сталкивался с ситуацией, когда монтирование раздела приводило к крашу
системы. Как потом выяснилось - всему виной была мертвая планка оперативки,
которая в паре с другой работала и сервер заводился, а сама по себе
отказывалась работать.

Меня спасло только то, что я как-то давно получил проблему с заполнением
стореджа данными пользователей и в итоге нерабочую систему, поэтому начал
делить диски на два пула - один пул для системы, второй - для данных. В
итоге я потерял только пул с системой, чтобы было не критично.
Опять же удобно если 3 диска , то для системы сделать пул зеркало из трех
разделов, чтобы гарантированно запустилась система, и raidz для данных,
если не критична скорость доступа.

Re: NAS

*** Артём Н.  [2017-06-24 11:44]:
>> Одновременно -- я такого не встречал и не слышал что такое бывает.
>Запросто.

А я всё-равно не слышал о таком ни у кого на практике :-)
В любом случае, даже пускай 2 или 3 вылетят (хотя вероятность падает
стремительно) -- спасёт RAIDZ2 и RAIDZ3.

>Ну, в том и фишка, что доступа к NAS может не быть неделю (не потащусь же я в 
>другой город диск заменить).

Тогда RAID5/6/Z1/Z2/Z3 чтобы хотя бы какие-то вылеты он переживал, до
полной неработоспособности. В случае с RAID0/stripe/JBOD он откажет
сразу же после одного диска.

>> > Интересно, а что там говорят про ZFS?
>> В каком плане? Про его зеркало и RAIDZ? Всё то же самое что и про RAID.
>В плане замены рэйдов, LVM и прочего на ZFS.

Он полностью заменяет RAID, LVM и всё прочее. Всё так и есть. Лично по
мне, так настолько удобнее и лучше, что кроме ZFS ничего не хочется
использовать впредь.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

*** Артём Н.  [2017-06-24 01:33]:
>Xeon избыточен для NAS, мне так кажется (и это изделие позиционируется не как 
>NAS, а как офисный сервер).
>Для ZFS обязательна (крайне желательна) ECC память?
>И нужен ли ZFS?

Лично я, поработав с ZFS уже три года, абсолютно ни с чем больше дела
иметь не хочу. И я говорю про домашние компьютеры, где 1-2 диска сейчас.
ECC -- чтобы не думалось, чтобы лучше "перебздеть". Xeon -- чтобы был ECC.
Самые младшие модели стоили довольно дёшево. Сейчас вот например на
nix.ru Xeon за 6.5 тыс.руб. вон можно купить -- я бы брал не раздумывая,
так как это плата за спокойствие (само собой с ECC памятью).

>А нужен ли RAID или всё-таки ZFS, который многие хвалят, но с которым я пока 
>не разбирался?

ZFS.

>Вышел из строя второй диск, сдох контроллер (в случае аппаратного), зависла ОС 
>(из-за system.d) в процессе пересборки.
>Или:
>> Значит он не рабочий, с багами,
>> кривой? Тогда ничто не поможет.
>Вариантов много.

Ага, понятно. Если вышел из строя второй диск, то только RAID6 или ZFS
RAIDZ2 спасёт. В случае с остальными ошибками -- да, поверю что
rebuild-у станет плохо. Но в случае с ZFS -- абсолютно пофиг: он
продолжит с того же самого места или, пускай с нуля, но гарантированно
ничего не потеряется. Плюс в RAIDZ копируется не полностью весь жёсткий
диск, а только реально полезные данные на нём -- если на диске 50% места
свободно, то только половина его объёма и будет передана.

>> Фактически все RAID уровни расчитаны на
>> надёжность, кроме RAID0, который и не всегда за RAID-то считают.
>> 
>Я имел ввиду надёжность, по сравнению с JBOD.

В JBOD вылетает один -- теряется весь массив, становится бесполезен. В
RAID5/6 -- любой 1-2 диска вылетаеют и всё продолжает работать без
потерь доступности.

>> Само собой своевременно делая rebuild,
>> подставляя новые диски, при утрате старых.
>> 
>Вот последнее как-раз сложно.

Если вы не собираетесь делать rebuild, то да, рано или поздно, когда
вылетят все диски, то массив будет недоступен. Но, опять же, в JBOD-е вы
его сразу же потеряете, в RAID6/RAIDZ6 после двух дисков только.

>В смысле, не держит? Это Debian. Возможно туда впилить ZFS не особо напрягаясь.

Я только на список основных фич и перечисленных в них ФС посмотрел. Если
можно, то ok.

>> Но, в случае ZFS, вам нужно забыть будет про RAID.
>> 
>Почему он не дружит с рэйдами?

Потому-что будет работать хуже. Да и просто бессмысленно это. ZFS сам
себе RAID. Напомню что это не просто ФС, а штука которая *полностью*
заменяет любые RAID/mdadm, LVM и всё такое. RAID тупая штука, которая
оперирует только strip-ами и не знает ничего про данные на них. Его
можно запустить поверх RAID, но будет только хуже.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS


On 24.06.2017 11:35, Sergey Matveev wrote:

*** Артём Н.  [2017-06-24 01:19]:

Рекомендовал он его затем, что данные не слишком критичные.
Да, потерялась часть музыки, но это не важно: с другого компа возможно 
восстановить.


Тогда можно не париться с RAID-ами действительно. Хотя я бы предпочёл
RAID0 чтобы хотя бы быстрее работало.

Тогда потеряется всё.


Мне кажется что если кто-то
вылетел в JBOD или RAID0 -- то больше потратишь времени на
разбирательства что пропало и что надо восстановить -- проще всегда
будет восстановить всё.


Разумно, мне вариант с JBOD тоже не особенно нравится.

Re: NAS

On 24.06.2017 11:33, Sergey Matveev wrote:

*** Артём Н. [2017-06-24 01:17]:

В зеркале вы получаете полезного места только на три.

При этом, получая высокую надёжность.

Я вас не понимаю. Может вылететь половина, но не любые диски из неё. В
RAID5 или RAID6 может вылететь любой (1 или 2). О какой надёжности речь?

Вылететь могут они как одновременно (диски покупаются одновременно и есть
вероятность брака в партии, например),
так и в процессе перестройки рэйда.

Одновременно -- я такого не встречал и не слышал что такое бывает.

Запросто.
Достаточно одного криворукого индуса в компании-производителе дисков.
Вот здесь есть мануал, как сделать весьма неплохой граммофон из seagate на 3 Тб
(он вылететь может в любой момент):
https://habrahabr.ru/post/251941/

А вот
в процессе перестройки -- да, может. Особенно когда ёмкость дисков стала
огромной и время перестройки массива увеличилось. Поэтому и придуман
RAID6, чтобы выдержать вылет ещё одного диска.

Кроме того, надо менять диск. А под рукой его может не оказаться, также как
может не быть и физического доступа к NAS.

Обычно всегда в массив сразу же добавляют hotspare или хотя бы просто
под рукой из точно такой же партии имеют диск где-то в ящике. Если нет
физического доступа к NAS, то от вылета дисков ничего не спасёт.

Ну, в том и фишка, что доступа к NAS может не быть неделю (не потащусь же я в
другой город диск заменить).
При этом, кроме меня заменить его некому.

Интересно, а что там говорят про ZFS?

В каком плане? Про его зеркало и RAIDZ? Всё то же самое что и про RAID.

В плане замены рэйдов, LVM и прочего на ZFS.

Re: NAS

*** Артём Н.  [2017-06-24 01:19]:
>Рекомендовал он его затем, что данные не слишком критичные.
>Да, потерялась часть музыки, но это не важно: с другого компа возможно 
>восстановить.

Тогда можно не париться с RAID-ами действительно. Хотя я бы предпочёл
RAID0 чтобы хотя бы быстрее работало. Мне кажется что если кто-то
вылетел в JBOD или RAID0 -- то больше потратишь времени на
разбирательства что пропало и что надо восстановить -- проще всегда
будет восстановить всё.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

*** Артём Н.  [2017-06-24 01:17]:
>> В зеркале вы получаете полезного места только на три.
>При этом, получая высокую надёжность.

Я вас не понимаю. Может вылететь половина, но не любые диски из неё. В
RAID5 или RAID6 может вылететь любой (1 или 2). О какой надёжности речь?

>Вылететь могут они как одновременно (диски покупаются одновременно и есть 
>вероятность брака в партии, например),
>так и в процессе перестройки рэйда.

Одновременно -- я такого не встречал и не слышал что такое бывает. А вот
в процессе перестройки -- да, может. Особенно когда ёмкость дисков стала
огромной и время перестройки массива увеличилось. Поэтому и придуман
RAID6, чтобы выдержать вылет ещё одного диска.

>Кроме того, надо менять диск. А под рукой его может не оказаться, также как 
>может не быть и физического доступа к NAS.

Обычно всегда в массив сразу же добавляют hotspare или хотя бы просто
под рукой из точно такой же партии имеют диск где-то в ящике. Если нет
физического доступа к NAS, то от вылета дисков ничего не спасёт.

>Интересно, а что там говорят про ZFS?

В каком плане? Про его зеркало и RAIDZ? Всё то же самое что и про RAID.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

2017-06-23 Пенетрантность Артём Н .

On 23.06.2017 22:48, Sergey Matveev wrote:

*** artiom [2017-06-23 22:27]:

Хочу, чтобы NAS торчал в Интернет и был точкой синхронизации пока между
ноутом и стационарным компом.

- Какие диски лучше использовать (объём, марка)? Был обзор со
статистикой, вроде как Хитачи отказывают меньше всех. Так?

Лично мой опыт говорит что Hitachi/HGST действительно самые
качественные. Seagate самые некачественные. Однако у Hitachi цена
покусывается. Если не Hitachi, то Western Digital, но ни в коем случае
не всякие Green модели, типа тихие, экологичные и прочее -- насколько
знаю, это просто бракованные модели которые на пониженных
нагрузках/мощностях хоть как-то тянуть. У меня все зелёные модели
сдыхали довольно быстро -- табу на их приобретение.

Вот:
https://habrahabr.ru/post/237887/
https://geektimes.ru/post/275948/

- Покупать готовую железку не имеет смысла: дорого и
малопроизводительно. Так?
- Возможно купить коробку и поставить в неё китайский промышленный ПК в
корпусе. Выйдет мощнее за те же деньги. Чем плох этот вариант?

Готовые железки бывают разные. Которые ориентированы для дома -- да, как
правило там совсем простенькое железо на котором, например о ZFS, можно
даже не мечтать. А вот например такие железки:
http://netberg.ru/products/netberg-demos-p200-m3/
хороши тем что компактны, тихи, надёжны

Лучше уж тогда брать нечто слабее, но с пассивным охлаждением.

внутри нормальный Xeon с ECC
памятью можно поставить и иметь hot-plug для трёх дисков. Когда-то
подобные железки стоили своих денег (сейчас не знаю).

Xeon избыточен для NAS, мне так кажется (и это изделие позиционируется не как
NAS, а как офисный сервер).
Для ZFS обязательна (крайне желательна) ECC память?
И нужен ли ZFS?

- Аппаратные RAID контроллеры могут быть лишь дорогими, либо это те же
самые программные и вместо них лучше использовать обычный программный
RAID, предоставляемый ОС. Это верно?

Бывают и действительно аппаратно "ускоряемые" (где отдельные чипы
считающие тот же код Рида-Соломона для RAID6), бывают и просто маленькие
компьютеры с обычным процессором и простой ОС. Самое фиговое в
аппаратных это то, что они зачастую несовместимы ни с кем и поэтому если
он выйдет из строя, то не получится засунуть в другой контроллер и
попытаться считать данные. Раньше аппаратные имели смысл, а сейчас,
из-за дешёвых мощных CPU -- по моему уже как лет 5-10 абсолютно
никакого. Xeon десятилетней давности на 50-60% загружался при rebuild
многоуровневого массива RAID6 из 24 дисков на mdadm-е. Я бы советовал
однозначно и только программный RAID (mdadm в GNU/Linux) -- современные
процессоры достаточно быстры чтобы даже RAID6 иметь без проблем, плюс
лёгкость использования массива в любой другой системе, без vendor lockin.

Ok, с контроллерами вопрос решённый: не нужен. И лишних затрат не будет.
А нужен ли RAID или всё-таки ZFS, который многие хвалят, но с которым я пока не
разбирался?

- RAID, кроме mirror, не дают повышения надёжности (упал диск - потерял
часть данных, упал диск в рэйде - рейд может и не пересобраться,
потеряются все данные, упало два - капут). Это верно?

Совершенно не верно. RAID0 (stripe) -- да, при потере диска, теряется
весь. RAID5 -- рассчитан чтобы пережить вылет одного диска (минимум три
диска нужно). RAID6 -- двух любых дисков (минимум четыре нужно). Если
делать (а для большого количества дисков только так и надо делать)
многоуровневый RAID, то там может вылететь приличное кол-во дисков и
данные не будут потеряны. То что RAID может не пересобраться... странно
это как-то. Как это он не пересоберётся?

Вышел из строя второй диск, сдох контроллер (в случае аппаратного), зависла ОС
(из-за system.d) в процессе пересборки.
Или:

Значит он не рабочий, с багами,
кривой? Тогда ничто не поможет.

Вариантов много.

Фактически все RAID уровни расчитаны на
надёжность, кроме RAID0, который и не всегда за RAID-то считают.

Я имел ввиду надёжность, по сравнению с JBOD.

- Mirror - слишком дорого, не стоит его ставить на домашний NAS?

Смотря сколько дисков. Если три, то делать RAID5. Если четыре диска, то
я за RAID6 и яро против RAID10: в RAID10 у вас могут вылететь *не* любые
два диска, а в RAID6 любые, хотя и ценой CPU, но они же ведь дешёвые и
мощные сейчас. В любом случае RAID1 это только для двух дисков скорее
имеет смысл, а при большем кол-ве дисков лучше другие уровни чтобы не
такие потери (50%!) места были. Само собой своевременно делая rebuild,
подставляя новые диски, при утрате старых.

Вот последнее как-раз сложно.

- По картинкам мне понравился GUI FreeNAS. OpenMediaVault не хуже
FreeNAS по функциональности и удобству?

Лично я слабо знаком с FreeNAS и никак не знаком с OpenMediaVault, но,
судя по Wikipedia, последний не держит ZFS. Лично я бы даже не стал
рассматривать -- без ZFS жизни нет, тем более там, где речь о больших
объёмах данных и множестве дисков.

В смысле, не держит? Это Debian. Возможно туда впилить ZFS не особо напрягаясь.

Но, в случае ZFS, вам нужно забыть будет про RAID.

Re: NAS

2017-06-23 Пенетрантность Артём Н .


On 23.06.2017 23:07, Sergey Matveev wrote:

*** artiom  [2017-06-23 22:58]:

Да, как-раз JBOD и рекомендовался.


Зачем? У вас JBOD на двух 1TiB дисках -- значит вылетел один диск и
какой-то из двух терабайт вы потеряли навсегда. Для NAS непонятно зачем
оно, ведь если вылетел один диск, то, скорее всего, данные на всех
остальных станут бесполезными.


Второе - далеко не факт и зависит от того, как данные распределены.
Рекомендовал он его затем, что данные не слишком критичные.
Да, потерялась часть музыки, но это не важно: с другого компа возможно 
восстановить.

Re: NAS

2017-06-23 Пенетрантность Артём Н .

On 23.06.2017 23:05, Sergey Matveev wrote:

*** artiom [2017-06-23 22:57]:

Не про отказоустойчивость вопрос, а про повышение надёжности
относительно отсутствие рэйда.
Рэйды 5 и 8, если не ошибаюсь, где хранятся контрольные суммы не
увеличивают надёжность, по утверждению товарища.

RAID5 не хранит контрольные суммы, он хранит XOR от блоков на других
дисках -- то есть там нет диска который просто может показать проблему,
он "восстановит" данные, в отсутствии одного из дисков. RAID6 использует
код Рида-Соломона (или вариации) -- аналогично, он способен при
отсутствии двух "слагаемых" восстановить всё остальное.

Я не помню, как они устроены и лень смотреть было, но вы меня поняли.

Чисто технически
надёжность дисков остаётся такой же, само собой. Вот только компромиссы
между скоростью, потерей места, доступностью данных. Например у вас 6
дисков. В зеркале вы получаете полезного места только на три.

При этом, получая высокую надёжность.

И вылет
только некоторой половины массив сможет пережить. В RAID6 у вас
полезного места на четыре диска, а вылететь могут любые. Не будете же вы
ждать пока вылетит второй, после первого, а потом ещё и третий чтобы
массив стал вообще недоступен? Вылетел кто-то -- неспешно заменили,
запустили rebuild. Но саму вероятность выхода жёсткого диска из строя
никто из RAID увеличить не может.

Вылететь могут они как одновременно (диски покупаются одновременно и есть
вероятность брака в партии, например),
так и в процессе перестройки рэйда.
Кроме того, надо менять диск. А под рукой его может не оказаться, также как
может не быть и физического доступа к NAS.

Интересно, а что там говорят про ZFS?

Re: NAS

*** artiom  [2017-06-23 22:58]:
>Да, как-раз JBOD и рекомендовался.

Зачем? У вас JBOD на двух 1TiB дисках -- значит вылетел один диск и
какой-то из двух терабайт вы потеряли навсегда. Для NAS непонятно зачем
оно, ведь если вылетел один диск, то, скорее всего, данные на всех
остальных станут бесполезными.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

*** artiom  [2017-06-23 22:57]:
>Не про отказоустойчивость вопрос, а про повышение надёжности
>относительно отсутствие рэйда.
>Рэйды 5 и 8, если не ошибаюсь, где хранятся контрольные суммы не
>увеличивают надёжность, по утверждению товарища.

RAID5 не хранит контрольные суммы, он хранит XOR от блоков на других
дисках -- то есть там нет диска который просто может показать проблему,
он "восстановит" данные, в отсутствии одного из дисков. RAID6 использует
код Рида-Соломона (или вариации) -- аналогично, он способен при
отсутствии двух "слагаемых" восстановить всё остальное. Чисто технически
надёжность дисков остаётся такой же, само собой. Вот только компромиссы
между скоростью, потерей места, доступностью данных. Например у вас 6
дисков. В зеркале вы получаете полезного места только на три. И вылет
только некоторой половины массив сможет пережить. В RAID6 у вас
полезного места на четыре диска, а вылететь могут любые. Не будете же вы
ждать пока вылетит второй, после первого, а потом ещё и третий чтобы
массив стал вообще недоступен? Вылетел кто-то -- неспешно заменили,
запустили rebuild. Но саму вероятность выхода жёсткого диска из строя
никто из RAID увеличить не может.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS

2017-06-23 Пенетрантность artiom



23.06.2017 22:50, Sergey Matveev пишет:
> *** Eugene Berdnikov  [2017-06-23 22:45]:
>> Отказоустойчивость не даёт только raid0 ака jbod.
> 
> Придерусь к терминологии, но JBOD это не RAID0. RAID0 делает striping --
> то есть "размазывает" блоки по дискам, позволяя читать параллельно со
> всех дисков разом. А JBOD это просто "конкатенация" дисков друг к другу.
> Потеря диска в RAID0, можно сказать что фатальна. А потеря диска в JBOD
> это потеря какого-то промежутка данных.
> 
Да, как-раз JBOD и рекомендовался.

Re: NAS

2017-06-23 Пенетрантность artiom



23.06.2017 22:44, Eugene Berdnikov пишет:
> On Fri, Jun 23, 2017 at 10:25:01PM +0300, artiom wrote:
>> - RAID, кроме mirror, не дают повышения надёжности (упал диск - потерял
>> часть данных, упал диск в рэйде - рейд может и не пересобраться,
>> потеряются все данные, упало два - капут). Это верно?
> 
>  Нет, неверно. Отказоустойчивость не даёт только raid0 ака jbod.
>  Все остальные предназначены для обеспечения сохранности данных.
> 
Не про отказоустойчивость вопрос, а про повышение надёжности
относительно отсутствие рэйда.
Рэйды 5 и 8, если не ошибаюсь, где хранятся контрольные суммы не
увеличивают надёжность, по утверждению товарища.

Re: NAS

*** Eugene Berdnikov  [2017-06-23 22:45]:
> Отказоустойчивость не даёт только raid0 ака jbod.

Придерусь к терминологии, но JBOD это не RAID0. RAID0 делает striping --
то есть "размазывает" блоки по дискам, позволяя читать параллельно со
всех дисков разом. А JBOD это просто "конкатенация" дисков друг к другу.
Потеря диска в RAID0, можно сказать что фатальна. А потеря диска в JBOD
это потеря какого-то промежутка данных.

-- 
Sergey Matveev (http://www.stargrave.org/)
OpenPGP: CF60 E89A 5923 1E76 E263  6422 AE1A 8109 E498 57EF

Re: NAS