Re: файловая система для предприятия

[dimas]

еще тут как-то была целая ветка про rdiff-backup. насколько я помню, да и судя
по описанию пакета, он делает как раз искомое: хранит полную копию, плюс раз во
сколько надо делает к ней дифференциальные (или как правильно?) архивы. вроде
как, ему пишется конфиг, с какой периодичностью что делать, и дальше он сам все
разруливает


2015-350 14:59 Dmitry Podkovyrkin  wrote:
> За rsnapshot большое спасибо, это то что нужно!
> 
> 16.12.2015 14:03, Victor Wagner пишет:
> > On Wed, 16 Dec 2015 11:10:44 +0300
> > Eugene Berdnikov  wrote:
> >
> >> On Wed, Dec 16, 2015 at 11:31:39AM +0500, Dmitry Podkovyrkin wrote:
> >>> То есть как совместить оба варианта? Есть ли такое решение чтоб
> >>> бекап хранился как развернутая (не в одном tar-файле) копия горячих
> >>> данных, а изменения в архиве для истории?
> >>   Ищите по слову "bontmia".
> > Долго читал сайт и так и не понял, чем bontmia лучше чем rsnapshot.
> >
> > И то, и другое обертка вокруг rsync.
> >
> > У rsnapshot есть следующие преимущества:
> >
> > 1. Есть в дистрибутиве
> > 2. Написан на более строгом языке (perl vs shell)
> > 3. Активнее развивается  (последний коммит был в этом году, а не в
> > позапрошлом).
> > 4. Прекрасно работает с removable носителями.
> >
> > Недостаток за ним я знаю один - использование символов табуляции в
> > конфигурационном файле.
> 

Re: файловая система для предприятия

[Dmitry Podkovyrkin]

Исчерпать inode, это надо постараться )

df -i
/dev/sde1 61054976 48869  61006107 1% /media/hdd

61млн штук. Это на ext4 разделе на 1Тб.

На XFS разделе уже полмиллиарда inode - 576539840. Это при создании fs 
всё было по дефолту.



17.12.2015 15:50, Andrey Tataranovich пишет:

On Thu, 17 Dec 2015 12:03:04 +0300
dimas  wrote:


еще тут как-то была целая ветка про rdiff-backup. насколько я помню,
да и судя по описанию пакета, он делает как раз искомое: хранит
полную копию, плюс раз во сколько надо делает к ней дифференциальные
(или как правильно?) архивы. вроде как, ему пишется конфиг, с какой
периодичностью что делать, и дальше он сам все разруливает

У rdiff-backup есть болячка с удалением старых инкрементов. На большом
количестве файлов он потребляет очень много памяти и часто падает.

Rsnapshot вроде на hardlink'ах построен и там будет проблема с инодами,
если их заведомо не создать много.


--
Dmitry Podkovyrkin
email: d...@ddipp.net

Re: файловая система для предприятия

[Artem Chuprina]

Andrey Tataranovich -> debian-russian@lists.debian.org  @ Thu, 17 Dec 2015 
13:50:58 +0300:

 >> еще тут как-то была целая ветка про rdiff-backup. насколько я помню,
 >> да и судя по описанию пакета, он делает как раз искомое: хранит
 >> полную копию, плюс раз во сколько надо делает к ней дифференциальные
 >> (или как правильно?) архивы. вроде как, ему пишется конфиг, с какой
 >> периодичностью что делать, и дальше он сам все разруливает

 AT> У rdiff-backup есть болячка с удалением старых инкрементов. На большом
 AT> количестве файлов он потребляет очень много памяти и часто падает.

 AT> Rsnapshot вроде на hardlink'ах построен и там будет проблема с инодами,
 AT> если их заведомо не создать много.

На хардлинках-то откуда проблема с инодами?  Хардлинки же живут на одном
иноде.

Re: файловая система для предприятия

[Victor Wagner]

On Thu, 17 Dec 2015 20:06:22 +0300
Artem Chuprina  wrote:

> Andrey Tataranovich -> debian-russian@lists.debian.org  @ Thu, 17 Dec
> 2015 13:50:58 +0300:
> 
>
>  AT> Rsnapshot вроде на hardlink'ах построен и там будет проблема с
>  AT> инодами, если их заведомо не создать много.  
> 
> На хардлинках-то откуда проблема с инодами?  Хардлинки же живут на
> одном иноде.
> 

Ну будет после первого же бекапа там занято ровно столько же инодов,
сколько в той файловой системе (иерархии систем) которая бэкапится.
а каждый следующий бэкап будет добавлять

1. Столько инодов, сколько было директорий
2. Столько инодов, сколько файлов изменилось
3. Насколько я понимаю, еще столько инодов сколько было симлинков.

Соотвественно, если у нас там 7+4+3, то это будет довольно много.



-- 
   Victor Wagner 

Re: файловая система для предприятия

[Andrey Tataranovich]

On Thu, 17 Dec 2015 12:03:04 +0300
dimas  wrote:

> еще тут как-то была целая ветка про rdiff-backup. насколько я помню,
> да и судя по описанию пакета, он делает как раз искомое: хранит
> полную копию, плюс раз во сколько надо делает к ней дифференциальные
> (или как правильно?) архивы. вроде как, ему пишется конфиг, с какой
> периодичностью что делать, и дальше он сам все разруливает

У rdiff-backup есть болячка с удалением старых инкрементов. На большом
количестве файлов он потребляет очень много памяти и часто падает.

Rsnapshot вроде на hardlink'ах построен и там будет проблема с инодами,
если их заведомо не создать много.

-- 
WBR, Andrey Tataranovich

Re: файловая система для предприятия

[Dmitry Podkovyrkin]

18.12.2015 00:22, Victor Wagner пишет:

Ну будет после первого же бекапа там занято ровно столько же инодов,
сколько в той файловой системе (иерархии систем) которая бэкапится.
а каждый следующий бэкап будет добавлять

1. Столько инодов, сколько было директорий
2. Столько инодов, сколько файлов изменилось
3. Насколько я понимаю, еще столько инодов сколько было симлинков.

Соотвественно, если у нас там 7+4+3, то это будет довольно много.

XFS + inode64 снимают эту проблему

--
Dmitry Podkovyrkin
email: d...@ddipp.net

Re: файловая система для предприятия

[Dmitry Podkovyrkin]

Это уже слишком для нашей сети ). Микроскоп по гвоздям.

Конечно, было бы любопытно обкатать такое решение, но оно просто не 
требуется.



17.12.2015 01:30, D.Himro пишет:
Может не совсем по теме, но как насчет посмотреть в сторону кластерных 
fs и около того? Проблем с добавлением новых диском точно проблем не 
будет, даже если физически некуда будет новый диск добавить, можно 
просто ещё одну машину.


--
Dmitry Podkovyrkin
email: d...@ddipp.net

Re: файловая система для предприятия

[Victor Wagner]

On Wed, 16 Dec 2015 11:10:44 +0300
Eugene Berdnikov  wrote:

> On Wed, Dec 16, 2015 at 11:31:39AM +0500, Dmitry Podkovyrkin wrote:
> > То есть как совместить оба варианта? Есть ли такое решение чтоб
> > бекап хранился как развернутая (не в одном tar-файле) копия горячих
> > данных, а изменения в архиве для истории?  
> 
>  Ищите по слову "bontmia".

Долго читал сайт и так и не понял, чем bontmia лучше чем rsnapshot.

И то, и другое обертка вокруг rsync.

У rsnapshot есть следующие преимущества:

1. Есть в дистрибутиве
2. Написан на более строгом языке (perl vs shell)
3. Активнее развивается  (последний коммит был в этом году, а не в
позапрошлом).
4. Прекрасно работает с removable носителями.

Недостаток за ним я знаю один - использование символов табуляции в
конфигурационном файле.

Re: файловая система для предприятия

[Eugene Berdnikov]

On Wed, Dec 16, 2015 at 11:31:39AM +0500, Dmitry Podkovyrkin wrote:
> То есть как совместить оба варианта? Есть ли такое решение чтоб
> бекап хранился как развернутая (не в одном tar-файле) копия горячих
> данных, а изменения в архиве для истории?

 Ищите по слову "bontmia".

> Почта:
> тут всё понятно, но один вопрос. Сейчас работает Exchange, я в нём
> не умею, поэтому хочу dovecot+postfix. Из хитрых фишек используются
> только общие папки + алиасы типа "адрес такой-то означает рассылку
> на такой-то отдел". Общие папки можно сделать, а групповой адрес
> dovecot или postfix умеет?

 Здесь вопрос в том, что подразумевается под словом "отдел", и как
 это понятие отображается в объекты, понятные postfix и davecot.
 Ну а потом, что значит "уметь групповые рассылки". Цирус, например,
 умеет принимать письмо по ltmp на несколько адресов и делать для
 него один файл, размещаемый в нескольких ящиках hardlink'ами.
 Популярные здесь Exim и Postfix умеют этим пользоваться.

 Вся модель мира Exchange завязана на мелкомягкий контроллер домена,
 с его сущностями, неотрываемо. Трансляция этой модели в мир объектов
 свободного ПО требует некоторых усилий, а для интеграции (например,
 с MS AD через ldap) придётся потрудиться.
-- 
 Eugene Berdnikov

Re: файловая система для предприятия

[Dmitry Podkovyrkin]

За rsnapshot большое спасибо, это то что нужно!

16.12.2015 14:03, Victor Wagner пишет:

On Wed, 16 Dec 2015 11:10:44 +0300
Eugene Berdnikov  wrote:


On Wed, Dec 16, 2015 at 11:31:39AM +0500, Dmitry Podkovyrkin wrote:

То есть как совместить оба варианта? Есть ли такое решение чтоб
бекап хранился как развернутая (не в одном tar-файле) копия горячих
данных, а изменения в архиве для истории?

  Ищите по слову "bontmia".

Долго читал сайт и так и не понял, чем bontmia лучше чем rsnapshot.

И то, и другое обертка вокруг rsync.

У rsnapshot есть следующие преимущества:

1. Есть в дистрибутиве
2. Написан на более строгом языке (perl vs shell)
3. Активнее развивается  (последний коммит был в этом году, а не в
позапрошлом).
4. Прекрасно работает с removable носителями.

Недостаток за ним я знаю один - использование символов табуляции в
конфигурационном файле.


--
Dmitry Podkovyrkin
email: d...@ddipp.net

RE: файловая система для предприятия

[Pavel Marchenko]

Добрый день. Zfs  поверх lvm тут и масштабируемость и снапшоты и дедупликация.

-Исходное сообщение-
От: "Dmitry Podkovyrkin" 
Отправлено: ‎16.‎12.‎2015 9:32
Кому: "debian-russian@lists.debian.org" 
Тема: файловая система для предприятия

Привет всем.

Работаю над задачей организации файлового хранилища для предприятия и 
есть куча вопросов, начиная от железа, заканчивая типом fs.

Подскажите у кого как реализовано?

Предприятие небольшое, около 60 рабочих станций на винде. Хранимых 
данных тоже немного, около 4Tb с приростом 1Tb/год. Ну почта еще около 
150Gb.
Вроде бы всё просто - подойдет и софтовый raid5 (можно и железный), но 
меня больше всего заботит вопрос масштабируемости и надежности.

Основные вопросы, которые пока не знаю как решить (точнее выбираю из 
нескольких вариантов):

Как масштабировать?
1. Можно LVM, в котором RAID, тогда вопрос добавления дисковой емкости 
решается просто, добавляем в LVM еще пачку дисков в raid. Но в этом 
решении как-то много уровней. Не слишком сложно?
2. Средствами mdadm. RAID5 прекрасно расширяется с 4 до 5,6,7 и т.д. 
винтов, затем fs extended и готово. Но это при больших дисках долгий 
процесс, поэтому лучше RAID6, но он так же прекрасно расширяется и 
добавить пару Tb можно легко.

Как бекапить?
1. Стандартное решение с помощью tar. Например раз в неделю/месяц 
полный, ежедневно инкрементальный. Прирост/изменения данных небольшой, 
поэтому можно и раз в месяц полный, еженедельно дифференциальный, 
ежедневно инкрементальный. Не суть. Проблема в том, что в случае факапа 
данные долго развоорачивать. Всё-таки 4+Tb даже по гигабитной сетке с 
бекап сервера будут литься даже не один час. А остановка работы 
предприятия не есть хорошо.
2. rsync. На бекап сервере хранится последняя _развернутая_ копия + 
комплект конфигов. В случае креша основного сервера достаточно заменить 
конфиги и вуаля - пользователи покурили 5 минут и снова в работе. 
Проблема - как обеспечить восстановление данных недельной давности? В 
первом варианте делается, тут нет.
То есть как совместить оба варианта? Есть ли такое решение чтоб бекап 
хранился как развернутая (не в одном tar-файле) копия горячих данных, а 
изменения в архиве для истории?

Почта:
тут всё понятно, но один вопрос. Сейчас работает Exchange, я в нём не 
умею, поэтому хочу dovecot+postfix. Из хитрых фишек используются только 
общие папки + алиасы типа "адрес такой-то означает рассылку на такой-то 
отдел". Общие папки можно сделать, а групповой адрес dovecot или postfix 
умеет?

-- 
Dmitry Podkovyrkin
email: d...@ddipp.net

Re: файловая система для предприятия

[Vasiliy P. Melnik]

16 декабря 2015 г., 8:45 пользователь Dmitry Podkovyrkin 
написал:

> zfs крутая, но в debian не поддерживается.
> В смысле я знаю что можно её установить.
> Как она на debian в энтерпрайзе себя ведет?
>

хз, когда гонял на ридхете ораклдб на зфс-е вопросов не возникало, на
энтерпрайз не ставил. На энтерпрайзе у меня фря, зфс использую уже давно.
Один раз остался без раздела системного - но там умерла планка памяти в
серваке.

Боитесь зяф - тогда лвм с десятым софтовым рейдом, винты стоят не сильно
дорого, чтобы мудрить с 5,6 рейдами. Но со снапшотами в зфс-е все гораздо
лучше

Re: файловая система для предприятия

[Vasiliy P. Melnik]

zfs надо ставить, там есть снапшоты, там есть рейды, там нет чекдиска.
Ческдиск на разделе в 2 тера это очень увлекательный процесс - на полтора
часа где-то. Но бекап обязательно на другую машину, хотя это обязательно
для любых операционок

16 декабря 2015 г., 8:31 пользователь Dmitry Podkovyrkin 
написал:

> Привет всем.
>
> Работаю над задачей организации файлового хранилища для предприятия и есть
> куча вопросов, начиная от железа, заканчивая типом fs.
>
> Подскажите у кого как реализовано?
>
> Предприятие небольшое, около 60 рабочих станций на винде. Хранимых данных
> тоже немного, около 4Tb с приростом 1Tb/год. Ну почта еще около 150Gb.
> Вроде бы всё просто - подойдет и софтовый raid5 (можно и железный), но
> меня больше всего заботит вопрос масштабируемости и надежности.
>
> Основные вопросы, которые пока не знаю как решить (точнее выбираю из
> нескольких вариантов):
>
> Как масштабировать?
> 1. Можно LVM, в котором RAID, тогда вопрос добавления дисковой емкости
> решается просто, добавляем в LVM еще пачку дисков в raid. Но в этом решении
> как-то много уровней. Не слишком сложно?
> 2. Средствами mdadm. RAID5 прекрасно расширяется с 4 до 5,6,7 и т.д.
> винтов, затем fs extended и готово. Но это при больших дисках долгий
> процесс, поэтому лучше RAID6, но он так же прекрасно расширяется и добавить
> пару Tb можно легко.
>
> Как бекапить?
> 1. Стандартное решение с помощью tar. Например раз в неделю/месяц полный,
> ежедневно инкрементальный. Прирост/изменения данных небольшой, поэтому
> можно и раз в месяц полный, еженедельно дифференциальный, ежедневно
> инкрементальный. Не суть. Проблема в том, что в случае факапа данные долго
> развоорачивать. Всё-таки 4+Tb даже по гигабитной сетке с бекап сервера
> будут литься даже не один час. А остановка работы предприятия не есть
> хорошо.
> 2. rsync. На бекап сервере хранится последняя _развернутая_ копия +
> комплект конфигов. В случае креша основного сервера достаточно заменить
> конфиги и вуаля - пользователи покурили 5 минут и снова в работе. Проблема
> - как обеспечить восстановление данных недельной давности? В первом
> варианте делается, тут нет.
> То есть как совместить оба варианта? Есть ли такое решение чтоб бекап
> хранился как развернутая (не в одном tar-файле) копия горячих данных, а
> изменения в архиве для истории?
>
> Почта:
> тут всё понятно, но один вопрос. Сейчас работает Exchange, я в нём не
> умею, поэтому хочу dovecot+postfix. Из хитрых фишек используются только
> общие папки + алиасы типа "адрес такой-то означает рассылку на такой-то
> отдел". Общие папки можно сделать, а групповой адрес dovecot или postfix
> умеет?
>
> --
> Dmitry Podkovyrkin
> email: d...@ddipp.net
>
>

Re: файловая система для предприятия

[Dmitry Podkovyrkin]

zfs крутая, но в debian не поддерживается.
В смысле я знаю что можно её установить.
Как она на debian в энтерпрайзе себя ведет?

16.12.2015 11:41, Vasiliy P. Melnik пишет:
zfs надо ставить, там есть снапшоты, там есть рейды, там нет чекдиска. 
Ческдиск на разделе в 2 тера это очень увлекательный процесс - на 
полтора часа где-то. Но бекап обязательно на другую машину, хотя это 
обязательно для любых операционок


16 декабря 2015 г., 8:31 пользователь Dmitry Podkovyrkin > написал:


Привет всем.

Работаю над задачей организации файлового хранилища для
предприятия и есть куча вопросов, начиная от железа, заканчивая
типом fs.

Подскажите у кого как реализовано?

Предприятие небольшое, около 60 рабочих станций на винде. Хранимых
данных тоже немного, около 4Tb с приростом 1Tb/год. Ну почта еще
около 150Gb.
Вроде бы всё просто - подойдет и софтовый raid5 (можно и
железный), но меня больше всего заботит вопрос масштабируемости и
надежности.

Основные вопросы, которые пока не знаю как решить (точнее выбираю
из нескольких вариантов):

Как масштабировать?
1. Можно LVM, в котором RAID, тогда вопрос добавления дисковой
емкости решается просто, добавляем в LVM еще пачку дисков в raid.
Но в этом решении как-то много уровней. Не слишком сложно?
2. Средствами mdadm. RAID5 прекрасно расширяется с 4 до 5,6,7 и
т.д. винтов, затем fs extended и готово. Но это при больших дисках
долгий процесс, поэтому лучше RAID6, но он так же прекрасно
расширяется и добавить пару Tb можно легко.

Как бекапить?
1. Стандартное решение с помощью tar. Например раз в неделю/месяц
полный, ежедневно инкрементальный. Прирост/изменения данных
небольшой, поэтому можно и раз в месяц полный, еженедельно
дифференциальный, ежедневно инкрементальный. Не суть. Проблема в
том, что в случае факапа данные долго развоорачивать. Всё-таки
4+Tb даже по гигабитной сетке с бекап сервера будут литься даже не
один час. А остановка работы предприятия не есть хорошо.
2. rsync. На бекап сервере хранится последняя _развернутая_ копия
+ комплект конфигов. В случае креша основного сервера достаточно
заменить конфиги и вуаля - пользователи покурили 5 минут и снова в
работе. Проблема - как обеспечить восстановление данных недельной
давности? В первом варианте делается, тут нет.
То есть как совместить оба варианта? Есть ли такое решение чтоб
бекап хранился как развернутая (не в одном tar-файле) копия
горячих данных, а изменения в архиве для истории?

Почта:
тут всё понятно, но один вопрос. Сейчас работает Exchange, я в нём
не умею, поэтому хочу dovecot+postfix. Из хитрых фишек
используются только общие папки + алиасы типа "адрес такой-то
означает рассылку на такой-то отдел". Общие папки можно сделать, а
групповой адрес dovecot или postfix умеет


--
Dmitry Podkovyrkin
email: d...@ddipp.net

Re: файловая система для предприятия

[Vasiliy P. Melnik]

16 декабря 2015 г., 8:43 пользователь Pavel Marchenko 
написал:

> Добрый день. Zfs  поверх lvm тут и масштабируемость и снапшоты и
> дедупликация.
>

zfs и без лвм-а себя отлично чувствует - зачем тянуть лишнее в систему

Re: файловая система для предприятия

[Stanislav Vlasov]

16 декабря 2015 г., 11:51 пользователь Vasiliy P. Melnik
 написал:
>> zfs крутая, но в debian не поддерживается.
>> В смысле я знаю что можно её установить.
>> Как она на debian в энтерпрайзе себя ведет?

> хз, когда гонял на ридхете ораклдб на зфс-е вопросов не возникало, на
> энтерпрайз не ставил. На энтерпрайзе у меня фря, зфс использую уже давно.
> Один раз остался без раздела системного - но там умерла планка памяти в
> серваке.

Я остался без фс после переполнения памяти. Debian 7, zfs от zfsonlinux.org
Потом тюнил, чтоб жрало меньше, выключал дедупликацию и т.п., но всё
равно периодически сервер оказывался утром в состоянии нестояния (это
был один из серверов бекапов с порядка 40-50 потоков записи на тот
раздел).

> Боитесь зяф - тогда лвм с десятым софтовым рейдом, винты стоят не сильно
> дорого, чтобы мудрить с 5,6 рейдами. Но со снапшотами в зфс-е все гораздо
> лучше

Может быть zfs на фре и нормально работает, но под линуксом её пока
рановато в продакшн.

-- 
Stanislav

Re: файловая система для предприятия

[Vasiliy P. Melnik]

>
> Может быть zfs на фре и нормально работает, но под линуксом её пока
> рановато в продакшн.
>

Ок, спасибо за отзыв - но на продакшин я ее таки и не собирался ставить. А
под фрей хорошо работает - вопросов нет