Re[2]: RAID 5 на сервере базы данных
Здравствуйте, PEAKTOP. Недавно (4 марта 2009 г., 15:02:13) Вы писали: P И ниче, резервирует 8гиг ГлавнойБазы каждые два часа. gbak идет 16 P минут, WinRar (который, падла, и не слыхивал о том, что можно вешаться P на какой-то определенный проц, поэтому гад вешается сразу на все P имеющиеся процы) потом все архивит еще минут 6-8. А WinRAR от нафига? Не понимаю зачем бэкапы жать. -- Удачи... Yuris W. Auzinsh aka Zuz, ICQ UIN: 5 8 2 5 6 3 7 4, e-mail : zuz(аt)mail.ru
Re: RAID 5 на сервере базы данных
Yuris W. Auzinsh wrote: А WinRAR от нафига? Не понимаю зачем бэкапы жать. размер файла уменьшить. Иногда очень сильно.
Re: Re[2]: RAID 5 на сервере базы данных
On Mon, 27 Apr 2009 14:59:50 +0400, Yuris W. Auzinsh zuz...@gmail.com wrote: А WinRAR от нафига? Не понимаю зачем бэкапы жать. Для хранения/пересылки. Жмётся очень хорошо. Правда, мы не WinRAR, а GZIP пользуем, сразу из потока, без промежуточного файла. -- Сергей Смирнов.
Re: RAID 5 на сервере базы данных
AndreiK wrote: устанавливал сервер БД и проверял скорость работы РЕАЛЬНОЙ базы в РЕАЛЬНОМ режиме работы. А как проверял, если не секрет? Не на реальных же пользователях? ;-) А то у всех думаю периодически возникает такая задача тестирования
Re: RAID 5 на сервере базы данных
А мне стало страшно за то, что вытворяет Asus. матеря - говно, Академика Павлова, в детстве, укусила собака. Собака выросла и забыла. А академик нет. Усус. Коваленко Дмитрий. PS. Сижу на асусе, с сегейтом в руках ... Скаженные деньги ... Но радости нет ...
Re: RAID 5 на сервере базы данных
Последняя мода - иметь солид диск для pagesys-файла(если позволит размер и деньги, то и самой оси) . Скорость работы начинает удивлять :) Средства у нас есть. Ума вот ... Я вот только через год наконец таки забабахал каркас для параллельного запуска автоматизированных тестов на своем кваде. Скорость отрабатывания второй день радует :-) А то же так вот. Пересел на новый проц, а он в полтора раза быстрее работает. И подумалось - а нах тратить время на оптимизацию и распараллеливание :-) Коваленко Дмитрий.
Re: RAID 5 на сервере базы данных
Hello, Veliks! veliks wrote: Правда выбирали для 1С и MsSQL (уж простите ), но тем не менее. Результат - впечатляет ... Грубо говоря. то что ранее делалось сутки .сейчас часа 4. согласен, но бывает и обратное. Недавно сообщили мне по моей же просьбе о результатах запуска DiskTest на новой машинке. 29мб в секунду. Это сейчас-то, когда мой сигейт двухлетней давности дал 45мб в секунду. потом они включили какой то Asus Drive Expert, стало под 80. А мне стало страшно за то, что вытворяет Asus. матеря - говно, еще и какие то контроллеры через контроллеры, и т.п. страсть. Которая, как обычно, по умолчанию работает через жопу. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
Re: RAID 5 на сервере базы данных
Вот когда у тебя объем ГлавнойБазы вылезет за размеры оперативной памяти раза так в полтора/два, я посмотрю как ты будешь каждые два часа резервировать. Мы тоже так поначалу отрывались. При условии толпы юзеров, канечно. У тебя как с внимательностью ? я ж сказал, что ОСь - WindowsServer2003. А оно в 32-х битной редакции больше 4ГБ ОЗУ адресовать не могет, а учитывая особенности моей материнки, у мну фактически можно только 3800 Мб адресовать. Куда мать еще 256 метров девает, я так и не понял, сколько ЮзерМануал не читал. И ниче, резервирует 8гиг ГлавнойБазы каждые два часа. gbak идет 16 минут, WinRar (который, падла, и не слыхивал о том, что можно вешаться на какой-то определенный проц, поэтому гад вешается сразу на все имеющиеся процы) потом все архивит еще минут 6-8. А толпа юзеров никуда не девалась. Даже не уменьшилась, несмотря на кризис :) З.Ы. Кстати, на _этом же_ серваке я между делом и снапшоты по утрам собираю. :)
Re: RAID 5 на сервере базы данных
У тебя как с внимательностью ? я ж сказал, что ОСь - WindowsServer2003. Ну давай, ага, носом тыкать. Оно может больше, для одного процесса, адресовать и не может, но это еще не повод плакать. Мы на ней, родимой и сидели. Сначала с 8 гигами, потом с 12. gbak идет 16 минут, У нас это минут 40 длилось. Хотя. щас ... Вот данные из последних ночных логов, которые у меня сохранились Source :GBAK.BACKUP - [localhost:e:\database\re48120.gdb] Code:0 Timestamp :20.09.2007 23:27:46 Description :[SUCCESS] RUN TS:20.09.2007 22:00:01 END TS:20.09.2007 23:27:46 DURATION:1:27:45 Тут, насколько я помню - бакапили уже через сервисы. - - - - - - - - - - - - - - - - - - - - - - Source :GFIX.SWEEP - [localhost:e:\database\re48120.gdb] Code:0 Timestamp :20.09.2007 23:51:59 Description :[SUCCESS] RUN TS:20.09.2007 23:27:47 END TS:20.09.2007 23:51:59 DURATION:0:24:12 - - - - - - - - - - - - - - - - - - - - - - Source :ZIP [f:\Backup_Database\re48120\gbk\re48120_20070920_220002.*] Code:0 Timestamp :21.09.2007 01:54:07 Description :[SUCCESS] RUN TS:20.09.2007 23:27:46 END TS:21.09.2007 01:54:07 DURATION:2:26:21 Правда там работало дофига задач параллельно.Тут вот видно, что SWEEP и ZIP (реально - RAR) были запущены параллельно. RAR был старенький, однопоточный. С настройкой сжатия по максимуму. База тут была явно 24гиг. З.Ы. Кстати, на _этом же_ серваке я между делом и снапшоты по утрам собираю. :) ЗЫ. Лично у меня было три компа, которые отработали свои деньги. Два из них - домашние. Третий - вот этот вот двухпроцессорный сервер из недвижимости. ЗЫЗЫ. Дури второго домашнего компа, хватает, чтобы между делом по нескольку дней без перерыва гонять тесты для FB. Так что кого ты хочешь удивить? EUSUS.
Re: RAID 5 на сервере базы данных
Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? два - в зеркало - один на полку -- Булычев Алексей http://www.stella-npf.ru
Re: RAID 5 на сервере базы данных
два - в зеркало - один на полку если возможности контроллера позволяют, то два в зеркало, а один в качестве резервного диска.
Re: RAID 5 на сервере базы данных
4. везде пишут про недостатки raid 5 и 10 при работе с мелкими файлами, что для СУБД неактуально. под малыми файлами как раз и подразумевают операции ввода вывода по несколько килобайт в противоположность, например, считыванию потокового видео. Для базы данных, где обмен с диском идет страницами по 8К, это более чем актуально.
Re: RAID 5 на сервере базы данных
Hello, Aleksey! Boulitchev Aleksey wrote: Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? два - в зеркало - один на полку на полку не надо. если интерфейсов хватит - можно подключить, делать туда бэкапы например. Диск что лежит, что работает - все равно сдохнет как на роду написано. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
Re: RAID 5 на сервере базы данных
On Tue, 03 Mar 2009 11:49:12 +0300, AndreiK gs1...@gmail.com wrote: Для базы данных, где обмен с диском идет страницами по 8К, это более чем актуально. У меня не получилось увидеть разницу :( Контроллер со включенным кешем сглаживает всё. -- Сергей Смирнов.
Re: RAID 5 на сервере базы данных
Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? два - в зеркало - один на полку -- Булычев Алексейhttp://www.stella-npf.ru Настоящая паранойя это: 1) Диск IDE для ОСи 2) RAID10 для БД (купленные в магазине No.1 производителя No.1) 3) RAID10 для бэкапов (купленные в магазине No.2 производителя No.2) 4) RAID10 для бэкапов (купленные в магазине No.3 производителя No.3) Подключение к БД идет по алиасу (aliases.conf). При выходе из строя любого из массивов RAID база восстанавливается из бэкапа на любой другой и переписывается aliases.conf. Все на лету. З.Ы. При учете того, что резервирование ГлавнойБазы 8ГБ каждые 2 часа, резервирование полного комплекта баз (ГлавнаяБаза+40баз филиалов 300-400МБ) - раз в сутки. Ось - Windows Server 2003
Re: RAID 5 на сервере базы данных
З.Ы. При учете того, что резервирование ГлавнойБазы 8ГБ каждые 2 часа, резервирование полного комплекта баз (ГлавнаяБаза+40баз филиалов 300-400МБ) - раз в сутки. Ось - Windows Server 2003 Вот когда у тебя объем ГлавнойБазы вылезет за размеры оперативной памяти раза так в полтора/два, я посмотрю как ты будешь каждые два часа резервировать. Мы тоже так поначалу отрывались. При условии толпы юзеров, канечно. Хотя, это у нас это через localhost (на классике 1.5) было. через сервисы это явно быстрее будет. Мда, были времена. Гыгы. Коваленко Дмитрий. PS. 300-400MB.. Помню один мегапатч выполняли для базы филиала. За одну или две минуты. На основной базе он выполнялся больше суток. Я тогда поржал - база в кэше контролера рейда помещалась.
Re: RAID 5 на сервере базы данных
Kovalenko Dmitry пишет: PS. 300-400MB.. Помню один мегапатч выполняли для базы филиала. За одну или две минуты. На основной базе он выполнялся больше суток. Я тогда поржал - база в кэше контролера рейда помещалась. Ключевые связки: 1) филиал - две минуты 2) основная база - больше суток 3) поржал Вывод: дома трава лучше! -- Regards, Ovchinnikov Vasily ova at tkvc ru
Re: RAID 5 на сервере базы данных
Hello, Andrei! You wrote on Sun, 1 Mar 2009 10:38:39 -0800 (PST): A после того, как в 51-й раз пришлось объяснять очередным клиентам A почему их новый сервак с РАИД 5 надо переконфигурировать для A использования под базу данных, решил написать статью:пользуйтесь. A если заметите неточности -- правьте прямо там. это wiki. КГ/АМ. Цитата: Теперь становится очевидным почему RAID 5 не подходит для размещения файла базы данных. Кроме надёрганных (упрощенных) обрывков статей для чайников, никаких аргументов. -- With best regards, Alex Cherednichenko.
Re: RAID 5 на сервере базы данных
Hello, Andrei! Andrei wrote: после того, как в 51-й раз пришлось объяснять очередным клиентам почему их новый сервак с РАИД 5 надо переконфигурировать для использования под базу данных, решил написать статью: ждал первого коммента, теперь и сам: 1. статья называется почему нельзя, в то время как можно 2. в пример взят raid из 4 дисков, при этом ничего не сказано о сравнительной производительности raid 5 из 3, 4 и 5 дисков. 3. производительность встроенных в мамку raid5, понятно, дерьмовая. Однако насколько разнятся внешние контроллеры, непонятно. 4. сопоставимость кэша raid к размеру базы данных не в кассу. то же самое можно сказать и про любой raid, или про кэш одного диска. 5. RAID 10 - это два RAID 0 в зеркале. Raid 0 из двух raid 1 - это raid 0+1. 6. то RAID 10 из m зеркал по два диска выживет в случае потери от одного до m дисков, при условии, что откажут не более чем по одному диску в каждом зеркале. для комбинации из M raid 0 + N raid 1 дисков допустимо падение минимального количества дисков (т.е. меньшего из N и M). Например, зеркало из двух комплектов raid 0 по 3 диска не выживет после умирания двух ОДИНАКОВЫХ дисков (есть реальный пример). В реале массив RAID 10 из 4-х дисков может быть недоступен после умирания двух дисков по диагонали. Грубо говоря, и умирание даже одного диска все равно требует перестройки массива. Ну и как резюме - тормоза с raid действительно чаще всего связаны с тем, что люди не включают Write cache. Которое по умолчанию для raid выключено. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
Re: RAID 5 на сервере базы данных
Привет. Ну я так понемаю что RAID5 из 3 дисков мне будет тормозить только тогда если один диск полетит, не ? Или контролёри тупые и на дисках пишут не паралельно на всех сразу а по очереди ? Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? Regards Janex
Re: RAID 5 на сервере базы данных
Alex Cherednichenko пишет: A после того, как в 51-й раз пришлось объяснять очередным клиентам A почему их новый сервак с РАИД 5 надо переконфигурировать для A использования под базу данных, решил написать статью:пользуйтесь. A если заметите неточности -- правьте прямо там. это wiki. КГ/АМ. Цитата: Теперь становится очевидным почему RAID 5 не подходит для размещения файла базы данных. Кроме надёрганных (упрощенных) обрывков статей для чайников, никаких аргументов. Аргумент как раз ясен - запись короткой страницы БД на диск вызывает два дополнительных чтения и одну дополнительную запись. Типа 4 I/O вместо одного. Но при этом о степени параллелизма и влиянии кеша как-то умалчивается. Ведь в идеальном случае запись страницы реализуется двумя параллельными I/O (как и в зеркале). Так что без результатов тестов... И во-вторых. Автор сделал оговорки о применимости статьи, но вот с этой я не согласен: выводы ... не относятся к тем редким случаям, когда база данных используется исключительно (или в основном) только для чтения. Я бы не назвал редким случай, когда изменения в базу вносятся интерактивно, небольшими пакетами, и для оператора увеличение задержки даже на 100мс роли не играет. Короче, правильная оговорка должна звучать так: выводы ... относятся к тем редким случаям, когда база данных используется исключительно (или в основном) только для записи :) ЗЫ. А вообще - вечная тема, что лучше - зеркало на двух дисках или райд5 на трех. Реальные истории читать всегда интересно. Так что - делитесь :)
Re: RAID 5 на сервере базы данных
написано на основании личного опыта. раньше всегда давал ссылки на статьи вроде общих о RAID на википедии, но, грустная реальность заключается в том, что у нас есть множество крупных клиентов, сисадмины на которых так и не понимают как работает RAID. А поставщики всегда (за тем исключением, когда покупается компьютер с двумя винтами) конфигурируют массив в RAID 5. написано специально как можно доходчивей. На умных статья и не рассчитана :) что касается терминологии, то: RAID 10 (or 1+0) uses both striping and mirroring. 01 or 0+1 is sometimes distinguished from 10 or 1+0 т.е. RAID 10 -- это общее название технологии, совмещающей мироринг и страйпинг. Иногда делают различие между 10 и 01, иногда нет. кстати, ни в Адаптеках, ни в Деловском PERC/i нельзя создать зеркало страйпов. Там RAID 10 -- это строго страйп зеркал. Оно и легко объяснимо. Например, в конфигурации из 8-ми дисков, вероятность одновременного выхода двух дисков в одном зеркале в два раза ниже, чем вероятность выхода из строя двух дисков в разных страйпах. А так как производительность страйпа из зеркал и зеркала из страйпов одинакова, то не стоит давать пользователю возможность создания в два раза менее надежной конструкции. теперь о производительности. Мне лично приходилось настраивать контроллеры Адаптек, Делл и Интел. Я не использовал общих тестов, а устанавливал сервер БД и проверял скорость работы РЕАЛЬНОЙ базы в РЕАЛЬНОМ режиме работы. И, хотя я пробовал разные конфигурации, с разными размерами страйпов, ни разу у меня RAID 5 не приближался по скорости к RAID 10. Еще раз повторяю, есть тесты и есть задачи на которых RAID 5 будет быстрее -- хостинг веб серверов, файловые архивы (особенно больших файлов -- видео, аудио). Есть задачи, где потерей в скорости можно пренебречь ради выйгрыша в дисковом пространстве. Но, в нашем конкретном случае ERP системы предприятия пищевой промышленности, RAID 10 выигрывает. Единственное, с чем не эксперементировал -- это RAID 50. Зеркало из двух массивов RAID 5. По идее оно должно быть таким же по скорости при 50% выигрыше в дисковом пространстве. Но, это надо пробовать...
Re: RAID 5 на сервере базы данных
On Mon, 02 Mar 2009 20:14:34 +0300, Dmitri Kuzmenko k...@ibase.ru wrote: 3. производительность встроенных в мамку raid5, понятно, дерьмовая. Однако насколько разнятся внешние контроллеры, непонятно. Даже сами контроллеры между собой ОЧЕНЬ разнятся. 5. RAID 10 - это два RAID 0 в зеркале. Raid 0 из двух raid 1 - это raid 0+1. Вроде наоборот всю жисть было. Именно RAID 10 - это страйп из пар-зеркал. Для аналогии RAID 50. Ведь не 05 пишется. А в целом по статье - убогонько. Если бы при записи была такая разница, как там насчитано - то каким образом мы в тестах semi-random write получали почти одинаковую скорость записи на 14-дисковых RAID5 против RAID10? Ведь по рассчётам автора, RAID5 был должен ещё дофига чтений сделать? (xor не считаем, во всех нормальных аппаратные стоят, которые даже не потеют) В итоге мы оставили RAID10, хотя там преимущества на такой системе получилось минимальное, причём на чтении, а не на записи. Вот так вот. -- Сергей Смирнов.
Re: RAID 5 на сервере базы данных
On Mon, 02 Mar 2009 20:53:32 +0300, Janex jane...@gmail.com wrote: Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? Янис, на каждом столбе вдалбливают - резервный диск должен быть СРАЗУ. Если у тебя выйдет из строя 1, то на остальные возникнет сильно повышенная нагрузка, а ведь они скорее всего из одной партии, и следовательно, время наработки на отказ примерно равно. Так что - скорее всего, второй диск вылетит уже через пару минут после первого. А то и одновременно. -- Сергей Смирнов.
Re: RAID 5 на сервере базы данных
Hello, Janex! Janex wrote: Ну я так понемаю что RAID5 из 3 дисков мне будет тормозить только тогда если один диск полетит, не ? Или контролёри тупые и на дисках пишут не паралельно на всех сразу а по очереди ? на raid5 из любого числа дисков допускается отказ только одного. на raid 6 допускается отказ одновременно двух дисков, но общее количество дисков должно быть равно простому числу, от 5 - 5, 7, 11, 13... Мне какраз клиент купил сервяк с 3 дисками на RAID5 ... если через какоето время один диск полетит, то переживут они тормоза хоть 2 недели пока диск некупят, думаю, не переживут. при сбое любого диска админ должен со скоростью пули или доставать замену из шкафа, или бежать в магазин за этой самой заменой. или он мне с самого начало будет тормозить, ну в смысле по отношению к RAID1 ? нет в жизни счастья. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
Re: RAID 5 на сервере базы данных
Hello, WildSery! WildSery wrote: Янис, на каждом столбе вдалбливают - резервный диск должен быть СРАЗУ. Если у тебя выйдет из строя 1, то на остальные возникнет сильно повышенная нагрузка, а ведь они скорее всего из одной партии, и следовательно, время наработки на отказ примерно равно. Так что - скорее всего, второй диск вылетит уже через пару минут после первого. А то и одновременно. ну, не все так страшно, такой нагрузки не бывает, чтобы диск за пару минут издох. А если и бывает, так они все сразу за 2 минуты и издохнут. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
Re: RAID 5 на сервере базы данных
Hello, All! короче, серьезных тестов radi5 vs raid 10 вроде как давно уже никто не делал, особенно на sata, а может я просто найти не могу. по старой информации такое: 1. производительность в зависимости от контроллера может отличаться раза в два, на одних и тех же дисках, что на raid 5, что на raid 10. 2. разница между raid5 и raid10 может достигать двух раз, как по чтению так и по записи (raid10 быстрее). 3. в зависимости от stripe- блока производительность может плавать в диапазоне до 20%. 4. везде пишут про недостатки raid 5 и 10 при работе с мелкими файлами, что для СУБД неактуально. -- Dmitri Kouzmenko, www.ibase.ru, (495) 953-13-34
RAID 5 на сервере базы данных
после того, как в 51-й раз пришлось объяснять очередным клиентам почему их новый сервак с РАИД 5 надо переконфигурировать для использования под базу данных, решил написать статью: http://gsbelarus.com/gs/wiki/index.php/%D0%9F%D0%BE%D1%87%D0%B5%D0%BC%D1%83_%D0%BD%D0%B5%D0%BB%D1%8C%D0%B7%D1%8F_%D0%B8%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D1%8C_RAID_5_%D0%B4%D0%BB%D1%8F_%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0_%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85 пользуйтесь. если заметите неточности -- правьте прямо там. это wiki.
