Re: badblock на половинке raid0 - mount и fsck не работает
Tue, 20 May 2014 21:40:53 +0300 Maksym Tiurin mrko...@bungarus.info wrote: Alexander Gerasiov writes: Поэтому в продакшене на более чем 3х дисках (а уж тем более на больших полках) крайне рекомендуют использовать либо 10, либо 6. Какой ужас - raid 5 на трех дисках да еще и в продакшен. Чтоб в полной мере насладится тормозами. А смотря какой продакшн. Например чтобы стримить видео на несколько устройств по сети - вполне себе нормально, чтение там почти линейно растет. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140521192325.1e96ce2b@snail
Re: badblock на половинке raid0 - mount и fsck не работает
On Wed, 30 Apr 2014 14:38:36 -0700 Snow Leopard snow.leopard@gmail.com wrote: И из всех случаев, когда я видел сбой, всё заканчивалось не очень хорошо. Вероятность выхода из строя одновременно двух дисков достаточно низка -- RAID5 не разрабатывался с мыслью использования в деградированном состоянии продолжительное время. Как раз наоборот. Довольно распространенная ситуация, когда на каком-то из дисков началась деградация неиспользуемой области (архив там какой лежит или еще чего), внезапно вылетает другой диск, начинается ребилд, который заставляет активно работать все диски по всей поверхности, и спящая до сих пор проблема внезапно встаёт во весь рост. В лучшем случае не прочитает кусок данных и данные в ручном режиме с потерями удастся перенести на другой диск. В худшем, многократные попытки чтения сбойных секторов приведут в перегреву поверхности/головок и диск умрёт окончательно. Поэтому в продакшене на более чем 3х дисках (а уж тем более на больших полках) крайне рекомендуют использовать либо 10, либо 6. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140520131515.62dbb46d@ham
Re: badblock на половинке raid0 - mount и fsck не работает
On Tue, May 20, 2014 at 01:15:15PM +0400, Alexander Gerasiov wrote: и спящая до сих пор проблема внезапно встаёт во весь рост. Это не проблема спала, а администратор. Кто мешал ему настроить периодическую проверку рейда? -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140520092558.ga28...@darkstar.order.hcn-strela.ru
Re: badblock на половинке raid0 - mount и fsck не работает
Alexander Gerasiov writes: Поэтому в продакшене на более чем 3х дисках (а уж тем более на больших полках) крайне рекомендуют использовать либо 10, либо 6. Какой ужас - raid 5 на трех дисках да еще и в продакшен. Чтоб в полной мере насладится тормозами. В продакшене надо raid 50ee использовать из пятерок. -- With Best Regards, Maksym Tiurin JID:mrko...@jabber.pibhe.com -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/m37g5gz422@comp.bungarus.info
Re: badblock на половинке raid0 - mount и fsck не работает
Что ж, спасибо за советы, хард купил (теперь у меня диски на 120, 160 и 500 гб), снял и положил на него образы /dev/sda5 и /dev/sdb5, ге разобрался со сборкой из них сломанного массива, провёл на оригинале дисков по совету гугла mke2fs -n и fsck.ext4 -b, все данные восстановлены (вроде бы) Теперь есть 3 диска, 2 дебиана, и желание сочтавить из них raid5 (всё таки охота как можно больше места, но чуть устойчивей чем raid0)
Re: badblock на половинке raid0 - mount и fsck не работает
30 апреля 2014 г., 16:40 пользователь Руслан Зиганшин написал: Теперь есть 3 диска, 2 дебиана, и желание сочтавить из них raid5 (всё таки охота как можно больше места, но чуть устойчивей чем raid0) Вы можете эти три диска разбить на разделы, поставить им тип fd (Linux raid autodetect) и из каждого из этих разделов собрать несколько рейдов по три раздела в каждом: * raid0 (work) - быстрый и низконадёжный для легко воспроизводимых рабочих данных (сборка проектов из SCM) * raid1 (home) - самый надёжный и медленный для самых ценных данных * raid5 (data) - для менее надёжных данных, но с минимальной избыточностью (фильмы) Систему лучше поставить на отдельный SSD ну или на отдельный раздел без рейда. У меня дома такая конструкция из четырёх дисков + SSD года два-три. На работе - из трёх дисков + SSD. По одному диску в обеих системах уже менял, ценных данных не терял.
Re: badblock на половинке raid0 - mount и fsck не работает
Руслан Зиганшин ☫ → To debian-russian @ Wed, Apr 30, 2014 13:40 +0400 гугла mke2fs -n и fsck.ext4 -b, все данные восстановлены (вроде бы) Невосстановленные данные будут лежать в /$MOUNTPOINT/lost-found Теперь есть 3 диска, 2 дебиана, и желание сочтавить из них raid5 (всё таки охота как можно больше места, но чуть устойчивей чем raid0) Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. -- Bright regards, Sergey Korobitsin, Chief Research Officer Arta Software, http://arta.kz/ xmpp:underta...@jabber.arta.kz -- Спектакль - это не совокупность образов; нет, Спектакль это общественные отношения, обусловленные образами. -- Ги-Эрнст Дебор, Общество Спектакля -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140430102411.ga2...@undertaker.dev.lan.arta.kz
Re: badblock на половинке raid0 - mount и fsck не работает
Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. Это с каким же таким трудом? RAID5 нормально ребилдится обычно, использую на серверах. Если объемы уже очень большие 2Тб+, то тут уже альтернативы RAID6 нету, к сожалению. 30 апреля 2014 г., 14:24 пользователь Sergey Korobitsin underta...@arta.kzнаписал: Руслан Зиганшин ☫ → To debian-russian @ Wed, Apr 30, 2014 13:40 +0400 гугла mke2fs -n и fsck.ext4 -b, все данные восстановлены (вроде бы) Невосстановленные данные будут лежать в /$MOUNTPOINT/lost-found Теперь есть 3 диска, 2 дебиана, и желание сочтавить из них raid5 (всё таки охота как можно больше места, но чуть устойчивей чем raid0) Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. -- Bright regards, Sergey Korobitsin, Chief Research Officer Arta Software, http://arta.kz/ xmpp:underta...@jabber.arta.kz -- Спектакль - это не совокупность образов; нет, Спектакль это общественные отношения, обусловленные образами. -- Ги-Эрнст Дебор, Общество Спектакля -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140430102411.ga2...@undertaker.dev.lan.arta.kz
Re: badblock на половинке raid0 - mount и fsck не работает
Ребилдится да, из RAID5 битые данные с трудом выковыриваются. Не совсем вас понимаю. Вы хотите выковыривать данные без ребилда? Тогда это только RAID1/RAID10. Или у вас проблема в том, что массив собран и ребилднут, а данные бьются на уровне ФС? Тогда это уже проблема не рейда, а либо ФС, либо ее настроек (кеширование и т.д.) 30 апреля 2014 г., 14:52 пользователь Nikita Bogdanov kee...@advecs.comнаписал: Ребилдится да, из RAID5 битые данные с трудом выковыриваются. On 04/30/2014 02:26 PM, Alexei wrote: Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. Это с каким же таким трудом? RAID5 нормально ребилдится обычно, использую на серверах. Если объемы уже очень большие 2Тб+, то тут уже альтернативы RAID6 нету, к сожалению. 30 апреля 2014 г., 14:24 пользователь Sergey Korobitsin underta...@arta.kz mailto:underta...@arta.kz написал: Руслан Зиганшин ☫ → To debian-russian @ Wed, Apr 30, 2014 13:40 +0400 гугла mke2fs -n и fsck.ext4 -b, все данные восстановлены (вроде бы) Невосстановленные данные будут лежать в /$MOUNTPOINT/lost-found Теперь есть 3 диска, 2 дебиана, и желание сочтавить из них raid5 (всё таки охота как можно больше места, но чуть устойчивей чем raid0) Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. -- Bright regards, Sergey Korobitsin, Chief Research Officer Arta Software, http://arta.kz/ xmpp:underta...@jabber.arta.kz mailto:xmpp%3Aundertaker@ jabber.arta.kz -- Спектакль - это не совокупность образов; нет, Спектакль это общественные отношения, обусловленные образами. -- Ги-Эрнст Дебор, Общество Спектакля -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org mailto:debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org mailto:listmas...@lists.debian.org Archive: https://lists.debian.org/20140430102411.GA2104@ undertaker.dev.lan.arta.kz
Re: badblock на половинке raid0 - mount и fsck не работает
Alexei ☫ → To Sergey Korobitsin @ Wed, Apr 30, 2014 14:26 +0400 Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. Это с каким же таким трудом? RAID5 нормально ребилдится обычно, использую на серверах. Из википедии, например, недостатки 5-го RAID: Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 0 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи сервера заменяется на контроллере RAID на три - одну операцию чтения и две операции записи). Недостатки RAID 5 проявляются при выходе из строя одного из дисков — весь том переходит в критический режим (degrade), все операции записи и чтения сопровождаются дополнительными манипуляциями, резко падает производительность. При этом уровень надежности снижается до надежности RAID-0 с соответствующим количеством дисков (то есть в n раз ниже надежности одиночного диска). Если до полного восстановления массива произойдет выход из строя, или возникнет невосстановимая ошибка чтения хотя бы на еще одном диске, то массив разрушается, и данные на нем восстановлению обычными методами не подлежат. Следует также принять во внимание, что процесс RAID Reconstruction (восстановления данных RAID за счет избыточности) после выхода из строя диска вызывает интенсивную нагрузку чтения с дисков на протяжении многих часов непрерывно, что может спровоцировать выход какого-либо из оставшихся дисков из строя в этот наименее защищенный период работы RAID, а также выявить ранее необнаруженные сбои чтения в массивах cold data (данных, к которым не обращаются при обычной работе массива, архивные и малоактивные данные), что повышает риск сбоя при восстановлении данных. И из всех случаев, когда я видел сбой, всё заканчивалось не очень хорошо. P.S. В личку дублей мне не надо. -- Bright regards, Sergey Korobitsin, Chief Research Officer Arta Software, http://arta.kz/ xmpp:underta...@jabber.arta.kz -- OpenOffice.org/LiberationOffice написан на плюсах, но так, что все думают, что на яве. -- simburde @ linux.org.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140430113932.gb2...@undertaker.dev.lan.arta.kz
Re: badblock на половинке raid0 - mount и fsck не работает
On 4/30/2014 4:39 AM, Sergey Korobitsin wrote: Alexei ☫ → To Sergey Korobitsin @ Wed, Apr 30, 2014 14:26 +0400 Совет из опыта - лучше забить на raid5, данные при его fail-е (что не так уж маловероятно) выковыриваются с большим трудом. Это с каким же таким трудом? RAID5 нормально ребилдится обычно, использую на серверах. Из википедии, например, недостатки 5-го RAID: Производительность RAID 5 заметно ниже, в особенности на операциях типа Random Write (записи в произвольном порядке), при которых производительность падает на 10-25% от производительности RAID 0 (или RAID 10), так как требует большего количества операций с дисками (каждая операция записи сервера заменяется на контроллере RAID на три - одну операцию чтения и две операции записи). А что происходит с RAID0 при выходе из строя 1 диска -- оппс капут все данные потеряны. Хотя RAID0 быстрее на чтение чем RAID0. И если я правильно понимаю RAID0 не предусматривает избыточности информации (т.е. ни контроллеру ни CPU дополнительной работы нет). Недостатки RAID 5 проявляются при выходе из строя одного из дисков — весь том переходит в критический режим (degrade), все операции записи и чтения сопровождаются дополнительными манипуляциями, резко падает производительность. При этом уровень надежности снижается до надежности RAID-0 с соответствующим количеством дисков (то есть в n раз ниже надежности одиночного диска). Верно, но я не думаю что кто-то будет работать в данной конфигурации -- если RAID5 правильно сконфигурирован, то при выходе из строя одного из дисков подключается standby диск и вся информация востанавливается на standby диск. В зависимости от железа -- поломанный диск можно вытащить без остановки системы и воткнуть ему замену -- несколько команд и новый диск в конфигурации RAID5 в standby режиме. Если до полного восстановления массива произойдет выход из строя, или возникнет невосстановимая ошибка чтения хотя бы на еще одном диске, то массив разрушается, и данные на нем восстановлению обычными методами не подлежат. Следует также принять во внимание, что процесс RAID Reconstruction (восстановления данных RAID за счет избыточности) после выхода из строя диска вызывает интенсивную нагрузку чтения с дисков на протяжении многих часов непрерывно, что может спровоцировать выход какого-либо из оставшихся дисков из строя в этот наименее защищенный период работы RAID, а также выявить ранее необнаруженные сбои чтения в массивах cold data (данных, к которым не обращаются при обычной работе массива, архивные и малоактивные данные), что повышает риск сбоя при восстановлении данных. Процес востановления информации за счет избыточности занимает достаточно продолжительное время, но это лучше чем потерять данные и остаться ни с чем. И из всех случаев, когда я видел сбой, всё заканчивалось не очень хорошо. Вероятность выхода из строя одновременно двух дисков достаточно низка -- RAID5 не разрабатывался с мыслью использования в деградированном состоянии продолжительное время. У меня все еще используется Model=FUJITSU MPC3084AT в одном из компьютеров купленном в 1999 году -- компьютер работает 24 часа в сутки (менял видео карту -- остановился вентиляток и видео процессор умер от перегрева). Из всех дисков приобретенных мной для личного пользования (предпочтение отдается Western Digital) только один имел заводской дефект. По работе, из опыта знаю Seagate и IBM были достаточно не надежными -- поэтому для личного пользования не приобретались (IBM диск который получил при покупке компьютера вышел из строя две недели после истечения гарантии). P.S. В личку дублей мне не надо. RAID0 -- только для того что не страшно потерять, из плюсов скорость чтения и записи, минус выход из строя одного диска и данных нет RAID1 -- надежность и скорость, из недостатков обьем получаемого массива, запись сопоставима со скоростью записи на один диск, чтение может осуществлятся параллельно что может привести к удвоению скорости чтения RAID2/3/4 -- как правило не используется RAID5 -- надежность за счет избыточности с некоторой потерей производительности (если RAID5 реализуется в железе, то снижения производительности может и не быть), недостаток -- вылетает при выходе из строя одновременно двух дисков RAID6 -- подобен RAID5, но имеет большую избыточность и способен продолжать работать при выходе 2-х дисков одновременно Существуют и другие более экзотические конфигурации RAID: 0+1/1+0/10+0/5+0/6+0 для достижения более высокой производительности/надежности/об'ема http://en.wikipedia.org/wiki/Nested_RAID_levels При больших об'емах RAID системы возникает другая проблема -- скорость чтения/записи через сеть одновременно с нескольких компьютеров -- сеть становится узким звеном (частично решается апгрейдом железа [дорого] и bonding сетевых интерфейсов). Андрей -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive:
Re: badblock на половинке raid0 - mount и fsck не работает
On 4/28/14, Руслан Зиганшин ziganshinrus...@gmail.com wrote: Конфигурация дисков такая: /dev/sd[ab]1 -swap, dev/sd[ab]2 - логический раздел, dev/sd[ab]5 - часть raid. Вчера комп завис, после ребута по ctrl + alt + sysrq + [ r e i s u b] у grub исчез фоновый рисунок, а при попытке загрузки ОС было error:unknown filesystem. Найдя дома ubuntu 12.04 я выяснил, что разделы дисков ещё видны, mdadm способен обнаружить /dev/md0, но система не в состоянии его примонтировать или проверить (что-то про zero partition table). sudo badblock обнаружила бедблоки #72,73,74 и 75 на dev/sda5. Как теперь восстанавливать информацию? (Желательно до экзаменационной сессии) Для начала стоит убрать sda5 из массива (см. ключи --fail и --remove у mdadm). Потом натравить fsck на md0.
Re: badblock на половинке raid0 - mount и fsck не работает
Так у топик стартера не миррор а страп сделан. Надо сливать md0 на новый винт и тестдиском проходить глядишь найдет фс. 28 апр. 2014 г. 15:36 пользователь Hleb Valoshka 375...@gmail.com написал: On 4/28/14, Руслан Зиганшин ziganshinrus...@gmail.com wrote: Конфигурация дисков такая: /dev/sd[ab]1 -swap, dev/sd[ab]2 - логический раздел, dev/sd[ab]5 - часть raid. Вчера комп завис, после ребута по ctrl + alt + sysrq + [ r e i s u b] у grub исчез фоновый рисунок, а при попытке загрузки ОС было error:unknown filesystem. Найдя дома ubuntu 12.04 я выяснил, что разделы дисков ещё видны, mdadm способен обнаружить /dev/md0, но система не в состоянии его примонтировать или проверить (что-то про zero partition table). sudo badblock обнаружила бедблоки #72,73,74 и 75 на dev/sda5. Как теперь восстанавливать информацию? (Желательно до экзаменационной сессии) Для начала стоит убрать sda5 из массива (см. ключи --fail и --remove у mdadm). Потом натравить fsck на md0.
Re: badblock на половинке raid0 - mount и fsck не работает
Mon, 28 Apr 2014 15:54:59 +0700 Леонид Кальмаев kalmae...@gmail.com wrote: Так у топик стартера не миррор а страп сделан. Надо сливать md0 на новый винт и тестдиском проходить глядишь найдет Неправильно. Сливать надо dd_rescue битую половину (на другой диск или в файл), после чего инициализировать рейд без битого диска, а c этой половиной и потом fsck. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140428200244.32c75aba@snail
Re: badblock на половинке raid0 - mount и fsck не работает
Если диски разного размера, и их больше двух, то собрать из этого зеркало с максимальной утилизацией места может, внезапно, btrfs. В продакшене не использовал, дома уже на трёх массивах больше года, тьфу-тьфу живо-здорово. На двух дисках разного размера можно только миррор по размеру меньшего из. С этим ничего не сделать. On Apr 28, 2014 9:26 PM, Руслан Зиганшин ziganshinrus...@gmail.com wrote: ОК, в любом случае мнё нужен новый хард. Отсюда вопрос: какой raid обеспечивает одновременно скорость чтения и отказоустойчивость (raid5?) на дисках разного объёма? Стоит ли использовать сбойнувший диск? И какая ФС зеркалирует свою таблицу файлов в разных секторах? 28.04.14, Alexander GQ Gerasiovg...@cs.msu.su написал(а): Mon, 28 Apr 2014 15:54:59 +0700 Леонид Кальмаев kalmae...@gmail.com wrote: Так у топик стартера не миррор а страп сделан. Надо сливать md0 на новый винт и тестдиском проходить глядишь найдет Неправильно. Сливать надо dd_rescue битую половину (на другой диск или в файл), после чего инициализировать рейд без битого диска, а c этой половиной и потом fsck. -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: https://lists.debian.org/20140428200244.32c75aba@snail
