Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 23:20 пользователь Mikhail A Antonov b...@solarnet.ru написал: 01.06.2012 22:51, Dmitry A. Zhiglov пишет: Как себя поведет система при выходе из строя одного диска в случае, если своп разделы были с одинаковым приоритетом на разных дисках? В лучшем случае ядро впадёт в панику, перемонтирует всё в RO и тормознёт. В другом - ну представь что у тебя в том куске свопа был кусок БД или ещё что-нибудь интересное. Кусок памяти, отданный в виртуалку, внутри которой крутится терминальный сервер, внутри которого бухгалтерская база. Можно инфу похерить сильно. Замысел мой в том, что swap при одинаковом приоритете может работать как страйп. Естественно не всем это надо и тем более в то время когда оперативной памяти должно хватать на всех. Так как у меня нет под руками железа, попробовал провести эксперимент на kvm+lvm Сделал виртуальный debian с 64 МБ оперативной памяти и 2 диска с swap и приоритетом для всех =5. Что бы уж совсем тяжело было, установил gdm и зашел. Далее в lvm на одном из swap-разделов установил права на RO и началось. Ничего не упало, но тормозило. Процессорное время тратилось на io, который был только на чтение в основном, на запись практически ничего не видел или это был не swap. В dmesg было много сообщений от ядра. Мне удалось даже выключить gdm при такой деградации, но все работало. Затем, восстановил в lvm права на раздел в RW и как будто ничего и не было - все тип-топ. Конечно, это не чистый эксперимент и возможно торможения связаны из-за того, что система видит swap, но записать на него ничего не может и вроде есть и вроде нет. Было бы интересно узнать как все же на физическом, полном отваливании диска с swap-разделом поведет система, так как это для меня важно. Был бы благодарен за проведение и подтверждение эксперимента. Ну или кто либо подскажет, как можно по-другому сымитировать полное отключение диска в lvm или как либо иначе.
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Sun, Jun 03, 2012 at 12:00:21PM +0400, Dmitry A. Zhiglov wrote: Было бы интересно узнать как все же на физическом, полном отваливании диска с swap-разделом поведет система, так как это для меня важно. Как повезет, так и поведет. Смотря что было в свопе на момент падения раздела. -- Stanislav -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/20120603083830.GA26188@kaiba.homelan
Re: RAID + гостевые системы KVM на отдельных LVM-томах
03.06.2012, 09:06, Mikhail A Antonov b...@solarnet.ru: От себя добавлю что для гостевых linux я на железке выдаю отдельный lv, внутри которого чаще всего всё тем же lvm делаю нарезку. И ресайз оно переживает, и все преимущества от lvm остаются и внутри гостя. Редко когда внутрь linux передаю два диска. Например, так было когда система была на sas-рейде, а для файлохранилища был проброшен отдельный sata-диск. Для линуксов (как гостевых, так и гипервизора) я обычно ещё так делаю: -- # cat /etc/sysctl.d/vmswappiness.conf vm.swappiness = 0 -- Так своп будет использоваться только когда оперативки реально не хватает. Если такое случается - я получаю сообщения от мониторинга (zabbix). спасибо большое, Михаил! ценная для меня информация -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/432571338713...@web22g.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012, 23:04, Mikhail A Antonov b...@solarnet.ru: Итак. md0 - /boot на 300-500м. (ext2) md1 - pv для lvm Для каждой виртуалки отдельный lv. Всё. Если диск вылетел зачем-то - значит менять/проверять диск, а не хернёй страдать. Диски просто так не вылетают. Мониторить смартом и mdadm. Имею такую конфигурацию на ~20 железяках. Местами, правда там не mdraid, а хардварный, но бьётся всё так же и сути не меняет. т.е. не заморачиваться с отдельным md под саму систему-гипервизор? просто корень держать на отдельном lv и виртуалки в отдельных lv - но все это в пределах одного pv/md? в общем то наверное соглашусь, упрощает схему, тем более у вас отработано на практике) спасибо! -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/210291338620...@web1h.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012, 23:04, Mikhail A Antonov b...@solarnet.ru: Итак. md0 - /boot на 300-500м. (ext2) md1 - pv для lvm Для каждой виртуалки отдельный lv. Всё. Если диск вылетел зачем-то - значит менять/проверять диск, а не хернёй страдать. Диски просто так не вылетают. Мониторить смартом и mdadm. Имею такую конфигурацию на ~20 железяках. Местами, правда там не mdraid, а хардварный, но бьётся всё так же и сути не меняет. а кстати куда своп то девать? -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/303491338620...@web19e.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Sat, Jun 02, 2012 at 10:57:27AM +0400, Alexander wrote: а кстати куда своп то девать? А он нужен? У каждой виртуалки своп свой будет.. Так что туда же. Отдельными LV. -- WBR, Dmitry signature.asc Description: Digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
02.06.2012 10:57, Alexander пишет: 01.06.2012, 23:04, Mikhail A Antonov b...@solarnet.ru: Итак. md0 - /boot на 300-500м. (ext2) md1 - pv для lvm Для каждой виртуалки отдельный lv. Всё. Если диск вылетел зачем-то - значит менять/проверять диск, а не хернёй страдать. Диски просто так не вылетают. Мониторить смартом и mdadm. Имею такую конфигурацию на ~20 железяках. Местами, правда там не mdraid, а хардварный, но бьётся всё так же и сути не меняет. а кстати куда своп то девать? В отдельный lv, если нужен. -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
господа, а как примаунтить раздел в lvm-томе?.. например, lvm-том был отдан под виртуалку windows server r2 в качестве винта, и при установке создалось 2 раздела на винте. fdisk -l /dev/dm-1 показывает их как: /dev/dm-1p1 /dev/dm-1p2 но вот смаунтить и отформатировать их не могу - нет таких устройств - можно ли до них как-то добраться? пробовал также: /dev/vg1/lv1p1 /dev/vg1/lv1p2 и /dev/mapper/vg1-lv1p1 /dev/mapper/vg1-lv1p2 результат отрицательный. при этом помню, что вроде как делал такое раньше -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/279031338649...@web19f.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Sat, Jun 02, 2012 at 07:00:41PM +0400, Alexander wrote: господа, а как примаунтить раздел в lvm-томе?.. например, lvm-том был отдан под виртуалку windows server r2 в качестве винта, и при установке создалось 2 раздела на винте. Правильный ответ -- никогда так не делать.. Ибо resize и прочие плюшки такого бутерброда сильно усложняются... Для виртуалок лучший вариант -- один LV == один раздел. Впрочем венда скорее всего не умеет так... но вот смаунтить и отформатировать их не могу - нет таких устройств - можно ли до них как-то добраться? kpartx по идее умеет создавать такие устройства. (с KDE ничего общего не имеет) -- WBR, Dmitry signature.asc Description: Digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
02.06.2012, 22:48, Dmitry Nezhevenko d...@inhex.net: On Sat, Jun 02, 2012 at 07:00:41PM +0400, Alexander wrote: господа, а как примаунтить раздел в lvm-томе?.. например, lvm-том был отдан под виртуалку windows server r2 в качестве винта, и при установке создалось 2 раздела на винте. Правильный ответ -- никогда так не делать.. Ибо resize и прочие плюшки такого бутерброда сильно усложняются... Для виртуалок лучший вариант -- один LV == один раздел. Впрочем венда скорее всего не умеет так... но вот смаунтить и отформатировать их не могу - нет таких устройств - можно ли до них как-то добраться? kpartx по идее умеет создавать такие устройства. (с KDE ничего общего не имеет) -- WBR, Dmitry эм.. я отдаю LVM-том как винт виртуальной системе - которая естественно разбивает видимый ею физический диск так как привыкла. и мне кажется, что не важно винда или линукс - разделы будут в любом случае. вопрос в том, могу ли я работать с разделами непосредственно из гипервизора, а не из виртуалки. собственно говоря я сильно удивился когда не смог сходу сделать озвученное в вопросе. ибо LVM это типо блочное устройство, как физический диск или md - с которыми подобных проблем нет. собственно говоря задача тривиальна - скопировать образы акронис на винт виртуалки - чтобы развернуть их. ибо проброс usb-винта непосрественно в виртуалку хоть и работает, но скорость копирования исчилсяемая десятками часов особо не рабудет -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/117051338671...@web13d.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Sun, Jun 03, 2012 at 01:08:30AM +0400, Alexander wrote: эм.. я отдаю LVM-том как винт виртуальной системе - которая естественно разбивает видимый ею физический диск так как привыкла. и мне кажется, что не важно винда или линукс - разделы будут в любом случае. вопрос в том, могу ли я работать с разделами непосредственно из гипервизора, а не из виртуалки. В случае гостевого linux так делать не нужно. Потому что всегда может оказаться что места чуть маловато. Если был проброшен один LV, который был разбит на /, возможно /var и swap, то увеличивать это будет весьма нетривиально. В случае, если каждый раздел был проброшен своим LV, увеличение очень просто (lvresize + resize2fs). xen-create-image именно так и делает. -- WBR, Dmitry signature.asc Description: Digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
02.06.2012 19:00, Alexander пишет: господа, а как примаунтить раздел в lvm-томе? kpartx -a /dev/mapper/vg1-lv1 mkdir /mnt/lv1p1 mount /dev/mapper/vg1-lv11 /mnt/lv1p1 Я так монтирую когда бэкапы делаю. Остановка машины не требуется. ... # монтируем что бэкапим # делаем снапшот lvcreate -L4G -s -n win2k3dataBACKUP /dev/vg0/win2k3data # достаём раздел kpartx -a /dev/mapper/vg0-win2k3dataBACKUP # потом монтируем mount /dev/mapper/vg0-win2k3dataBACKUP1 /mnt/win2k3data -o ro -t ntfs-3g || true ... Лучше не создавать больше одного раздела на одном lv - не удобно будет resize делать, в случае чего. А ещё не удобно lv называть lvномер. Удобнее называть их именем виртуальной машины или по целям. lv для свопа логичнее будет назвать swap. Например есть виртмашина с именем win2k3 внутри которой хочется иметь два раздела - один поменьше для системы (диск C) и один побольше для файлов (диск D). Делаем два lv - win2k3sys и win2k3data и передаём оба внутрь виртуалки. У меня такая конфигурация переживала resize в обе стороны. Не на лету, но переживала. -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
03.06.2012, 02:46, Mikhail A Antonov b...@solarnet.ru: 02.06.2012 19:00, Alexander пишет: господа, а как примаунтить раздел в lvm-томе? kpartx -a /dev/mapper/vg1-lv1 mkdir /mnt/lv1p1 mount /dev/mapper/vg1-lv11 /mnt/lv1p1 Я так монтирую когда бэкапы делаю. Остановка машины не требуется. ... # монтируем что бэкапим # делаем снапшот lvcreate -L4G -s -n win2k3dataBACKUP /dev/vg0/win2k3data # достаём раздел kpartx -a /dev/mapper/vg0-win2k3dataBACKUP # потом монтируем mount /dev/mapper/vg0-win2k3dataBACKUP1 /mnt/win2k3data -o ro -t ntfs-3g || true ... Лучше не создавать больше одного раздела на одном lv - не удобно будет resize делать, в случае чего. А ещё не удобно lv называть lvномер. Удобнее называть их именем виртуальной машины или по целям. lv для свопа логичнее будет назвать swap. Например есть виртмашина с именем win2k3 внутри которой хочется иметь два раздела - один поменьше для системы (диск C) и один побольше для файлов (диск D). Делаем два lv - win2k3sys и win2k3data и передаём оба внутрь виртуалки. У меня такая конфигурация переживала resize в обе стороны. Не на лету, но переживала. спасибо огромное! имена lv и vg привел вымышленные для удобства :) подскажите, а как быть с windows7/server2008r2 - они создают маленький boot-раздел 100мб при установке Dmitry Nezhevenko В случае гостевого linux так делать не нужно. Потому что всегда может оказаться что места чуть маловато. Если был проброшен один LV, который был разбит на /, возможно /var и swap, то увеличивать это будет весьма нетривиально. спасибо! пока только винды в гостях, но если были бы linux, то точно разбивал бы один lvm-том на разделы. теперь так делать не буду :) -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/666341338693...@web9e.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
03.06.2012 07:19, Alexander пишет: спасибо огромное! имена lv и vg привел вымышленные для удобства :) подскажите, а как быть с windows7/server2008r2 - они создают маленький boot-раздел 100мб при установке Никак не быть - он не будет мешать. Его не надо ресайзить. Ну и монтировать не первый раздел, а второй, если файлы выцепить надо. Dmitry Nezhevenko В случае гостевого linux так делать не нужно. Потому что всегда может оказаться что места чуть маловато. Если был проброшен один LV, который был разбит на /, возможно /var и swap, то увеличивать это будет весьма нетривиально. спасибо! пока только винды в гостях, но если были бы linux, то точно разбивал бы один lvm-том на разделы. теперь так делать не буду :) Я несколько раз пытался перечитать фразу Дмитрия, но так и не смог понять того, что он хотел этим сказать. Много слов по теме, но ничего конкретного. От себя добавлю что для гостевых linux я на железке выдаю отдельный lv, внутри которого чаще всего всё тем же lvm делаю нарезку. И ресайз оно переживает, и все преимущества от lvm остаются и внутри гостя. Редко когда внутрь linux передаю два диска. Например, так было когда система была на sas-рейде, а для файлохранилища был проброшен отдельный sata-диск. Вот несколько примеров: -- (жирная машина) root@zimbra:~# pvs PV VG Fmt Attr PSize PFree /dev/vda1 zimbra lvm2 -- 50,00g0 root@zimbra:~# vgs VG #PV #LV #SN Attr VSize VFree zimbra 1 3 0 wz--n- 50,00g0 root@zimbra:~# lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert opt zimbra -wi-ao 43,00g root zimbra -wi-ao 5,00g swap zimbra -wi-ao 2,00g root@zimbra:~# df -h Файловая система Разм Исп Дост Исп% смонтирована на /dev/mapper/zimbra-root 5,0G 1,5G 3,3G 31% / tmpfs 2,0G 0 2,0G 0% /lib/init/rw udev 2,0G 116K 2,0G 1% /dev tmpfs 2,0G 0 2,0G 0% /dev/shm /dev/mapper/zimbra-opt 43G 4,2G 37G 11% /opt -- (мелкий шлюз) root@gw:~# pvs PV VG Fmt Attr PSize PFree /dev/vda1 gw lvm2 a- 20,00g 9,75g root@gw:~# vgs VG #PV #LV #SN Attr VSize VFree gw 1 2 0 wz--n- 20,00g 9,75g root@gw:~# lvs LV VG Attr LSize Origin Snap% Move Log Copy% Convert root gw -wi-ao 9,31g swap gw -wi-ao 952,00m root@gw:~# df -h Файловая система Разм Исп Дост Исп% смонтирована на /dev/mapper/gw-root 9,2G 809M 8,0G 10% / tmpfs 502M 0 502M 0% /lib/init/rw udev 497M 164K 497M 1% /dev tmpfs 502M 0 502M 0% /dev/shm -- (файлохранилище) f0:~# df -h FilesystemSize Used Avail Use% Mounted on /dev/vda1 2.8G 1.8G 934M 66% / tmpfs 252M 0 252M 0% /lib/init/rw udev 247M 100K 247M 1% /dev tmpfs 252M 0 252M 0% /dev/shm /dev/vdb1 696G 410G 286G 59% /data (здесь нет lvm внутри гостя) -- Для линуксов (как гостевых, так и гипервизора) я обычно ещё так делаю: -- # cat /etc/sysctl.d/vmswappiness.conf vm.swappiness = 0 -- Так своп будет использоваться только когда оперативки реально не хватает. Если такое случается - я получаю сообщения от мониторинга (zabbix). -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 15:38 пользователь Alexander ag...@yandex.ru написал: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: Можно перефразирую задачу? Есть 2 диска. Разбиты и собраны все разделы в raid1 следующим образом: md0, md1, md2, md3 Разделы рейдов содержать: md0 - boot md1 - swap md2 - lvm с vg1 md3 - lvm с vg2 vg1 - система и гипервизор vg2 - нарезка под виртуальные lv Вопросы: - Может было бы правильней делать отдельные рейд-разделы под каждую виртуалку, т.е. свой md+vg+lv? Причина так думать: если повредится зеркало md3 то перестраиваться будет весь большой md (а это долго), а если сделать несколько md поменьше вместо одного большого, то соответственно только поврежденный md. - А возможно ли такое вообще, что повредится отдельный md? Причина так думать :ведь все md на одних и тех же физических устройствах - т.е. если уж и повредится что-то, то не по отдельности, а сразу все md - и получим ситуацию вместо восстановления одного большого md - одновременное восстановление нескольких маленьких md - что как я понимаю хуже - ибо они изнасилуют жесткие диски одновременной перестройкой? или md-драйвер такую ситуацию обрабатывает грамотно? т.е. не позволит одновременное восстановление массива на одних и тех же физ. устройствах?.. Я понимаю, что если выйдет из строя жесткий диск, то естественно развалятся все md. Но теоретически может же быть например bad-сектор, попадающий только в один md - соответственно только он и развалится, а остальные нет - так?
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 16:40 пользователь Dmitry A. Zhiglov dmitry.zhig...@gmail.com написал: 1 июня 2012 г., 15:38 пользователь Alexander ag...@yandex.ru написал: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: Можно перефразирую задачу? Есть 2 диска. Разбиты и собраны все разделы в raid1 следующим образом: md0, md1, md2, md3 Разделы рейдов содержать: md0 - boot md1 - swap md2 - lvm с vg1 md3 - lvm с vg2 В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. vg1 - система и гипервизор vg2 - нарезка под виртуальные lv Вопросы: - Может было бы правильней делать отдельные рейд-разделы под каждую виртуалку, т.е. свой md+vg+lv? Причина так думать: если повредится зеркало md3 то перестраиваться будет весь большой md (а это долго), а если сделать несколько md поменьше вместо одного большого, то соответственно только поврежденный md. Стоит оставить так, как запланировано сейчас. В вашем случае скорей всего потеряется прелесть lvm и потенциальные проблемы нарезать разделы на дисках на живую, перезагрзуки и т.д. - А возможно ли такое вообще, что повредится отдельный md? Такое возможно. Причина так думать :ведь все md на одних и тех же физических устройствах - т.е. если уж и повредится что-то, то не по отдельности, а сразу все md - и получим ситуацию вместо восстановления одного большого md - одновременное восстановление нескольких маленьких md - что как я понимаю хуже - ибо они изнасилуют жесткие диски одновременной перестройкой? или md-драйвер такую ситуацию обрабатывает грамотно? т.е. не позволит одновременное восстановление массива на одних и тех же физ. устройствах?.. Я понимаю, что если выйдет из строя жесткий диск, то естественно развалятся все md. Но теоретически может же быть например bad-сектор, попадающий только в один md - соответственно только он и развалится, а остальные нет - так? Если raid-раздел и рассыпется, из-за сбойного диска, то и менять весь диск придется, а это само собой затронет все raid-разделы. При перестроении разделы перестраиваются последовательно. К тому же с какой скоростью будет перестроение настраивается и по умолчанию лимитировано (не буду искать цифру)
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012 16:40, Dmitry A. Zhiglov написал: 1 июня 2012 г., 15:38 пользователь Alexanderag...@yandex.ru написал: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: Можно перефразирую задачу? Есть 2 диска. Разбиты и собраны все разделы в raid1 следующим образом: md0, md1, md2, md3 Разделы рейдов содержать: md0 - boot md1 - swap md2 - lvm с vg1 md3 - lvm с vg2 vg1 - система и гипервизор vg2 - нарезка под виртуальные lv Вопросы: - Может было бы правильней делать отдельные рейд-разделы под каждую виртуалку, т.е. свой md+vg+lv? Причина так думать: если повредится зеркало md3 то перестраиваться будет весь большой md (а это долго), а если сделать несколько md поменьше вместо одного большого, то соответственно только поврежденный md. - А возможно ли такое вообще, что повредится отдельный md? Причина так думать :ведь все md на одних и тех же физических устройствах - т.е. если уж и повредится что-то, то не по отдельности, а сразу все md - и получим ситуацию вместо восстановления одного большого md - одновременное восстановление нескольких маленьких md - что как я понимаю хуже - ибо они изнасилуют жесткие диски одновременной перестройкой? или md-драйвер такую ситуацию обрабатывает грамотно? т.е. не позволит одновременное восстановление массива на одних и тех же физ. устройствах?.. Я понимаю, что если выйдет из строя жесткий диск, то естественно развалятся все md. Но теоретически может же быть например bad-сектор, попадающий только в один md - соответственно только он и развалится, а остальные нет - так? профессионально +1, сам голову сломал, пока разобрался в том, что же человек хочет. -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4fc8.3010...@skubriev.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012 15:38, Alexander написал: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: 1) boot на md-raid1 (осн. раздел диска1 + осн. раздел диска2) - md0 2) swap на md-raid1 (1-ый лог. раздел диска1 + 1-ый лог. раздел диска2) - md1 3) / на lvm поверх md-raid1 (2-ой лог. раздел диска1 + 2-ой лог. раздел диска2) - сама система с гипервизором - vg1/lv1 на md2 4) все остальное пространство - md-raid1 (3-ий лог. раздел диска1 + 3-ий лог. раздел диска2) - md3 - на нем группа томов vg2 на все пространство и отдельные lvm-тома нужного размера под каждую виртуалку Собственно говоря смущает пункт №4 - думаю может делать отдельные md под каждую виртуалку? т.е. свой md+vg+lv на каждую виртуалку - есть ли в этом смысл? Просто если повредится зеркало из п.4 то перестраиваться будет весь большой md (а это долго), а если сделать несколько md поменьше вместо одного большого, то соответственно только поврежденный md. Далее у меня возник такой вопрос - возможно ли такое вообще, что повредится отдельный md? ведь все md на одних и тех же физических устройствах - т.е. если уж и повредится что-то, то не по отдельности, а сразу все md - и получим ситуацию вместо восстановления одного большого md - одновременное восстановление нескольких маленьких md - что как я понимаю хуже - ибо они изнасилуют жесткие диски одновременной перестройкой? или md-драйвер такую ситуацию обрабатывает грамотно? т.е. не позволит одновременное восстановление массива на одних и тех же физ. устройствах?.. Я понимаю, что если выйдет из строя жесткий диск, то естественно развалятся все md. Но теоретически может же быть например bad-сектор, попадающий только в один md - соответственно только он и развалится, а остальные нет - так? В общем, господа, поделитесь мыслями и опытом :) После установки системы установите grub, также и на /dev/sdb (# grub-install /dev/sdb), дабы в случае, если bios захочет загрузиться с другого диска или вы просто перепутаете кабели местами то сервер смог бы загрузится. По поводу bad-секторов и разных md девайсов может быть дело и выгорет - но тут думаю скорее важно узнать мнение тех, кто конкретно с таким случаем сталкивался. В остальном дождусь ГУРУ. Самому интересно, т.к. то как вы разместили бы разделы и тома даже в голову не приходило - если честно. -- С Уважением, специалист по техническому и программному обеспечению, системный администратор Скубриев Владимир ~~~ Россия, Ростовская область, г. Таганрог тел. моб: +7 (918) 504 38 20 skype: v.skubriev icq: 214-800-502 www: skubriev.ru -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4fc8bb25.4050...@skubriev.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
Dmitry A. Zhiglov большое спасибо за перевод :) извиняюсь, что перемудрил насчет маленьких md я задумался когда наблюдал у себя перестройку развалившегося терабайтного рейда. при этом реальных данных было на 50гб, а перестраивалось естественно все на блочном уровне - т.е. весь 1тб т.е. вот даже если создать рейд на 1тб-пространстве и вогнать его в группу томов и создать один малюсенький lvm-том на 10гб и в него поставить виртуалку продакшн, то в случае развала рейда эта несчастная виртуалка будет ощущать на себе все прелести восстановления терабайтного рейда в течении долгого времени 01.06.2012, 16:51, Dmitry A. Zhiglov dmitry.zhig...@gmail.com: 1 июня 2012 г., 16:40 пользователь Dmitry A. Zhiglov dmitry.zhig...@gmail.com написал: 1 июня 2012 г., 15:38 пользователь Alexander ag...@yandex.ru написал: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: Можно перефразирую задачу? Есть 2 диска. Разбиты и собраны все разделы в raid1 следующим образом: md0, md1, md2, md3 Разделы рейдов содержать: md0 - boot md1 - swap md2 - lvm с vg1 md3 - lvm с vg2 В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. vg1 - система и гипервизор vg2 - нарезка под виртуальные lv Вопросы: - Может было бы правильней делать отдельные рейд-разделы под каждую виртуалку, т.е. свой md+vg+lv? Причина так думать: если повредится зеркало md3 то перестраиваться будет весь большой md (а это долго), а если сделать несколько md поменьше вместо одного большого, то соответственно только поврежденный md. Стоит оставить так, как запланировано сейчас. В вашем случае скорей всего потеряется прелесть lvm и потенциальные проблемы нарезать разделы на дисках на живую, перезагрзуки и т.д. - А возможно ли такое вообще, что повредится отдельный md? Такое возможно. Причина так думать :ведь все md на одних и тех же физических устройствах - т.е. если уж и повредится что-то, то не по отдельности, а сразу все md - и получим ситуацию вместо восстановления одного большого md - одновременное восстановление нескольких маленьких md - что как я понимаю хуже - ибо они изнасилуют жесткие диски одновременной перестройкой? или md-драйвер такую ситуацию обрабатывает грамотно? т.е. не позволит одновременное восстановление массива на одних и тех же физ. устройствах?.. Я понимаю, что если выйдет из строя жесткий диск, то естественно развалятся все md. Но теоретически может же быть например bad-сектор, попадающий только в один md - соответственно только он и развалится, а остальные нет - так? Если raid-раздел и рассыпется, из-за сбойного диска, то и менять весь диск придется, а это само собой затронет все raid-разделы. При перестроении разделы перестраиваются последовательно. К тому же с какой скоростью будет перестроение настраивается и по умолчанию лимитировано (не буду искать цифру) -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/25281338559...@web19e.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Fri, Jun 01, 2012 at 06:07:49PM +0400, Alexander wrote: насчет маленьких md я задумался когда наблюдал у себя перестройку развалившегося терабайтного рейда. при этом реальных данных было на 50гб, а перестраивалось естественно все на блочном уровне - т.е. весь 1тб т.е. вот даже если создать рейд на 1тб-пространстве и вогнать его в группу томов и создать один малюсенький lvm-том на 10гб и в него поставить виртуалку продакшн, то в случае развала рейда эта несчастная виртуалка будет ощущать на себе все прелести восстановления терабайтного рейда в течении долгого времени Рейды просто так не разваливаются, если отвалился, то что-то произошло. И скорее всего прийдется менять как минимум 1 винт. Т.е. перестройка неизбежна. IMHO вся эта идея с кучей мелких рейдов на одних дисках -- глупость. -- WBR, Dmitry signature.asc Description: Digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
в тот самый момент когда я наблюдал перестройку 800гб md2 с виртуалками, md0 и md1 (подкачка и корень) не были развалены - нормально функционировали (физические диски те же самые) 01.06.2012, 18:24, Dmitry Nezhevenko d...@inhex.net: On Fri, Jun 01, 2012 at 06:07:49PM +0400, Alexander wrote: насчет маленьких md я задумался когда наблюдал у себя перестройку развалившегося терабайтного рейда. при этом реальных данных было на 50гб, а перестраивалось естественно все на блочном уровне - т.е. весь 1тб т.е. вот даже если создать рейд на 1тб-пространстве и вогнать его в группу томов и создать один малюсенький lvm-том на 10гб и в него поставить виртуалку продакшн, то в случае развала рейда эта несчастная виртуалка будет ощущать на себе все прелести восстановления терабайтного рейда в течении долгого времени Рейды просто так не разваливаются, если отвалился, то что-то произошло. И скорее всего прийдется менять как минимум 1 винт. Т.е. перестройка неизбежна. IMHO вся эта идея с кучей мелких рейдов на одних дисках -- глупость. -- WBR, Dmitry -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/74301338568...@web29h.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Fri, Jun 01, 2012 at 08:38:36PM +0400, Alexander wrote: в тот самый момент когда я наблюдал перестройку 800гб md2 с виртуалками, md0 и md1 (подкачка и корень) не были развалены - нормально функционировали (физические диски те же самые) А из-за чего он перестраиваться начал тогда? -- WBR, Dmitry signature.asc Description: Digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
Можно вас попросить писать ответы внизу, следом по смыслу текста, но не вверху. Разбираться в таких письмах желания мало. И еще. Удаляйте лишний текст в ответах, но оставляйте осмысленные строчки на которые пишите ответ. (квотирование) 1 июня 2012 г., 18:07 пользователь Alexander ag...@yandex.ru написал: 01.06.2012, 16:51, Dmitry A. Zhiglov dmitry.zhig...@gmail.com: 1 июня 2012 г., 16:40 пользователь Dmitry A. Zhiglov dmitry.zhig...@gmail.com написал: Если raid-раздел и рассыпется, из-за сбойного диска, то и менять весь диск придется, а это само собой затронет все raid-разделы. При перестроении разделы перестраиваются последовательно. К тому же с какой скоростью будет перестроение настраивается и по умолчанию лимитировано (не буду искать цифру) Dmitry A. Zhiglov большое спасибо за перевод :) извиняюсь, что перемудрил насчет маленьких md я задумался когда наблюдал у себя перестройку развалившегося терабайтного рейда. при этом реальных данных было на 50гб, а перестраивалось естественно все на блочном уровне - т.е. весь 1тб т.е. вот даже если создать рейд на 1тб-пространстве и вогнать его в группу томов и создать один малюсенький lvm-том на 10гб и в него поставить виртуалку продакшн, то в случае развала рейда эта несчастная виртуалка будет ощущать на себе все прелести восстановления терабайтного рейда в течении долгого времени Таковы уж издержки и от них скорей всего никуда не деться. Кроме того, по умолчанию md раз в месяц перепроверяет консистенцию ваших read-дисков - читайте как перестраивает.
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 20:38 пользователь Alexander ag...@yandex.ru написал: 01.06.2012, 18:24, Dmitry Nezhevenko d...@inhex.net: On Fri, Jun 01, 2012 at 06:07:49PM +0400, Alexander wrote: Рейды просто так не разваливаются, если отвалился, то что-то произошло. И скорее всего прийдется менять как минимум 1 винт. Т.е. перестройка неизбежна. IMHO вся эта идея с кучей мелких рейдов на одних дисках -- глупость. в тот самый момент когда я наблюдал перестройку 800гб md2 с виртуалками, md0 и md1 (подкачка и корень) не были развалены - нормально функционировали (физические диски те же самые) Вы точно уверены, что он развалился? Он мог просто проверять свою консистенцию. Кстати, а мониторинг стоит какой либо? Поставьте если нет.
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012, 21:01, Dmitry Nezhevenko d...@inhex.net: On Fri, Jun 01, 2012 at 08:38:36PM +0400, Alexander wrote: в тот самый момент когда я наблюдал перестройку 800гб md2 с виртуалками, md0 и md1 (подкачка и корень) не были развалены - нормально функционировали (физические диски те же самые) А из-за чего он перестраиваться начал тогда? -- WBR, Dmitry ошибки в smart, похоже умирает один винт в качестве мониторинга использую smartd (smartmontools) чем рейд мониторить можно? пока пришло в голову только скрипт по крону, может есть какие то спец. пакеты? -- To UNSUBSCRIBE, email to debian-russian-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/170481338575...@web6e.yandex.ru
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 22:15 пользователь Степан Голосунов ste...@golosunov.pp.ru написал: Dmitry A. Zhiglov dmitry.zhig...@gmail.com writes: В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. Это для того, чтобы сервер упал когда отвалится один диск? Спасибо за замечание. Учтено.
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 22:30 пользователь Alexander ag...@yandex.ru написал: 01.06.2012, 21:01, Dmitry Nezhevenko d...@inhex.net: On Fri, Jun 01, 2012 at 08:38:36PM +0400, Alexander wrote: в тот самый момент когда я наблюдал перестройку 800гб md2 с виртуалками, md0 и md1 (подкачка и корень) не были развалены - нормально функционировали (физические диски те же самые) А из-за чего он перестраиваться начал тогда? ошибки в smart, похоже умирает один винт в качестве мониторинга использую smartd (smartmontools) чем рейд мониторить можно? пока пришло в голову только скрипт по крону, может есть какие то спец. пакеты? mdadm умеет писать письма см. тут: man mdadm.conf Использую munin для мониторинга Статус можно брать из /proc/mdstat, если решите сами что-то пилить.
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012 16:51, Dmitry A. Zhiglov пишет: В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. Так делать НЕЛЬЗЯ! Если сдохнет диск, на котором был своп - ВСЁ встанет раком. НИКОГДА не делай так. Своп ВСЕГДА должен быть на рейде, если это возможно. -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
1 июня 2012 г., 22:44 пользователь Mikhail A Antonov b...@solarnet.ru написал: 01.06.2012 16:51, Dmitry A. Zhiglov пишет: В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. Так делать НЕЛЬЗЯ! Если сдохнет диск, на котором был своп - ВСЁ встанет раком. НИКОГДА не делай так. Своп ВСЕГДА должен быть на рейде, если это возможно. Как себя поведет система при выходе из строя одного диска в случае, если своп разделы были с одинаковым приоритетом на разных дисках?
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012 15:38, Alexander пишет: Здраствуйте! имеется сервер с 2 винтами сейчас продумываю структуру дискового хранилища гипервизора KVM. Пока остановился на следующей схеме: ... (Дальше много букаф.) Итак. md0 - /boot на 300-500м. (ext2) md1 - pv для lvm Для каждой виртуалки отдельный lv. Всё. Если диск вылетел зачем-то - значит менять/проверять диск, а не хернёй страдать. Диски просто так не вылетают. Мониторить смартом и mdadm. Имею такую конфигурацию на ~20 железяках. Местами, правда там не mdraid, а хардварный, но бьётся всё так же и сути не меняет. -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
01.06.2012 22:51, Dmitry A. Zhiglov пишет: 1 июня 2012 г., 22:44 пользователь Mikhail A Antonov b...@solarnet.ru написал: 01.06.2012 16:51, Dmitry A. Zhiglov пишет: В челом все гуд, но swap надо не в рейде делать, а 2 отдельных раздела на 2 диска. Приоритеты по swap установить в fstab'e. Так делать НЕЛЬЗЯ! Если сдохнет диск, на котором был своп - ВСЁ встанет раком. НИКОГДА не делай так. Своп ВСЕГДА должен быть на рейде, если это возможно. Как себя поведет система при выходе из строя одного диска в случае, если своп разделы были с одинаковым приоритетом на разных дисках? В лучшем случае ядро впадёт в панику, перемонтирует всё в RO и тормознёт. В другом - ну представь что у тебя в том куске свопа был кусок БД или ещё что-нибудь интересное. Кусок памяти, отданный в виртуалку, внутри которой крутится терминальный сервер, внутри которого бухгалтерская база. Можно инфу похерить сильно. -- Best regards, Mikhail - WWW: http://www.antmix.pp.ru/ XMPP: ant...@stopicq.ru signature.asc Description: OpenPGP digital signature
Re: RAID + гостевые системы KVM на отдельных LVM-томах
On Fri, Jun 01, 2012 at 10:30:14PM +0400, Alexander wrote: ошибки в smart, похоже умирает один винт Т.е. винт на замену. Значит перестраивать все равно все данные. -- WBR, Dmitry signature.asc Description: Digital signature
