Re: [Sysadmins] compare lvm on mdadm vs lvm-raid

2014-01-21 Пенетрантность Alexey Shabalin
19 января 2014 г., 18:55 пользователь Alexey Shabalin
a.shaba...@gmail.comнаписал:

 Добрый вечер.

 Господа, у меня до четверга(23.01) есть свободный сервер для тестов.
 Меня интересует сравнение lvm поверх mdadm и raid средствами lvm (без
 mdadm).
 Какие средства для тестирования рекомендуете?
 Я пока остановился на fio. Может порекомендуете какие параметры для него
 правильно использовать? может у кого-то есть готовые шаблоны?

 Спасибо!

 PS: обновленные lvm и fio отправил в сизиф :) для чистоты экспериментов.


Потестировал.
Вывалю сюда некоторые результаты, может поможете их интерпретировать.

Под рукой оказался сервер ibm x3550 m4 с 32 ядрами 2GHz и 128 Гб
опреативки. И только 3 HDD (подключенные корзины не использовал).

За основу брал скрипты отсюда:
http://louwrentius.com/benchmark-results-of-random-io-performance-of-different-raid-levels.html



Скриптами создавались раид с помощью mdadm, lvm поверх mdadm, только lvm с
параметрами --type raid1 и --type raid5 -i 2.
Возможно поэтому реальные результаты могут отличаться, т.к. времени на
синхронизацию раидов не давал, и диски помимо тестов еще заняты были
синхронизацией.

остальное в атаче.

По графикам вижу провал у lvm --type raid1 при чтении.
Почему-то запись на простой mdadm raid хуже, чем при использовании поверх
lvm или lvm --type raid5. возможно для lvm где-то не отключил буферы или
кэширование.

А в остальном, lvcreate --type raidX вполне можно использовать вместо
связки lvm-on-mdadm.

ссылки на результаты тестов и графики.

 
test2.tar.xzhttps://docs.google.com/file/d/0B_nxjPw-zbJBYUU0T0pVVER3blE/edit?usp=drive_web

 
compare-raid-5-write-depth-32-bw-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBenNMOTVlQ05Kd1E/edit?usp=drive_web

 
compare-raid-5-write-depth-32-bw-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBdU5QRkpOei1TMHM/edit?usp=drive_web

 
compare-raid-5-write-depth-32-bw-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBcmxsNFUydlJtcVE/edit?usp=drive_web

 
compare-raid-1-write-depth-32-iops-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBalFQTDRIWEdPcDA/edit?usp=drive_web

 
compare-raid-1-write-depth-32-iops-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBbmRHYWVxbEhyRFU/edit?usp=drive_web

 
compare-raid-1-read-depth-32-bw-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBc2FjMXFwZWxMdWs/edit?usp=drive_web

 
compare-raid-1-read-depth-32-iops-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBcjRENzhzdUQ3bEE/edit?usp=drive_web

 
compare-raid-1-read-depth-32-iops-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBa0txRFdxZjk1dGM/edit?usp=drive_web

 
compare-raid-5-read-depth-32-iops-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBZmloYnpDd2UteVk/edit?usp=drive_web

 
compare-raid-1-read-depth-32-bw-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBZmFnWGNBSzg4dU0/edit?usp=drive_web

 
compare-raid-1-write-depth-32-bw-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBZHVYOVFfVTRJSGs/edit?usp=drive_web

 
compare-raid-1-write-depth-32-bw-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBSlpvVTBhSU9nWUE/edit?usp=drive_web

 
compare-raid-5-read-depth-32-iops-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBTENtZjhULW1PaEU/edit?usp=drive_web

 
compare-raid-1-read-depth-32-iops-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBVUZXSDcteUQyajg/edit?usp=drive_web

 
compare-raid-5-read-depth-32-iops-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBX0hHUVVpaDAzU3M/edit?usp=drive_web

 
compare-raid-5-read-depth-32-bw-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBSERUdEgzMjd5b3c/edit?usp=drive_web

 
compare-raid-5-write-depth-32-iops-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBRy1nR0tVd1dNcmc/edit?usp=drive_web

 
compare-raid-5-read-depth-32-bw-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBQllyRkZmUTFSS0U/edit?usp=drive_web

 
compare-raid-5-read-depth-32-bw-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBQ3Uza2dUY3Z1RjQ/edit?usp=drive_web

 
compare-raid-5-write-depth-32-iops-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBMVdMd241c0ZfUGc/edit?usp=drive_web

 
compare-raid-1-read-depth-32-bw-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBNFNkQjYwbFhUYW8/edit?usp=drive_web

 
compare-raid-1-write-depth-32-bw-2Draw.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBNVJXX1NwU0tFQlk/edit?usp=drive_web

 
compare-raid-5-write-depth-32-iops-2Dsmooth.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBNlp6N2NkdWNRbWs/edit?usp=drive_web

 
compare-raid-1-write-depth-32-iops-2Dtrend.pnghttps://docs.google.com/file/d/0B_nxjPw-zbJBM0NlcjR1S0FicFk/edit?usp=drive_web

-- 
Alexey Shabalin
___
Sysadmins mailing list
Sysadmins@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/sysadmins


Re: [Sysadmins] compare lvm on mdadm vs lvm-raid

2014-01-21 Пенетрантность Stanislav Vlasov
21 января 2014 г., 22:12 пользователь Alexey Shabalin
a.shaba...@gmail.comнаписал:


 А в остальном, lvcreate --type raidX вполне можно использовать вместо
 связки lvm-on-mdadm.



На отказоустойчивость не тестировали? Как себя поведёт lvm-raid при,
скажем, бедах или полном отпадании диска?
У mdadm может быть всякое...

-- 
Stanislav
___
Sysadmins mailing list
Sysadmins@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/sysadmins


Re: [Sysadmins] compare lvm on mdadm vs lvm-raid

2014-01-21 Пенетрантность Евгений Терешков
Stanislav Vlasov пишет:

 21 января 2014 г., 22:12 пользователь Alexey Shabalin
 a.shaba...@gmail.comнаписал:


 А в остальном, lvcreate --type raidX вполне можно использовать вместо
 связки lvm-on-mdadm.



 На отказоустойчивость не тестировали? Как себя поведёт lvm-raid при,
 скажем, бедах или полном отпадании диска?
 У mdadm может быть всякое...

И желательно сразу на реакцию на пропадание диска, свете #28879, на которую
два раза за две недели уже натыкаюсь :-)

-- 
С уважением, Терешков Евгений.
Jabber ID: e...@altlinux.org, evg_k...@jabber.ru
___
Sysadmins mailing list
Sysadmins@lists.altlinux.org
https://lists.altlinux.org/mailman/listinfo/sysadmins