Xyratex F5402E вопросы

[ITER]

Добрый день.

Прошу прокоментировать результаты тестов:

Xyratex F5402E 12 SATA 500 GB (плюс вторая полка с 12 SATA) 2 контроллера по 1ГБ кеша в каждом. Chunk size=256K.

Посколько диски сата только потоки:
-----
RAID-5 12HDD WB cache = max MB. 4 LD = 1361 GB
sequential read/write - block size 64 KB, 4 worker 1 Outstanding IO, 100% sequential;

read: 180 MB/s
write: 145 MB/s

sequential read/write - block size 4 MB, 4 worker 1 Outstanding IO, 100% sequential;

read: 214 MB/s
write: 226 MB/s
-----
RAID-5 12HDD WB cache = max MB. 10 LD = 544 GB

sequential read/write - block size 64 KB, 10 worker 1 Outstanding IO, 100% sequential;

read: 170 MB/s
write: 168 MB/s

sequential read/write - block size 4 MB, 10 worker 1 Outstanding IO, 100% sequential;

read: 209 MB/s
read: 162 MB/s
----

Честно говоря ожидал большего  :roll: Можно что либо подкрутить или все верно? Текущая прошивка контроллеров 3.2 build 189A.

И еще такой вопрос по поводу включения выключения у нас две полки в каком порядке они должны включатся выключатся (в доке на этот счет ничего нет) и что произойдет если сделать рейд из дисков на разных полках и допустим выключить нижнюю (которая без мозгов). Т.е. понятно что рейды перейдут в failed, а если потом включить полку они так failed и останутся или перейдут в online.

[a_shats]

1. 1 Outstanding I/O - бессмысленно уже давно. Попробуйте хотя бы 10

2. у нас две полки в каком порядке они должны включатся выключатся
Логично сначала включать JBOD, затем - контроллерную полку.
3. а если потом включить полку они так failed и останутся или перейдут в online
Если винты исправны - массив перейдет в онлайн автоматом, совершенно без Вашего участия

[ITER]

1. 1 Outstanding I/O - бессмысленно уже давно. Попробуйте хотя бы 10
2. у нас две полки в каком порядке они должны включатся выключатся
Логично сначала включать JBOD, затем - контроллерную полку.
3. а если потом включить полку они так failed и останутся или перейдут в online
Если винты исправны - массив перейдет в онлайн автоматом, совершенно без Вашего участия

1.  Прошу прощения, забыл обьяснить почему 1 Outstanding I/O. Дело в том что полученный 5-й рейд из 12 дисков был порезан на 4 (а в следующей серии на 10) Logical Drive. И по количеству LD задавались воркеры, каждый на свой лун и для каждого воркера устранавливается 1 Outstanding I/O. Т.е. это примерно эквивалентно тем же самым 10 O I/O для одного большого луна, со смещением стартового сектора соответственно.
2. В принципе я так и подумал.
3. Да, такой эксперимент я делал все получилось как вы и сказали. Просто интересно так и задумано или это чистое везение, что рейды встают в online  :roll:

[gs]

Линейная запись, особенно на сата, не есть сильное место хетарекса. Сильно мешает кэш мирроринг. Попробуйте его вырубить - полегчает сильно. Про надежность решайте сами.

[ITER]

Линейная запись, особенно на сата, не есть сильное место хетарекса. Сильно мешает кэш мирроринг. Попробуйте его вырубить - полегчает сильно. Про надежность решайте сами.

Завтра попробую без зеркалирования. А разве у других СХД entry-level кеш в двух-контроллерном варианте не зеркалируется? Почему именно хератексу он мешает? Насчет надежности тут вообще интересный вопрос, вот к примеру решил я смоделировать процесс вылета контроллера самым простым способом выдернул под нагрузкой один из SAS кабелей между контроллером и второй корзиной. Контроллер крепко задумался и выкинул в оффлайн один из винтов в 5-м рейде, причем на первой полке (с контроллерами) и в другом disk array (не том, на который был натравлен иометер). А ведь мог бы выкинуть и два из одного array и зачем тогда два контроллера там стоят  :roll:

ЗЫ: а что скажете насчет прошивки, нормальная версия более свежей нет?

[Tert]

ITER
Кэш зеркалируется во всех двухконтроллерных системах. И везде это приводит к падению производительности при большой нагрузке.
По поводу отказа одного из дисков, е видя условий, в котрых это делалось отключение корзины, сложно сейчас что-либо говорить.
Но нормальные диски не должны отваливаться.

ЗЫ: а что скажете насчет прошивки, нормальная версия более свежей нет?

Это последняя официальная стабильная версия. Есть более поздняя бета версия, за работоспособность которой естественно никто не отвечает.

[ITER]

ITER
Кэш зеркалируется во всех двухконтроллерных системах. И везде это приводит к падению производительности при большой нагрузке.
По поводу отказа одного из дисков, е видя условий, в котрых это делалось отключение корзины, сложно сейчас что-либо говорить.
Но нормальные диски не должны отваливаться.

Провел еще пару тройку экспериментов, результаты такие: рейд группы разваливаются когда массив размазывается на обе корзины. Если массив собирать из дисков только в пределах каждой из корзин отдельно, то при перезагрузке контроллеров (по одному) массивы не переходят ни в критикал, ни в файлед. Если же массив собрать из дисков разных корзин, то при перезагрузке любого из контроллеров почти 100 процентная вероятность отвала какого либо диска из массива.

Еще заметил такую странность в работе LUN-mapping: подключаем порт контроллера к свитчу, создаем зону. В окне HBA port появляется Unnamed port, даем имя, мапим луны. Все прекрасно. Потом отмапливаем луны обратно, разбиваем зону на свитче. А HBA с назначеным именем так и торчит в списке. Помогает только перезагрузка любого из контроллеров. Так и должно быть или это приколы интерфейса?