Непонятно низкая производительность Raid10 на lsi 9261-8i

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Андрей888
Junior member
Сообщения: 8
Зарегистрирован: 12 сен 2013, 15:31
Откуда: Москва

Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Андрей888 » 14 сен 2013, 23:56

Всем добрый вечер. Имеется в наличии сервер с такой конфигурацией:
supermicro X7DVL-E\2 XEON 5405\12GB\LSI 9261-8i\
Дисковая подсистема 8 дисков Seagate Constellation CS (ST1000NC001)
Изначально на сервере стоял контроллер adaptec 3805. Появилась проблема с отваливанием винтов, контроллер терял диски + при загрузке сервера появлялось сообщение об ошибке инициализации wirmware контроллера. Заменили его на LSI 9261-8i, так же заменили диски на новые от сигейта, модель присутствует в списке совместимых. Решил прогнать тест i/o meter. Настройки следующие:
outstanding I/Os 64
transfer request size 8кбайт
read\write distribution 33\67 %
-------------------------------------
Тест выдает следующие результаты:
Total I/Os per second ~750
Total MBs per Second ~10
Average I/O Response Time (ms) ~90
maximum I/O Response Time (ms) ~1900
------------------------------------------------
Смутило собственно 2 вещи: 1) Включение отключение кеша контроллера на производительности не сказывается вообще никак, приведенные параметры выше не изменяются вообще. 2)У нас есть второй сервер со схожей конфигурацией, отличается только контроллером и там 16 дисков скази, а параметры выдаваемым аналогичными настройками теста вот такие:
Total I/Os per second ~ 27000
Total MBs per Second ~290
Average I/O Response Time (ms) ~2
maximum I/O Response Time (ms) ~150

Теперь ломаю голову, в чем может быть проблема и где искать решение. Я конечно понимаю, что скази значительно быстрее, но не настолько же! И почему включение и отключение кеша контроллера никаким образом не сказывается на результатах?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 16 сен 2013, 12:42

Для сата результаты вполне ожидаемые. Это тест для скази кривой - должно быть на порядок меньше.

Андрей888
Junior member
Сообщения: 8
Зарегистрирован: 12 сен 2013, 15:31
Откуда: Москва

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Андрей888 » 30 сен 2013, 17:46

Перенесли на этот сервер наши старые базы, 2 sql и около 10 файловых, т.е. все те, что были на нем до этого. Сервер просто "умер", сказать , что машина тормозит значит не сказать ничего. Привожу скрин монитора производительности. Изображение
Сервер под старой нагрузкой с новыми контроллером и дисками просто мертвец. I/O на двух серверах других еще раз повторяю, показывает с одинаковым пресетом, среднюю производительность дисковой подсистемы в 259-290мб.сек, на этом же 8-9!!!! Это не нормально!!! И скрин производительности это показывает. Включение и отключение кеша на производительности не сказывается вообще никак, чего тоже быть не может, на двух других серверах это изменяет производительность довольно значительно. Подскажите куда копать.
На старом контроллере и 6 старых сата дисках проблем не было вообще никаких.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 30 сен 2013, 18:01

Инициализация фоновая закончилась?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 30 сен 2013, 18:02

Перфмон, кстати, показывает среднюю очередь 2,5, что совершенно не смертельно (просто у Вас множитель х100 стоит).

Андрей888
Junior member
Сообщения: 8
Зарегистрирован: 12 сен 2013, 15:31
Откуда: Москва

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Андрей888 » 30 сен 2013, 21:23

Сервер отстаивался неделю прежде,чем на него стали переносить базы. Какой еще тест вам привести для сравнения, чтобы продемонстрировать его низкую производительность? Когда запускается задача обмена между двумя базами, даже сама операционка начинает крайне сильно лагать, реакция на нажатие элемента 3-5 секунд.

Flyer
Advanced member
Сообщения: 53
Зарегистрирован: 27 янв 2012, 15:37
Откуда: SPb

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Flyer » 01 окт 2013, 13:01

Всё ли там в порядке с батарейкой? Может, он без неё кэш реально не включает?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 03 окт 2013, 15:59

Бинарный лог перфмона приаттачьте.

Alex_hha
Advanced member
Сообщения: 53
Зарегистрирован: 04 ноя 2005, 18:47
Откуда: Харьков
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Alex_hha » 21 окт 2013, 16:01

Тоже столкнулся с нереально низкой скоростью записи, даже без iometer видно, что запись просто ужасна. Strip Size 64 К, BBU нет, полная инициализация массива. Raid 6, 4 диска WD 2000FYYZ.
Write Policy - Write Back With BBU (при отсутствии BBU используется режим Write Through)
Read Policy - Always Read Ahead

чтение (в принципе скорость более-менее нормальная)

Код: Выделить всё

# dd if=/dev/sdc of=/dev/null bs=8192 count=10000000 iflag=direct
10000000+0 records in
10000000+0 records out
81920000000 bytes (82 GB) copied, 396.611 s, 207 MB/s
а вот запись совсем пичалька

Код: Выделить всё

# dd if=/dev/zero of=/mnt/tmp.file bs=8192 count=100000 oflag=direct
100000+0 records in
100000+0 records out
819200000 bytes (819 MB) copied, 867.635 s, 944 kB/s
Я конечно все понимаю, raid 6/накладные расходы на расчет контрольных сумм/sata диски, но блин ~1 Мб/с это слишком мало. Я что то пропустил?

Если поставить Write Policy - Always Write Back, то ситуация становится лучше

Код: Выделить всё

# dd if=/dev/zero of=/mnt/tmp.file bs=8192 count=10000000 oflag=direct
10000000+0 records in
10000000+0 records out
81920000000 bytes (82 GB) copied, 529.514 s, 155 MB/s
Но конечно эту политику кеширования использовать без BBU опасно (покупка BBU в ближайших планах).

P.S.
стоит ли обновлять прошивку? На данный момент стоит

Код: Выделить всё

Firmware Version - 2.70.03-0862
Firmware Package Version - 12.7.0-0007

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 21 окт 2013, 16:30

А что Вы хотели при выключенном кэше?

Alex_hha
Advanced member
Сообщения: 53
Зарегистрирован: 04 ноя 2005, 18:47
Откуда: Харьков
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Alex_hha » 21 окт 2013, 16:48

1 мбайт/с? Т.е. получается без BBU контроллер вообще бесполезен. Но почему такой ситуации нет на более дешевых моделях, где BBU не предусмотрена в принципе?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 21 окт 2013, 16:58

Ну все не так однозначно и есть много нюансов.
У самих дисков кэш включен? Диски есть в HCL контроллера?
Ну и еще момент - чтобы быстро писать на рэйд5/6 линейные потоки, контроллерами используется механизм "full stripe wright", когда в кэше контроллера собирается сразу много блоков и они кладутся на винты залпом, без канонического "read-modify-wright". Вероятно, этот режим требует включенного кэша и без него и так тормозной массив становится чудовищно тормозным.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 21 окт 2013, 17:02

А производители всяких фейковых промисов и хайпойнтов просто не так трепетно относятся к защите данных своих кастомеров...

Flyer
Advanced member
Сообщения: 53
Зарегистрирован: 27 янв 2012, 15:37
Откуда: SPb

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение Flyer » 21 окт 2013, 17:16

Alex_hha
Собственно, наблюдаемые IOPS (и, при данном bs, трансфер) были бы нормальны для такого массивы, если бы речь шла о случайном, а не линейном доступе.
Может, линейная запись на массив как-то хитро распределяется на дисках?

А полная инициализация массива точно завершилась?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Непонятно низкая производительность Raid10 на lsi 9261-8i

Сообщение gs » 21 окт 2013, 17:25

Я вот тут написал про причину: http://3nity.ru/viewtopic.php?f=6&t=18452#p127039
Если не использовать фулл-страйп-райт, то линейная запись на рэйд5/6 фактически и превращается в рандомные операции - при записи каждого блока нужно несколько раз дернуть с/на винты по одному страйпу (в случае рэйд5 - четыре раза, рэйд6 - не помню, но еще больше).

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость