Непонятно низкая производительность Raid10 на lsi 9261-8i
Модераторы: Trinity admin`s, Free-lance moderator`s
Непонятно низкая производительность Raid10 на lsi 9261-8i
Всем добрый вечер. Имеется в наличии сервер с такой конфигурацией:
supermicro X7DVL-E\2 XEON 5405\12GB\LSI 9261-8i\
Дисковая подсистема 8 дисков Seagate Constellation CS (ST1000NC001)
Изначально на сервере стоял контроллер adaptec 3805. Появилась проблема с отваливанием винтов, контроллер терял диски + при загрузке сервера появлялось сообщение об ошибке инициализации wirmware контроллера. Заменили его на LSI 9261-8i, так же заменили диски на новые от сигейта, модель присутствует в списке совместимых. Решил прогнать тест i/o meter. Настройки следующие:
outstanding I/Os 64
transfer request size 8кбайт
read\write distribution 33\67 %
-------------------------------------
Тест выдает следующие результаты:
Total I/Os per second ~750
Total MBs per Second ~10
Average I/O Response Time (ms) ~90
maximum I/O Response Time (ms) ~1900
------------------------------------------------
Смутило собственно 2 вещи: 1) Включение отключение кеша контроллера на производительности не сказывается вообще никак, приведенные параметры выше не изменяются вообще. 2)У нас есть второй сервер со схожей конфигурацией, отличается только контроллером и там 16 дисков скази, а параметры выдаваемым аналогичными настройками теста вот такие:
Total I/Os per second ~ 27000
Total MBs per Second ~290
Average I/O Response Time (ms) ~2
maximum I/O Response Time (ms) ~150
Теперь ломаю голову, в чем может быть проблема и где искать решение. Я конечно понимаю, что скази значительно быстрее, но не настолько же! И почему включение и отключение кеша контроллера никаким образом не сказывается на результатах?
supermicro X7DVL-E\2 XEON 5405\12GB\LSI 9261-8i\
Дисковая подсистема 8 дисков Seagate Constellation CS (ST1000NC001)
Изначально на сервере стоял контроллер adaptec 3805. Появилась проблема с отваливанием винтов, контроллер терял диски + при загрузке сервера появлялось сообщение об ошибке инициализации wirmware контроллера. Заменили его на LSI 9261-8i, так же заменили диски на новые от сигейта, модель присутствует в списке совместимых. Решил прогнать тест i/o meter. Настройки следующие:
outstanding I/Os 64
transfer request size 8кбайт
read\write distribution 33\67 %
-------------------------------------
Тест выдает следующие результаты:
Total I/Os per second ~750
Total MBs per Second ~10
Average I/O Response Time (ms) ~90
maximum I/O Response Time (ms) ~1900
------------------------------------------------
Смутило собственно 2 вещи: 1) Включение отключение кеша контроллера на производительности не сказывается вообще никак, приведенные параметры выше не изменяются вообще. 2)У нас есть второй сервер со схожей конфигурацией, отличается только контроллером и там 16 дисков скази, а параметры выдаваемым аналогичными настройками теста вот такие:
Total I/Os per second ~ 27000
Total MBs per Second ~290
Average I/O Response Time (ms) ~2
maximum I/O Response Time (ms) ~150
Теперь ломаю голову, в чем может быть проблема и где искать решение. Я конечно понимаю, что скази значительно быстрее, но не настолько же! И почему включение и отключение кеша контроллера никаким образом не сказывается на результатах?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Для сата результаты вполне ожидаемые. Это тест для скази кривой - должно быть на порядок меньше.
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Перенесли на этот сервер наши старые базы, 2 sql и около 10 файловых, т.е. все те, что были на нем до этого. Сервер просто "умер", сказать , что машина тормозит значит не сказать ничего. Привожу скрин монитора производительности.
Сервер под старой нагрузкой с новыми контроллером и дисками просто мертвец. I/O на двух серверах других еще раз повторяю, показывает с одинаковым пресетом, среднюю производительность дисковой подсистемы в 259-290мб.сек, на этом же 8-9!!!! Это не нормально!!! И скрин производительности это показывает. Включение и отключение кеша на производительности не сказывается вообще никак, чего тоже быть не может, на двух других серверах это изменяет производительность довольно значительно. Подскажите куда копать.
На старом контроллере и 6 старых сата дисках проблем не было вообще никаких.
Сервер под старой нагрузкой с новыми контроллером и дисками просто мертвец. I/O на двух серверах других еще раз повторяю, показывает с одинаковым пресетом, среднюю производительность дисковой подсистемы в 259-290мб.сек, на этом же 8-9!!!! Это не нормально!!! И скрин производительности это показывает. Включение и отключение кеша на производительности не сказывается вообще никак, чего тоже быть не может, на двух других серверах это изменяет производительность довольно значительно. Подскажите куда копать.
На старом контроллере и 6 старых сата дисках проблем не было вообще никаких.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Инициализация фоновая закончилась?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Перфмон, кстати, показывает среднюю очередь 2,5, что совершенно не смертельно (просто у Вас множитель х100 стоит).
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Сервер отстаивался неделю прежде,чем на него стали переносить базы. Какой еще тест вам привести для сравнения, чтобы продемонстрировать его низкую производительность? Когда запускается задача обмена между двумя базами, даже сама операционка начинает крайне сильно лагать, реакция на нажатие элемента 3-5 секунд.
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Всё ли там в порядке с батарейкой? Может, он без неё кэш реально не включает?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Бинарный лог перфмона приаттачьте.
-
- Advanced member
- Сообщения: 53
- Зарегистрирован: 04 ноя 2005, 18:47
- Откуда: Харьков
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Тоже столкнулся с нереально низкой скоростью записи, даже без iometer видно, что запись просто ужасна. Strip Size 64 К, BBU нет, полная инициализация массива. Raid 6, 4 диска WD 2000FYYZ.
Write Policy - Write Back With BBU (при отсутствии BBU используется режим Write Through)
Read Policy - Always Read Ahead
чтение (в принципе скорость более-менее нормальная)
а вот запись совсем пичалька
Я конечно все понимаю, raid 6/накладные расходы на расчет контрольных сумм/sata диски, но блин ~1 Мб/с это слишком мало. Я что то пропустил?
Если поставить Write Policy - Always Write Back, то ситуация становится лучше
Но конечно эту политику кеширования использовать без BBU опасно (покупка BBU в ближайших планах).
P.S.
стоит ли обновлять прошивку? На данный момент стоит
Write Policy - Write Back With BBU (при отсутствии BBU используется режим Write Through)
Read Policy - Always Read Ahead
чтение (в принципе скорость более-менее нормальная)
Код: Выделить всё
# dd if=/dev/sdc of=/dev/null bs=8192 count=10000000 iflag=direct
10000000+0 records in
10000000+0 records out
81920000000 bytes (82 GB) copied, 396.611 s, 207 MB/s
Код: Выделить всё
# dd if=/dev/zero of=/mnt/tmp.file bs=8192 count=100000 oflag=direct
100000+0 records in
100000+0 records out
819200000 bytes (819 MB) copied, 867.635 s, 944 kB/s
Если поставить Write Policy - Always Write Back, то ситуация становится лучше
Код: Выделить всё
# dd if=/dev/zero of=/mnt/tmp.file bs=8192 count=10000000 oflag=direct
10000000+0 records in
10000000+0 records out
81920000000 bytes (82 GB) copied, 529.514 s, 155 MB/s
P.S.
стоит ли обновлять прошивку? На данный момент стоит
Код: Выделить всё
Firmware Version - 2.70.03-0862
Firmware Package Version - 12.7.0-0007
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
А что Вы хотели при выключенном кэше?
-
- Advanced member
- Сообщения: 53
- Зарегистрирован: 04 ноя 2005, 18:47
- Откуда: Харьков
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
1 мбайт/с? Т.е. получается без BBU контроллер вообще бесполезен. Но почему такой ситуации нет на более дешевых моделях, где BBU не предусмотрена в принципе?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Ну все не так однозначно и есть много нюансов.
У самих дисков кэш включен? Диски есть в HCL контроллера?
Ну и еще момент - чтобы быстро писать на рэйд5/6 линейные потоки, контроллерами используется механизм "full stripe wright", когда в кэше контроллера собирается сразу много блоков и они кладутся на винты залпом, без канонического "read-modify-wright". Вероятно, этот режим требует включенного кэша и без него и так тормозной массив становится чудовищно тормозным.
У самих дисков кэш включен? Диски есть в HCL контроллера?
Ну и еще момент - чтобы быстро писать на рэйд5/6 линейные потоки, контроллерами используется механизм "full stripe wright", когда в кэше контроллера собирается сразу много блоков и они кладутся на винты залпом, без канонического "read-modify-wright". Вероятно, этот режим требует включенного кэша и без него и так тормозной массив становится чудовищно тормозным.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
А производители всяких фейковых промисов и хайпойнтов просто не так трепетно относятся к защите данных своих кастомеров...
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Alex_hha
Собственно, наблюдаемые IOPS (и, при данном bs, трансфер) были бы нормальны для такого массивы, если бы речь шла о случайном, а не линейном доступе.
Может, линейная запись на массив как-то хитро распределяется на дисках?
А полная инициализация массива точно завершилась?
Собственно, наблюдаемые IOPS (и, при данном bs, трансфер) были бы нормальны для такого массивы, если бы речь шла о случайном, а не линейном доступе.
Может, линейная запись на массив как-то хитро распределяется на дисках?
А полная инициализация массива точно завершилась?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Непонятно низкая производительность Raid10 на lsi 9261-8i
Я вот тут написал про причину: http://3nity.ru/viewtopic.php?f=6&t=18452#p127039
Если не использовать фулл-страйп-райт, то линейная запись на рэйд5/6 фактически и превращается в рандомные операции - при записи каждого блока нужно несколько раз дернуть с/на винты по одному страйпу (в случае рэйд5 - четыре раза, рэйд6 - не помню, но еще больше).
Если не использовать фулл-страйп-райт, то линейная запись на рэйд5/6 фактически и превращается в рандомные операции - при записи каждого блока нужно несколько раз дернуть с/на винты по одному страйпу (в случае рэйд5 - четыре раза, рэйд6 - не помню, но еще больше).
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 29 гостей