Настройки logical drive в LSI MegaRAID Elite 1650

[bvn]

Ставлю на новый сервер LSI MegaRAID Elite 1650 и не могу найти подробного описания следующих параметров при конфигурации логических дисков:
Read Policy (NORMAL,READAHEAD,ADAPTIVE)
Cache Policy (Cached IO, Direct IO)
Еще в пропертях адаптера следующий параметр:
Emulation (I2O, Mass Storage)
Особенно волнует последний параметр.

Конфигурируемая система: RAID 10, MS SQL Server (в том числе и под 1С), другие сервисы не планируются. Кэш на запись я однозначно отключаю (в свое время намучился и UPS не доверяю: было дело один загорелся). Помогите правильно сконфигурировать данные параметры.

[CyberDrake]

Read Policy:
Normal - и так понятно, без всяких наворотов: что сказали прочитать, только то и читаем
Read Ahead - упреждающее чтение, читаем тот сектор который необходимо + еще несколько за ним. Используется при чтении последовательных потоков (видео, например)
Adaptive - изначально включается в режиме Normal, если происходит чтение двух секторов последовательно, включается режим Read Ahead, если чтение становится случайным, снова переключается в Normal

Здесь я порекомендую ставить Normal

Cache Policy:
Cached - ОС получает подтверждение записи при записи данных в кэш RAID контроллера
Direct IO - ОС получает подтверждение записи при записи данных на диски (выключите кэш на запись на HDD)

Обычно мы ставим здесь Cached (если работаем на UPS, или чтобы совсем подстраховаться используем Battery Backup Unit (BBU), который подпитывает кэш, и при следующем включении RAID контроллера сбрасывает информацию на диски). Это дает ЗНАЧИТЕЛЬНЫЙ прирост скорости.

Emulation:
I2O - необходимо ключить если материнская плата поддерживает механизм I2O.
Mass Storage - в противном случае

Механизм I2O заключается в обработке низкоуровневых прерываний ввода-вывода, поступающих от устройств, не центральным процессором (CPU), а специализированным процессором ввода-вывода (IOP), разработанным специально для этой цели.

[GrayMagellan]

А вот странно получается. Есть контроллер MegaRaid 320-1 с четырьмя дисками Seagate 10K 35Gb в массиве RAID 10. При тестировании тестовым пакетом Sisoft Sandra 2004 замечаем очень странную картину: при Cached IO индекс диска равен 48 мб/сек, при Direct IO индекс диска равен 109 мб/сек. Почему такое значительное падение производительности в режиме Cached IO?

[setar]

Sisoft Sandra 2004 не предназначена для тестирования массивов.

Она ни при каких условиях не может управлять вкючением и выключением кеширования на уровне контроллера

[GrayMagellan]

Я, конечно, не имел ввиду, что с помощью утилиты Sisoft Sandra можно управлять этими настройками . Конечно, я делаю это с помощью фирменной утилиты LSI Power Consol Plus.
Просто Sisoft мной была выбрана в качестве тестовой потому, что она тестирует логический диск, ей без разницы, как он там внутри устроен, и она выполняет серию тестов на чтение/запись как последовательными блоками, так и в случайном порядке.
Вообще мы сначала собирались тестировать массив на максимальную скорость чтения с помощью WinRar'а. Создали архив без сжатия объемом 6 Гб, и дали ему команду тестирования архива. Смысл в том, что WinRAR при тестировании только читает данные с диска, вычисляет контрольную сумму и выбрасывает эти данные в никуда. Конечно, Winrar не тестовый пакет. Поэтому и перешли на Sandr'у.
Вопрос в том, что на скорость последовательного чтения с массива оказывает огромное влияние параметр контроллера Cache Policy. Что в Раре, что в Сандре разница между чтением в разных режимах Cache Policy составляет примерно 100%. Отсюда вопрос - почему?

[gs]

Для тестирования лучше всего использовать IOMeter.

Этот параметр действительно оказывает очень сильное влияние на скорость линейного потока.

Вопрос "почему" - не к нам. На подобного типа вопрос, заданный мной главному инженеру техподдержки майлекса (был такой Роберт Хелбиг - умный парень), он ответил (в вольном переводе) "а хрен его знает - так получилось"

Этот параметр означает, что контроллер либо кидает читаемые данные прямо в память системы, минуя свой кэш, либо пишет и в кэш тоже. Теоретически это должно помогать при повторном чтении блоков. На практике же разные прошивки ведут себя по разному. Разница от 0 до 5-10% - причем как в плюс, так и в минус (!). Это на чтении из кэша.
На линейных же операциях этот параметр сильно тормозит, т.к. контроллеру гораздо больше приходится напрягаться, а проц у него весьма дохлый.

А вообще, под какую задачу бы эту систему используете? Может не об этом надо думать?

[GrayMagellan]

И еще вопрос. Недавно приобрели (кстати, по моему у вас) сервер SuperMicro 7043P-8R. Собственно, именно с ним сейчас и ковыряемся. Стоит там вышеупомянутый мной контроллер, и у меня вопрос: параметр I2O окажет какое-нибудь влияние на производительность массива, если я его включу?

[gs]

Пробовал - разницы не заметил

[GrayMagellan]

Под какую задачу?
Для БД. Сейчас она работает на SQL. Но мы ведем работы по переводу ее на CACHE. Это наш последний купленный нами сервер и какая-нибудь из баз (старая SQL или новая CACHE, которая придет ей на смену) переедет на него. Пока что мы установили операционку и ведем тестирование различных конфигураций как уровней RAID (имеем 4 диска Seagate ST 336607), так и различных настроек MegaRaid контроллера, поскольку, как показал параметр Cache Policy, они оказывают большое значение. Также было отмечено, но не установлено ответственного за это параметра, что время доступа к массиву колеблется от 1 мс до 12 мс! Причину тоже ищем.

[GrayMagellan]

А с иометром как-то не очень получается разобраться. Времени не хватает (
В Сандре проще - запустил и через десять минут она тебе результаты по всем режимам выдает. Если позволит объем странички, хотел бы поделиться с вами результатами тестирования:

Тест 1:
Комментарии Установки MegaRAID:
Read Policy: Adaptive Read Ahead
Write Policy: Write Back
Cache Policy: Cached IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 45MB/s

Разбивка теста
Буферизованное считывание 157 MB/s
Последовательное считывание 49 MB/s
Случайное считывание 31 MB/s
Буферизованная запись 144 MB/s
Последовательная запись 64 MB/s
Случайная запись 48 MB/s
Среднее время доступа 12 ms (примерно)

Тест 2:
Комментарии Установки MegaRAID:
Read Policy: Adaptive Read Ahead
Write Policy: Write Thru
Cache Policy: Cached IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 38MB/s

Разбивка теста
Буферизованное считывание 156 MB/s
Последовательное считывание 51 MB/s
Случайное считывание 29 MB/s
Буферизованная запись 27 MB/s
Последовательная запись 23 MB/s
Случайная запись 24 MB/s
Среднее время доступа 15 ms (примерно)

Тест 3:
Комментарии Установки MegaRAID:
Read Policy: Read Ahead
Write Policy: Write Thru
Cache Policy: Cached IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 74MB/s

Разбивка теста
Буферизованное считывание 158 MB/s
Последовательное считывание 89 MB/s
Случайное считывание 83 MB/s
Буферизованная запись 27 MB/s
Последовательная запись 23 MB/s
Случайная запись 24 MB/s
Среднее время доступа 1 ms (примерно

Тест 4:
Комментарии Установки MegaRAID:
Read Policy: Normal
Write Policy: Write Thru
Cache Policy: Cached IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 37MB/s

Разбивка теста
Буферизованное считывание 157 MB/s
Последовательное считывание 49 MB/s
Случайное считывание 29 MB/s
Буферизованная запись 28 MB/s
Последовательная запись 24 MB/s
Случайная запись 21 MB/s
Среднее время доступа 15 ms (примерно)

Тест 5:
Комментарии Установки MegaRAID:
Read Policy: Normal
Write Policy: Write Thru
Cache Policy: Direct IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 109MB/s


Разбивка теста
Буферизованное считывание 209 MB/s
Последовательное считывание 145 MB/s
Случайное считывание 109 MB/s
Буферизованная запись 35 MB/s
Последовательная запись 28 MB/s
Случайная запись 28 MB/s
Среднее время доступа 2 ms (примерно)

Тест 6:
Комментарии Установки MegaRAID:
Read Policy: Normal
Write Policy: Write Back
Cache Policy: Direct IO

Тест файловой системы
Data (G: )
Результаты эталонного теста
Индекс диска 43MB/s

Разбивка теста
Буферизованное считывание 155 MB/s
Последовательное считывание 42 MB/s
Случайное считывание 36 MB/s
Буферизованная запись 140 MB/s
Последовательная запись 64 MB/s
Случайная запись 58 MB/s
Среднее время доступа 4 ms (примерно)


Обобщая результаты на данный момент, могу обратить внимание на тест №5. Самые лучшие результаты (чтение, время доступа) за исключением скорости записи. Кстати, именно с такими параметрами контроллер из кеша выдает под 200 мб/сек!!!
Наиболее сбалансированный по параметрам получается комбинация параметров в тесте №6. Чтение не на максимуме, но и запись не в дауне. И время доступа приличное.

[gs]

Сандра показывает попугаи, к работе базы данных не имеющие никакого отношения!!! Вам важна производительность на случайных операциях, которую лучше всего показывает иометр. А еще лучше реальную задачу прогоните - иометром имитировать реальную нагрузку достаточно муторно.

[gs]

Хотя по поводу теста №6 - это действительно наиболее сбалансированный вариант под базу данных.