Испытания RAID контроллера LSI Logic MegaRaid 320-1 64 Mb

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Испытания RAID контроллера LSI Logic MegaRaid 320-1 64 Mb

Сообщение GrayMagellan » 22 апр 2004, 11:03

Здравствуйте все!
Хочу поделится с Вами результатами тестирования этого контроллера, проведенными мной с целью выяснения потенциальных возможностей этого агрегата, а также из любопытства. Хотелось бы также услышать ваше мнение об этом. Сделано это было, т.к. подобной информации в инете мало, и кому то, быть может, это поможет в выборе аппарата.

Итак, есть сервер SuperMicro 7043. Конфигурация примерно следующая:
CPU - Xeon 2.66,2 шт.
MB - не помню, что-то из семейства X5xxx
RAM - 2 Gb
HDD - Seagate ST336607LC 4 шт.
остальное оборудовании неважно
Софт: Windows 2003 Enterprise Edition (trial)
LSI Logic Power Console Plus для конфигурирования RAID контроллера из под Windows.

Контроллер тестировался в двух конфигурациях - RAID 0 и RAID 10. Первый тестировался для выяснения максимальных скоростных характеристик, обеспечиваемых дисковой подсистемой, а второй - как практическое решение, которое мы собираемся использовать на этом сервере после того, как он перейдет в рабочий режим.

Разумеется, все разделы форматировались под NTFS :)

На контроллере после создания массива доступно для настройки 3 параметра:

Read - Normal, Read Ahead, Adaptive Read Ahead
Write - Write Back, Write Thru
Cache - Cached I/O, Directed I/O

Всего они образуют 12 комбинаций. А поскольку массивов 2, то всего получаем 24 набора данных, снятых в процессе тестирования.

Теперь относительно тестового софта. Знаю, что сотрудники Тринити очень любят Intel IOmeter, но меня интересовал не тест, имитирующий конкретные условия эксплуатации, а тест, дающий общие представления о контроллере в целом. Поэтому была выбрана программа SiSoft Sandra 2004. На мой взгляд, она отлично подходит на эту роль, поскольку в ее БД есть результаты тестирования многих современных винтов и контроллеров. Будем исходить из мысли, что она обеспечивает объективную оценку (предвижу бурю негодования:)
В процессе тестирования она генерировала файл объемом 2 Гб, над которым потом измывалась.

Далее привожу весь отчет:

Номера конфигурации с 1 по 12 соответствуют RAID 0, с 13 по 24 ? RAID 10

1) Скорость чтения из кэша. Скорость чтения из кэша почти во всех режимах составляет 160 мб/сек (Write=Write Back). Исключение составляет режимы 8 и 20 (Read=Normal, Write=Thru, Cache=Direct I/O). Это самый простой режим функционирования контроллера. При этом кэш выдает 220 мб/сек. За счет простоты режима обеспечивается максимальное быстродействие памяти по чтению (но не по остальным параметрам). 220 мб/сек можно принять за теоретический предел быстродействия данного контроллера. Также на скорость чтения из кэша не оказывает влияние номер RAID массива (0 или 10,и наверное, 5-й тоже).
Изображение

2) Скорость записи в кэш. Скорость записи в кэш зависит от параметра Write Back/Write Thru. При включении режима Write Back, видимо, включаются функции оптимизации записи в кэш, при которых обеспечивается более чем двукратное увеличение скорости записи в кэш (140 мб/сек против 60 мб/сек). Исключение составляет опять же самый простой режим (8) функционирования контроллера, когда все функции выключены и этот показатель занимает промежуточное положение (90 мб/сек). При установке Write=Write Thru скорость записи в кэш в режиме RAID 10 (40 мб/сек) уступает в 1,5 раза режиму RAID 0 (60 мб/сек). Таким образом, лучшие варианты ? все нечетные (т.е. конфигурации, в которых параметр Write=Write Back). Примечательно, что самый простой режим в RAID 10 уже не обеспечивает прироста быстродействия, а находится на среднем уровне, что свидетельствует о том, что у контроллера достаточно другой работы.
Изображение

3) Последовательное чтение с диска. В режиме 8 (простой режим в RAID 0) обеспечивается максимальный показатель (220 мб/сек). Во всех остальных режимах скорость значительно меньше и колеблется от 40 до 90 мб/сек. При этом прослеживается четкая взаимосвязь: наиболее оптимальные и стабильные результаты дает параметр Read Ahead (90 мб/сек во всех режимах ? 3,4,9,10,15,16,21,22), затем Adaptive Read Ahead (колеблется от 60 до 90 мб/сек ? режимы 5,6,11,12,17,18,23,24), и наконец, параметр Normal (40 мб/сек ? режимы 1,2,7,8,13,14,19,20).
Изображение


4) Случайное чтение с диска. В режиме 8 обеспечивается максимальный показатель (110 мб/сек). Во всех остальных режимах скорость меньше и колеблется от 36 до 85 мб/сек. При этом прослеживается четкая взаимосвязь: наиболее стабильные и оптимальные результаты дает параметр Read Ahead (85 мб/сек во всех режимах ? 3,4,9,10,15,16,21,22), затем Adaptive Read Ahead (в среднем 60 мб/сек ? режимы 5,6,11,12,17,18,23,24), и наконец, параметр Normal (40 мб/сек ? режимы 1,2,7,13,14,19).
Изображение

Существует зависимость результатов последовательного и случайного чтения. Об этом свидетельствует двойной график, показывающий соотношение скорости последовательного и случайного чтения . Это свидетельствует о том, что контроллеру без разницы, как он читает. С этой задачей он справляется одинаково. Свои коррективы случайное чтение вносит только в самом простом режиме ? 8, где сказывается ее природа, а точнее ? механика головок винчестеров, которая в данном случае вызывает большие задержки в режиме случайного перемещения.
Изображение

5) Последовательная запись на диск. Скорость последовательной записи на диск зависит от параметра Write Back/Write Thru. Точно так же, как и в скорости записи в кэш, при включении режима Write Back включаются функции оптимизации записи, при котором обеспечивается более чем двукратное увеличение скорости записи на диск. Максимальное значение достигается в режиме 8, при котором скорость последовательной записи на диск максимальна и составляет 155 мб/сек. В остальных режимах при Write Back в RAID 0 скорость записи составляет 85 мб/сек, в RAID 10 ? 65 мб/сек. Еще ниже эти показатели в случае использования параметра Write Thru, при котором обеспечивается не более 40 мб/сек в RAID 0 и не более 25 мб/сек в RAID 10.
Изображение


6) Случайная запись на диск. Все вышесказанное по поводу последовательной записи относится и к случайной записи (отличаются только цифры), о чем свидетельствует двойной график, показывающий их вместе. Практически полное совпадение скоростей последовательной и случайной записи свидетельствует о том, что контроллер с этой задачей справляется одинаково.
Изображение

Общие выводы.

Контроллер не реализует оптимальную работу в режимах последовательного чтения, о чем свидетельствует тройной график сравнения скорости чтения из кэша, последовательного чтения и случайного чтения:
Изображение
На графике видно, что обладая скоростью чтения из кэша порядка 150 мб/сек, в режиме последовательного чтения он работает также, как и в режиме случайного, и в обоих случаях в лучшем случае обеспечивает скорость порядка 100 мб/сек, хотя мог бы и больше, чему примером является работа контроллера с отключенными функциями в массиве RAID 0, где при скорости чтения из кэша 220 мб/сек с дисков скорость составляет 220 мб/ек.

Тоже самое касается режима записи:
Изображение


Расположим номера конфигураций в порядке убывания набранных баллов.
Изображение

На первом месте с большим преимуществом находится RAID 0, причем контроллер здесь находится в самом простом режиме (все функции отключены). Это свидетельствует о том, что преимущество обеспечивается не аппаратными возможностями контроллера, а исключительно идеей, заложенной в RAID 0. Включение любой функции контроллера, предназначенной для оптимизации, только ухудшает скоростные параметры массива.

Таким образом, среди массивов RAID 0 первое место занимает конфигурация №8:

Read=Normal, Write=Write Thru, Cache=Direct Input/Output

Второе место занимает конфигурация №3:

Read=Read Ahead, Write=Write Back, Cache=Cached Input/Output

Среди массивов RAID 10 первое место занимает конфигурация №15:

Read=Read Ahead, Write=Write Back, Cache=Cached Input/Output

Второе место занимает конфигурация №17:

Read=Adaptive Read Ahead, Write=Write Back, Cache=Cached Input/Output

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:01

Согласен. И может быть, разобравшись с IOmeter, я его помучаю и им :)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 22 апр 2004, 13:03

В добавление к посту art:
Негодования не вызовет, ухмылку разве что ;)
Проблема в том, что то, что показывает IOMeter, достаточно близко соотносится с поведением реальных приложений (при условии правильно подобранного паттерна нагрузки). А Сандра - она того... погоду на Марсе часто показывает ;) .
Что касается МБ/сек, тут я Вас, видимо, разочарую: подавляющее число внутренних RAID-контроллеров НЕ заточены под выдачу толстых линейных потоков, и на малом количестве винтов (до 4) могут даже и проиграть одиночному винту ;) .

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 861
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 22 апр 2004, 13:12

Хорошее исследование. Теперь бы все тоже самое на Iometer'е. Ну не верю я сандре, потому что ее достаточно не знаю и не знаю как показатели сандры соответствуют реальной работе. А иометр изучен вдоль и поперек.

Аватара пользователя
Курдиков Сергей
Advanced member
Сообщения: 199
Зарегистрирован: 27 авг 2002, 14:35
Контактная информация:

Сообщение Курдиков Сергей » 22 апр 2004, 13:13

Полезное исследование.
Хотя, результаты несколько неожиданные. (Я Сандрой не пользуюсь).

Однако, порекомендовал своему клиенту посмотреть сюда.
У него как раз задача выдавить из 4-х винтов 120 метров на линейном чтении. Посмотрим, поможет ли. :roll:

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 861
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 22 апр 2004, 13:16

Кстати, максимальные скорости на RAID 0 на линейном чтении и записи получаются при применении простых SCSI адаптеров, без всяких RAID и кэшей, причем при создании страйпа средствами операционной системы.

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:19

А сандра вполне реально, как мне кажется, работает. Например, не секрет, что многие IDE современные винты способны выдать на линейном чтении 50 мб/сек. Результаты, показанные сандрой, соответствуют этим цифрам. Кроме того, на серваке также стоит утилитка TaskInfo, которая тоже неплохо показывает скорость работы с дисками.

Но, вообще говоря, меня интересует вот что:

1) Соотносятся ли цифры, полученные мною, с цифрами, полученными вами, уважаемые сотрудники Trinity, на тесте IOmeter (или вы смотрите только на IOPS?)
2) Не удивляет ли вас тот факт (пусть даже сандра и не объективна), что во-первых, скорость контроллера в последовательном и случайном чтении/записи практически одинакова, и во-втрорых, почему она значительно меньше скорости чтения/записи в кэш?

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:24

Хорошее исследование. Теперь бы все тоже самое на Iometer'е. Ну не верю я сандре, потому что ее достаточно не знаю и не знаю как показатели сандры соответствуют реальной работе. А иометр изучен вдоль и поперек.
А вы сами никогда не тестировали этот (или подобный контроллер) на предмет влияния его конфигурационных параметров на скорость (и IOPS) в иометре?

Тем более, если он известен вам вдоль и поперек? Это позволило бы вам самим лучше понять механику работы контроллера. Скажу прямо, об иометре узнал недавно (месяц назад) с вашего сайта, и мне нужно время на его изучение, а главное, чтобы сервак не перевели в рабочий режим. могу и не успеть

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:29

Кстати, максимальные скорости на RAID 0 на линейном чтении и записи получаются при применении простых SCSI адаптеров, без всяких RAID и кэшей, причем при создании страйпа средствами операционной системы.
Согласен с вами полностью. Тем более и сандра мои догадки только подтвердила. Но, в тоже время, получается, что контроллер ОЧЕНЬ сильно зависит от параметров настройки, и к этому вопросу следует подходить очень тщательно. Сегодня, если успею, проведу тестирование еще и на 5-м RAID.

Аватара пользователя
Курдиков Сергей
Advanced member
Сообщения: 199
Зарегистрирован: 27 авг 2002, 14:35
Контактная информация:

Сообщение Курдиков Сергей » 22 апр 2004, 13:31

4 HDD Hitachi 146Z10 36GB сложены в R-0.
Read Ahead, Write Back, Cached I/O

На линейную запись выжимается максимум 62 метра.
На линейное чтение - 74.
С другими настройками проверить не успел. Народу, как всегда, надо было машину ещё вчера.... :cry:

Аватара пользователя
Dmitry
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 861
Зарегистрирован: 22 авг 2002, 16:12
Откуда: St.Petersburg
Контактная информация:

Сообщение Dmitry » 22 апр 2004, 13:35

Подход для IDE и SCSI, для рабочей станции и сервера - должен быть абсолютно разный.
В чем разница - в характеристиках задач решаемых на каждом из них (надежность и т. д. - не обсуждаем)
Станция - работает 1 человек, не формируя множественные запросы одновременно.
Сервер - только многопользовательская работа с большим количеством запросов в единицу времени.
Что там происходит в сандре - какое кол-во запросов одновременно, какими блоками и как то что пишет сандра соответствует правде лично я не знаю - потому и не доверяю. Но готов обсуждать.
А иометр знаем. Но в нашем случае интересно чтобы получить результаты и сравнить циферки именно на этой конфигурации и в тех же последовательностях.

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:38

попробую :)

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 22 апр 2004, 13:42

4 HDD Hitachi 146Z10 36GB сложены в R-0.
Read Ahead, Write Back, Cached I/O

На линейную запись выжимается максимум 62 метра.
На линейное чтение - 74.
С другими настройками проверить не успел. Народу, как всегда, надо было машину ещё вчера....
В моем случае это конфигурация №3.

На ней было получено лин. запись 85 мб/сек, на лин. чтение 91 мб/сек.

А железо то же? Меряли иометром?

Попробуйте отключить все - Normal, Write Thru, Direct I/O

Аватара пользователя
Курдиков Сергей
Advanced member
Сообщения: 199
Зарегистрирован: 27 авг 2002, 14:35
Контактная информация:

Сообщение Курдиков Сергей » 22 апр 2004, 14:08

Да железо - всё равно, т.е. не совсем важно. Важно, чтобы шинка была 66 на 64, дабы тормозов не наблюдалось в этом месте.

Процессоров было две штуки, 2.4 ГГц. Памяти тоже много.
Мерял ИОМетром. На операциях с кэшем (т.е. обращения к дискам нет, т.е. лампочки не мигают :gigi:), выжал из железки 128 метров.

При загрузке процессоров на 100 и на 25% результаты одного порядка. Таким образом, стоит думать, что камни особого влияния не оказывают именно для ДАННЫХ ТЕСТОВ.

Коллега Шац меня приучил смотреть на ФИПИЭСЫ, всмысле, на ИОПСЫ :lol:. Данный параметр показывае предел насыщения контроллера, что для задач массового обслуживания более интересно.

GrayMagellan
Power member
Сообщения: 44
Зарегистрирован: 12 мар 2004, 14:56
Откуда: Moscow

Сообщение GrayMagellan » 23 апр 2004, 14:55

Снова здравствуйте все. Прошу прощения за задержку. Иометр я на сервак поставил. С интерфейсом программы я разобрался, да и с принципами работы теста тоже (почитал FAQ на вашем сервере). Но мне бы хотелось, чтобы ВЫ мне порекомендовали настройки теста, а я проведу тест. Тогда мы получим результаты, которым вы сможете доверять и мы сэкономим время. Что скажете, уважаемые сотрудники Тринити? Тестировать я буду уже RAID 5, т.к. вообще говоря, вчера перевел массив в RAID 5 для дальнейшего тестирования в сандре, и заодно проведу тест иометром с вашими параметрами. Конфигурацию железа вы знаете. Согласны?

Тогда получим результаты теста как сандрой, так и иометром. конечно, потом я опять переведу массив в RAID 0 и RAID 10, и прогоню тесты иометром с вашими настройками.

Ответить

Вернуться в «Массивы - RAID технологии.»