Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 SSD

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
caramelo
Junior member
Сообщения: 7
Зарегистрирован: 09 авг 2015, 20:33

Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 SSD

Сообщение caramelo » 09 авг 2015, 22:46

Конфигурация:
INTEL DBS1200V3RPL LGA1150
CPU Intel Xeon E3-1270
Original SAMSUNG DDR-III DIMM 8Gb < PC3-12800 > ECC - 2 шт.
SD диск OCZ Vector 180 VTR180-25SAT3-120G 120 Гб - 6 шт.
HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 - 2 шт.
LSI MegaRAID SAS 9271-8i < LSI00331 >
LSI MegaRAID CacheVault < LSI00297 LSICVM01 >

С RAID контролером сталкиваюсь впервые. После сборки сервера, установки WinServ2008 R2 на пару HDD в рэйде 1 приступил к установке RAID от LSI.
На LSI MegaRAID SAS 9271-8i подключил 6 SSD OCZ Vector 180, завёл их в RAID10 ну и по традиции запустил HD Tune Pro и проверяю скорость чтения.
HD Tune показывает не более 700 MB/s и это в RAID 10 при использовании 6-шт. SSD.
Протестировал RAID 10, но только уже на 4 - шт. SSD, результат такой же, те же 700 MB/s.
Если же выбрать RAID 1 то результат показывает чистые 500 MB/s.

Я испробовал уровни RAID 0,5,6,10 скорость не поднимается выше 700 MB/s. Всячески менял настройки кэша, ничего практически не меняется.
Ожидал я конечно скорости от 1500 MB/s и выше.

Вопрос: почему действует ограничение в 700 MB/s на данном контроллере и как выжать из него максимум ?

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение Bormoto » 10 авг 2015, 12:08

caramelo писал(а): Вопрос: почему действует ограничение в 700 MB/s на данном контроллере и как выжать из него максимум ?
Попробуйте протестировать с помощью iometer. Нужно тестировать во много потоков, большими блоками.

Из рекомендаций опытного знатока nda с форума ixbt для массивов из ssd:
"Write Policy: Write Through
IO Policy: Direct IO
Read Policy: No Read Ahead
Stripe Size: 64KB
Disk cache policy: Enabled"

Еще купить и активировать FastPath.

Но IMHO, уже просто перейдя при тестировании на большие блоки (512кб -1 Мб) и много потоков > 32...64, вы получите более интересные цифры.
Вопрос - какой в этом всем практический смысл?, остается открытым. В местах, где реальные нагрузки 500 Мб/сек и выше совсем другая аппаратура и такие бюджеты, что не форумы, а саппорт по первому щелчку пальцев прилетает.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение gs » 10 авг 2015, 12:59

FastPath у этих контроллеров в комплекте.


Если честно, очень странная конфигурация дисковой. Тем более, что эти ССДшки (голимые десктопники) я не увидел в компатибилити листе контроллера.

caramelo
Junior member
Сообщения: 7
Зарегистрирован: 09 авг 2015, 20:33

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение caramelo » 11 авг 2015, 01:07

Большое спасибо за ответы
Bormoto писал(а):Попробуйте протестировать с помощью iometer. Нужно тестировать во много потоков, большими блоками.
К сожалению разобраться с iometer не удалось, запустил тест на программе anvils storage utilities, результаты дотягивают до 1000 MB/s
Bormoto писал(а):Из рекомендаций опытного знатока nda с форума ixbt для массивов из ssd:
"Write Policy: Write Through
IO Policy: Direct IO
Read Policy: No Read Ahead
Stripe Size: 64KB
Disk cache policy: Enabled"
В такой конфигурации скорость падает до 150 MB/s. Если же изменить Read Policy: Always Read Ahead , то значения возвращаются к былым 1000 MB/s.
Bormoto писал(а):Вопрос - какой в этом всем практический смысл?, остается открытым. В местах, где реальные нагрузки 500 Мб/сек и выше совсем другая аппаратура и такие бюджеты, что не форумы, а саппорт по первому щелчку пальцев прилетает.
Планирую использовать для маленькой базы 1С, которая требует очень большую скорость от дисковой подсистемы(в одном документе поступление ТМЦ или реализация ТМЦ насчитывается до 10000 строк). Хотел обратиться в саппорт, но официальный сайт LSI на английском языке, поэтому решил повременить, порыть недры интернета на русском языке. Видать придётся с помощью переводчиков написать всё же в саппорт (но уже подозреваю, что будут ругать за использование десктопных SSD)
gs писал(а):FastPath у этих контроллеров в комплекте.
Кстати с FastPath, как описывают в интернете, скорость на SSD возрастает чуть ли не в 2.5 раза, только я так и не смог активировать FastPath. В комплекте его нет точно, как я понимаю, нужно писать в LSI, предоставить серийник и другие необходимые данные и получить ключ FastPath. Может кто уже проходил через активацию FastPath и сможет объяснить как это делается? Я в этом деле новичок.
gs писал(а):Если честно, очень странная конфигурация дисковой. Тем более, что эти ССДшки (голимые десктопники) я не увидел в компатибилити листе контроллера.
Это моя первая практика с RAID контроллерами и построением массива 10-го уровня :) .
Почитав в интернете, пришёл к выводу, что SSD практически по всем параметрам обходит простые HDD, даже самые скоростные HDD. Десктопные варианты купил потому, что нагрузка на дисковую систему будет не такой огромной, а скорости требуются большие. Ну да и цена на серверные варианты SSD начинается от 12000 рублей и выше.

Может имеет смысл построить RAID 10 из 6-8 шт. простых HDD типа VelociRaptor ?
Или же может докупить ещё HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 ?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение gs » 11 авг 2015, 12:13

Зачем базе 1С линейный поток? Она создает нагрузку рандомную мелкими блоками. Так что эти тесты мягко говоря фиолетовы. Если так уж хотите потестировать, то читайте документацию по иометру.

По матчасти. Разумеется, нужны ССД, а не ХДД (тем более тормозные саташники или рапторы). Только вот выбор мягко говоря странный. Эти ССД не валидированы производителем контроллера и за их производительность (и вообще работоспособность в такой конфигурации) вендор ни разу не отвечает (и правильно делает).

Опишите подробнее задачу. А то сдается мне, что хватит пары Intel S3700 в зеркале...

caramelo
Junior member
Сообщения: 7
Зарегистрирован: 09 авг 2015, 20:33

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение caramelo » 11 авг 2015, 17:27

gs писал(а):Опишите подробнее задачу. А то сдается мне, что хватит пары Intel S3700 в зеркале...
База 1С 8.3 управление торговлей размер базы 800 Мб.
В базу загружаются симкарты, в разрезе номер симкарты и номер телефона на симкарте. В одном документе может быть 10000 симкарт, соответственно это 10000 строк.
Так вот при проведении таких документов, пока каждый номер запишется в базу,проходит очень много времени (минут 20-30).
Процессор, ОЗУ и материнскую плату для этих целей вроде удалось подобрать. А вот с дисковой подсистемой вопрос открытый.

Я правильно понял, что пара Intel S3700, более производительнее чем 6 шт. десктопных SSD OCZ Vector 180 ?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение gs » 11 авг 2015, 17:40

Я не говорил быстрее - я говорил "достаточно".
Понимаете, 6шт ссдшек имеют такую производительность, что на большинстве задач одному-двум процессорам плохо станет.
Вы лучше прогоните боевую задачу и оцените результат. Возможно, все уже хорошо, а Вы паритесь.

Нагрузку Ваша база создает совсем не такую, что эти тесты. На озвученные результаты можно просто плюнуть.

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S

Сообщение Umlyaut » 11 авг 2015, 23:22

У-ууу, какая жЫрная тема... :)

1.
caramelo писал(а): В базу загружаются симкарты, в разрезе номер симкарты и номер телефона на симкарте. В одном документе может быть 10000 симкарт, соответственно это 10000 строк.
Так вот при проведении таких документов, пока каждый номер запишется в базу,проходит очень много времени (минут 20-30).
Вот сразу первое недоумение - у Вас bottleneck на запись, судя по Вашим словам. А тесты Вы гоняете на ЧТЕНИЕ. Где логика?

Отсюда напрашивается желательность/необходимость тестировать скорость записи, причём рэндомной, причём в иопсах, а не мегабайтах.

К слову - запись всегда было закешировать проще, чем чтение, отсюда Ваш случай (стандартный, как по мне) отлично покрывается применённой схемой "SSD для быстрого рэндомного чтения (всякого рода сводные отчёты и прочие "шахматки" в 1С жрут READ как не в себя) + WB контроллера (носителей тоже, но без supercapacitor`ов в них всё же стрёмно) для быстрой пакетной записи".
При таком толстом бортовом кеше (1GB) в него бурстом можно влить очень быстро приличный объём транзакций, а быстрые носители позволят делать частый flush кеша (чаще чем для HDD) для оперативного освобождения его к новому бурсту.

В идеале вообще нужно бы проделать некий мини-ресёрч на тему кеширования записи, допросив на эту тему настройки кеширования ОС в том числе. Ну и не забыть старый грязный хак: "заныкать" часть ёмкости SSD-тома (у меня бывало и до 1/4-1/3, коли объёмы носителей позволяли), не размечая его - для принудительного увеличения WLA свыше жалких нескольких процентов "заводской", тсзть, hidden area. А то при интенсивном I/O на запись смешная WLA "по умолчанию" запросто может заткнуться ещё до срабатывания BGC.

2. FastPath действительно теперь у MegaRAID`ов даром идёт. Возможно, у Вас не самая свежая прошивка, бо я уже сталкивался со случаями, когда для включения бесплатного FP требовалось обновить прошивку.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 27 гостей