Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 SSD
Модераторы: Trinity admin`s, Free-lance moderator`s
Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 SSD
Конфигурация:
INTEL DBS1200V3RPL LGA1150
CPU Intel Xeon E3-1270
Original SAMSUNG DDR-III DIMM 8Gb < PC3-12800 > ECC - 2 шт.
SD диск OCZ Vector 180 VTR180-25SAT3-120G 120 Гб - 6 шт.
HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 - 2 шт.
LSI MegaRAID SAS 9271-8i < LSI00331 >
LSI MegaRAID CacheVault < LSI00297 LSICVM01 >
С RAID контролером сталкиваюсь впервые. После сборки сервера, установки WinServ2008 R2 на пару HDD в рэйде 1 приступил к установке RAID от LSI.
На LSI MegaRAID SAS 9271-8i подключил 6 SSD OCZ Vector 180, завёл их в RAID10 ну и по традиции запустил HD Tune Pro и проверяю скорость чтения.
HD Tune показывает не более 700 MB/s и это в RAID 10 при использовании 6-шт. SSD.
Протестировал RAID 10, но только уже на 4 - шт. SSD, результат такой же, те же 700 MB/s.
Если же выбрать RAID 1 то результат показывает чистые 500 MB/s.
Я испробовал уровни RAID 0,5,6,10 скорость не поднимается выше 700 MB/s. Всячески менял настройки кэша, ничего практически не меняется.
Ожидал я конечно скорости от 1500 MB/s и выше.
Вопрос: почему действует ограничение в 700 MB/s на данном контроллере и как выжать из него максимум ?
INTEL DBS1200V3RPL LGA1150
CPU Intel Xeon E3-1270
Original SAMSUNG DDR-III DIMM 8Gb < PC3-12800 > ECC - 2 шт.
SD диск OCZ Vector 180 VTR180-25SAT3-120G 120 Гб - 6 шт.
HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 - 2 шт.
LSI MegaRAID SAS 9271-8i < LSI00331 >
LSI MegaRAID CacheVault < LSI00297 LSICVM01 >
С RAID контролером сталкиваюсь впервые. После сборки сервера, установки WinServ2008 R2 на пару HDD в рэйде 1 приступил к установке RAID от LSI.
На LSI MegaRAID SAS 9271-8i подключил 6 SSD OCZ Vector 180, завёл их в RAID10 ну и по традиции запустил HD Tune Pro и проверяю скорость чтения.
HD Tune показывает не более 700 MB/s и это в RAID 10 при использовании 6-шт. SSD.
Протестировал RAID 10, но только уже на 4 - шт. SSD, результат такой же, те же 700 MB/s.
Если же выбрать RAID 1 то результат показывает чистые 500 MB/s.
Я испробовал уровни RAID 0,5,6,10 скорость не поднимается выше 700 MB/s. Всячески менял настройки кэша, ничего практически не меняется.
Ожидал я конечно скорости от 1500 MB/s и выше.
Вопрос: почему действует ограничение в 700 MB/s на данном контроллере и как выжать из него максимум ?
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
Попробуйте протестировать с помощью iometer. Нужно тестировать во много потоков, большими блоками.caramelo писал(а): Вопрос: почему действует ограничение в 700 MB/s на данном контроллере и как выжать из него максимум ?
Из рекомендаций опытного знатока nda с форума ixbt для массивов из ssd:
"Write Policy: Write Through
IO Policy: Direct IO
Read Policy: No Read Ahead
Stripe Size: 64KB
Disk cache policy: Enabled"
Еще купить и активировать FastPath.
Но IMHO, уже просто перейдя при тестировании на большие блоки (512кб -1 Мб) и много потоков > 32...64, вы получите более интересные цифры.
Вопрос - какой в этом всем практический смысл?, остается открытым. В местах, где реальные нагрузки 500 Мб/сек и выше совсем другая аппаратура и такие бюджеты, что не форумы, а саппорт по первому щелчку пальцев прилетает.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
FastPath у этих контроллеров в комплекте.
Если честно, очень странная конфигурация дисковой. Тем более, что эти ССДшки (голимые десктопники) я не увидел в компатибилити листе контроллера.
Если честно, очень странная конфигурация дисковой. Тем более, что эти ССДшки (голимые десктопники) я не увидел в компатибилити листе контроллера.
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
Большое спасибо за ответы
Почитав в интернете, пришёл к выводу, что SSD практически по всем параметрам обходит простые HDD, даже самые скоростные HDD. Десктопные варианты купил потому, что нагрузка на дисковую систему будет не такой огромной, а скорости требуются большие. Ну да и цена на серверные варианты SSD начинается от 12000 рублей и выше.
Может имеет смысл построить RAID 10 из 6-8 шт. простых HDD типа VelociRaptor ?
Или же может докупить ещё HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 ?
К сожалению разобраться с iometer не удалось, запустил тест на программе anvils storage utilities, результаты дотягивают до 1000 MB/sBormoto писал(а):Попробуйте протестировать с помощью iometer. Нужно тестировать во много потоков, большими блоками.
В такой конфигурации скорость падает до 150 MB/s. Если же изменить Read Policy: Always Read Ahead , то значения возвращаются к былым 1000 MB/s.Bormoto писал(а):Из рекомендаций опытного знатока nda с форума ixbt для массивов из ssd:
"Write Policy: Write Through
IO Policy: Direct IO
Read Policy: No Read Ahead
Stripe Size: 64KB
Disk cache policy: Enabled"
Планирую использовать для маленькой базы 1С, которая требует очень большую скорость от дисковой подсистемы(в одном документе поступление ТМЦ или реализация ТМЦ насчитывается до 10000 строк). Хотел обратиться в саппорт, но официальный сайт LSI на английском языке, поэтому решил повременить, порыть недры интернета на русском языке. Видать придётся с помощью переводчиков написать всё же в саппорт (но уже подозреваю, что будут ругать за использование десктопных SSD)Bormoto писал(а):Вопрос - какой в этом всем практический смысл?, остается открытым. В местах, где реальные нагрузки 500 Мб/сек и выше совсем другая аппаратура и такие бюджеты, что не форумы, а саппорт по первому щелчку пальцев прилетает.
Кстати с FastPath, как описывают в интернете, скорость на SSD возрастает чуть ли не в 2.5 раза, только я так и не смог активировать FastPath. В комплекте его нет точно, как я понимаю, нужно писать в LSI, предоставить серийник и другие необходимые данные и получить ключ FastPath. Может кто уже проходил через активацию FastPath и сможет объяснить как это делается? Я в этом деле новичок.gs писал(а):FastPath у этих контроллеров в комплекте.
Это моя первая практика с RAID контроллерами и построением массива 10-го уровня .gs писал(а):Если честно, очень странная конфигурация дисковой. Тем более, что эти ССДшки (голимые десктопники) я не увидел в компатибилити листе контроллера.
Почитав в интернете, пришёл к выводу, что SSD практически по всем параметрам обходит простые HDD, даже самые скоростные HDD. Десктопные варианты купил потому, что нагрузка на дисковую систему будет не такой огромной, а скорости требуются большие. Ну да и цена на серверные варианты SSD начинается от 12000 рублей и выше.
Может имеет смысл построить RAID 10 из 6-8 шт. простых HDD типа VelociRaptor ?
Или же может докупить ещё HDD 1 Tb SATA 6Gb / s Seagate Constellation ES.3 ?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
Зачем базе 1С линейный поток? Она создает нагрузку рандомную мелкими блоками. Так что эти тесты мягко говоря фиолетовы. Если так уж хотите потестировать, то читайте документацию по иометру.
По матчасти. Разумеется, нужны ССД, а не ХДД (тем более тормозные саташники или рапторы). Только вот выбор мягко говоря странный. Эти ССД не валидированы производителем контроллера и за их производительность (и вообще работоспособность в такой конфигурации) вендор ни разу не отвечает (и правильно делает).
Опишите подробнее задачу. А то сдается мне, что хватит пары Intel S3700 в зеркале...
По матчасти. Разумеется, нужны ССД, а не ХДД (тем более тормозные саташники или рапторы). Только вот выбор мягко говоря странный. Эти ССД не валидированы производителем контроллера и за их производительность (и вообще работоспособность в такой конфигурации) вендор ни разу не отвечает (и правильно делает).
Опишите подробнее задачу. А то сдается мне, что хватит пары Intel S3700 в зеркале...
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
База 1С 8.3 управление торговлей размер базы 800 Мб.gs писал(а):Опишите подробнее задачу. А то сдается мне, что хватит пары Intel S3700 в зеркале...
В базу загружаются симкарты, в разрезе номер симкарты и номер телефона на симкарте. В одном документе может быть 10000 симкарт, соответственно это 10000 строк.
Так вот при проведении таких документов, пока каждый номер запишется в базу,проходит очень много времени (минут 20-30).
Процессор, ОЗУ и материнскую плату для этих целей вроде удалось подобрать. А вот с дисковой подсистемой вопрос открытый.
Я правильно понял, что пара Intel S3700, более производительнее чем 6 шт. десктопных SSD OCZ Vector 180 ?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
Я не говорил быстрее - я говорил "достаточно".
Понимаете, 6шт ссдшек имеют такую производительность, что на большинстве задач одному-двум процессорам плохо станет.
Вы лучше прогоните боевую задачу и оцените результат. Возможно, все уже хорошо, а Вы паритесь.
Нагрузку Ваша база создает совсем не такую, что эти тесты. На озвученные результаты можно просто плюнуть.
Понимаете, 6шт ссдшек имеют такую производительность, что на большинстве задач одному-двум процессорам плохо станет.
Вы лучше прогоните боевую задачу и оцените результат. Возможно, все уже хорошо, а Вы паритесь.
Нагрузку Ваша база создает совсем не такую, что эти тесты. На озвученные результаты можно просто плюнуть.
Re: Низкая скорость RAID10 на контроллере LSI 9271-8i из 6 S
У-ууу, какая жЫрная тема...
1.
Отсюда напрашивается желательность/необходимость тестировать скорость записи, причём рэндомной, причём в иопсах, а не мегабайтах.
К слову - запись всегда было закешировать проще, чем чтение, отсюда Ваш случай (стандартный, как по мне) отлично покрывается применённой схемой "SSD для быстрого рэндомного чтения (всякого рода сводные отчёты и прочие "шахматки" в 1С жрут READ как не в себя) + WB контроллера (носителей тоже, но без supercapacitor`ов в них всё же стрёмно) для быстрой пакетной записи".
При таком толстом бортовом кеше (1GB) в него бурстом можно влить очень быстро приличный объём транзакций, а быстрые носители позволят делать частый flush кеша (чаще чем для HDD) для оперативного освобождения его к новому бурсту.
В идеале вообще нужно бы проделать некий мини-ресёрч на тему кеширования записи, допросив на эту тему настройки кеширования ОС в том числе. Ну и не забыть старый грязный хак: "заныкать" часть ёмкости SSD-тома (у меня бывало и до 1/4-1/3, коли объёмы носителей позволяли), не размечая его - для принудительного увеличения WLA свыше жалких нескольких процентов "заводской", тсзть, hidden area. А то при интенсивном I/O на запись смешная WLA "по умолчанию" запросто может заткнуться ещё до срабатывания BGC.
2. FastPath действительно теперь у MegaRAID`ов даром идёт. Возможно, у Вас не самая свежая прошивка, бо я уже сталкивался со случаями, когда для включения бесплатного FP требовалось обновить прошивку.
1.
Вот сразу первое недоумение - у Вас bottleneck на запись, судя по Вашим словам. А тесты Вы гоняете на ЧТЕНИЕ. Где логика?caramelo писал(а): В базу загружаются симкарты, в разрезе номер симкарты и номер телефона на симкарте. В одном документе может быть 10000 симкарт, соответственно это 10000 строк.
Так вот при проведении таких документов, пока каждый номер запишется в базу,проходит очень много времени (минут 20-30).
Отсюда напрашивается желательность/необходимость тестировать скорость записи, причём рэндомной, причём в иопсах, а не мегабайтах.
К слову - запись всегда было закешировать проще, чем чтение, отсюда Ваш случай (стандартный, как по мне) отлично покрывается применённой схемой "SSD для быстрого рэндомного чтения (всякого рода сводные отчёты и прочие "шахматки" в 1С жрут READ как не в себя) + WB контроллера (носителей тоже, но без supercapacitor`ов в них всё же стрёмно) для быстрой пакетной записи".
При таком толстом бортовом кеше (1GB) в него бурстом можно влить очень быстро приличный объём транзакций, а быстрые носители позволят делать частый flush кеша (чаще чем для HDD) для оперативного освобождения его к новому бурсту.
В идеале вообще нужно бы проделать некий мини-ресёрч на тему кеширования записи, допросив на эту тему настройки кеширования ОС в том числе. Ну и не забыть старый грязный хак: "заныкать" часть ёмкости SSD-тома (у меня бывало и до 1/4-1/3, коли объёмы носителей позволяли), не размечая его - для принудительного увеличения WLA свыше жалких нескольких процентов "заводской", тсзть, hidden area. А то при интенсивном I/O на запись смешная WLA "по умолчанию" запросто может заткнуться ещё до срабатывания BGC.
2. FastPath действительно теперь у MegaRAID`ов даром идёт. Возможно, у Вас не самая свежая прошивка, бо я уже сталкивался со случаями, когда для включения бесплатного FP требовалось обновить прошивку.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей