Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Модераторы: Trinity admin`s, Free-lance moderator`s
Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Приветствую сообщество профессионалов и специалистов!
Прошу подключение коллективного разума для решения имеющейся проблемы )
Суть проблемы – КРАЙНЕ низкая производительность дисковой подсистемы на IBM BladeCenter S.
Конфигурация:
Шасси – IBM BladeCenter S 8886.
Корзина на 6 SAS HDD 3,5” (не внешняя) с установленными 6 SAS HDD 15000 RPM 300Gb (под стикером IBM легко узнается Seagate Cheetah, маркировка IBM – fru #43X0805).
2 SAS RAID контроллера (IBM SAS RAID Controller Module FRU # 43W3630, option # 43W3584).
2 лезвия HS22V (если оставить одно – суть проблемы не меняется).
Аппаратных ошибок нет, всё работает.
Проблема: при любой конфигурации пулов скорость пулов ниже скорости отдельного HDD, выделенного в отдельный пул. Скорость в принципе неудовлетворительная, на уровне десктопа, а именно:
- вне зависимости от уровня рейда и количества HDD в пуле скорость записи не выше 90МБ/сек. Например, для RAID 0+1 на 6 HDD, RAID 0 на 2-6 HDD, RAID 5 с любым кол-вом HDD.
- скорость чтения тем ниже, чем больше HDD в пуле. Достигнутый максимум – около 200МБ/сек на RAID 0+1 на 4 HDD. Для RAID 0 на 3-6 скорость ниже (от 200 до 150 Мб/сек, чем больше HDD тем ниже скорость).
Учитывая, что стоит два контроллера и они могут обслуживать разные пулы, максимум на чтении можно достигнуть выделив все винты в отдельные пулы и создав программный рейд в ОС (йопт, нафига ж два контроллера по $3500, если потом программный рейд лепить?). При этом скорость линейного чтения можно до 350 выжать. А вот запись всё равно не поднимается выше 90МБ/сек.
ИОПСы имеют такой же низкий порядок, как и скорость операций линейного чтения и записи. Другими словами, операции непоследовательного обращения к дискам не спасают ситуации, а усугубляют её. Тормозит всё по страшшшному.
Тестирование проводилось под разными ОС с пониманием сути вопроса Драйвера можно исключить, т.к. под linux, windows 2008 и 2008R2 результат одинаковый.
Итого: низкая скорость чтения падающая при наращивании HDD в пулы, очень низкая скорость записи на уровне 1/2 скорость записи одного HDD (к тому же для пула RAID 0, не равная скорости чтения с того же пула).
Судя по спецификации оборудования имеем 4х3Гбита/сек канал от корзины на каждый контроллер, по 3Гбита от каждого контроллера на каждое лезвие, 4Гбита между контроллерами для синхронизации, гигабитную шину для управления контроллерами.
Затыка на уровне 0,7Гбита (90МБ/сек на записи) в принципе не должно быть. Поэтому единственное предположение с моей стороны – глючные или неверно подобранные контроллеры, которые не стыкуются с прочим оборудованием.
Вопросы к знатокам:
1) может кто работал с подобным оборудованием, – какую производительность дисковой подсистемы гарантировано выжали из IBM BladeCenter S со встроенными корзинами?
2) знаком ли кто-нить именно с таким контроллером? не сталкивались ли с подобными траблами?
Ну и в принципе буду крайне благодарен за любые мысли и рекомендации. Не могу ввести новый сервер в эксплуатацию уже больше двух недель, т.к. работает медленнее трехлетнего с RAID 0+1 на SATA винтах 7200 250Гб. Нонсенс ((
Прошу подключение коллективного разума для решения имеющейся проблемы )
Суть проблемы – КРАЙНЕ низкая производительность дисковой подсистемы на IBM BladeCenter S.
Конфигурация:
Шасси – IBM BladeCenter S 8886.
Корзина на 6 SAS HDD 3,5” (не внешняя) с установленными 6 SAS HDD 15000 RPM 300Gb (под стикером IBM легко узнается Seagate Cheetah, маркировка IBM – fru #43X0805).
2 SAS RAID контроллера (IBM SAS RAID Controller Module FRU # 43W3630, option # 43W3584).
2 лезвия HS22V (если оставить одно – суть проблемы не меняется).
Аппаратных ошибок нет, всё работает.
Проблема: при любой конфигурации пулов скорость пулов ниже скорости отдельного HDD, выделенного в отдельный пул. Скорость в принципе неудовлетворительная, на уровне десктопа, а именно:
- вне зависимости от уровня рейда и количества HDD в пуле скорость записи не выше 90МБ/сек. Например, для RAID 0+1 на 6 HDD, RAID 0 на 2-6 HDD, RAID 5 с любым кол-вом HDD.
- скорость чтения тем ниже, чем больше HDD в пуле. Достигнутый максимум – около 200МБ/сек на RAID 0+1 на 4 HDD. Для RAID 0 на 3-6 скорость ниже (от 200 до 150 Мб/сек, чем больше HDD тем ниже скорость).
Учитывая, что стоит два контроллера и они могут обслуживать разные пулы, максимум на чтении можно достигнуть выделив все винты в отдельные пулы и создав программный рейд в ОС (йопт, нафига ж два контроллера по $3500, если потом программный рейд лепить?). При этом скорость линейного чтения можно до 350 выжать. А вот запись всё равно не поднимается выше 90МБ/сек.
ИОПСы имеют такой же низкий порядок, как и скорость операций линейного чтения и записи. Другими словами, операции непоследовательного обращения к дискам не спасают ситуации, а усугубляют её. Тормозит всё по страшшшному.
Тестирование проводилось под разными ОС с пониманием сути вопроса Драйвера можно исключить, т.к. под linux, windows 2008 и 2008R2 результат одинаковый.
Итого: низкая скорость чтения падающая при наращивании HDD в пулы, очень низкая скорость записи на уровне 1/2 скорость записи одного HDD (к тому же для пула RAID 0, не равная скорости чтения с того же пула).
Судя по спецификации оборудования имеем 4х3Гбита/сек канал от корзины на каждый контроллер, по 3Гбита от каждого контроллера на каждое лезвие, 4Гбита между контроллерами для синхронизации, гигабитную шину для управления контроллерами.
Затыка на уровне 0,7Гбита (90МБ/сек на записи) в принципе не должно быть. Поэтому единственное предположение с моей стороны – глючные или неверно подобранные контроллеры, которые не стыкуются с прочим оборудованием.
Вопросы к знатокам:
1) может кто работал с подобным оборудованием, – какую производительность дисковой подсистемы гарантировано выжали из IBM BladeCenter S со встроенными корзинами?
2) знаком ли кто-нить именно с таким контроллером? не сталкивались ли с подобными траблами?
Ну и в принципе буду крайне благодарен за любые мысли и рекомендации. Не могу ввести новый сервер в эксплуатацию уже больше двух недель, т.к. работает медленнее трехлетнего с RAID 0+1 на SATA винтах 7200 250Гб. Нонсенс ((
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Заведите кейс в IBM. Первым делом вас попросят обновить FW всего.
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
FW всего что есть - обновлены. Написал запрос в московский ИБМ. Ответ просто супер: "Все прошивки у вас свежие, железо вроде работает. А если медленно работает - мы тут ни при чем. Говорите с тем, кто вам его продал, т.е. региональным дилером."
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Я честно говоря, не знаю этого контроллера, но мысли вслух - а) закончена ли инициализация, б) включен ли райт кэш контроллеров?
Скорость записи двухконтроллерной системы как правило не блещет из-за кэш-мирроринга.
Чем и как мерили иопсы? Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.
А и правда - что говорит продавец? Кто сайзил аппарат?
Скорость записи двухконтроллерной системы как правило не блещет из-за кэш-мирроринга.
Чем и как мерили иопсы? Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.
А и правда - что говорит продавец? Кто сайзил аппарат?
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Интересная мысль. А по моему система, плохая на линейной нагрузке, ничего хорошего и при рендомной не покажет.gs писал(а): Чем и как мерили иопсы? Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Да, конечно. Если говорить о тестировании в RAID 0, то там и инициализация то несколько секунд. При RAID 5 и 0+1 все тесты проводились после завершения инициализации. Процесс инициализации хорошо виден через storage configuration manager в разделе "long running tasks". Для проверки дополнительно перед тестом ножками в серверную )) Винты не мигают, нагрузки нет никакой.а) закончена ли инициализация
Для данных контроллеров настроки кэша достаточно скудные. Всё, что я нашел - это изменение ряда параметров через CLI:б) включен ли райт кэш контроллеров?
Код: Выделить всё
<CLI> cache
No Parameter selected for cache ,select either -get|-set
COMMAND-HELP: cache
Usage : cache -[get | set [-volumesetting -seqpostreadcmdsize [SIZE] -seqreadaheadmargin [MARGIN] [-systemdefault]
[-volumename [POOL:VOLUME]] | -ctlrsetting -writecachepolicy [on|off] [-suspendmigrates] ]
SIZE : Sequential Post Read Command Size is the maximum sector count of a single predictive read ahead.
A value of 0 disables predictive read for this volume. A value of 1-128 will override the
previous setting and represents a command transfer size that is a multiple of 16Kbytes.
A value of (0xFFFF) will cause the default value to be used.
MARGIN : Read Ahead Margin is the number of sectors in the read ahead buffer. This parameter is ignored
if the Sequential Post Read Command Size is zero. The valid range is 1 to 0x7FFF.
A value of (0xFFFF) will cause the default value to be used.
POOL : name of pool which has the volume.If the pool name is not specified, system default would be changed.
If pool name is specified but the volume name is not specified, the cache settings would be applied to all
the volumes in the pool.
VOLUME : name of volume
[-get] : This option can be used to display the current controller cache settings and
current system default values for volume cache settings.
[-writecachepolicy] : WriteCachePolicy is set to specify the write cache policy.
If none of the cache options are provided, current system default will be used.
[-volumesetting] : If volume is selected then the volume write cache policy settings are set.
[-systemdefault] : When this option is used along with the volumecache settings, it sets the system default in the controller.
The system default values are used as default for all the new volumes being created in the system.
The system default can be seen by issuing this command with -get option.
[-volumename] : Volume name can be specified with the volumesetting option to change the settings for those volumes.
If volume name is not specified, the setting is changed for all volumes in the system.
[-ctlrsetting] : If ctlr option is selected,the write cache settings for the controller are set.
[-suspendmigrates] : If suspendmigrates option is selected along with DISABLED policy, all the volume
services that relocate user data are suspended until the write cache policy is enabled.
<CLI> cache -get
Current Machine Local Time: 10/20/2010 05:19:39 PM
Controller Write Cache Policy:
____________________________________________________________________________
| Current Settings | Current System State |
|____________________________________|_______________________________________|
| Write Cache Policy: Enabled | Controller Write Caching: Enabled |
| Suspend Migrates: On | |
|____________________________________|_______________________________________|
Volume Write Cache Policy:
_______________________
| System Default |
|_______________________|
| Battery detect|
|_______________________|
Sequential Read Params:
_________________________________________________
| PostRead Cmd Size | Read Ahead Margin |
|____________________________|____________________|
| 0| 16384|
|____________________________|____________________|
Тоже на это грешил, хотя между контроллерами для этого и лежит отдельная шина на 4Gb. Проверил достаточно легко. Выдернул один контроллер ) Ну и данная система один пул обслуживает только одним контроллером, что видно в CLI. Поэтому наверняка причина тормозов не тут.Скорость записи двухконтроллерной системы как правило не блещет из-за кэш-мирроринга.
IOMeter. В первую очередь на dbpattern (40% запись, 60% чтение, 100% не последовательно). Отдельно для линейных операций чтения и записи с блоками от мин до макс. Для проверки кроме ИОМетра использовались еще несколько тестовых пакетов. Результат одинаковый и стабильно низкий.Чем и как мерили иопсы?
Соглашусь с ответом ITER:Про линейный трансфер я задумываться не хочу, ибо не для того машина придумана.
Зачастую показываю скорость линечного чтения как хорошо осязаемый параметр. Достойные ИОПСы для такой подсистемы трудно посчитать, т.к. для отдельного устройства они не заданы в спецификации. А скорость линечного чтения и записи известна. И тут уж как ни крути, но для 5-ти дисков она не должна быть меньше, чем для одного.система, плохая на линейной нагрузке, ничего хорошего и при рендомной не покажет.
А что есть "сайзил?".А и правда - что говорит продавец? Кто сайзил аппарат?
Продавец по сей день убеждает, что так и должно быть вместо устранения проблем. Вдобавок обвинил в технической некомпетенции, заявив что это очень досточный уровень производительности, особенно с учетом надежности купленной техники. Убило заявление продавца, что медленно работает в RAID 0, т.к. у меня медленные лезвия и бюджетный контроллер... Это диагноз...
После двух недель лекций на тему "так и должно быть" обратился в представительство IBM в России. Ответ писал сразу: "аппаратных проблем нет, прошивки свежие, а если ждете больше производительности - это не к нам. Мы отвечаем только на вопросы по нерабочему железу.". Устно направили к продавцу, тихо устранившись.
От продавца пользы по этот день никакой. Сегодня снова обратился на Russia Service HW [hwsupport@ru.ibm.com], напомнив, что по условиям гарантии ИБМ обязуется не просто работающую машину поставить, а соответствующую спецификации. В ответ хотя бы запрос прислали на предоставление дополнительной инфы по настройкам теста для проверки, не гонял ли я в 8 потоков.
Итог: 3 недели общения с ОФИЦИАЛЬНЫМИ представителями IBM без результата.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Для начала: http://www-947.ibm.com/support/entry/po ... GR-5081397
В терминах "низкий"-"высокий", "большой"-"маленький" обсуждать что-либо проблематично.
Какой именно?nimus писал(а):ИОПСы имеют такой же низкий порядок
В терминах "низкий"-"высокий", "большой"-"маленький" обсуждать что-либо проблематично.
Ну ведь продавец Вам оборудование поставил? В срок? Вот от него и польза. Вы с ними заключали какой-то контракт на предмет настройки или других работ?nimus писал(а):От продавца пользы по этот день никакой.
Вы приобретали какой-либо расширенный сервис от IBM? Какой именно? В рамки этого сервиса Ваша проблема попадает?nimus писал(а):Устно направили к продавцу, тихо устранившись.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
exLH, спасибо за ценные замечания.
Касательно
В ИОПСах (при тестировании через IOmeter, раздел на весь пул, пул на 5HDD в RAID 0):
1. DB pattern: чтение/запись в случайном порядке (60% чтение / 40% запись), размер блока 4Кбайт - 110-120 IOPS; 0.4-0.5 МБ/сек.
2. Последовательное чтение, размер блока 32 Кбайт (IOPS / МБ в сек) = 3000 / 125.
3. Последовательное чтение, размер блока 512 байт (IOPS / МБ в сек) = 11500 / 5,5.
4. Последовательная запись, размер блока 32 Кбайт (IOPS / МБ в сек) = 2500 / 67.
5. Последовательная запись, размер блока 512 байт (IOPS / МБ в сек) = 7300 / 4,3.
(показания округлены, но порядок сохранен).
Если есть результаты подобного тестирования для BladeCenter S - очень буду признателен. Я их сравниваю с результатами тестирования имеющихся серверов, значительно более слабых.
1. Производительность хранилища на встроенном в материнскую плату бюджетном контроллере в режиме RAID 0+1 на 6 дисков SATA 7200RPM 250Gb как раз примерно равна аналогичной на дисках SAS 15000RPM 300Gb с несоизмеримо более шустрым контроллером и широкими шинами.
2. Производительность дисковой подсистемы на 4 SAS диска 67Gb в сервере Dell на бюджетном контроллере - выше обсуждаемой машинки примерно в 2 раза.
Кроме того, к поставщику также должны быть претензии, если он поставил неработающее оборудование, или оборудование не соответствующее спецификации. На второе и есть подозрения. Может вопрос в нестыковке компонентов, может в проводах, может в соединении конструктивных элементов.
А по делу ли претензии - это и пробую выяснить, за участие в чем - благодарность ) Если подозрения на сборку/подбор компонентов не пропадут - только тогда это выльется в официальную претензию поставщику.
Касательно
Кеширование в ОС включалось, но главное то, что тестирование кроме windows проводилось на двух версиях linux (red hat и asp linux). Проблема не в том, что кэш работает не достаточно эффективно или не работает, а в том, что низкая именно производительность без кеша. Это очень сказывается на результатах тестирования, где кеш не помогает. Ну и на реальных задачах (сервер брался как сервер SQL под 1С8, на чем и проводилось живое тестирование). Простой пример: идет последовательное обращение на запись к одной и той же таблице. Даже при write-back следующая операция записи блокируется пока не завершена предыдущая, если для записи надо использовать один и тот же объект. В результате время выполнения любых файловых операций примерно равно выполнению их на десктопе с одним SATA HDD 2-х летней давности (например, Seagate Barracuda 7200RPM 300Gb). Ну а винты поновее еще и хорошо обгоняют нашу новую корзину. И тут я сравниваю с десктопом, где не массив, а один винт.
В ИОПСах (при тестировании через IOmeter, раздел на весь пул, пул на 5HDD в RAID 0):
1. DB pattern: чтение/запись в случайном порядке (60% чтение / 40% запись), размер блока 4Кбайт - 110-120 IOPS; 0.4-0.5 МБ/сек.
2. Последовательное чтение, размер блока 32 Кбайт (IOPS / МБ в сек) = 3000 / 125.
3. Последовательное чтение, размер блока 512 байт (IOPS / МБ в сек) = 11500 / 5,5.
4. Последовательная запись, размер блока 32 Кбайт (IOPS / МБ в сек) = 2500 / 67.
5. Последовательная запись, размер блока 512 байт (IOPS / МБ в сек) = 7300 / 4,3.
(показания округлены, но порядок сохранен).
Если есть результаты подобного тестирования для BladeCenter S - очень буду признателен. Я их сравниваю с результатами тестирования имеющихся серверов, значительно более слабых.
1. Производительность хранилища на встроенном в материнскую плату бюджетном контроллере в режиме RAID 0+1 на 6 дисков SATA 7200RPM 250Gb как раз примерно равна аналогичной на дисках SAS 15000RPM 300Gb с несоизмеримо более шустрым контроллером и широкими шинами.
2. Производительность дисковой подсистемы на 4 SAS диска 67Gb в сервере Dell на бюджетном контроллере - выше обсуждаемой машинки примерно в 2 раза.
Вы видно не обратили внимание, что к поставщику главная претензия в другом. Поставщик убеждает, что данная производительность есть нормой. Он, в принципе, не готов с этим бороться. Заключать контракт в данном случае бесполезно, особенно учитывая вышеприведенные аргументы (например, убежденность поставщика, что скорость работы в RAID 0 вырастет, если поставить в лезвия процессоры быстрее 2,4Ггц). Заплатим за рекомендации подкупить в будущем лезвия побыстрее и новое шассиНу ведь продавец Вам оборудование поставил? В срок? Вот от него и польза. Вы с ними заключали какой-то контракт на предмет настройки или других работ?
Кроме того, к поставщику также должны быть претензии, если он поставил неработающее оборудование, или оборудование не соответствующее спецификации. На второе и есть подозрения. Может вопрос в нестыковке компонентов, может в проводах, может в соединении конструктивных элементов.
А по делу ли претензии - это и пробую выяснить, за участие в чем - благодарность ) Если подозрения на сборку/подбор компонентов не пропадут - только тогда это выльется в официальную претензию поставщику.
Суть решаемой проблемы, насколько я вижу, подпадает под стандартные условия гарантии IBM. Согласно ней машина должна не просто работать, а соответствовать спецификации. Спецификации на машину есть, производительность дисковой подсистемы им не соответствует минимум в 4 раза. Из учета, что проведенное детальное тестирование подтверждает, что проблема не в ОС или настройках, требуется, чтобы кто-то тыкнул носом, что дело всё же в кривых руках и малом объеме знаний, который не позволяет выжать из дисковой подсистемы заявленную производительность.Вы приобретали какой-либо расширенный сервис от IBM? Какой именно? В рамки этого сервиса Ваша проблема попадает?
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Пожалуйста.nimus писал(а):спасибо за ценные замечания.
Касательно ключевых моментов:
Все верно. "IBM гарантирует, что каждая Машина не содержит дефектов материалов и производства и соответствует своим Спецификациям. “Спецификации” - это информация, определенная для Машины, содержащаяся в документе, озаглавленном “Официальные Опубликованные Спецификации”, который можно получить по запросу."nimus писал(а):машина должна не просто работать, а соответствовать спецификации
Какому именно из пунктов спецификации не соответствует имеющаяся у Вас техника?
Несомненно! Ответьте (для себя) на вопрос: оборудование не работает или оно работает, но не так как Вы ожидали?nimus писал(а):к поставщику также должны быть претензии, если он поставил неработающее оборудование, или оборудование не соответствующее спецификации
Теперь к терминам. "Спецификация" в терминах гарантийных условий IBM это некоторые параметры (вес, размер, тип интерфейса и т.п.) компонента. "Спецификация" в терминах договора купли-продажи, который Вы скорее всего заключали со своим поставщиком, это список наименований и моделей компонентов, входящих в состав поставляемого оборудования. Несмотря на схожесть, это немного разные вещи.
Простой пример: в рамках договора с поставщиком поставленный Вам контроллер p/n 43W3584 с отсутствующей внутри кэш памятью (ну представим, что на заводе IBM кто-то ошибся) спецификации соответствует (да, конечно, при этом является товаром ненадлежащего качества, но спецификации в договоре все-таки соответствует), но несомненно является несоответствующим спецификации в терминах гарантийных условий IBM. Поэтому Вы вправе обратиться к поставщику или в IBM за заменой.
У Вас сейчас претензия к спецификации к договору с поставщиком или к спецификации IBM?
Кто подбирал для Вас конфигурацию блейда? На каких условиях? Кто разрабатывал проект?
Если подозрения на сборку/подбор компонентов не пропадут
Кто подбирал компоненты, кто собирал шасси? На каких условиях?
Повторяю вопрос из прошлого поста: какой расширенный сервис был закуплен вместе с серверами?
Что касается второй проблемы (непосредственно производительности), то здесь все сложнее. Конечно указанные данные (если смотреть "грубо") скорее свидетельствуют о наличии проблеем, нежели об их отсутствии. Но удаленно поставить диагноз сложно, да и город "Дн-дз" наверное далеко от Москвы (я так и не слышал о таком).
Какие карты установлены в HS22 для подключения к дискам? Какие коммутаторы еще стоят в шасси?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Для логической связности отвечу на вопросы в обратном порядке:
Раз уж с этим термином есть непонятки, буду писать "заявленные характеристики". Так вот, заявленные характеристики:
- 4 шины по 3 Гб от каждой корзины на каждый САС контроллер (у нас корзина одна, т.е. 12 Гбит от неё на первый САС контроллер и 12 на второй);
- от каждого САС контроллера до каждого лезвия по 3 Гбита;
- 4 Гбита между контроллерами;
- чип в каждом контроллере LSI 1064E обрабатывает до 4 ГБайт в секунду;
- 6 HDD со средней линейной скоростью чтения и записи около 170Мб/сек;
- если контроллера два, то пулы распределяются между контроллерами, т.е. максимум от RAID подсистемы до лезвий можно выжать до 6 Гбит, но на один пул не более 3 Гбит;
- дополнительная управляющая шина САС контроллеров по Гбит.
Вот тут как раз один из главных вопросов, ради которого была открыта тема: может мы что-то упустили в заявленных характеристиках оборудования? Может и не должно оно работать быстро?
Судя по характеристикам, ожидаемая скорость получения данных от массива на 5-6 HDD такого типа в данной конфигурации = до 380 МБайт в секунду на один пул, до 760 в общем, если нарастить кол-во корзин и параллельно использовать два пула, скорость устройств в которых выше этого предела. Ограничение (узкое место) - это шина контроллер-лезвие.
Данные характеристики (в моем понимании - спецификация характеристик) учитывались при принятии решения о том, подходит ли оборудование.
Также в шасси стоит сетевой свитч на 6 портов и Server Conn Mod.
)) Подправил в профиле на ДНепроДЗержинск. От Москвы действительно далековато, этак около 1000 км.город "Дн-дз" наверное далеко от Москвы (я так и не слышал о таком)
У меня не было целью вынести на обсуждение название организации, уровень услуг которой я счел недостаточным, поэтому я специально старался не писать этой информации. Машина была поставлена (собрана) компанией "ДнепрТехноЦентр", г.Днепропетровск. Компоненты подбирались представителями этой же компании. С нашей стороны были выставлены требования к производительности и архитектуре. Т.к. узким местом старого сервера является дисковая подсистема, то акцент был сделан на производительной корзине. "Производительной", конечно, относительно. Не на 120 дисков, но обязательно не SATA, со скоростью вращения шпинделя 15000, с хорошими показателями позиционирования и трансфера на линейных операциях. Подобранная конфигурация была предоставлена нам, по "спецификациям" на отдельные её части мы проверили, что теоретическая производительность должна быть достаточной. Вот отсюда и понимание термина спецификация.Кто подбирал компоненты?
Раз уж с этим термином есть непонятки, буду писать "заявленные характеристики". Так вот, заявленные характеристики:
- 4 шины по 3 Гб от каждой корзины на каждый САС контроллер (у нас корзина одна, т.е. 12 Гбит от неё на первый САС контроллер и 12 на второй);
- от каждого САС контроллера до каждого лезвия по 3 Гбита;
- 4 Гбита между контроллерами;
- чип в каждом контроллере LSI 1064E обрабатывает до 4 ГБайт в секунду;
- 6 HDD со средней линейной скоростью чтения и записи около 170Мб/сек;
- если контроллера два, то пулы распределяются между контроллерами, т.е. максимум от RAID подсистемы до лезвий можно выжать до 6 Гбит, но на один пул не более 3 Гбит;
- дополнительная управляющая шина САС контроллеров по Гбит.
Вот тут как раз один из главных вопросов, ради которого была открыта тема: может мы что-то упустили в заявленных характеристиках оборудования? Может и не должно оно работать быстро?
Судя по характеристикам, ожидаемая скорость получения данных от массива на 5-6 HDD такого типа в данной конфигурации = до 380 МБайт в секунду на один пул, до 760 в общем, если нарастить кол-во корзин и параллельно использовать два пула, скорость устройств в которых выше этого предела. Ограничение (узкое место) - это шина контроллер-лезвие.
Данные характеристики (в моем понимании - спецификация характеристик) учитывались при принятии решения о том, подходит ли оборудование.
Подозреваю, что поставщик. Схему сборки машин ИБМ я не знаю, может с завода приходит всё по деталям, а может в сборе.Кто собирал шасси?
По договору поставки, согласно которому поставщик привозит машину, а также "гарантирует её бесперебойную работу в течение гарантийного периода" (в качестве уточнения смягчение до замены в течении часа неработающей компоненты или машины).На каких условиях?
Я не могу сказать, какой из расширенных сервисов в рамках Вашей терминологии был закуплен. Машина куплена по решению Тендерного Коммитета крупной финансовой группы, условия поставки и обслуживания для участия в торгах тут выставляются заказчиком, а не берутся по одной из типовых форм расширенного сервиса. Так, например, я не знаю, замена в течении часа есть частью какого из сервисов.Повторяю вопрос из прошлого поста: какой расширенный сервис был закуплен вместе с серверами?
Лезвия стоят HS22V, т.е. те, у которых больше слотов памяти, но нет места под внутренние HDD 2.5". В них установлен "Адаптер SAS Connectivity Card (CIOv) for IBM BladeCenter".Какие карты установлены в HS22 для подключения к дискам? Какие коммутаторы еще стоят в шасси?
Также в шасси стоит сетевой свитч на 6 портов и Server Conn Mod.
Попробую скриншотом показать иллюстрацию, по которой видно, что проблема в виде явного органичения шины/контроллера имеет место. В данном случае работает одно лезвие, кроме тестового приложения никто не обращается к корзине. Тест линейной записи на пул из 5 винтов в RAID 0. По характеристикам оборудования должны упереться в 3 Гбита, т.е. немного меньше 380 МБайт/секунду. Пул один, обслуживает его в единицу времени только один из контроллеров, поэтому предел именно такой, а не выше в 2 раза. По факту имеем около 90 МБ/сек.Что касается второй проблемы (непосредственно производительности), то здесь все сложнее. Конечно указанные данные (если смотреть "грубо") скорее свидетельствуют о наличии проблеем, нежели об их отсутствии.
Однозначно второе, о чем сразу написал. Точнее сказать: оборудование работает не так, как ожидаЮ и сейчас, т.к. не вижу причин для такой прозводительности.Ответьте (для себя) на вопрос: оборудование не работает или оно работает, но не так как Вы ожидали?
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Вау, никогда в HDTUNE не видел такой картинки..
-
- Advanced member
- Сообщения: 507
- Зарегистрирован: 17 апр 2009, 00:49
- Откуда: Yerevan
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Такое ощущение, что какая-то настройка (по режиму работы какого-то интерфейса) неверно установлена.
P.S. Насчет скорости в линейных и случайных операциях. Прямой пропорциональности нет.
Нельзя даже сказать, что устройство, в среднем более быстрое в линейных операциях, будет быстрее и в случайных. Это, в общем случае неверно. Причем неверно очень нередко.
P.S. Насчет скорости в линейных и случайных операциях. Прямой пропорциональности нет.
Нельзя даже сказать, что устройство, в среднем более быстрое в линейных операциях, будет быстрее и в случайных. Это, в общем случае неверно. Причем неверно очень нередко.
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
И я в этом же направлении думаю. Проблема в том, что в настройках шасси режимы работы шин и контроллеров не фигурируют, в настройках контроллеров тоже.Black-Dragon писал(а):Такое ощущение, что какая-то настройка (по режиму работы какого-то интерфейса) неверно установлена.
Со всем сказанным согласен полностью. В данном случае пропорция чуть менее выраженная, чем на десктопе, но есть. Т.е. под параллельной нагрузкой производительность падает значительно, но чуть меньше чем на отдельных винтах. Не в разы, как хотелось бы (Black-Dragon писал(а):P.S. Насчет скорости в линейных и случайных операциях. Прямой пропорциональности нет.
Нельзя даже сказать, что устройство, в среднем более быстрое в линейных операциях, будет быстрее и в случайных. Это, в общем случае неверно. Причем неверно очень нередко.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Название абсолютно не требуется: достаточно озвучить одно из: "мы", "поставщик", "ibm", "некая компания, которая проиграла тендер поставщику".nimus писал(а):У меня не было целью вынести на обсуждение название организации
Откуда Вы их в таком виде взяли, если не секрет?nimus писал(а):Так вот, заявленные характеристики:
Ну только если в именном контракте. Подозреваю что сюрпризы Вас еще ждут.nimus писал(а):. Так, например, я не знаю, замена в течении часа есть частью какого из сервисов.
При всем уважении, картина из HDTUNE не может никоим образом характеризовать ограничения шины или контроллера.nimus писал(а):проблема в виде явного органичения шины/контроллера имеет место
Предлагаю указать настройки иометра, на которых были получены такие результаты:
DB pattern: чтение/запись в случайном порядке (60% чтение / 40% запись), размер блока 4Кбайт - 110-120 IOPS; 0.4-0.5 МБ/сек.
В частности, outstanding ios.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Низкая произв-ноcть дисковой подсистемы на IBM BladeCenter S
Надеюсь вы не подумали, что производительность рейд контроллера на линейных операция равна суммарной пропускной способности всех шин от него к дискам? А то если вдруг подумали, то это вы зряnimus писал(а): Раз уж с этим термином есть непонятки, буду писать "заявленные характеристики". Так вот, заявленные характеристики:
- 4 шины по 3 Гб от каждой корзины на каждый САС контроллер (у нас корзина одна, т.е. 12 Гбит от неё на первый САС контроллер и 12 на второй);
- от каждого САС контроллера до каждого лезвия по 3 Гбита;
- 4 Гбита между контроллерами;
- чип в каждом контроллере LSI 1064E обрабатывает до 4 ГБайт в секунду;
- 6 HDD со средней линейной скоростью чтения и записи около 170Мб/сек;
- если контроллера два, то пулы распределяются между контроллерами, т.е. максимум от RAID подсистемы до лезвий можно выжать до 6 Гбит, но на один пул не более 3 Гбит;
- дополнительная управляющая шина САС контроллеров по Гбит.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей