Adaptec6805Q. Провал производительности
Модераторы: Trinity admin`s, Free-lance moderator`s
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Adaptec6805Q. Провал производительности
Уважаемые товарищи!
Имеется сервер, если не ошибаюсь, приобретался в Тринити, на базе
Supermicro X9DR3-F (3 PCI-E x8, 3 PCI-E x16, 16 DDR3 DIMM, Video, Dual Gigabit LAN)
ЦП: 2x HexaCore Intel Xeon E5-2640, 2484 MHz (25 x 99)
ОЗУ: 65504 МБ (DDR3 SDRAM)
ОС: Win Srv 2012
PCI контроллер Adaptec 6805Q firmware 5.2-0 (19109).
На котором была примерно следующая конфигурация:
Raid 10 из 4 SAS Hitachi HUS156060VLS600 под ОС и остальное
Raid 1 из 2 SSD Intel SSDSA2BZ300G3 под БД
В какой-то момент захотелось большего (да и база на SSD упала, но это совсем другая история), из резерва взяты 2 SAS Hitachi HUS156060VLS600.
В итоге конфигурация получилась такая:
Raid 10 из 6 SAS Hitachi HUS156060VLS600 разбитый на 2 раздела под ОС и БД.
Переконфигурацию осуществлял при помощи утилиты Adaptec Storage Manager под Windows.
Т.е. сперва к Raid 10 из 4 SAS присоединил еще 2 винта, таким образом получился Raid 10 из 6 SAS.
Затем средствами Windows уменьшил основной раздел (он же раздел ОС) и на освободившемся пространстве создал еще один раздел (он же раздел БД).
Для Бэкапов был приобретен внешний usb-винт.
Настройка контроллера: Настройка массива: На каждом этапе проводил тесты утилитой CrystalDiskMark.
Raid 10 4 SAS stripe 32k (первоначальное состояние) Raid 10 6 SAS stripe 256k (встал по дефолту, сначала не обратил внимания) Raid 10 6 SAS stripe 32k (из разных соображений было сделано так) Заметив провал в производительности было решено поменять Stripe обратно с 32k на 256k.
И вот тут то ждал сюрприз, первоначальных результатов не получил (650/444 read/write).
Почему - не понятно ..
Raid 10 6 SAS stripe 256k (поменял обратно, эффект разочаровал) Из мыслей:
- в одном из топиков видел рекомендацию прогнать Verify with fix
- на сайте производителя есть более свежая прошивка для контроллера
- сделать образ ОС, удалить массив и сконфигурировать заново
Все эти процедуры не быстрые*, поэтому хочется услышать Ваше мнение, так сказать профессиональный взгляд на ситуацию.
*переконфигурация рейда длится 32 часа, сервер "боевой", поэтому выполнять процедура удается только в выходные.
Для полноты картины:
- размер таблиц БД 8192 байт
- размер кластера по умолчанию
Имеется сервер, если не ошибаюсь, приобретался в Тринити, на базе
Supermicro X9DR3-F (3 PCI-E x8, 3 PCI-E x16, 16 DDR3 DIMM, Video, Dual Gigabit LAN)
ЦП: 2x HexaCore Intel Xeon E5-2640, 2484 MHz (25 x 99)
ОЗУ: 65504 МБ (DDR3 SDRAM)
ОС: Win Srv 2012
PCI контроллер Adaptec 6805Q firmware 5.2-0 (19109).
На котором была примерно следующая конфигурация:
Raid 10 из 4 SAS Hitachi HUS156060VLS600 под ОС и остальное
Raid 1 из 2 SSD Intel SSDSA2BZ300G3 под БД
В какой-то момент захотелось большего (да и база на SSD упала, но это совсем другая история), из резерва взяты 2 SAS Hitachi HUS156060VLS600.
В итоге конфигурация получилась такая:
Raid 10 из 6 SAS Hitachi HUS156060VLS600 разбитый на 2 раздела под ОС и БД.
Переконфигурацию осуществлял при помощи утилиты Adaptec Storage Manager под Windows.
Т.е. сперва к Raid 10 из 4 SAS присоединил еще 2 винта, таким образом получился Raid 10 из 6 SAS.
Затем средствами Windows уменьшил основной раздел (он же раздел ОС) и на освободившемся пространстве создал еще один раздел (он же раздел БД).
Для Бэкапов был приобретен внешний usb-винт.
Настройка контроллера: Настройка массива: На каждом этапе проводил тесты утилитой CrystalDiskMark.
Raid 10 4 SAS stripe 32k (первоначальное состояние) Raid 10 6 SAS stripe 256k (встал по дефолту, сначала не обратил внимания) Raid 10 6 SAS stripe 32k (из разных соображений было сделано так) Заметив провал в производительности было решено поменять Stripe обратно с 32k на 256k.
И вот тут то ждал сюрприз, первоначальных результатов не получил (650/444 read/write).
Почему - не понятно ..
Raid 10 6 SAS stripe 256k (поменял обратно, эффект разочаровал) Из мыслей:
- в одном из топиков видел рекомендацию прогнать Verify with fix
- на сайте производителя есть более свежая прошивка для контроллера
- сделать образ ОС, удалить массив и сконфигурировать заново
Все эти процедуры не быстрые*, поэтому хочется услышать Ваше мнение, так сказать профессиональный взгляд на ситуацию.
*переконфигурация рейда длится 32 часа, сервер "боевой", поэтому выполнять процедура удается только в выходные.
Для полноты картины:
- размер таблиц БД 8192 байт
- размер кластера по умолчанию
Последний раз редактировалось gygabites 09 ноя 2015, 06:07, всего редактировалось 1 раз.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
gygabites
Любая переконфигурация на лету сразу сказывается на производительности. Что касается результатов, то тесты ожидаемые. Смысл вот в чем:
- чем больше страйп сайз, тем бОльше МБ на линейное чтение и запись, но меньше иопсов
- чем меньше страйп сайз, тем мЕньше МБ на линейное чтение и запись, но больше иопсов
В вашей ситуации размер блока базы 8Кб, от него и надо бы исходить. Но искать золотую середину. То, что не получили свои 600МБ, видимо связано с фоновыми задачами, о чем сказано чуть выше.
Любая переконфигурация на лету сразу сказывается на производительности. Что касается результатов, то тесты ожидаемые. Смысл вот в чем:
- чем больше страйп сайз, тем бОльше МБ на линейное чтение и запись, но меньше иопсов
- чем меньше страйп сайз, тем мЕньше МБ на линейное чтение и запись, но больше иопсов
В вашей ситуации размер блока базы 8Кб, от него и надо бы исходить. Но искать золотую середину. То, что не получили свои 600МБ, видимо связано с фоновыми задачами, о чем сказано чуть выше.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
Stranger03
Спасибо за ответ!
1.
Тесты делал с остановленной БД, только работающая ОС (ни каких доп. ролей не выполняет)
2.
3.
В моем случае Verify with fix нужно выполнять или это http://blog.trinitygroup.ru/2010/04/quickinit.html не имеет ни какого отношения ?
Спасибо за ответ!
1.
Немного не понял, о каких фоновых задачах Вы пишите?видимо связано с фоновыми задачами
Тесты делал с остановленной БД, только работающая ОС (ни каких доп. ролей не выполняет)
2.
Не могли бы Вы по рекомендовать или соответствующую ссылку дать, где почитать.В вашей ситуации размер блока базы 8Кб, от него и надо бы исходить.
3.
В моем случае Verify with fix нужно выполнять или это http://blog.trinitygroup.ru/2010/04/quickinit.html не имеет ни какого отношения ?
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
Перечитал ответ.
Если Вы в п.1 говорите о переконфигурации, то тесты я делал после успешного ее завершения.
Если Вы в п.1 говорите о переконфигурации, то тесты я делал после успешного ее завершения.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
Ну смотрите, вы берете, на лету меняете размер страйпа. Пока рейд-группа не перестроится, вся система будет тормозить. Я правда не знаю, сколько времени занимает перестроение страйпа, но мне кажется время на него точно должно уходить. Не секунды.gygabites писал(а):Немного не понял, о каких фоновых задачах Вы пишите?
Тесты делал с остановленной БД, только работающая ОС (ни каких доп. ролей не выполняет)
Надо искать по словам best practics по вашей базе. А самый правильный вариант - испытание на месте. Как правило делается так, берется база, программиста озадачиваем написанием нагрузочного теста, включаем перфмон и смотрим.Не могли бы Вы по рекомендовать или соответствующую ссылку дать, где почитать.
Сорри, не знаю, впрочем верификация не повредит. Квикинит как раз вреден, он приводит к большым тормозам.В моем случае Verify with fix нужно выполнять или это http://blog.trinitygroup.ru/2010/04/quickinit.html не имеет ни какого отношения ?
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
Ну мне ж сложно понять, что вы там делали, вот и спрашиваю, . Но вообще CrystalDiskMark - это для мальчиков, попугаи и только. Надо смотреть реальную нагрузку на реальной базе. И читать бестпрактикс.gygabites писал(а):Перечитал ответ.
Если Вы в п.1 говорите о переконфигурации, то тесты я делал после успешного ее завершения.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
В том и дело, тесты делал, когда перестроение прошло.
В первом посте написал, что перестроение идет 32 часа.
В первом посте написал, что перестроение идет 32 часа.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
Адаптек настоятельно рекомендовал использовать дефолтный страйп (256к): http://blog.trinitygroup.ru/2010/03/str ... -raid.html
Если массив создавали квикбилдом, то надо прогнать верификацию. А лучше было сразу делать нормальную инициализацию - в конечном итоге это было бы быстрее.
Батарейка-то есть?
И померяйте иометром - не очень понятно, что и как эта хрень меряет.
Если массив создавали квикбилдом, то надо прогнать верификацию. А лучше было сразу делать нормальную инициализацию - в конечном итоге это было бы быстрее.
Батарейка-то есть?
И померяйте иометром - не очень понятно, что и как эта хрень меряет.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec5805Q. Провал производительности
gs
Да, размер страйпа вернул на дефолтный 256к.
Опрос среди коллег в других регионах показал, что у подавляющего большинства стоит дефолтный 256к на контроллерах Adaptec 6805Q и 5805Z.
Рейд изменял путем переконфигурирования имеющегося (длительность процедуры 32 часа).
На всякий случай прогнал верификацию (заняла чуть больше часа).
Батарейка есть.
Приложите, пожалуйста, конфиг IOmeter'а.
Да, размер страйпа вернул на дефолтный 256к.
Опрос среди коллег в других регионах показал, что у подавляющего большинства стоит дефолтный 256к на контроллерах Adaptec 6805Q и 5805Z.
Рейд изменял путем переконфигурирования имеющегося (длительность процедуры 32 часа).
На всякий случай прогнал верификацию (заняла чуть больше часа).
Батарейка есть.
Приложите, пожалуйста, конфиг IOmeter'а.
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec6805Q. Провал производительности
Сделал по мануалу http://www.peeep.us/a4b15967
Если Вас интересуют другие настройки - напишите.
Результаты во вложении.
Если Вас интересуют другие настройки - напишите.
Результаты во вложении.
- Вложения
-
- results_brn_srv_db_2015-11-09(3).rar
- (25.88 КБ) 301 скачивание
-
- Junior member
- Сообщения: 10
- Зарегистрирован: 05 авг 2015, 13:46
- Откуда: Барнаул
- Контактная информация:
Re: Adaptec6805Q. Провал производительности
Выполнил аналогичный тест на Adaptec 5805Z.
По всем параметрам показатели лучше, т.е. проблем в конфигурации рейда - нет.
Тесты CristalDiskMark похоже действительно для мальчиков и показывают попугаев
Остается копать в сторону БД..
По всем параметрам показатели лучше, т.е. проблем в конфигурации рейда - нет.
Тесты CristalDiskMark похоже действительно для мальчиков и показывают попугаев
Остается копать в сторону БД..
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей