EVA P6000 вопрос по производительности

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
STB02
member
Сообщения: 27
Зарегистрирован: 05 июн 2014, 08:29
Откуда: Ufa

EVA P6000 вопрос по производительности

Сообщение STB02 » 09 июн 2014, 14:49

Приветствую Всех!

СХД EVA P6000 2 полки по 50 дисков в каждой, 300GB 15k rpm.
1 дисковая группа разделена на несколько виртуальных дисков.
На СХД работает система виртуализации VMWare - сервера баз данных и приложений.
Пространство системы использовано полностью - 99%

Вопрос следующего характера, значение Write latency при большой нагрузке может достигать 500мс или 1000мс.
Например - запускал тест IOmeter в конфигурации БД:
Outstanding I/O - 256
Access - random 100%
Read/Write Destribution - 33% write, 67% read
Transfer request size - 8kb
Тестовый диск 50Гб, тест длится 10 минут.

В ходе 1го запуска Write Latency идет от 800мс и снижается до 40мс.
При повторном запуске задержка не превышает 10-15мс, похоже, система кэширует запросы.
Также если сервер БД выполняет тяжелые запросы 1с - Write Latency может быть от 500мс и выше.

Вопрос - это особенность работы системы или где-то есть ошибка в конфигурации?
Годиться ли Р6000 для "большой" нагрузи или это изначально СХД начального уровня и ждать от нее чудес не стоит.
Понимаю, что необходимо спрашивать НР, но хотелось бы получить общую информацию по системе.

Заранее спасибо за ответы.

На скриншоте - 2 пика есть результат 2 запусков IOmeter на раздных vdisk, желтым отмечен результат повторного запуска, видно, что система кэширует запросы.
При первом запуске IOmeter дывает 1300 IOps, 2й запуск 5000 IOps
Вложения
2 теста IOMeter на разных разделах
2 теста IOMeter на разных разделах

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: EVA P6000 вопрос по производительности

Сообщение gs » 09 июн 2014, 15:05

Задержка в секунду на боевой задаче - это конечно жесть.
Только вот иометр-то тут причем? Разумеется, он создает запредельную нагрузку - Вы же сами очередь в 256 единиц поставили. Ну а насчет кэша - если размер его тестового файла невелик, то и закэшироваться может.

STB02
member
Сообщения: 27
Зарегистрирован: 05 июн 2014, 08:29
Откуда: Ufa

Re: EVA P6000 вопрос по производительности

Сообщение STB02 » 09 июн 2014, 15:12

gs писал(а):Задержка в секунду на боевой задаче - это конечно жесть.
Только вот иометр-то тут причем? Разумеется, он создает запредельную нагрузку - Вы же сами очередь в 256 единиц поставили. Ну а насчет кэша - если размер его тестового файла невелик, то и закэшироваться может.
Вот это и смущает, для сравнения на DL380 с массивом Raid50 из 20 дисков SAS 2.5 600Gb запускал тотже тест, система вполне справлялась с нагрузкой:
задержка на чтение 22мс, на запись - 10 мс порядка 3300 IOps

Но если на EVA запустить тест iometr повторно - результаты отличные, 10мс задержка и порядка 5000 IOps.
Вложения
dl380_raid50.JPG

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: EVA P6000 вопрос по производительности

Сообщение Stranger03 » 10 июн 2014, 08:10

gs писал(а):Задержка в секунду на боевой задаче - это конечно жесть.
Возможно лун по контроллерам скачет, надо проверить владельца.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

STB02
member
Сообщения: 27
Зарегистрирован: 05 июн 2014, 08:29
Откуда: Ufa

Re: EVA P6000 вопрос по производительности

Сообщение STB02 » 24 июн 2014, 06:14

Обновили firmware на контроллере СХД, дисках, SAN коммутаторе, блейд-шасси - не помогло.

Продолжаю поиск причины, похоже проблема с записью не редкость.
http://h30499.www3.hp.com/t5/Disk-Array ... 6gK9meKDDA

STB02
member
Сообщения: 27
Зарегистрирован: 05 июн 2014, 08:29
Откуда: Ufa

Re: EVA P6000 вопрос по производительности

Сообщение STB02 » 14 авг 2014, 11:49

Продолжение:

Для тестов взял 1 VirtualDisk назначенный только 1 виртуальной машине

Используя command view получил данные по загрузке процессора контроллера, при копировании файла 4Гб с диска на диск.
Команда: evaperf cs
Штатная нагрузка, без копирования, загрузка CPU - 20-40%
Копирую файл 4Гб с диска-на-диск, загрузка CPU - 90-99%.
CPU Data Ctlr
% %
--- ---- ----
98 96 D09G

В чем может быть причин такой высокой загрузки контроллера?

P.S. рекомендую статью к прочтению, весьма подробный разбор command view
http://dynamic-datacenter.be/?p=193

STB02
member
Сообщения: 27
Зарегистрирован: 05 июн 2014, 08:29
Откуда: Ufa

Re: EVA P6000 вопрос по производительности

Сообщение STB02 » 16 сен 2014, 09:10

Приветствую всех!

Результат работы над ошибками во вложении :)
Заработала однако, что делали:
* обновили все прошивки (схд, san switch, блейд сервера и контроллеры)
* включлили multipath в vmware
* сделали балансировку LUN по контроллерам, часть на А, другая на В
* Изменили значение DiskMaxIOSize - сперва по гайду поставили 128кб, но начались проблемы с бэкапами - схд тормозила сильно, поставили 16мб - вроде стало нормально.

Реальная скорость при копировании robocopy, с диска на диск файл 13гб, - 250мб/сек.
С кэшированием доходит до 1Гб/сек, при копировании в Win Server 2012R2 :)
Write Latency не превышает 100мс.

Рекомендую всем к прочтению руководство - HP Enterprise Virtual Array Storage and VMware vSphere 4.x and 5.x configuration best practices

Update - рекомендую контролировать загрузку процессора, если более 80% - есть повод задуматься о ее причине.
Вложения
eva.JPG

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: EVA P6000 вопрос по производительности

Сообщение Stranger03 » 23 сен 2014, 09:29

STB02 писал(а):* Изменили значение DiskMaxIOSize - сперва по гайду поставили 128кб, но начались проблемы с бэкапами - схд тормозила сильно, поставили 16мб - вроде стало нормально.
Это лишь означает, что вы увеличили производительность линейного чтения и записи, но тем самым сильно уменьшили производительность при множественных операциях чтения/записи мелкими блоками (например база данных).
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость