быстродействие X5412

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

быстродействие X5412

Сообщение Саша235 » 10 мар 2009, 17:51

Помогите пожалуйста с быстродействием массива F5412. На нем живет 1С и MSSQL2000. Две полки, разбиты на два раздела - 10 и 12 дисков. Рейд10. При проведении документов очереди на запись вырастают до 300 (примерно параллельно по обоим разделам). Сервер ваш, массив ваш гарантийки 17332 и 17333. Вариации с отключением зеркалирования и сниманием галочки Synchronize Cache Writes to Disk заметных результатов не дали. Размер кэша на запись на обоих разделах по 256Мб. Влияние кэша на запись и его изменение результатов не дают. По моему пониманию пока кэш записи не заполнен для компьютера запись будет происходить заметно бытрее, чем при занятом кэше записи. На графике такого не видно. После периода бездействия дисковой системы как только пошла запись скорость сразу ограничена дисками и очереди вырастают сразу при появлении нагрузки на запись. Данные перфоманса - тут

Аватара пользователя
VladimirR
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 160
Зарегистрирован: 26 мар 2007, 18:22
Откуда: St.-Petersburg
Контактная информация:

Re: быстродействие X5412

Сообщение VladimirR » 12 мар 2009, 09:15

Можно немного повысить призводительность, создав один Raid10 и нарезав на нём LUN, но я не понимаю как 2 сервера могут выстроить такие охрененные очереди.
Я правильно понимаю, что у Вас к Xyratex подключены 2 сервера?
Надо либо более мощную дисковую, либо пытаться понять что может грузить дисковую. Может в SQL кэш увеличить???
Посмотрите процент попадания в кэш sql (sql cache ratio)

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 12 мар 2009, 14:56

два раздела сделано из-за ограничения "не более 16 дисков" в разделе. Может раздел не совсем правильно сказано - по английски array. Поэтому существующие 24 диска и побиты 10,12 и 2 "запасных". Про два сервера я не упоминал. Он один, массив работает на один сервер и на одну базу 1С.

hitower
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 357
Зарегистрирован: 23 дек 2007, 15:35
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение hitower » 12 мар 2009, 15:39

multipath как настроен?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение exLH » 12 мар 2009, 16:18

Саша235
Если это я Вашу конфигурацию видел, то можно вот что попробовать сделать (потребуется предварительно выключить систему):
диски из второй колонки обеих шасси поменять местами с дисками из третьей колонки.
И проверьте на хосте, что на LD0 активный путь установлен через контроллер 0 (C0P0), а LD1 - через контроллер 1 (C1P1).

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 12 мар 2009, 17:13

hitower писал(а):multipath как настроен?
надеюсь по хорошему
Вложения
multipath.PNG

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение gs » 12 мар 2009, 17:23

А эта картинка снята под боевой нагрузкой?
А то иопсы вполне приличные.

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 12 мар 2009, 17:43

Да, сервер сейчас в нормальной работе. Это чтение. Массив более менее на чтение работает, потому как чтение в основном 64K. Как я понял эта зараза (массив) не умеет давать много иопсов. В приложенных картинках видны какие размеры в основном используются. Две картинки для двух LD различаются из-за того что на одной букве логи скуля (данные на обоих - такое распределение оказалось наиболее быстрым. стандартная схема 16 дисков под данные, остаток под логи давала на запись еще меньше). И тормоза на запись потому, что запись идет по 8К (это видно в перфоманс логе по моей ссылке). Вопрос - в разделе aligment видны какие-нибудь нехорошие значения?
Вложения
size2.PNG
size1.PNG

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение gs » 12 мар 2009, 17:55

Посмотрите вот тут мои старые тесты хератекса:
http://3nity.ru/viewtopic.php?f=24&t=9046

Честно говоря, 3+тыс иопс - это весьма некисло для такого конфига.
Мне все больше кажется, что у Вас нагрузка тупо запредельная для этого аппарата.

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 12 мар 2009, 19:37

gs писал(а):Посмотрите вот тут мои старые тесты хератекса:
http://3nity.ru/viewtopic.php?f=24&t=9046

Честно говоря, 3+тыс иопс - это весьма некисло для такого конфига.
Мне все больше кажется, что у Вас нагрузка тупо запредельная для этого аппарата.
3+тыс это чтение (может не рандомное). В моих счетчиках видно, что в момент больших очередей на запись 22 диска выдают макс 1600. Это заметно меньше чем 3000+

Ваши эксели я смотрел.
У Вас приведены следующие данные:
для 2xRAID10 12HDD 73GB 15k Stripe 256k
В тесте 2k W 8k W 64k W
Массив выдает 2532 пропуск 1817

Диски у меня 146 если это имеет значение.

У меня запись по 8К. По этому блоку у Вас теста не было. Если по простому усреднять, то я должен получить не меньше 2000. Тут, как мне объяснили, в плохую сторону вмешивается зеркалирование кэшей контролеров, которое включено (ведь продакшен :-) ). Но вопрос (может дилетантский): почему не видно действия кэша на запись? Я настроил на каждом контролере кэш 256Мб. ДО упирания в запись (по моим счетчикам) никакой дисковой активности не было. МОжно предположить что к моменту начала записи кэш (на запись) пустой. Поэтому первые данные кэш должен взять на себя и ответить компу что запись прошла и сообщить о готовности принять еще. Такого не видно! Судя по счетчикам комп захотел записать на диски 200Мбайт примерно по 100Мбайт на каждую букву. На это ушло 15 секунд. Наличия и влияние кэша на запись не видно. В моих рассуждениях видна какая-либо ошибка?

И еще вопрос в догонку. Подскажите пожалуйста сколько на этом тесте "2k W 8k W 64k W" выдает adaptec 5805 в 836 корпусе с 16 или 14 дисками сас? Я надеюсь Ваша организация делала подобные тесты. У меня есть примерно такой комп от Вас, но он продакшен и тестов не сделать. Посмотрите пожалуйста.

hitower
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 357
Зарегистрирован: 23 дек 2007, 15:35
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение hitower » 13 мар 2009, 10:32

Кстати, по чему кэш по 256 а не по 512 (Max) MB?

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 13 мар 2009, 11:25

hitower писал(а):Кстати, по чему кэш по 256 а не по 512 (Max) MB?
А я не знал сколько это максимум. В программе управления не указано, что max это 512. Подумал может это будет в ущерб чему-то и стоит указывать только в определенных случаях (чтения нет, только запись,например видео). А разве переход с 256 на 512 может что-то дать? Влияния-то 256 не видно...

hitower
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 357
Зарегистрирован: 23 дек 2007, 15:35
Откуда: Москва
Контактная информация:

Re: быстродействие X5412

Сообщение hitower » 13 мар 2009, 14:20

Опытным путем надо пробовать, возможно даст (особенно по записи) - увеличатся шансы кластеризовать команды например

Саша235
Advanced member
Сообщения: 101
Зарегистрирован: 20 мар 2007, 12:22
Откуда: СПб

Re: быстродействие X5412

Сообщение Саша235 » 16 мар 2009, 20:08

По поводу работы кэша на запись - тут и тут цифры прошлого сервера. Абсолютные значения в разы меньше. Но хорошо видно действие write back настройки. А в новом массиве такого всплеска скорости в начале записи нет. Как это объяснить?

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 20 гостей