Производительность raid контроллера.

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
InventoR
Junior member
Сообщения: 17
Зарегистрирован: 26 янв 2010, 23:23
Откуда: Москва

Производительность raid контроллера.

Сообщение InventoR » 01 май 2016, 10:11

Возникли сомнения о правильности создания массива, с течением времени массив значительно деградировал.
Контроллер lsi 92** точно не помню, но это особо и не важно мне кажется.
Дисков 8шт, raid10, размер блока был указан как 256кб, без readahead, но с кэшем на ssd.

Сторедж используется как хранилка виртуальных машин клиентов, на сервера отдается по iscsi, клиентские системы натянуты как lvm раздел.
Дальше используются теже Linux разных видов, внутри Linux для ext4 размер блока по умолчанию 4кб.
В итоге что вижу, сумашедшее не совпадение размера блока между внутреней фс сервера и размером блока дисковой подсистемы хранилища, от сюда делаю вывод что идет достаточно серьезная лишняя нагрузка на диски потому что каждый чих диск переваривает гораздо сложней из-за несовпадения размеров секторов.

С другой стороны, уменьшение размера блока самого массива не совсем понятно к какому может привести результату, времена может даже плачевному...

Может кто-то подскажет что-то интересное по этой теме?


Почему это все написал?
Столкнулся с деградацией производительности под zfslinux, без использования контроллера, таже самая история, чтение с дисков всего пару мегабайт, но при этом диски стояли в полке по iops и не давали достаточно производительности для дальнейшей работы.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Производительность raid контроллера.

Сообщение Stranger03 » 04 май 2016, 12:47

InventoR писал(а):С другой стороны, уменьшение размера блока самого массива не совсем понятно к какому может привести результату, времена может даже плачевному...
Зависимость пропорциональная:
- чем бОльше размер блока, тем бОльше МБ на чтение получаем, но тем меньше ИОПС-ов
- и наоборот
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Производительность raid контроллера.

Сообщение gs » 11 май 2016, 12:53

С чего Вы решили, что контроллер читает с диска строго страйпами? Если запрос 4к, он ровно столько и прочитает (если рид эхэда нет конечно).

Аватара пользователя
Umlyaut
Advanced member
Сообщения: 370
Зарегистрирован: 09 июл 2010, 11:23
Откуда: Москва

Re: Производительность raid контроллера.

Сообщение Umlyaut » 11 май 2016, 13:42

InventoR писал(а):Возникли сомнения о правильности создания массива, с течением времени массив значительно деградировал.
Хм-ммм. Занятно Вы выразились - "деградировал". Можно понимать по-разному.

- не "массив деградировал", а "увеличилась нагрузка и он стал оттормаживаться";
- носители (HDD) постепенно наращивают к-во bad blocks, ещё не выкидываясь в bad status, но уже увеличивая к-во повторных чтений;

Я в таких случаях вывожу сервер на профилактику и чекаю каждый диск MHDD/Викторией - как правило, отлавливаются "пограничные" харды каждый раз.

InventoR писал(а): Сторедж используется как хранилка виртуальных машин клиентов, на сервера отдается по iscsi, клиентские системы натянуты как lvm раздел.
Дальше используются теже Linux разных видов, внутри Linux для ext4 размер блока по умолчанию 4кб.
В итоге что вижу, сумашедшее не совпадение размера блока между внутреней фс сервера и размером блока дисковой подсистемы хранилища, от сюда делаю вывод что идет достаточно серьезная лишняя нагрузка на диски потому что каждый чих диск переваривает гораздо сложней из-за несовпадения размеров секторов.


С другой стороны, уменьшение размера блока самого массива не совсем понятно к какому может привести результату, времена может даже плачевному...

Я бы на Вашем месте больше беспокоился за storage alignment - его нарушение способно кратно увеличивать нагрузку по I/O буквально "на ровном месте".

Что же до остального (размеры блоков на разных уровнях)...

Если предположить, что у Вас Сфера (могли бы и не жадничать на подробности :) ), то "выше" рейд-контроллера, на LUN`ах хранилки, всё начинается с VMFS, отдаваемой по iscsi (LVM в данном случае может "вредить" лишь alignment`у, к размеру блоков - в отсутствие ФС хранилки на LUN`e - он никаким боком).

Позволю себе напомнить, что "чанками" нижнего софтового уровня тут работают блоки VMFS, размером 1MB (в предположении, что у Вас v5, а не древняя v3.33), причём с субблоками по 8KB.
Внутри лежащего на VMFS файла vmdk своя ФС (гостевой ОС) - например, NTFS с размером кластера 4KB.
Ну и учитывайте, что Сфера при использовании блочного протокола iscsi оперирует (на уровне iscsi vkernel) блоками по 64KB, которые в свою очередь инкапсулируются в протоколы L4 (TCP), L3 (IP) и L2 (Eth) - причём определяющим тут может являться наличие (JF off) или отсутствие (JF on) добавочной фрагментации пакетов между уровнями.

Вы всё ещё хотите лезть в это всё с целью "покрутить гайки"? :)

Лично мой опыт говорит, что в отсутствие явных продолбов (скажем, неразумный сайзинг и/или ошибки топологии) менять дефолтные настройки может статься себе дороже. Если же "железка" (вкупе с остальным, ес-сно) откровенно "не тянет", то тюнинг жизнь не облегчает, а лишь вносит неразбериху и сумятицу в нестойкие умы. :)

Как-то так.

InventoR
Junior member
Сообщения: 17
Зарегистрирован: 26 янв 2010, 23:23
Откуда: Москва

Re: Производительность raid контроллера.

Сообщение InventoR » 12 май 2016, 11:31

Да, спасибо, хороший ответ, вы правы, я не стал указывать нюансы.
У меня все просто, в качестве коробок стоят supermicro, в них накатаны open-e, по iscsi отдается на ноды, на нодах уже clvmd, там виртуальные машины которые размещаются внутри lvm томов.

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей