скорость чтения и скорость записи raid5

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

скорость чтения и скорость записи raid5

Сообщение azef » 25 фев 2016, 17:37

Всем привет.

Столкнулся вот с какой штукой:
Есть raid5 на 9260-4i из 4х sata(ent) дисков.
Поверх всего этого centos7.2.
Проверяю скорость чтения/записи массива time dd
На запись выдает скорость около 1ГБ, а вот чтение ~ 430-450МБ
Может я, конечно, чего-то не понимаю, но по моему это несколько странно что скорость чтения ниже скорости записи.

Подскажите.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: скорость чтения и скорость записи raid5

Сообщение Stranger03 » 26 фев 2016, 10:36

azef писал(а):На запись выдает скорость около 1ГБ, а вот чтение ~ 430-450МБ
Для 4-х дисков скорость более чем неплохая. На запись скорей всего вы пишите маленьким блоком и у вас включен кеш на контроллере. Потому частично данные лезут в кеш, а потом на диски.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

Re: скорость чтения и скорость записи raid5

Сообщение azef » 26 фев 2016, 10:51

bs=16k
Отдельно кэш на контроллере не включал.

Так что самое смешное, у меня есть СХД Dothill из 3х полок, там картина примерно такая же... скорость записи выше скорости чтения, причем значительно.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: скорость чтения и скорость записи raid5

Сообщение Stranger03 » 26 фев 2016, 12:28

azef писал(а):bs=16k
Ну правильно, а что вы хотели. Увеличьте размер блока до 1МБ, будет совсем другая картина.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

Re: скорость чтения и скорость записи raid5

Сообщение azef » 26 фев 2016, 13:44

Да, Вы правы - картина изменилась.
В таком случае подскажите, как корректно замерить фактическую скорость записи и чтения?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: скорость чтения и скорость записи raid5

Сообщение gs » 26 фев 2016, 14:20

Смотря какая цель замера. Если на цифры посмотреть, то подберите тест, чтобы побольше цифирки показывал :)
Если речь о прикладной задаче, то для начала надо узнать, как она с дисками работает. А потом сэмулировать нагрузку в иометре, например.
Вот только зачем это надо? Тем более что контроллер (по нынешним меркам) из серии "чтобы было".

azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

Re: скорость чтения и скорость записи raid5

Сообщение azef » 26 фев 2016, 14:26

Мне, в первую очередь, для себя нужно, что бы конкретно понимать что данное железо выдает.
Что бы понимать что от него можно ожидать.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: скорость чтения и скорость записи raid5

Сообщение Stranger03 » 26 фев 2016, 15:44

azef писал(а):Мне, в первую очередь, для себя нужно, что бы конкретно понимать что данное железо выдает.
Что бы понимать что от него можно ожидать.
Это как пинать коня в вакууме, то есть бессмысленная трата времени и сил. Для примера две кардинально разных задачи:
1. IPTV
2. База данных Оракл
Ну и так далее. Для первой нужна линейная запись и чтение, тут чем бОльше размер блока, тем выше скорость. Во втором случае скорость не имеет значения, важны иопсы и задержки, и маленький размер блока.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

Re: скорость чтения и скорость записи raid5

Сообщение azef » 26 фев 2016, 15:55

Конкретно сейчас я говорю про потенциальный ФС.
По тому и спарашиваю. Хотя это и так понятно, что мой случай сильно приближен к вашему примеру с iptv. Вот только сразу вопрос - вы говорите, что тут максимально важен размер блока... это на уровне контроллера или на уровне ОС или ещё где?

Подскажите, а где можно почитать что-либо покрывающее данную проблематику?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: скорость чтения и скорость записи raid5

Сообщение gs » 26 фев 2016, 18:29

Что за файлы/потоки будут гоняться? В каком количестве? Какой наружный интерфейс?

azef
Junior member
Сообщения: 9
Зарегистрирован: 23 мар 2012, 13:19
Откуда: Санкт-Петербург

Re: скорость чтения и скорость записи raid5

Сообщение azef » 26 фев 2016, 19:35

В очновном файлы - большие и толстые (10gb-100gb), чуть-чуть офисной мелочевки. Чтение/запись - 50/50.
Интерфейсна катрочка mellanox 10G (либо отпика либо медь).

sivanov
Advanced member
Сообщения: 127
Зарегистрирован: 25 апр 2008, 11:20
Откуда: Свердлоская обл.

Re: скорость чтения и скорость записи raid5

Сообщение sivanov » 27 фев 2016, 15:17

Вместо dd освойте fio или iometer. Значительную корректировку в производительность дисковой системы вносит изменение глубины очереди (с асинхронным вводом-выводом) и увеличение количества процессов в тесте.
Далее, все современные контроллеры определяют линейные чтение/запись и реагируют соответственно, пуская их мимо кэша. В том смысле, что кэширование последовательного чтения в многопользовательской системе вызовет только общее ухудшение производительности.
Далее, низкая эффективность операций чтения на PC архитектуре вызвана особенностями реализации обработчиков прерываний, DMA, кэширования. Например, лет 8-10 назад, во FreeBSD появились патчи ядра, переводящие сетевые драйвера в режим поллинга, т.е. ценой многократного увеличения утилизации процессора существенно повышалась эффективность работы с сетевыми контроллерами.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 29 гостей