Низкая скорость записи на RAID 0 | 4 SATA HDD

[Valmon]

Всем доброго дня.

Контроллер Intel RS2BL040 c BBU
Конфигурация массива:

Код: Выделить всё

Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-0, Secondary-0, RAID Level Qualifier-0
Size                : 3.383 TB
Sector Size         : 512
Parity Size         : 0
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 4
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
Is VD Cached: No

Имеем на линейное чтение:

Код: Выделить всё

[root@h10-g03 tmp]# dd if=/dev/sda3 of=/dev/null bs=512k
16567+0 records in
16566+0 records out
8685355008 bytes (8.7 GB) copied, 16.2708 seconds, 534 MB/s

На запись:

Код: Выделить всё

[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k
66662+0 records in
66662+0 records out
34950086656 bytes (35 GB) copied, 482.457 seconds, 72.4 MB/s

В чем собственно может быть дело?

[Umlyaut]

А можете прогнать тот же тест на запись, но с WT (WB=OFF) ???
А если повторить тесты с WB и с WT при включенном кеше хардов.

Дайте хоть зацепочку для дальнейших раздумий...

P.S. Про то, чтобы померить Sequential Write в IOPSах уж и не прошу...

[kim_aa]

Обратите внимание на:
Span Depth : 1
Что это значит у Intel?

Я встречался с ситуациями (правда не у Intel), когда по умолчанию для RAID0, "глубина построения" была настроена на 2 диска, таким образом блоки разносились не на существующие 8 дисков, а всего лишь на два.
Ну и результаты скорости чтения-записи били такие-же (эквивалентные суммарной от двух дисков).
После исправления значения с 2 до 8 - сразу стало как надо.
Размер блока по умолчанию для аппаратных RAID лучше не трогать.

[Umlyaut]

Обратите внимание на:
Span Depth : 1
Что это значит у Intel?

<поскипано>

Блин, красивая идея! Только что-то в ней смущает...

Ща пробежался по своим рейдам, посмотрел конфиги.
На R1 и R5 пар-р SD равен 1. А вот на R10 он равен 2.

Как я смутно припоминаю, при построении R10 на "LSIеобразных" контроллерах в конфигураторе как раз и предлагается создать span-том (R0) из нужного кол-ва "зеркал" (R1), созданных на предыдущем этапе конфигурирования.
И SD обозначает "вложенность" тома - что том R0 состоит не из хардов, а из R1-х.

[Valmon]

Обратите внимание на:
Span Depth : 1
Что это значит у Intel?

Да тоже, что и у LSI наверное

Я встречался с ситуациями (правда не у Intel), когда по умолчанию для RAID0, "глубина построения" была настроена на 2 диска, таким образом блоки разносились не на существующие 8 дисков, а всего лишь на два.
Ну и результаты скорости чтения-записи били такие-же (эквивалентные суммарной от двух дисков).
После исправления значения с 2 до 8 - сразу стало как надо.
Размер блока по умолчанию для аппаратных RAID лучше не трогать.

Хм, интересно

[Umlyaut]

Коллега Valmon, а моё любопытство удовлетворите?
Сможете выложить вывод теста скорости с другими условиями (см.мой коммент в начале ветки)???

[Valmon]

Коллега Valmon, а моё любопытство удовлетворите?
Сможете выложить вывод теста скорости с другими условиями (см.мой коммент в начале ветки)???

Только вот дошел до консоли.
Включаем кеш дисков, WB

Код: Выделить всё

[root@h10-g03 tmp]# ./MegaCli  -LDSetProp EnDskCache -LAll -aAll

Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-0, Secondary-0, RAID Level Qualifier-0
Size                : 3.383 TB
Sector Size         : 512
Parity Size         : 0
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 4
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Is VD Cached: No

[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k
^C161468+0 records in
161468+0 records out
84655734784 bytes (85 GB) copied, 156.261 seconds, 542 MB/s

Переводим в WT

Код: Выделить всё

[root@h10-g03 tmp]# ./MegaCli  -LDSetProp WT -LALL -aALL

Set Write Policy to WriteThrough on Adapter 0, VD 0 (target id: 0) success
Set Write Policy to WriteThrough on Adapter 0, VD 1 (target id: 1) success

Exit Code: 0x00

Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-0, Secondary-0, RAID Level Qualifier-0
Size                : 3.383 TB
Sector Size         : 512
Parity Size         : 0
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 4
Span Depth          : 1
Default Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Is VD Cached: No

[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k
^C159380+0 records in
159380+0 records out
83561021440 bytes (84 GB) copied, 418.567 seconds, 200 MB/s

[Valmon]

Не пойму, что за ерунда, после того как передернул, вроде все ОК.

Код: Выделить всё

Virtual Drive: 1 (Target Id: 1)
Name                :
RAID Level          : Primary-0, Secondary-0, RAID Level Qualifier-0
Size                : 3.383 TB
Sector Size         : 512
Parity Size         : 0
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 4
Span Depth          : 1
Default Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
Is VD Cached: No



Exit Code: 0x00
[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k
^C100089+0 records in
100089+0 records out
52475461632 bytes (52 GB) copied, 96.5307 seconds, 544 MB/s

[Valmon]

Не понимаю. запись линейная, включил WT без дискового кеша, в итоге:

Код: Выделить всё

[root@h10-g03 tmp]# ./MegaCli  -LDSetProp WT -LALL -aALL

Set Write Policy to WriteThrough on Adapter 0, VD 0 (target id: 0) success
Set Write Policy to WriteThrough on Adapter 0, VD 1 (target id: 1) success

Exit Code: 0x00
[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k
^C14140+0 records in
14140+0 records out
7413432320 bytes (7.4 GB) copied, 104.696 seconds, 70.8 MB/s

[Umlyaut]

Не пойму, что за ерунда, после того как передернул, вроде все ОК.

Что ж, поздравляю, коллега...
Видимо, контроллер просто врал насчёт включения нужных опций.

P.S. В моём босоногом детстве телевизор (ещё ч/б), начинавший кочевряжить изображение, как правило быстро приходил в чувство после удара кулаком [s]по голове[/s] по корпусу...

UPD:

Не понимаю. запись линейная, включил WT без дискового кеша, в итоге:

Код: Выделить всё

70 MB/s

Включите снова WB, Disk Cache =OFF и измерьте - что будет?

[Umlyaut]

Такое ощущение, что у Вас "залипает" WB (в смысле - не всегда срабатывает включение этой опции, даже если показывает, что WB=ON) - гляньте сами на совпадение результата на старте ветки и последнего: и там, и там ~70MB/s.

UPD:

Кстати о разнице между WB и WT (~70 и ~500 MB/s)... Выглядит как хорошая оптимизация алгоритма работы кеша на запись - типа контроллер в кеше "собирает" целиковый стрип для одних и тех же цилиндров, после чего сбрасывает всё "оптом" на харды со скоростью бОльшей, нежели в случае WT (burst?).

[Valmon]

Такое ощущение, что у Вас "залипает" WB (в смысле - не всегда срабатывает включение этой опции, даже если показывает, что WB=ON) - гляньте сами на совпадение результата на старте ветки и последнего: и там, и там ~70MB/s.

UPD:

Кстати о разнице между WB и WT (~70 и ~500 MB/s)... Выглядит как хорошая оптимизация алгоритма работы кеша на запись - типа контроллер в кеше "собирает" целиковый стрип для одних и тех же цилиндров, после чего сбрасывает всё "оптом" на харды со скоростью бОльшей, нежели в случае WT (burst?).

Нет, оказалось что это не барабашки)

Код: Выделить всё

Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-0, Secondary-0, RAID Level Qualifier-0
Size                : 256.0 GB
Sector Size         : 512
Parity Size         : 0
State               : Optimal
Strip Size          : 256 KB
Number Of Drives    : 4
Span Depth          : 1
Default Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
Is VD Cached: No

Я приводил настройки одного LUN, а тестировал другой, понял я это, только когда мне сказали что нет место на диске)

Код: Выделить всё

[root@h10-g03 tmp]# dd if=/dev/zero of=/dev/sda3 bs=512k

dd: writing `/dev/sda3': No space left on device
507902+0 records in
507901+0 records out
266286906880 bytes (266 GB) copied, 519.193 seconds, 513 MB/s

[Umlyaut]

Т.е. что, ложная тревога?
LUN с WT выдаёт 70, а с WB - 5 сотен с гаком?

[Valmon]

Т.е. что, ложная тревога?
LUN с WT выдаёт 70, а с WB - 5 сотен с гаком?

Да, ложная, пора в отпуск)

Верно, c WT дает ~70 метров, при этом, зависимость от размера блока, с WB >500, и блок что 8k, что 512k, результат одни.

[Umlyaut]