raid0 на 6 ssd существенно меделеннее чем должно быть

[sa10]

Сервер:
CPU: Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
MB: Supermicro X9DRi-LN4+/X9DR3-LN4+, BIOS 1.1a
RAM: 64Gb
RAID: MegaRAID SAS 9260-8i FW Package Build: 12.12.0-0124
HDD: INTEL SSDSC2CW480A3, 480 GB, Firmware Version: 400i

ОС: Centos-6.3
ФС: ext4

RAID0 из одного SSD
Тест записи: 489 MB/s

Код: Выделить всё

dd if=/dev/zero of=/mnt/sda1/test bs=1M count=4k conv=fdatasync

Тест чтения: 346 MB/s

Код: Выделить всё

echo 3 > /proc/sys/vm/drop_caches
dd if=/mnt/sda1/test of=/dev/null bs=1M

RAID0 на 6 SSD дисков, strip 64k
Тест записи: 935 MB/s
Тест чтения: 374 MB/s


Пробовал програмный raid и получил примено такие же результаты.


Есть идеи в чем может быть дело?

[gs]

Эта задача имеет какой-то практический смысл или побаловаться?

[sa10]

Эта задача имеет какой-то практический смысл или побаловаться?

Практический смысл имел RAID10 на 6 SSD, но так как я увидел на нем результаты мало отличающиеся от одиночного диска, то затем проверил raid0 на 3-х и 6 SSD
И как вы поняли - все плохо

[gs]

Задача состоит в переливании больших файлов?

[gs]

Валидированы ли эти SSD для этого контроллера?
Какие политики кэширования?

[sa10]

Задача состоит в переливании больших файлов?

Честно говоря не знаю что там клиент хочет делать.
Предполагаю, что значительную дисковую нагрузку там будет генерировать демон mysql

Валидированы ли эти SSD для этого контроллера?

Хороший вопрос .... где бы это проверить?

Какие политики кэширования?

Current Cache Policy: WriteBack, ReadAhead, Cached, Write Cache OK if Bad BBU
Access Policy: Read/Write
Disk Cache Policy: Enabled

Правда BBU в нем нет

[gs]

Ну и какой смысл файлы гонять, если грузить будет БД?

Листы валидации лежат на сайте производителя контроллера.

Рид эхэд для БД?

Включены ВСЕ кэши, нет ББУ - что еще надо для счастья БД?

[sa10]

Диски есть в списке совместимых.

Включены ВСЕ кэши, нет ББУ - что еще надо для счастья БД?

Да при чем здесь это и то как это будет использоваться?
Параметры кэша по умолчанию.

Если параметры кэша изменить или использовать raid по другому скорости последовательного чтения не прибавится в 3 раза.
Вы же это знаете сами прекрасно.

Вопрос ведь принципиальный.

[gs]

Вы меряете не то и не тем. Какой смысл делать выводы? Тем более принципиальные

[UA8]

страйп 4 КБ и райт-бэк выключить

[sa10]

Вы меряете не то и не тем. Какой смысл делать выводы? Тем более принципиальные

Однажды заблудился в Запорожье и спросил у двух мужиков дорогу на Симферополь.
Один из них начал говорить как ехать, но его приятель возразил
- Микола, тыж сам не местный и не знаешь дороги.
- Ну и что? Надо жэж людЯм помочь

Я переключил диски к интегрированному sata контроллеру и использовал програмный mdraid
1 диск w:264 MB/s r:265 MB/s
raid0 из 2-х дисков - w: 556 MB/s r:564 MB/s
raid10 4 диска : w: 425 MB/s r:789 MB/s
raid0 4 диска: w:751 MB/s r:861 Mb/s

Здесь все в рамках ожиданий.

А вот почему на аппаратном raid0 (9260-8i) из 6 дисков я получил тест чтения: 374 MB/s?
Вряд ли можно объяснить это неудачным размером страйпа и режим кэша записи тут явно не при чем.

[sa10]

Попробовал варианты с btrfs ибо меньше действий по подготовке тестов
Использовал BTRFS в режиме nodesize 4096 leafsize 4096 sectorsize 4096, metadata mirrored, data striped
https://btrfs.wiki.kernel.org/index.php ... le_Devices
Опции монтирования -o noatime,ssd
запись/чтение
2 ssd - 528/556 MB/s
3 ssd - 777/825 MB/s
4 ssd - 847/791 MB/s
5 ssd - 820/725 MB/s
6 ssd - 869/875 MB/s

Изменение режима btrfs на raid0, raid10 ничего не дает. Использование опции монтирования compress слабо влияет на результат - немного уменьшает на 3 дисках и немного увеличивает скорость чтения на 6 ssd (763/989 MB/s).
Явно нечто душит после 3-х дисков. А системных ресурсов навалом.
На аппаратном RAID это становится заметно уже при страйпинге на 3-х диска.
С интегрированным контроллером еще можно думать про скорость шины, но аппаратный использует PCI-E 3.0 X16

Обрезал память до 512мб и сделал bonnie++
RAID0 на 3 диска



RAID0 на 6 дисков



Может кому интересно повторить это на своем железе?

[turboprop]

9260 - это ещё PCI-E 2.0, хотя это не может являться основной причиной.
Я бы сделал следующие эскперименты.
1. посмотрел бы производительность под другой ОС, например WS2008R2.
2. поэкспериментировал бы со слотами PCI-E и их настройками в BIOS'e, они нынче не совсем равноценны.
3. включил бы в контроллере FastPath. На сайте LSI можно найти триальный ключ для этого.

[sa10]

страйп 4 КБ и райт-бэк выключить

Правда я уже поставил 8 дисков и BBU, но этот результат получен на страйпе 8к, адаптер 4к не хочет принимать
И кэш: Current Cache Policy: WriteThrough, ReadAheadNone, Direct
Использовалась эта команда создания массива:

Код: Выделить всё

MegaCli -CfgSpanAdd -r10 -Array0[252:0,252:1] -Array1[252:2,252:3] -Array2[252:4,252:5]  -Array3[252:6,252:7] Direct NORA WT strpsz8 -a0

write 347 MB/s
read 513 MB/s

[ITER]

Явно нечто душит после 3-х дисков. А системных ресурсов навалом.
На аппаратном RAID это становится заметно уже при страйпинге на 3-х диска.
С интегрированным контроллером еще можно думать про скорость шины, но аппаратный использует PCI-E 3.0 X16

Контроллер на аппаратном рейде может быть тормознутым. Это вообще распространненная проблема при использовании SSD.