Производительность DS3524

[ITER]

Добрый день. Имеется DS3524, одна полка 24 hdd (ST9900805SS) в 10-м рейде. На нем нарезано 4 луна по 2TB и выведено на хост (настроен multipath, все как полагается). Есть вопрос по производительности. При рендомном паттерне (8КБ блок, 128 потоков) имеем ~4500iops, что в принципе вполне нормально. А вот при sequential I/O имеем странные результаты. Независимо от кол-ва потоков общая скорость ~120MBps, чтобы как бы не очень радостно. Это некая "фишка" или мы делаем чтото не так?

[exLH]

А вот при sequential I/O имеем странные результаты. Независимо от кол-ва потоков общая скорость ~120MBps, чтобы как бы не очень радостно.

Тестирование на реальном ПО или чем?

[ITER]

Синтетика пока.

[exLH]

И какие настройки?

[ITER]

Настройки чего? СХД или теста? На СХД вроде все по мануалу, Segment size:128 KB на рейде (дефолт), 4-е пути на каждый лун (крест на крест через два FC свитча). HBA в сервере правда старенькие (2Gbps), свитчи-СХД 8Gbps. Ось RHEL 6.3.

[exLH]

Настройки чего?

Теста, очевидно.

[ITER]

Так я же описал. Чистое чтение большими блоками (1MB) в несколько потоков, распределяется по всем 4-м лунам даже если задать один поток (страйпинг). Собственно ровно туже самую картину я вижу если сделать банальный
dd if=/dev/mapper/mpath0 of=/dev/null bs=1M запущеный в нескольких окнах. Ровно тоже самое один поток 120MBps, два потока каждый по 60 и так далее.

[exLH]

Чистое чтение большими блоками (1MB)

Где же это было написано ранее?
Смотрите на проблемы на стороне HBA, попробуйте переключиться напрямую к СХД и заодно Linux заменить на Windows (не политически, а в целях поиска проблемы).

[ITER]

Вывел на вендовый хост лун, оттуда нормальная скорость на линейных нагрузках. Чудеса прям.

[sivanov]

настройки readahead в центоси подкрутите.

[ITER]

Причем тут это вообще? Тесты на блочных устройствах делались, никаких файловых систем.

[sivanov]

А Вы попробуйте blockdev --setra 4096 /dev/mapper/mpath0
У меня у RHEL5 (Vmware Data Recovery) при readahead 128kb (default) dd дает 79MB/s с iscsi lun, с другого линукса, два пути. А с 2048kb дает 135MB/s

[ITER]

Покрутил, ничего не изменилось. Проблема не в том, что один поток работает медленно. Проблема в том, что как только добавляется еще один поток (и последующие) полоса как бы делится между ними! Такое ощущение, как будто queue_depth для луна равен 1. Хотя по данным /sys это не так.