Производительность DS3524
Модераторы: Trinity admin`s, Free-lance moderator`s
Производительность DS3524
Добрый день. Имеется DS3524, одна полка 24 hdd (ST9900805SS) в 10-м рейде. На нем нарезано 4 луна по 2TB и выведено на хост (настроен multipath, все как полагается). Есть вопрос по производительности. При рендомном паттерне (8КБ блок, 128 потоков) имеем ~4500iops, что в принципе вполне нормально. А вот при sequential I/O имеем странные результаты. Независимо от кол-ва потоков общая скорость ~120MBps, чтобы как бы не очень радостно. Это некая "фишка" или мы делаем чтото не так?
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Производительность DS3524
Тестирование на реальном ПО или чем?ITER писал(а):А вот при sequential I/O имеем странные результаты. Независимо от кол-ва потоков общая скорость ~120MBps, чтобы как бы не очень радостно.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Производительность DS3524
Синтетика пока.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Производительность DS3524
И какие настройки?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Производительность DS3524
Настройки чего? СХД или теста? На СХД вроде все по мануалу, Segment size:128 KB на рейде (дефолт), 4-е пути на каждый лун (крест на крест через два FC свитча). HBA в сервере правда старенькие (2Gbps), свитчи-СХД 8Gbps. Ось RHEL 6.3.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Производительность DS3524
Теста, очевидно.ITER писал(а):Настройки чего?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Производительность DS3524
Так я же описал. Чистое чтение большими блоками (1MB) в несколько потоков, распределяется по всем 4-м лунам даже если задать один поток (страйпинг). Собственно ровно туже самую картину я вижу если сделать банальный
dd if=/dev/mapper/mpath0 of=/dev/null bs=1M запущеный в нескольких окнах. Ровно тоже самое один поток 120MBps, два потока каждый по 60 и так далее.
dd if=/dev/mapper/mpath0 of=/dev/null bs=1M запущеный в нескольких окнах. Ровно тоже самое один поток 120MBps, два потока каждый по 60 и так далее.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Re: Производительность DS3524
Где же это было написано ранее?ITER писал(а):Чистое чтение большими блоками (1MB)
Смотрите на проблемы на стороне HBA, попробуйте переключиться напрямую к СХД и заодно Linux заменить на Windows (не политически, а в целях поиска проблемы).
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598
Re: Производительность DS3524
Вывел на вендовый хост лун, оттуда нормальная скорость на линейных нагрузках. Чудеса прям.
Re: Производительность DS3524
настройки readahead в центоси подкрутите.
Re: Производительность DS3524
Причем тут это вообще? Тесты на блочных устройствах делались, никаких файловых систем.
Re: Производительность DS3524
А Вы попробуйте blockdev --setra 4096 /dev/mapper/mpath0
У меня у RHEL5 (Vmware Data Recovery) при readahead 128kb (default) dd дает 79MB/s с iscsi lun, с другого линукса, два пути. А с 2048kb дает 135MB/s
У меня у RHEL5 (Vmware Data Recovery) при readahead 128kb (default) dd дает 79MB/s с iscsi lun, с другого линукса, два пути. А с 2048kb дает 135MB/s
Re: Производительность DS3524
Покрутил, ничего не изменилось. Проблема не в том, что один поток работает медленно. Проблема в том, что как только добавляется еще один поток (и последующие) полоса как бы делится между ними! Такое ощущение, как будто queue_depth для луна равен 1. Хотя по данным /sys это не так.
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей