raid0 на 6 ssd существенно меделеннее чем должно быть

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 26 дек 2012, 17:50

1. посмотрел бы производительность под другой ОС, например WS2008R2.
Цифры немного другие, но принцип тот же - при увеличении количества дисков в raid0(raid10) нет роста скорости последовательного чтения данных. Еще озадачило, что raid6 на 6 ssd выдал больше скорости чем raid10.
2. поэкспериментировал бы со слотами PCI-E и их настройками в BIOS'e, они нынче не совсем равноценны.
Менял слоты x16 на x8 и x2, на x2 немного быстрее, хотя тест не повторял, мог ошибиться.
3. включил бы в контроллере FastPath. На сайте LSI можно найти триальный ключ для этого.
Поставил на контроллер BBU, увеличил количество дисков до 8, активировал fastpath, cachecade, вроде чуть быстрее но только чуть, и все равно есть потолок.

В конце недели будет другое железо, проверю варианты.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение exLH » 27 дек 2012, 00:15

sa10 писал(а):Еще озадачило, что raid6 на 6 ssd выдал больше скорости чем raid10.
Было бы странно, если бы получилось наоборот.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 27 дек 2012, 15:09

exLH писал(а):
sa10 писал(а):Еще озадачило, что raid6 на 6 ssd выдал больше скорости чем raid10.
Было бы странно, если бы получилось наоборот.
Вы не оговорились?
С чего бы raid6 быть быстрее чем raid10?
raid 10 – 2x write penalty
raid 6 – 5x write penalty.
В raid10 из 6 дисков данные могут считываться одновременно с 6 дисков, а в raid6 только с 4-х.
И здесь почему то raid10 таки быстрее
http://www.tomshardware.com/reviews/sas ... 28-15.html
Последний раз редактировалось sa10 27 дек 2012, 15:18, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение gs » 27 дек 2012, 15:14

Потому что Вы придумали такой метод тестирования, где райт пенальти никого не колышет.
Только вот имеет ли этот метод хоть каплю здравого смысла - для меня загадка.

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 27 дек 2012, 15:22

gs писал(а):Потому что Вы придумали такой метод тестирования, где райт пенальти никого не колышет.
Только вот имеет ли этот метод хоть каплю здравого смысла - для меня загадка.
Да в любом варианте тестирования (fio, bonnie, iometer) я вижу одну и ту же проблему - нет прибавки производительности.
Проверить последовательное чтение/запись - самый короткий тест.
И я не вылавливаю 2-3%
Тут недобор скорости в несколько раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение gs » 27 дек 2012, 15:29

Значит Вас нагло обманули!

Лучше бы выяснили, чем этот сервер будет заниматься и под задачу уже и делали...

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение gs » 27 дек 2012, 15:33

Кстати, просветите насчет райт пенальти при чтении?

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 27 дек 2012, 16:14

gs писал(а):Кстати, просветите насчет райт пенальти при чтении?
Думайте ширше и не цепляйтесь к терминам упротребленным в суе... :)
Разумеется для чтения термин райт пенальти не употребим.
Я думал вы знаете, что на RAID10 из 6 дисков каждый блок данных страйпится на 3 части, чередуется по 3-м дискам и заркалится таким же образом еще на 3 диска.
При чтении данные могут быть считаны с 6 дисков или записаны на 3 диска одновеменно при условии что блок данных существенно больше размера страйпа.
Каким образом RAID6 может отдавать данные быстрее? У него только 4 диска из 6 могут отдавать данные одновременно.
Последний раз редактировалось sa10 28 дек 2012, 09:47, всего редактировалось 2 раза.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение exLH » 27 дек 2012, 23:02

sa10 писал(а): Вы не оговорились?
С чего бы raid6 быть быстрее чем raid10?
Нет, не оговорился, потому что читаем Ваш пост выше (жирным выделено мной):
...
sa10 писал(а):скорости последовательного чтения данных. Еще озадачило, что raid6 на 6 ssd выдал больше скорости чем raid10.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

ITER
Advanced member
Сообщения: 306
Зарегистрирован: 13 июл 2003, 10:01
Откуда: Хабаровский край

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение ITER » 28 дек 2012, 06:24

gs писал(а):Значит Вас нагло обманули!

Лучше бы выяснили, чем этот сервер будет заниматься и под задачу уже и делали...
Т.е. мысль такая, что контроллер отвратительно работающий на потоковом чтении покажет супер результаты на рендоме? :wink:

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 28 дек 2012, 10:47

sa10 писал(а):У него только 4 диска из 6 могут отдавать данные одновременно.
Хотя ваша правда в том, что в один поток можно читать данные на моем raid10 только с трех дисков.
Но на самом деле я не могу существенно продвинуться относительно скорости потокового чтения из 2-х дисков raid0 :(
И я говорю именно об этой проблеме.

LCF_R
Advanced member
Сообщения: 702
Зарегистрирован: 27 сен 2011, 18:12
Откуда: Москва

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение LCF_R » 28 дек 2012, 14:21

ITER писал(а): Т.е. мысль такая, что контроллер отвратительно работающий на потоковом чтении покажет супер результаты на рендоме? :wink:
1. Это смотря про какие результаты идет речь.
2. А Вы считаете, что если система оптимально работает в одном режиме нагрузки - она должна также оптимально работать во всех режимах нагрузки?
С уважением, Александр.

ITER
Advanced member
Сообщения: 306
Зарегистрирован: 13 июл 2003, 10:01
Откуда: Хабаровский край

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение ITER » 28 дек 2012, 15:16

LCF_R писал(а):
ITER писал(а): Т.е. мысль такая, что контроллер отвратительно работающий на потоковом чтении покажет супер результаты на рендоме? :wink:
1. Это смотря про какие результаты идет речь.
2. А Вы считаете, что если система оптимально работает в одном режиме нагрузки - она должна также оптимально работать во всех режимах нагрузки?
Дохлый контроллер, не тянущий поточное чтение ничего хорошего не покажет и на рендоме. Фокус тут в том, что на рендоме обычно бутылочное горлышко механика дисков, на фоне которой дохлый контроллер не имеет значения. Но все меняется, когда на сцене появляются SSD, которых абсолютно не смущает рендомное чтение.

LCF_R
Advanced member
Сообщения: 702
Зарегистрирован: 27 сен 2011, 18:12
Откуда: Москва

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение LCF_R » 28 дек 2012, 15:42

Подсказка - на рэндоме Вам нужно выжать по максимуму пропускную способность или количество операций, выполняемых в единицу времени?
С уважением, Александр.

sa10
Junior member
Сообщения: 17
Зарегистрирован: 21 фев 2012, 15:00
Откуда: minsk

Re: raid0 на 6 ssd существенно меделеннее чем должно быть

Сообщение sa10 » 29 дек 2012, 13:26

Заменил контроллер на более свежий и мощный, попугаев прибавилось, но суть проблемы осталась - нет заметного роста при увеличении количества дисков.
Здесь два теста - последовательная запись, чтение блоками по 1Мб и тест fio с таким паттерном:

bssplit=512/22:1k/15:2k/8:4k/23:8k/15:16k/2:32k/6:64k/7:128k/1:512k/1
rw=randrw
rwmixread=80
direct=1
size=4g
ioengine=libaio
iodepth=64

Разные варианты, но везде очевиден порог выше которого никак.

Изображение
Kernel: 2.6.32-279.19.1.el6.x86_64
LSI MegaRAID SAS Driver: 06.504.01.00

Пробовал менять I/O scheduler, заметного эффекта нет.
Жду другой бэкплейн. Хотя этот пассивный, не думаю что в нем причина.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 18 гостей