Упала скорость на LSI Mega Raid 150-6

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

uand
Junior member
Сообщения: 7
Зарегистрирован: 24 июл 2008, 17:21
Откуда: СПб

Упала скорость на LSI Mega Raid 150-6

Сообщение uand » 12 ноя 2009, 10:37

Низкая скорость на массиве LSI Mega Raid 150-6, 4 SATA диска в RAID5, утилита управления говорит:

Number Of Logical Drives: 1.

Logical Drive 1
State : Optimal
RAID TYPE : 5
Write Policy : Write Thru
Read Policy : Adaptive Read Ahead
Cache Policy : Direct I/O
Stripe Size : 64K Bytes
No. of Stripes : 4
Size : 572331MB
Component Physical Drives :

SPAN 0
PORT : 1, ID : 0
PORT : 1, ID : 1
PORT : 1, ID : 2
PORT : 1, ID : 3

тестировал everestom, сравнивал с другим таким же массивом, на нормальном скорость отдачи порядка 60 мб/с
на этом 2 мб/с

Где можно покопать?
P.S. Сильно ногами не пинайте, мало что понимаю в дисковых массивах, но разобраться нужно.

Garra-67
Advanced member
Сообщения: 111
Зарегистрирован: 20 янв 2008, 14:48
Откуда: Smolensk

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение Garra-67 » 12 ноя 2009, 10:42

Write Policy : Write Thru
Кеш выключен поэтому и тормозит -)

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 19 авг 2011, 18:57

Коллеги, подскажите, пожалуйста, как можно объяснить следующие эффекты.

Есть сервер на базе Intel SE7210TP1, P4, 4GB RAM. В нем установлен контроллер LSI MegaRAID 150-6 (пробовал также с 150-4 - одна фигня) c батарейкой, залита последняя прошивка (713S). ОС - Linux (если быть точным, то Openfiler 2.3):

Код: Выделить всё

# uname -a
Linux master 2.6.29.6-0.24.smp.gcc3.4.x86.i686 #1 SMP Tue Mar 9 05:01:39 GMT 2010 i686 i686 i386 GNU/Linux
К raid-контроллеру подключен 1 диск ST3160023AS (160GB, система видит его как /dev/sdb), на котором создан RAID0 с такими параметрами:
StripeSize = 128KB
Write Policy = WRTHRU
Read Policy = NORMAL
Cache Policy = DirectIO

WriteCache для диска включен, FastInit = OFF.

Ровно такой же диск подключен (/dev/sda) напрямую к мамке:

Код: Выделить всё

# hdparm -i /dev/sda

/dev/sda:

 Model=ST3160023AS                             , FwRev=3.18    , SerialNo=5JS26BAE
 Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4
 BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?16?
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455
 IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2
 AdvancedPM=no WriteCache=enabled
 Drive conforms to: ATA/ATAPI-6 T13 1410D revision 2:
Вывод hdparm -t:

Код: Выделить всё

/dev/sda:
 Timing buffered disk reads:  168 MB in  3.02 seconds =  55.66 MB/sec
/dev/sdb:
 Timing buffered disk reads:  166 MB in  3.03 seconds =  54.75 MB/sec
Тестирую скорость записи с помощью dd:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sda bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 18.436760 seconds, 54.2MB/s

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 18.445597 seconds, 54.2MB/s
Теперь меняю Write Policy на WRBACK:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 19.258397 seconds, 51.9MB/s
Вместо того, чтобы увидеть увеличение скорости, вижу ее значительное снижение. Почему?

Следующий эксперимент. Отключаю WriteCache на обоих дисках:

Код: Выделить всё

# hdparm -W 0 /dev/sda
...
 setting drive write-caching to 0 (off)

# hdparm -i /dev/sda

/dev/sda:
...
 AdvancedPM=no WriteCache=disabled
Снова тестирую (WRTHRU):

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sda bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 35.091413 seconds, 28.5MB/s

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 150.778704 seconds, 6.6MB/s
Скорость на контроллере упала почти в 9 раз! Почему?

Теперь с WRBACK:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 145.323910 seconds, 6.9MB/s
Скорость чуть выросла, но далеко не так, как ожидалось. Почему?

Также протестировал с FreeNAS 0.8 и Open-E. Результаты примерно такие же.

Заранее спасибо!

squirL
Advanced member
Сообщения: 114
Зарегистрирован: 11 апр 2006, 20:16
Откуда: Киев

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение squirL » 20 авг 2011, 13:20

я что-то не понимаю, какой смысл крутить write policy и что-то тестить, если вы вообще write cache отключили.

по поводу WB vs WT - WB вовсе не обязательно будет давать прирост производительности, в сравнении с WT. вот документишко: http://www-03.ibm.com/systems/kr/resour ... hrough.pdf

почитайте. смысл в том, что в области хранения данных существует магическая мантра "профиль нагрузки". вот от этого профиля и надо танцевать и мерять. а любимые интернетными тестровщиками (не имею ввиду Вас, автор) бенчмарки в виде dd if=/dev/zero - это чепуха.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение setar » 22 авг 2011, 12:32

Вы сами можете ответить на все свои вопросы если попробуете представить что в каком объёме и куда вы пытаетесь закешировать.
вливая на контроллер гиг информации вы ждете прироста в чем ? в кешировании гига 64МБ кеша :) ??
падение логично, помимо прямого выливания на диски мы тратим время на попытку кеширования!
t.me: @RoboforumSetar ; st@3nt.ru

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 22 авг 2011, 12:50

squirL, спасибо за ответ.
я что-то не понимаю, какой смысл крутить write policy и что-то тестить, если вы вообще write cache отключили.
Если я правильно понимаю смысл, то, оставив его включенным, есть ровно такая же вероятность потерять данные, как если использовать write policy = wrback при отсутствии у рейд-контроллера батарейки.
Кстати, самый первый тест был как раз с включенным дисковым кэшем. Посмотрите внимательнее.

За ссылку отдельное спасибо, посмотрел. К сожалению, однозначного ответа на все мои вопросы она не дает.
бенчмарки в виде dd if=/dev/zero - это чепуха.
Не соглашусь с Вами. dd, на мой взгляд, очень хороший и простой способ протестировать два вида профилей нагрузки: последовательные запись и чтение. Запускать более сложные тесты я пока смысла не вижу, т.к. не смогу правильно интерпретировать их результаты, не поняв предварительно почему все так плохо при последовательном доступе.

setar, да такая мысль мне приходила в голову :) И ситуацию с WB это, положим, действительно объясняет. Но тогда получается, что имеет смысл использовать данный контроллер только в тех случаях, когда запись идет порциями до 64МБ и между ними есть еще достаточный перерыв, чтобы контроллер успел сбросить кэш. Очень уж узкая задача..

И все-таки, почему при отключении дискового кэша наблюдается такое падение производительности?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение setar » 22 авг 2011, 13:13

при отключении дискового кеша мы сокращаем длинну NCQ очереди до 1
поэтому на операциях ожиданиях следующей команды получаем такое падение.
P.S. это не утверждение, а лишь мое предположение.
t.me: @RoboforumSetar ; st@3nt.ru

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение setar » 22 авг 2011, 13:14

задача кеша в 64МБ - хранить наиболее часто меняющиеся блоки.
обычно это FAT, и это весьма распространенная задача.
t.me: @RoboforumSetar ; st@3nt.ru

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 22 авг 2011, 14:21

setar писал(а):при отключении дискового кеша мы сокращаем длинну NCQ очереди до 1
поэтому на операциях ожиданиях следующей команды получаем такое падение.
P.S. это не утверждение, а лишь мое предположение.
То, что скорость при отключении кэша должна упасть, сомнений не вызывает. Мой вопрос - почему, если диск подключен напрямую к мамке, то скорость падает в два раза, а, если к контроллеру - то в 9?

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 22 авг 2011, 14:44

setar писал(а):задача кеша в 64МБ - хранить наиболее часто меняющиеся блоки.
обычно это FAT, и это весьма распространенная задача.
Прошу прощения, не очень понял причем тут FAT. Можно чуть подробнее? Кроме того, все-таки на серверах обычно используется NTFS (если говорить о виндах).

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 23 авг 2011, 12:30

вливая на контроллер гиг информации вы ждете прироста в чем ? в кешировании гига 64МБ кеша :) ??
setar, вот специально решил протестировать скорость записи порции данных до 64МБ (сейчас сделан RAID0 из 3-х дисков, дисковый кэш включен на всех 3-х дисках).
С включенным WB:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.656911 seconds, 91.3MB/s
А вот с WT:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.688625 seconds, 87.1MB/s
В первом тесте весь записываемый объем должен помещаться в кэш и я ожидал получить какие-нить 300 или 500МБ/с :) А получил прирост скорости меньше 10%..

Есть этому какое-нибудь объяснение?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение gs » 23 авг 2011, 12:33

Каким образом контроллер PCI-32 прокачает 500МБ/с?
Не мучайте старичка - ему уже много лет, как на пенсию пора.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение gs » 23 авг 2011, 12:33

Он и в молодости-то скоростью отнюдь не блистал.

jazzl0ver
Junior member
Сообщения: 8
Зарегистрирован: 19 авг 2011, 18:00
Откуда: SPb

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение jazzl0ver » 23 авг 2011, 13:22

gs писал(а):Каким образом контроллер PCI-32 прокачает 500МБ/с?
Вообще-то он PCI-64 (PCI-X). Уж 300-то точно должен. Вот бенчмарк системной памяти, для примера:

Код: Выделить всё

# ./busybox-i686 dd if=/dev/zero of=/tmp/test bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.179954 seconds, 333.4MB/s

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Упала скорость на LSI Mega Raid 150-6

Сообщение gs » 23 авг 2011, 13:32

Ну не 300, а 266 - и то ТЕОРЕТИЧЕСКИ. Реально шина может заметно меньше.
А дальше все еще грустнее. На контроллере стоит процессор то ли 100, то ли 66МГц - уж не помню. Делайте выводы.

В общем, ваши поиски истины очень напоминают геронтофилию...

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей