Упала скорость на LSI Mega Raid 150-6
Модераторы: Trinity admin`s, Free-lance moderator`s
Упала скорость на LSI Mega Raid 150-6
Низкая скорость на массиве LSI Mega Raid 150-6, 4 SATA диска в RAID5, утилита управления говорит:
Number Of Logical Drives: 1.
Logical Drive 1
State : Optimal
RAID TYPE : 5
Write Policy : Write Thru
Read Policy : Adaptive Read Ahead
Cache Policy : Direct I/O
Stripe Size : 64K Bytes
No. of Stripes : 4
Size : 572331MB
Component Physical Drives :
SPAN 0
PORT : 1, ID : 0
PORT : 1, ID : 1
PORT : 1, ID : 2
PORT : 1, ID : 3
тестировал everestom, сравнивал с другим таким же массивом, на нормальном скорость отдачи порядка 60 мб/с
на этом 2 мб/с
Где можно покопать?
P.S. Сильно ногами не пинайте, мало что понимаю в дисковых массивах, но разобраться нужно.
Number Of Logical Drives: 1.
Logical Drive 1
State : Optimal
RAID TYPE : 5
Write Policy : Write Thru
Read Policy : Adaptive Read Ahead
Cache Policy : Direct I/O
Stripe Size : 64K Bytes
No. of Stripes : 4
Size : 572331MB
Component Physical Drives :
SPAN 0
PORT : 1, ID : 0
PORT : 1, ID : 1
PORT : 1, ID : 2
PORT : 1, ID : 3
тестировал everestom, сравнивал с другим таким же массивом, на нормальном скорость отдачи порядка 60 мб/с
на этом 2 мб/с
Где можно покопать?
P.S. Сильно ногами не пинайте, мало что понимаю в дисковых массивах, но разобраться нужно.
Re: Упала скорость на LSI Mega Raid 150-6
Кеш выключен поэтому и тормозит -)Write Policy : Write Thru
Re: Упала скорость на LSI Mega Raid 150-6
Коллеги, подскажите, пожалуйста, как можно объяснить следующие эффекты.
Есть сервер на базе Intel SE7210TP1, P4, 4GB RAM. В нем установлен контроллер LSI MegaRAID 150-6 (пробовал также с 150-4 - одна фигня) c батарейкой, залита последняя прошивка (713S). ОС - Linux (если быть точным, то Openfiler 2.3):
К raid-контроллеру подключен 1 диск ST3160023AS (160GB, система видит его как /dev/sdb), на котором создан RAID0 с такими параметрами:
StripeSize = 128KB
Write Policy = WRTHRU
Read Policy = NORMAL
Cache Policy = DirectIO
WriteCache для диска включен, FastInit = OFF.
Ровно такой же диск подключен (/dev/sda) напрямую к мамке:
Вывод hdparm -t:
Тестирую скорость записи с помощью dd:
Теперь меняю Write Policy на WRBACK:
Вместо того, чтобы увидеть увеличение скорости, вижу ее значительное снижение. Почему?
Следующий эксперимент. Отключаю WriteCache на обоих дисках:
Снова тестирую (WRTHRU):
Скорость на контроллере упала почти в 9 раз! Почему?
Теперь с WRBACK:
Скорость чуть выросла, но далеко не так, как ожидалось. Почему?
Также протестировал с FreeNAS 0.8 и Open-E. Результаты примерно такие же.
Заранее спасибо!
Есть сервер на базе Intel SE7210TP1, P4, 4GB RAM. В нем установлен контроллер LSI MegaRAID 150-6 (пробовал также с 150-4 - одна фигня) c батарейкой, залита последняя прошивка (713S). ОС - Linux (если быть точным, то Openfiler 2.3):
Код: Выделить всё
# uname -a
Linux master 2.6.29.6-0.24.smp.gcc3.4.x86.i686 #1 SMP Tue Mar 9 05:01:39 GMT 2010 i686 i686 i386 GNU/Linux
StripeSize = 128KB
Write Policy = WRTHRU
Read Policy = NORMAL
Cache Policy = DirectIO
WriteCache для диска включен, FastInit = OFF.
Ровно такой же диск подключен (/dev/sda) напрямую к мамке:
Код: Выделить всё
# hdparm -i /dev/sda
/dev/sda:
Model=ST3160023AS , FwRev=3.18 , SerialNo=5JS26BAE
Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=4
BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=?16?
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=268435455
IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2
AdvancedPM=no WriteCache=enabled
Drive conforms to: ATA/ATAPI-6 T13 1410D revision 2:
Код: Выделить всё
/dev/sda:
Timing buffered disk reads: 168 MB in 3.02 seconds = 55.66 MB/sec
/dev/sdb:
Timing buffered disk reads: 166 MB in 3.03 seconds = 54.75 MB/sec
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sda bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 18.436760 seconds, 54.2MB/s
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 18.445597 seconds, 54.2MB/s
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 19.258397 seconds, 51.9MB/s
Следующий эксперимент. Отключаю WriteCache на обоих дисках:
Код: Выделить всё
# hdparm -W 0 /dev/sda
...
setting drive write-caching to 0 (off)
# hdparm -i /dev/sda
/dev/sda:
...
AdvancedPM=no WriteCache=disabled
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sda bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 35.091413 seconds, 28.5MB/s
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 150.778704 seconds, 6.6MB/s
Теперь с WRBACK:
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=1000
1000+0 records in
1000+0 records out
1048576000 bytes (1000.0MB) copied, 145.323910 seconds, 6.9MB/s
Также протестировал с FreeNAS 0.8 и Open-E. Результаты примерно такие же.
Заранее спасибо!
Re: Упала скорость на LSI Mega Raid 150-6
я что-то не понимаю, какой смысл крутить write policy и что-то тестить, если вы вообще write cache отключили.
по поводу WB vs WT - WB вовсе не обязательно будет давать прирост производительности, в сравнении с WT. вот документишко: http://www-03.ibm.com/systems/kr/resour ... hrough.pdf
почитайте. смысл в том, что в области хранения данных существует магическая мантра "профиль нагрузки". вот от этого профиля и надо танцевать и мерять. а любимые интернетными тестровщиками (не имею ввиду Вас, автор) бенчмарки в виде dd if=/dev/zero - это чепуха.
по поводу WB vs WT - WB вовсе не обязательно будет давать прирост производительности, в сравнении с WT. вот документишко: http://www-03.ibm.com/systems/kr/resour ... hrough.pdf
почитайте. смысл в том, что в области хранения данных существует магическая мантра "профиль нагрузки". вот от этого профиля и надо танцевать и мерять. а любимые интернетными тестровщиками (не имею ввиду Вас, автор) бенчмарки в виде dd if=/dev/zero - это чепуха.
Re: Упала скорость на LSI Mega Raid 150-6
Вы сами можете ответить на все свои вопросы если попробуете представить что в каком объёме и куда вы пытаетесь закешировать.
вливая на контроллер гиг информации вы ждете прироста в чем ? в кешировании гига 64МБ кеша ??
падение логично, помимо прямого выливания на диски мы тратим время на попытку кеширования!
вливая на контроллер гиг информации вы ждете прироста в чем ? в кешировании гига 64МБ кеша ??
падение логично, помимо прямого выливания на диски мы тратим время на попытку кеширования!
t.me: @RoboforumSetar ; st@3nt.ru
Re: Упала скорость на LSI Mega Raid 150-6
squirL, спасибо за ответ.
Кстати, самый первый тест был как раз с включенным дисковым кэшем. Посмотрите внимательнее.
За ссылку отдельное спасибо, посмотрел. К сожалению, однозначного ответа на все мои вопросы она не дает.
setar, да такая мысль мне приходила в голову И ситуацию с WB это, положим, действительно объясняет. Но тогда получается, что имеет смысл использовать данный контроллер только в тех случаях, когда запись идет порциями до 64МБ и между ними есть еще достаточный перерыв, чтобы контроллер успел сбросить кэш. Очень уж узкая задача..
И все-таки, почему при отключении дискового кэша наблюдается такое падение производительности?
Если я правильно понимаю смысл, то, оставив его включенным, есть ровно такая же вероятность потерять данные, как если использовать write policy = wrback при отсутствии у рейд-контроллера батарейки.я что-то не понимаю, какой смысл крутить write policy и что-то тестить, если вы вообще write cache отключили.
Кстати, самый первый тест был как раз с включенным дисковым кэшем. Посмотрите внимательнее.
За ссылку отдельное спасибо, посмотрел. К сожалению, однозначного ответа на все мои вопросы она не дает.
Не соглашусь с Вами. dd, на мой взгляд, очень хороший и простой способ протестировать два вида профилей нагрузки: последовательные запись и чтение. Запускать более сложные тесты я пока смысла не вижу, т.к. не смогу правильно интерпретировать их результаты, не поняв предварительно почему все так плохо при последовательном доступе.бенчмарки в виде dd if=/dev/zero - это чепуха.
setar, да такая мысль мне приходила в голову И ситуацию с WB это, положим, действительно объясняет. Но тогда получается, что имеет смысл использовать данный контроллер только в тех случаях, когда запись идет порциями до 64МБ и между ними есть еще достаточный перерыв, чтобы контроллер успел сбросить кэш. Очень уж узкая задача..
И все-таки, почему при отключении дискового кэша наблюдается такое падение производительности?
Re: Упала скорость на LSI Mega Raid 150-6
при отключении дискового кеша мы сокращаем длинну NCQ очереди до 1
поэтому на операциях ожиданиях следующей команды получаем такое падение.
P.S. это не утверждение, а лишь мое предположение.
поэтому на операциях ожиданиях следующей команды получаем такое падение.
P.S. это не утверждение, а лишь мое предположение.
t.me: @RoboforumSetar ; st@3nt.ru
Re: Упала скорость на LSI Mega Raid 150-6
задача кеша в 64МБ - хранить наиболее часто меняющиеся блоки.
обычно это FAT, и это весьма распространенная задача.
обычно это FAT, и это весьма распространенная задача.
t.me: @RoboforumSetar ; st@3nt.ru
Re: Упала скорость на LSI Mega Raid 150-6
То, что скорость при отключении кэша должна упасть, сомнений не вызывает. Мой вопрос - почему, если диск подключен напрямую к мамке, то скорость падает в два раза, а, если к контроллеру - то в 9?setar писал(а):при отключении дискового кеша мы сокращаем длинну NCQ очереди до 1
поэтому на операциях ожиданиях следующей команды получаем такое падение.
P.S. это не утверждение, а лишь мое предположение.
Re: Упала скорость на LSI Mega Raid 150-6
Прошу прощения, не очень понял причем тут FAT. Можно чуть подробнее? Кроме того, все-таки на серверах обычно используется NTFS (если говорить о виндах).setar писал(а):задача кеша в 64МБ - хранить наиболее часто меняющиеся блоки.
обычно это FAT, и это весьма распространенная задача.
Re: Упала скорость на LSI Mega Raid 150-6
setar, вот специально решил протестировать скорость записи порции данных до 64МБ (сейчас сделан RAID0 из 3-х дисков, дисковый кэш включен на всех 3-х дисках).вливая на контроллер гиг информации вы ждете прироста в чем ? в кешировании гига 64МБ кеша ??
С включенным WB:
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.656911 seconds, 91.3MB/s
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/dev/sdb bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.688625 seconds, 87.1MB/s
Есть этому какое-нибудь объяснение?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Упала скорость на LSI Mega Raid 150-6
Каким образом контроллер PCI-32 прокачает 500МБ/с?
Не мучайте старичка - ему уже много лет, как на пенсию пора.
Не мучайте старичка - ему уже много лет, как на пенсию пора.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Упала скорость на LSI Mega Raid 150-6
Он и в молодости-то скоростью отнюдь не блистал.
Re: Упала скорость на LSI Mega Raid 150-6
Вообще-то он PCI-64 (PCI-X). Уж 300-то точно должен. Вот бенчмарк системной памяти, для примера:gs писал(а):Каким образом контроллер PCI-32 прокачает 500МБ/с?
Код: Выделить всё
# ./busybox-i686 dd if=/dev/zero of=/tmp/test bs=1M count=60
60+0 records in
60+0 records out
62914560 bytes (60.0MB) copied, 0.179954 seconds, 333.4MB/s
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Упала скорость на LSI Mega Raid 150-6
Ну не 300, а 266 - и то ТЕОРЕТИЧЕСКИ. Реально шина может заметно меньше.
А дальше все еще грустнее. На контроллере стоит процессор то ли 100, то ли 66МГц - уж не помню. Делайте выводы.
В общем, ваши поиски истины очень напоминают геронтофилию...
А дальше все еще грустнее. На контроллере стоит процессор то ли 100, то ли 66МГц - уж не помню. Делайте выводы.
В общем, ваши поиски истины очень напоминают геронтофилию...
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 19 гостей