Проблеммы в скорости на 3ware 9550SX

[ZZZ]

Добрый день! Может кто сталкивался или даст совет. Заранее благодарю!
Такая проблема: есть массив на контроллере 3ware 9550SX-4LP, в нем 4 жестких диска Seagate ST3400832AS (http://www.seagate.com/support/disc/spe ... 832as.html 400Гб, sata2, 7200rpm, NCQ, 8Mb buffer) в RAID5. Скорость шины 133МГц, ОС – Windows 2003. Сервер на чипсете Intel® E7221, 2ГГб RAM. Драйвера и микропрограмма – последние с сайта производителя. Настройки Rebuilt/migrate rate стоят по середине (оптимальное соотношение между Faster Rebuild и Faster I/O), Verify Rate – аналогично – середина между Faster Verify и Faster I/O. Буфер записи включен (BBU нет), NCQ – выключено. Пробовал этот совет - http://www.3ware.com/KB/article.aspx?id=11690 ,помогло лишь от части, производительность увеличилась примерно процентов на 15. Оптимальные параметры получились при размере буфера 256К, отключенном NCQ и включенном кэше. Вот результаты программы HDD Tune:
bufer_on_256k_NCQ_off
HD Tune: AMCC    9550SX C0:Drv00a Benchmark
Transfer Rate Minimum : 9.8 MB/sec
Transfer Rate Maximum : 86.1 MB/sec
Transfer Rate Average : 67.5 MB/sec
Access Time           : 14.5 ms
Burst Rate            : 86.4 MB/sec
CPU Usage             : 5.4%
график чтения/записи достаточно ровный, без провалов.
Сейчас при копировании с/на сервер наблюдаются жуткие тормоза. Очередь к дисковой подсистеме  при активном обращении доходит до 250 (посмотрел через монитор производительности)! Что я упустил и как исправить ситуацию?


Просьба не предлагать выкинуть контроллер, винты и купить скази с новым контроллером

Добавлю. Проблема проявляется и локально и по сети. Видел на просторах интернета, или на этом же сайте, упоминание о конфликте контроллера и встроенной сетевой карты. У себя никаких конфликтов не обнаружил, по крайне мере в системном журнале, ни в диспетчере устройств конфликтов нет...

[a_shats]

А каких показателей Вы ожидаете в один поток, интересно ?  :lol:
Можете попробовать отключить кэш WriteBack.
Суть - он не успевает flush'иться в один поток. Который идет из ОЗУ (файловый кэш ОС).

[ZZZ]

А каких показателей Вы ожидаете в один поток, интересно ?  :lol:

То есть это нормальные показатели? Но я снимал их при полностью разгруженном сервере, т.е. именно один поток. Если же запустить параллельно копирование файлов, то цифры будут намного грустнее.

Можете попробовать отключить кэш WriteBack.
Суть - он не успевает flush'иться в один поток. Который идет из ОЗУ (файловый кэш ОС).

С отключенным кэшем тормоза просто жуткие.  То есть размера кэша на контроллере не хватает? Или 8Мб кэша у жестких дисков не достаточно? Почему это происходит только на этом сервере? Ведь это нормальная ситуация, когда данные из оперативной памяти пишутся на диск и при этом не должно создаваться таких очередей к диску. Тем более характер данных не потоковое видео, а, например, синхронизация личных каталогов пользователей или периодическая запись на диск небольших файлов по 5-10Мб. Определенно в цепочке жесткие диски-контроллер-файловая система есть узкое горлышко, из-за которого и образуются очереди, но где оно или как его найти?

[gs]

Для верности попробуйте более вменяемым иометром потестить. Но вообще-то для одного потока цифры вполне разумные.
Откуда резкие тормоза? В большинстве подобных случаев проблемы были в дровах или багах винды.

[IgorKj]

Столкнулись с аналогичной проблемой.
Сервер - SE7501CW2, контроллер 3ware 9550SX-8LP
8 дисков ST3320620AS, 5 RAID (хранение архивов),
W2K3 R2, сеть - набортная
Скорость чтения по сети приемлемая.
При записи данных по сети на сервер происходит плавное снижение скорости с 9600 Kb/s до 4000 Kb/s (скорость опр. Far-ом)
Текущая длина очереди диска - ср.зн 21
В этот момент терминальное окно сильно примораживает, при этом процессор 2-7% загрузки.
Пробовали вариант с доп сетевой картой (не набортная) - результат аналогичный.
Есть ли решение данной проблемы?

[Tert]

IgorKj
Попробуйте в свойствах сетевой карты выключить опции в разделе TCP/IP Offload.

[ZZZ]

IgorKj
Попробуйте в свойствах сетевой карты выключить опции в разделе TCP/IP Offload.

Я пробовал, не помогло. Сразу после начала тормозов.

[IgorKj]

Tert
поставили - без изменений

Что еще можно попытаться предпринять???

[MasterDVDselect]

С
Скорость чтения по сети приемлемая.
При записи данных по сети на сервер происходит плавное снижение скорости с 9600 Kb/s до 4000 Kb/s

А что с локальной записью ?

[IgorKj]

MasterDVDselect
Проверили только в пределах этого же массива -
т.к. создан один RAID5 массив более 2 Тб, и уже OS W2003 R2 разбиты на 2 раздела. Один из разделов более 2Тб и преобразован в GPT диск Ситуация такая же - падение скорости до 3200 Kb/s, заморозка экрана (доп. диски не могу подключить - не хватает БП)
Может из-за GPT диска?

[Tert]

IgorKj
Посмотрите здесь.

[ZZZ]

Может есть у кого-либо мысли по данной проблеме? Так же не очень понятна ситуация с включением кэширования записи - при его включении в 3DM2 (вэб интерфейс консоли управления контроллером) после перезагрузки сервера эта настройка сбрасывается (кэш записи отключается). При изменении через BIOS контроллера - то же самое, после перезагрузки кэш отключается.  В документации написано следующее:

Write cache disabled on degrade. In the event that a unit degrades, the use of write cache can be disabled until the unit is rebuilt. Once the unit is rebuilt, you must enable the write cache manually using 3DM2, 3BM, or the CLI. The write cache will not automatically reenable when the unit is rebuilt.
The Protection profile enables this feature, so that write cache is disabled; the Performance and Balanced profiles disable this feature, so that write cache continues to be enabled.

The three profiles (Protection, Performance, Balanced ) automatically adjust several different factors that affect protection and performance on a per unit basis. These are summarized in the table below and further explained after the table.

Всегда стоял профиль Balanced и degrade не было...

На этом сервере крутится контроллер домена, файловый сервер и сервер печати, пользователи скоро порвут нас на части Так же этот сервер является шлюзом в интернет.

[Tert]

ZZZ
Проблема в том, что сервер выполняет функцию контроллера домена. На таком сервере Windows всегда выключает кэширование записи.
Драйверы 3Ware устроены таким образом, что по умолчанию выполняют все SCSI команды ОС по прямому доступу к массиву, минуя кэш, и поэтому выключают кэширование записи по требованию Windows.
Попробуйте выключить эту возможность, внеся в реестр следующую запись:
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\3ware Storage Controller]
"CacheControl"=dword:00000031

[Blaze]

А проо контроллер HP E200 (c батарейкой) 128Мб - никто не подскажет про аналогичный ключик в реестре?

[ZZZ]

Подниму тему). Действующие лица те же - 9550 и 4 диска в raid5. С того момента только поставили BBU и заменили один диск, который вылетел, года 2 назад (на скриншоте видно - один диск другой модели).
В один ужасный день вышли из строя сразу два диска, один со статусом failed, другой - time out.

Пока везли диски, сервер работал (три дня). При чем работал полноценно, данные писались и читались, бэкапы делались. Привезли новые диски, выключили сервер. Вставили новый диск на место диска со статусом error. Контроллер видит только три диска - два старых и новый. Странно. Вернули все назад - видно два диска и тот который со статусом failed. Поменял местами два проблемных диска - не помогло. ОС не грузится. Массив имеет статус Unusable. Из мануала:

Unusable Arrays lists any RAID configuration missing too many drives to construct the unit. For example, a RAID 5 unit with two or more drives missing would appear in this list.

Никаких операций с массивом через RAID bios делать нельзя, не пробовал разве что удаление. Если к трем оставшимся вставить один новый, ничего не меняется.

Вопрос 1. Могло так случиться, что после того как стали недоступны 2 диска из 4, данные продолжали записываться на 2? Ведь не может raid5 (собранный из 4х дисков) работать на 2х дисках или это возможно?!

Вопрос 2. Есть ли ПО для восстановления, которое сможет собрать данные на один диск (бОльшего объема чем бывший raid5)?

Кстати. Если у вас как и у меня на этом контроллере стоит AD, то при перезагрузке выключается кэш. Можно это поправить через реестр, а можно через CLI контроллера. Вот так - "C:\Program Files\AMCC\CLI\tw_cli.exe" /c0/u0 set cache=on

у меня это стоит в автозагрузке.