Проблема с отключением дисков adaptec 6805

[-=Sergey=-]

Добрый день.
Очень прошу помощи, всю голову уже сломал, что может быть?
Есть корпус Intel SC5600LX с двумя оригинальными экспандерными корзинами на 4 и 6 дисков.
Набивка:
1) adaptec 6805 + конденсатор
2) 2 x SSD VERTEX3 в raid 1(под систему)
3) 10 x 2TB WD2003FYYS в raid 6
На данный момент все прошивки и ПО последние с сайтов производителей.
Две недели назад обновил Firmware на адаптеке, на последнюю, так же обновил драйвера и ASM. И после этого началось, при более менее серьезной нагрузке на Raid 6 (чтение данных около 120Мб/c и записи около 5Мб/c) через 3-4 часа, просто отваливается один из дисков из массива и система зависает, помогает только жесткая перезагрузка, после чего автоматом начинается ребилд этого диска. Если во время ребилда нагрузить так же, система просто зависает и при перезагрузке либо начинается ребилд еще одного диска, либо продолжается ребилд старого диска.
До обновления прошивки и ПО такого не было, но была другая проблема, сервер нельзя было перезагрузить, т.к. при перезагрузке не определялась добрая половина дисков или даже вся корзина с дисками. Помогало только полное отключение питания секунд на 5-10 и после этого все запускалось корректно. Сейчас такой проблемы нет, т.е. перезагружается отлично, но нагрузок не держит. Куда копать? Нагрузка на массив, существенно меньше чем реальная его производительность и в дальнейшем только увеличится.
По Raid 1 нет никаких проблем.
P.S. Или только ждать новой Firmware для адаптека? Просто посмотрел в списке совместимого оборудования есть только корзина AXX6DRV3GEXP, а AXX4DRV3GEXP отсутствует. Может в этом проблема? Никакие Verify with fix не помогают, диски так же постоянно разные вылетают, но чаще из корзины на 4 диска, наверно даже в 80% случаев.

[DeadMazay]

что говорит сервис поставщика???
в логе адаптека что пишется???

[gs]

Напишите в саппорт адаптека, у них есть спец в Москве.
Но вообще-то похоже на несовместимость. Винты ЭТОЙ ревизии есть в HCL? Не модель, а ревизия - у ВД с этим сложно. Да и корзина радости не добавляет.

[DeadMazay]

Игорь, в HCL есть диски, но вот корзинка от Intel только на 6 дисков... (на 4 видать даже не тестировали)

[-=Sergey=-]

что говорит сервис поставщика???
в логе адаптека что пишется???

В логе пишется только то, что диск потерян и массив sub-optimal, и буквально в течении 5-10 минут все зависает наглухо. К постащику не обращался, т.к. подозреваю тут какая то несовместимость в конкретном оборудовании.

[-=Sergey=-]

Напишите в саппорт адаптека, у них есть спец в Москве.
Но вообще-то похоже на несовместимость. Винты ЭТОЙ ревизии есть в HCL? Не модель, а ревизия - у ВД с этим сложно. Да и корзина радости не добавляет.

Завтра напишу тогда, не подскажите, у них саппорт на русском есть? Винты этой ревизии есть в HCL, корзина тоже есть, но только на 6 дисков, на 4 диска нет корзины.

[gs]

http://ask.adaptec.com/scripts/adaptec_ ... aqid=16909

[-=Sergey=-]

Может кому то будет интересно, вот ответ саппорта адаптека:
We have reports that other similar cases and are waiting for some clarification on how to resolve this issue. As soon as we have the information, we will contact you again with the details.
We appreciate your patience.

[Dalamar81]

Испытываю абстолютно ту же самую проблему с AXX6DRV3GEXP. И была такая же проблема с неопределением дисков при перезагрузке до обновления прошивки.
Но у меня диски вылетают из всех массивов, в т.ч. и из Raid1. Сначала на диске начинаются Link Fails, затем возникает Aborted Cmd, затем сервер зависает. Единственное найденное облегчение после зависания - это не перезагружать сервер, а вынуть из корзины диск, мигающй жёлтым - отвалившийся диск начинает мигать. После этого сервер разблокируется и помечает том как degraded. После этого можно вернуть диск в корзину, и на него начинается rebuild.
Завёл запрос в adaptec, отправил много логов, переписываюсь с 16 января 2012, но пока решения так и нет...

[Zeema]

Всем добрый день:

FYI
1. При использовании корзин Intel с экспандерами и без важно обращать внимание на прошивку корзины и лучше сразу прошивать на последнюю версию. См. errata docs на сайте Интел. Это общий подход.

Для контроллеров серии 6 >>>>> ВАЖНО

Intel Backplane Intel AXX6DRV3GEXP is not working with Series 6 and Backplane Firmware version above 2.15 – so 2.16 / 2.17 / 2.18 are not working.

With the mentioned Backplane Version drive are gone after reboot cycles – all drive types and vendors failing SAS / SATA / 6.0 / 3.0 / 1.5 etc.

Intel is involved and recommended to customer using 2.15 – statement will follow which changes were applied to backplane.

Verify testing on 2.14 / 2.15 shows no issues under load and reboot cycle testing.

Status : Waiting on further feedback from Customer and Intel.

На сколько я знаю, прошивка с исправлениями будет от INTEL в самое ближайшее время.

2. Некоторые диски в корзинах SAS2 Интел требуют принудительного перевода в SAS1, SATA2 режим. Это для немного старых моделей дисков. Не забывайте, пожалуйста, про это правило. Мы особенно не советуем SAS2 ител бэкплейны 4, 6 дисков с SAS1 контроллерами.

3. Встречали порядка 10 случаев роста cmd aborts для дисков WD FYYS. 80-90 процентов для 3 серии контроллеров, остальные случай для 5 серии, при этом для 5 серии на SMC = supermicro бэкплейнах, возможно использует тоже hardware, что и в Intel корзинах (сложно проверить, нет прямых или постоянных контактов с пользователями, которые встретили эту проблему, или сложности получения релиза прошивки бэкплейна). Пока эта проблема в работе. Эта модель в листах совместимости и для 3 и для 5 серии. Сложности еще и в том, что иногда бэкплейн выходит из строя и появляется рост счетчиков cmd aborts. Помогает замена бэкплейна. 2-3 случая за 2011 год.

[Dalamar81]

Спасибо за информацию. Скорей бы это обновление от intel.

По рекомендациям от adapted установил как раз прошивку 2.15, установил джамперы на 1.5 Гбит. Но это ничего не помогло. Проблема возникает в обеих корзинах - и AXX6 и AXX4. Если брак в корзине, то не может же он быть сразу в двух корзинах...

[Zeema]

ОК, а там у Вас какие диски? В первом случае упоминался WD FYYS. Эта единственная модель, с которой творится что-то непонятное. По крайней мере, по моим наблюдениям. Интересно, поможет ли с ней .15 прошивка корзины.

А в Вашем случае, какая модель/модели диска/ов и что за прошивка.

К слову, хотел добавить по п.2. И для SAS1 контроллеров исользовать SAS2 экспандеры тоже не рационально. Этот как к коммутатору Ethernet 100 Мб/сек прицепить гигабитные сетевые адаптеры... теряется смысл. Экспандер превраящается в SAS1.

[Dalamar81]

Контроллер 6805, т.е. SAS2.

Вот мои диски (проблемы возникают на любых из них, если они оказываются в экспандере):
Vendor..........................WDC
Model...........................WD1003FBYX-01Y7B
Serial Number...................WD-WCAW3152....
Firmware level..................01.01V01

Vendor..........................WDC
Model...........................WD1003FBYX-01Y7B
Serial Number...................WD-WCAW3152....
Firmware level..................01.01V01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY698....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY650....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY624....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY657....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY699....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD2002FYPS-02W3B
Serial Number...................WD-WCAVY699....
Firmware level..................04.01G01

Vendor..........................WDC
Model...........................WD20EARS-00S8B1
Serial Number...................WD-WCAVY566....
Firmware level..................80.00A80

Vendor..........................WDC
Model...........................WD20EARS-00S8B1
Serial Number...................WD-WCAVY565....
Firmware level..................80.00A80

Vendor..........................WDC
Model...........................WD20EARS-00S8B1
Serial Number...................WD-WCAVY565....
Firmware level..................80.00A80

[Zeema]

Вопрос -
а без WD20EARS
система работает нормально?

1. Этих дисков нет в листах совместимости
http://download.adaptec.com/pdfs/compat ... eries6.pdf
2. 4K диски (с нейтив 512 поддержкой) не работают на Adaptec 5 и 6 серии (проявляется как рост CMD aborts и отвал дисков, даже при прямом подключении), что Сигейт что WD, поддержка 4K в чистом виде будет ближе к 13 году. Дисков и с 4K и c 512 как эти, возможно, ближе к осени.

[Dalamar81]

Попробую провести тест без этих дисков. Но это не удастся сделать быстро, т.к. необходимо выбрать период, когда допустимо отсутствие этих дисков.

Про 4к диски не понял... Это Advanced Format что ли?