Контроллер Adaptec 5805 не запускает регенерацию

[SergKz]

(поиском и листанием форума аналогичной ситуации не нашёл, покажите если не увидел)

Из-за неисправности UPS (бывает и такое, ага, если устройство снабжено предохранителем - то первым сгорает устройство, защищая предохранитель) произошло аварийное отключение хранилища с 16-ю винтами на контроллере 5805.
Соответственно один массив RAID5 из 10 дисков выпал в Degraded.
После старта один из дисков не увиделся, и началась регенерация на запасной.
НО! тут подоспела ещё одна авария по питанию, после которой массив остался в состоянии Degraded, но и регенерация прекратилась. Неопознающийся диск был заменён на ПОЛНОСТЬЮ АНАЛОГИЧНЫЙ, система перезапущена. Регенерация не идёт. Подождали час - не идёт. Новый диск был отмечен как Dedicated Hot Spare для сломавшегося массива - регенерация не запускается.
Смотрю через arcconf список текущих задач - ничего не выполняется.
Через Adaptec Storage Manager пункты меню "verify" и "verify with fix" для деградированного массива недоступны (серые, неактивные).
А, да - система Windows Storage Server 2008 x64.

Так и висит уже больше суток вот в таком виде:
===
C:\Program Files\Adaptec\Adaptec Storage Manager>arcconf getconfig 1 ld 2
Controllers found: 1
----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 2
Logical device name : Vol2_16TB
RAID level : 5
Status of logical device : Degraded
Size : 17141750 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
MaxCache preferred read cache setting : Enabled
MaxCache read cache setting : Disabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery/ZMM
Partitioned : Yes
Protected by Hot-Spare : Yes
Dedicated Hot-Spare : 0,22
Global Hot-Spare : 0,23
Bootable : No
Failed stripes : No
Power settings : Disabled
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (Controller:1,Enclosure:0,Slot:5) JK11A8B9HH9W1F
Segment 1 : Present (Controller:1,Enclosure:0,Slot:6) JK11A4B8HBU63W
Segment 2 : Present (Controller:1,Enclosure:0,Slot:7) JK11A4B8H9RELW
Segment 3 : Present (Controller:1,Enclosure:0,Slot:8) JK11A8B9HGXTWF
Segment 4 : Present (Controller:1,Enclosure:0,Slot:9) JK11A8B9HGXW4F
Segment 5 : Present (Controller:1,Enclosure:0,Slot:10) JK11A8B9HG1WVF
Segment 6 : Present (Controller:1,Enclosure:0,Slot:11) JK11A4B8H9RAWW
Segment 7 : Present (Controller:1,Enclosure:0,Slot:12) JK11A8B9HGXR0F
Segment 8 : Present (Controller:1,Enclosure:0,Slot:13) JK11A8B9HGXWRF
Segment 9 : Missing

Command completed successfully.
====

То есть запасные диски для массива контроллер видит, но регенерировать массив на них не считает нужным.

arcconf rescan 1 делал - не помогло, только подвесило всё хранилище на 5 минут.

Куда ещё можно пнуть контроллер, чтобы он запустил регенерацию?


update: в суппорте Adaptec, что интересно, ответили, но рекомендации сводятся к трём вариантам:
1. Сбэкапить весь массив целиком (16 терабайт, ага), уничтожить логический диск и пересобрать, потом залить из бэкапа. Невозможно - бэкапить такой объём некуда.
2. Зайти в BIOS в меню дисковых утилит и отформатировать не желающий активироваться запасной диск низкоуровневым форматом. Пока не делал.
2. Отсоединить корзину от контроллера, через инженерное меню BIOS контроллера очистить NVRAM, потом присоединить корзину обратно. Контроллер по задумке на голый конфиг поднимет инфу с дисков. Честно говоря - БОЯЗНО.
3. Как оказалось, ни по логам, ни какими-то командами или менюшками, в том числе инженерного меню BIOS, НЕВОЗМОЖНО во-первых точно сказать, почему контроллер не желает запускать регенерацию, во-вторых НЕВОЗМОЖНО принудительно запустить эту саму регенерацию. Умный сука (с)

update2: многократное назначение запасного диска то Spare, то Dedicated Spare, то инициализация, то очистка - ни к чему не привели.

update3: состояние диска контроллер оценивает как нормальное, ошибок нет. В логах (support archive) присутствует некоторое количество сообщений ILLEGAL COMMAND в том числе и про этот диск, и про другие. Диски из листа совместимости (HCL).

[Tert]

SergKz
Прошивка на контроллере последняя?
В одной из последних версий прошивки на 5xxx исправлялась похожая проблема.

[SergKz]

SergKz
Прошивка на контроллере последняя?
В одной из последних версий прошивки на 5xxx исправлялась похожая проблема.

Из письма от суппорта адаптек:

"Имеется возможность обновить БИОС контроллера на более новую версию, но я не хочу Вам это предложить, пока мы попытаемя потратить все остальные возможности. Я понимаю Вашу осторожность ....."

К тому же у меня версия 5.2-0 (18948), на сайте адаптека более новой нету.
http://www.adaptec.com/en-us/downloads/ ... +5805.html
Если только где-то в других языковых версиях или каких-то бетах...

[Be_HaPPY_]

Аналогичная проблема у меня на 3 разных серверах. Контроллеры 5805 и 5805Q, версия прошивки последняя, что есть на сайте.
Винты в серверах разные - SAS 300 15k, SAS 600 15k, SATA 3Т WD RE.
Объединяет их только одно - backplane с экспандером Supermicro и версия прошивки 5.2.0 (18948).

Раз в полгода-год контроллер выплевывает один произвольный винт (каждый раз винты разные) и запускает rebuild только если перезагрузиться и войти в BIOS контроллера. Иногда приходится выбрав массив Ctrl+R нажать чтобы принудительно запустить rebuild. Через виндовую утилиту сделать это невозможно, все пункты неактивны.
У единственного сервера с таким контроллером, на котором такое не наблюдается - backplane без экспандера.
Кстати, с внешним экспандером (Chenbro на таком же чипе, как и эти в Supermicro) тоже раз была беда - вместо данных каша на всех винтах (заметили во время резервного копирования).

[Don_Fear]

А какая у вас версия прошивки контроллера?

[Be_HaPPY_]

На картинках есть: 5.2.0 (18948) - это последняя, которая есть на сайте.
Контроллеров с другой версией у меня нет.
Сейчас после перезагрузки и принудительного Ctrl+R идет rebuild раздела, который на картинках Degraded.

[Don_Fear]

A support-log контроллера можете выложить?

[Be_HaPPY_]

Да, вот он:

Support.rar

(675.92 КБ) 298 скачиваний

[maverlife]

еще драйвер старенький, http://www.adaptec.com/en-us/speed/raid ... rt_zip.php.

[Be_HaPPY_]

These drivers are Microsoft Certified for:
- Adaptec RAID 7805, 7805Q, 78165, 71605E, 71605, 71605Q, 71685, 72405, 8405, 8805, 8885, 8885Q, 81605ZQ using Firmware/BIOS b32033

А у меня 5805. Для него последний тот, что стоит у меня (во всяком случае, так написано на сайте адаптека).

[maverlife]

поставьте этот )

[Be_HaPPY_]

Обновил. Но вряд ли влияет драйвер: ибо Windows у меня только на одном проблемном сервере, на остальных - ESX и та же проблема.

[Don_Fear]

2Be_HaPPY_

Скажите, а на других контроллерах диски поримерно такие-же или иные?
И если иные, то какие?

[Be_HaPPY_]

Другие - SAS Fujitsu на 300 ГБ 15к об. и SAS Seagate на 600 ГБ 15k об.
Модели через vSphere не посмотреть, могу узнать лишь в понедельник.
Кстати, замечено, что чем больше объем, тем чаще проблема: на 300 было лишь 2 раза за 4 года, 600 раз 5 за 4 года, а 3 ТБ после установки их в сервер продержались меньше, чем 6 мес.

[Tert]

Be_HaPPY_
Выключите кеширование записи на дисках.
А то так и будете ловить сбои.

Кроме того, учтите, что у бекплейнов с экспандером от LSI на 3 Гб есть проблема с дисками SATA на 6 Гб.
Они запускаются на 1,5 Гб и могут произвольно отваливаться в массивах. От контроллера это не зависит, т.к. связано с ошибкой в чипе экспандера.