Несколько вопросов по Adaptec 3405

[insider]

Если возможно, прокомментируйте нижеследующее, а также я был бы благодарен за советы по теме.
Итак, имеется домашний серверок на базе Intel S3200SHV, ОС - 2008 Std x64.
Конфигурация дисковой: Adaptec 3405 без BBU (прошивка последняя), корзина Intel AXX6DRV3GEXP - экспандерная (прошивка не последняя - 2.02, корзина не подключена спец. кабелем к материнке), винты: 2*SAS + 4*SATA 500Gb RAID5, все в NTFS.

В процессе работы возникают следующие проблемы:
1. Например выполняется верификация массива и одновременно идет чтение с него же, или же выполняется ребилд массива, а обращение идет к винтам, которые не принадлежат массиву (т.е. к SAS) - контроллер может "потерять" винты, причем бессистемно, как все (всю корзину), так и часть (видно в ASM, окно которого специально не закрываю в процессе). Рескан "возвращает" диски, однако если сие произошло в процессе ребилда - контроллер может счесть один из винтов строящегося массива "failed" и т.п. В чем может быть причина и как избежать? (Нареканий на конкретный винт нет - это может быть любой из имеющихся, на любом канале корзины)

2. В процессе обычной работы (нагрузки на дисковую не было), без к.-л. сообщений (в логах ничего путного) внезапно возник "bad stripe", сервак ушел в ребут и автоматом стартанул чекдиск (на данный момент отключил в реестре). К несчастью, я не успел к старту сервера и прервал уже запущенный чекдиск (жесткой перезагрузкой), предполагая, что чекдиск вполне может разрушить здоровый раздел (случаи бывали). После перезагрузки, контроллер запустил ребилд. На одном из винтов в ASM была пометка о "bad stripes" и такая же пометка была в свойствах массива. После ребилда, пометка осталась только в свойствах массива и часть данных на диске была недоступна (или же папки не открывались или же некоторые файлы внутри папок были недоступны). При попытке скопировать инфу (не сразу, в процессе копирования) из "проблемных" папок получил BSOD и сервак снова ушел в ребут, после ребута при загрузке, контроллер и вовсе потерял все диски (сообщение об отсутствии массивов и невозможности загрузить BIOS), однако после повторной перезагрузки (полное выключение - старт) контроллер все-таки пришел в себя. Часть данных так и осталась недоступной. Проверки утилитами типа чекдиска не производились (пока что). Ошибок смарта и предупреждений по всем дискам - нет, по крайней мере так показывает ASM (а можно ли чем-то увидеть более подробную инфу по смарту?)
В нолидж-бэйзе адаптека прочитал о методах "лечения" в случае возникновения"bad stripes" - все сводится к пересозданию массива (кстати тут вопрос, если я верно понял, то нужно удалить массив, создать заново с теми же параметрами и контроллер "подхватит" старый массив?).
Как избежать появления таких логических (как я понял) "бэдов"? Каков правильный порядок действий в такой ситуации?

3. В процессе экспанда массива (просто пробовал) гарантированно отваливается один из дисков (как правило свежедобавленный) на определенном этапе билда, потом, правда, ребилд заканчивается ("выпавший" диск находится в состоянии "failed") и потом автоматом производится новый ребилд с новым диском. Отчего это может происходить? Контроллер в процесс вообще не нагружаю никакими другими задачами.

P.S. возможно такие вопросы уже обсуждались, однако ни поиском, ни путем прочтения нескольких страниц форума (его можно просто как мануал читать, спасибо ) ответов я не нашел, если все-таки пропустил - ткните, плиз, в нужную ветку.

[exLH]

корзина Intel AXX6DRV3GEXP - экспандерная (прошивка не последняя - 2.02

Это предмет для гордости?

кстати тут вопрос, если я верно понял, то нужно удалить массив, создать заново с теми же параметрами и контроллер "подхватит" старый массив?

Нет, никто ничего не "подхватит".

Как избежать появления таких логических (как я понял) "бэдов"?

Купить BBU, отключить кэш физических дисков.

[insider]

Это предмет для гордости?

да нет, уточнение, постарался дать максимум информации, дабы было легче ответить на мои вопросы. странно было бы гордиться корзиной

Нет, никто ничего не "подхватит".

спасибо, чудес таки не бывает, впрочем закономерно конечно.

Купить BBU, отключить кэш физических дисков.

BBU в планах имеется; кэш винтов в ASM отключен, а вот кэш массива - оставлен, т.е. write back. нужны еще какие-то настройки?

я, честно говоря, не могу понять, почему в шахматном порядке выпадают любые винты в "критических" ситуациях: например работа с таким вот нездоровым массивом или же ребилд и т.п. - вылетают не только винты массива, а и любые другие, вплоть до отображения полного отсутствия винтов в корзине.
также интересный глюк - это в случае проблем с массивом, ASM пишет, что обнаружил новый контроллер в системе.
насколько я понял, контролллер полностью совместим с с 2008-м сервером. так что же не так?
вылет винтов при нагрузке будет излечен установкой BBU?
на всякий случай уточню, что контроллер принудительно охлаждается и его температура не превышает норму (держится примерно 40 градусов)
т.е. я логически могу понять, что BBU спасает от потери закэшированной инфы, однако во-первых все проблемы возникали без к.-л. сбоев питания, во-вторых в корпусе стоит вполне приличный RPS-блок от Zippy и запитано все через UPS.

я не пытаюсь спорить, но хотел бы понять. и больше всего непонятно поведение контроллера в плане "потерь" дисков (особенно если с одним из массивов производятся манипуляции - другие массивы тоже спокойно жить не могут)

[exLH]

да нет, уточнение, постарался дать максимум информации, дабы было легче ответить на мои вопросы. странно было бы гордиться корзиной

Я не про корзину а про "не последнюю" прошивку.

вылет винтов при нагрузке будет излечен установкой BBU?

Нет, не будет.

запитано все через UPS.

UPS никакого отношения к BBU не имеет.

[insider]

Я не про корзину а про "не последнюю" прошивку.

А, тогда понятно Я просто не стал перешивать пока не выясню, с чем конкретно проблема. Насколько я понял, прошивкой (и то, может быть) лечится корректная работа hot-swap (по крайней мере такую информацию вычитал) - с этим могу потерпеть.

Нет, не будет.

Вот в этом и заключается основной вопрос: почему под нагрузкой (как правило ребилд, но не обязательно) контроллер начинает "терять" любые диски из любого массива или все сразу, в конечном итоге уводит машину в перезагрузку и т.п.? Как это побороть?
Я понимаю, что опыт у вас несравнимо больше, в т.ч. и с такими контроллерами - может быть подскажете, в чем именно может быть проблема?

[exLH]

Я просто не стал перешивать пока не выясню, с чем конкретно проблема.

Т.е. вот такие исправления Вы считаете незначительными?

Код: Выделить всё

1. Enable "SATA Back Channel HOLDA."
   Fixes SATA_R_ERROR issue during write command.
2. Disable auto-activation of “Hold FIFO Read Release." 
   Fixes SATA_HOLD issue. 
3. Enable "FIFO Low HOLD Release Enable." 
   Fixes SATA_HOLD issue.
4. Adjusted analog settings to fix SATA_R error on some 
   adapters.

[insider]

Т.е. вот такие исправления Вы считаете незначительными?

Откровенно говоря, мне трудно оценить данные исправления с точки зрения их необходимости, к сожалению
Так все дело в корзине? Или есть еще подводные камни?
Тогда, если не затруднит, не могли бы подсказать: для перепрошивки корзину подключаю к материнке или к контроллеру (вопрос неслучайный, т.к. продавец оборудования почему-то указывал на необходимость подключения именно к контроллеру, однако по мануалам я понял обратное, т.е. подключать в соотв. разъем матери)?

[exLH]

Так все дело в корзине?

Не знаю, но я бы начал с обновления прошивок, а не с поиска сомнительных теоретических обоснований.
Корзину рекомендуется отключить от контроллера (SAS кабель) на время прошивки и вытащить диски. Ее нужно подключить IPMB кабелем (не тот, который SAS) к системной плате. Отключать этот самый кабель не нужно после прошивки - он должен быть всегда на месте.

[insider]

Не знаю, но я бы начал с обновления прошивок, а не с поиска сомнительных теоретических обоснований.
Корзину рекомендуется отключить от контроллера (SAS кабель) на время прошивки и вытащить диски. Ее нужно подключить IPMB кабелем (не тот, который SAS) к системной плате. Отключать этот самый кабель не нужно после прошивки - он должен быть всегда на месте.

спасибо, буду пробовать прошивать, отпишусь в любом случае

[insider]

Продолжение истории...
Корзина прошиваться не пожелала (соотв. кабель был подключен к материнке, диски извлечены, sata-кабели отключены, сам контроллер не вынимал, прошивки материнки - последние) - ошибка #005 если мне не изменяет память.
В дополнении к тех. спецификации на плату (с сайта интела) прочел о найденной ошибке с прошивкой:

22. Cannot update Expandable SAS Hot Swap Back Plane firmware
on Intel® Server Board S3200SH/S3210SH based systems
Problem: Currently, updating expandable SAS Hot Swap Back Plane firmware on the
Intel® Server Board S3200SH/S3210SH based systems is not supported.
Implication: Users cannot update Expandable SAS Hot Swap Back Plane firmware.
Status: This issue is under investigation.

Как я понимаю, нужно ждать новых версий прошивок на плату
А тем временем вылеты совершенно разных винтов продолжаются. Если дело только в прошивке - возможно придется искать альтернативный способ (на другой плате). Может ли быть дело в чем-то еще? Ни у одного же меня такая корзина (да и контроллер тоже не редкий)

[gs]

Диски-то какие? Они есть в HCL контроллера и корзинки?

[insider]

Диски-то какие? Они есть в HCL контроллера и корзинки?

SAS-диски в HCL контроллера есть (сигейт 73 и фуджик 146), SATA-диски десктопные, однако они или аналогичные в HCL контроллера тоже есть (допускаю, что теоретически это может быть проблемой, однако интересно то, что тот же контроллер и корзина спокойно держали два зеркала на десктопных саташках в дополнении к сасам и проблем не было, т.е. трудности возникли при переходе на raid5 из трех, а потом и четырех SATA - диски не одновременно покупались).
На всякий случай уточню, что это бюджетная домашняя файлопомойка и конечно же это повлияло на выбор дисков.
HCL на корзину почему-то не нашел

На текущий момент кэш на каждом диске и на каждом массиве (сасы работают в одиночном режиме, впрочем это понятно, а саташки - raid5) отключен. Полную очистку саташек средствами контроллера я делал (читал, что может помочь), массив пересоздавался с нуля и уже в процессе билда вываливались диски, причем не только саташки, а и сасы, т.е. я не понимаю логики происходящего: даже если один из массивов не в порядке - почему "теряются" другие диски? В-основном происходит при нагрузке, например ребилд/верификация raid5 могут вызывать такие явления. Интересно, что (это начало случаться после подключения кабеля корзины к материнке для прошивки) несколько перезагрузок корзина теряла сразу все саташки и только после полного выключения машины и смены мест дисков (т.е. физически поменял расположение саташек, массива конечно не было на этот момент) диски стали видны снова.
В последний раз массив свалился когда в процессе принудительно запущенной верификации я более-менее интенсивно копировал на него по сети (порядка 20 гиг). Вообщем создается впечатление, что контроллер валится при нагрузке (он принудительно охлаждается, температура в норме).

Еще не вполне понятно: я предполагал, что этот дополнительный кабель для корзины, позволяет мониторить оную, однако в ASM никаких изменений не наблюдал, система тоже ничего нового не нашла.

[gs]

Попробуйте диски просто кабелем пристегнуть, без корзинки.

[insider]

Попробуйте диски просто кабелем пристегнуть, без корзинки.

Уточните пожалуйста: у меня контроллер 4-х портовый (3405), дисков - 6 (2*SAS - на одном система и 4*SATA, которые и вызвали мои вопросы) - как же я их все подключу? т.е. как воссоздам ситуацию?
Т.е. что я должен увидеть или не увидеть и при каких условиях?

[gs]

Хотя бы часть дисков.
Подозрение на корзинку, так что надо попробовать в этом убедиться.