Проблемы с LSI MegaRAID SCSI 320-0

[Life]

Здравствуйте, никак не могу понять странное поведение контроллера. Сейчас на контроллере есть 2 массива:
RAID 10 из 4 дисков.
RAID 1 из 2 дисков.
Оба они в статусе degraded, соответственно в каждом из них по одному вылетевшему диску. Проблема заключается в том, что на новые диски контроллер не хочет делать rebuild. Просто думает какое то время потом пишет что rebuild не удался и ставит диск в Failed. Rebuild запускал по разному, и в ручную, и через HotSpare диск, но результат всегда один, диск Failed.
Самый первый раз правда rebuild на 10 рейде стартовал, и даже завершился. Однако после перезагрузки сервера этот же диск отвалился.
Один из новых дисков теперь вообще контроллером не распознается, при сканировании сразу пишет что не может определить размер диска.
Кроме того если сервер перезагружается, а не выключается, то при проверки массивов возможны разные чудеса, в виде очень долгого поиска дисков (при этом видно контроллер длительное время опрашивает какой то один диск), или даже потери массивов. Но если выключать сервер а не перезагружать, то все загружается коректно. С чем может быть связано такое поведение контроллера, и какие варианты решения есть? Буду рад любой помощи, т.к. уже несколько дней не могу решить данную проблему, и пересобрать массивы.

P.S. BIOS контроллера последний, новые диски на которые делается rebuild полностью идентичны, вплоть до версии bios.

[KAI]

Попробуйте сменить кабель или, как минимум, проверить терминацию. Диски поднимаются на 320? Понизьте до 160, 80. Так же сбоит?

[Stranger03]

P.S. BIOS контроллера последний, новые диски на которые делается rebuild полностью идентичны, вплоть до версии bios.

Где вы откопали таких динозавров? Я думал они уже вымерли, ан нет. Уверены, что все идентично? Несовпадение по кол-ву секторов и размеру дисков может быть причиной. Хотя кабель наиболее вероятная причина.

[Life]

Сейчас посмотрел с помощью GAMa и Power Console вот такая ситуация:
1 канал (RAID 10 из 4 дисков):
Диск 1 - 160 Mb/s - Wide (Dead) (именно этот диск ребилдился 1 раз) - диск BF3008B26C U320
Диск 2 - 160 Mb/s - Wide (On line) - диск BF3008B26C U320
Диск 3 - 160 Mb/s - Wide (On line) - диск BF3008B26C U320
Диск 4 - 160 Mb/s - Wide (On line) - диск BF3008B26C U320

2 канал (2 новых диска + RAID 1 из 2 дисков), и с этим каналом вообще все не понятно:
Диск 1 - 160 Mb/s - Wide GAM показывает что диск Dead, а Power Console показывает что диск Ready на самом деле это новый диск - диск BF3008B26C U320
Диск 2 - Asynchronous speed - Narrow (On line) - диск BF3008B26C U320
RAID1 Диск 3 - сейчас диска нет (Dead)
RAID1 Диск 4 - 320 Mb/s - Wide (On line) - диск ST3146854LC U320

Вопросы такие появились. Почему на первом канале скорость 160 а не 320, а на втором вообще не ясно что происходит, разные скорости и даже битность.
Сам сервер в стойке, сервер NoName (самосбор). Я так понимаю что надо его вынимать из стойки открывать и смотреть, что там как подключено?

[Stranger03]

Сам сервер в стойке, сервер NoName (самосбор). Я так понимаю что надо его вынимать из стойки открывать и смотреть, что там как подключено?

Точно нонейм? Парт на диск выдает, что это ХП. Ну и надо разобрать, посмотреть что как подключено. Проверить терминацию, кабеля, разъемы. Хотя конечно этому динозавру давно пора на свалку.

[Life]

Да точно. А диски просто такие стояли, вот таки и купили. Сейчас проштудировал мануалы. Я правильно понимаю, что на концах кабеля должны стоять терминаторы, если кабель имеет большее количество коннекторов чем количество установленных дисков. Т.е. скажем если на кабеле 7 коннекторов, а у нас 4 диска, то получается что глушить надо последний 7 коннектор, или 6 (1 - это контроллер потом 4 диска, 6 свободный). А в биосе контроллера должно быть Termination - Enabled. Я так понимаю что настройки по терминации и скорости можно только из биоса менять, а из GAMa или Power Console нельзя.

[Stranger03]

А в биосе контроллера должно быть Termination - Enabled. Я так понимаю что настройки по терминации и скорости можно только из биоса менять, а из GAMa или Power Console нельзя.

Где-то так: http://de.ifmo.ru/bk_netra/page.php?ind ... utindex=28

[Stranger03]

Надо смотреть как подключены устройства. Если двумя кабелями к двум каналам на контроллере, то на контроллере терминацию выключить, а на концах кабелей наоборот включить. Самый простой вариант использовать кабеля с активной терминацией на концах. Тогда все само заработает.

[Tert]

Со стороны контроллера никакой дополнительной терминации не надо. Достаточно встроенной.
Надо просто на материнской плате подключить к каналу крайний разъем кабеля.
Другой конец кабеля должен быть затерминирован терминатором для дифференциальной SCSI шины.
При этом рекомендуется диски вешать поближе к этому терминатору.

Но диски у вас 80-пиновые для корзины. Т.е. насколько я понимаю, они стоят в корзине для дисков с горячей заменой. Если корзина проходная, то там обычно надо руками включать/выключать терминатор.
Скорее всего проблема именно в этом.

[Life]

Да диски стоят в корзинах горячей замены. Т.е. я правильно понимаю, что надо на крайних корзинах включить терминацию, если там она есть?

[Tert]

Life
Да.

[Life]

Вытащил из стойки сервер на выходных, разобрал. Сделал фотки того как оно там сейчас:
Это сам контроллер:


Подключение от контроллера к корзине, как видно по фото терминаторы на концах кабеля стоят:


Сама корзина, и ее подключение к контроллеру:


Переключатели на корзине, сейчас все стоит в положении выключено, я так понимаю что это и есть настройки терминации. Не понятно лишь что значит ON RSN это написано мелким шрифтом на переключателях, при увеличении фотографий видно:


Теперь о том что я пробовал. Сначала поставил на обоих переключателях 4 в положение ON. Т.е. на мой взгляд это могло значить терминацию четвертых корзин на каждом из каналов. После запуска WebBios контроллера увидел что диски поменяли свои ID. Раньше ID были 0,1,2,3, а после того как я изменил положение переключателей, ID стали 8,9,10,11. Т.е. диски стали стоять после контроллера т.к. он имеет ID 7.
Потом я решил переключить оба переключателя на 1 в положение ON, а 4 вернуть в OFF. Т.е. затерминировать первые корзины, я так понимаю что в данном случае контроллер должен был увидеть только по одному из дисков на каждом из каналов. Но этого не произошло, и после запуска WebBios контроллера, я увидел что все диски присутствуют с ID 0,1,2,3.
На данный момент все вернул как было, т.е. все переключатели в OFF. Мне не очень понятно почему изменились ID у дисков, и в случае их изменения пройдет ли корректно загрузка ОС? В настройках контроллера в WebBios терминация включена, скорость каналов U320. Кстати после загрузки в PowerConsole увидел, что теперь все диски работают в Wide 160.

[Tert]

Life
Вот бы знать производителя и тип корзины. Тогда можно почитать документацию:-)
А без этого можно долго гадать с риском спалить что то.


По крайней мере, ваши эксперименты показали, что какие то переключатели меняют SCSI ID дисков. Это необходимо, если Вы к одной корзине подключаете другую, чтобы диски в разных корзинах имели разный номер.

[gs]

Знаете, я бы на Вашем месте был счастлив, что это до сих пор работает - этим контроллерам уже лет 10 (ну 7-8 минимум).
Бегите лучше за новым сервером - неизвестно когда это чудо навернется окончательно...

[KAI]

Вот с этим
Диск 2 - Asynchronous speed - Narrow (On line) - диск BF3008B26C U320
однозначно проблема.

Кроме того. В таком подключении терминаторов на кабелях вообще быть не должно, они должны быть на выходе бэкплейна или в самом бекплейне.
PS Как оно вообще работало?