Adaptec 3405 - развалился массив

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Adaptec 3405 - развалился массив

Сообщение rahs » 21 ноя 2011, 18:35

Здравствуйте

Контроллер Adaptec 3405, без батарейки, корзина на 16 дисков. Было собрано три массива: основной - RAID5 7 дисков по 1 Тб (4 ST31000340NS и 3 ST31000524NS), RAID5 4 диска по 750 Gb (ST3750640AS) и система - зеркало из двух ST3250820AS по 250 Gb плюс hot spare диск ST31000340NS - 1Tb

В четверг контроллер запищал, проверил - из основного массива пропало два диска, по очереди, так как ребилд на hot spare успел пройти и данные не пропали (массив был в состоянии degraded). Оперативно добавил еще один hot spare диск (что было - десктопный ST3750640AS). Прошел ребилд, потом вдруг контроллер нашел один из пропавших дисков и запустил copy back. В субботу этот процесс закончился, я добавил на всякий случай еще один hot spare ST3750640AS и запустил verify with fix на этом массиве.

Сегодня с утра зашел посмотрел - все нормально, все массивы в состоянии optimal, проверка ошибок не нашла. И я выдернул проблемный диск - проверить и заменить. Сервер немедленно упал, ядро в панике. Ребут - ни одного массива на контролере. Ребут еще раз - виден только системный raid1. Проверил прошивку контроллера, оказалась не последняя, перешил. Еще ребут - видны все три массива, но системный degraded, идет копирование на hot spare, два остальных - Failed.

Поменял контроллер, точно такой же 3405, ситуация та же - системный диск degraded, оба raid5 - Failed. Еще одна перезагрузка - и остался только системный диск, все остальное - россыпью. Поставил обратно старый контроллер, ничего не поменялось

Собственно вопрос - можно ли восстановить массивы?

PS: Уведомление о проблемах было настроено, почему не пришли письма с уведомлением - совершенно непонятно.
PPS: Проблемный диск действительно проблемный, весь в бэдах и отваливается через минут пять после подключения

Код: Выделить всё

/usr/StorMan/arcconf getconfig 1
Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
   Controller Status                        : Optimal
   Channel description                      : SAS/SATA
   Controller Model                         : Adaptec 3405
   Controller Serial Number                 : 8C3410918CC
   Physical Slot                            : 6
   Temperature                              : 26 C/ 78 F (Normal)
   Installed memory                         : 128 MB
   Copyback                                 : Enabled
   Background consistency check             : Enabled
   Automatic Failover                       : Enabled
   Global task priority                     : High
   Stayawake period                         : Disabled
   Spinup limit internal drives             : 0
   Spinup limit external drives             : 0
   Defunct disk drive count                 : 0
   Logical devices/Failed/Degraded          : 1/0/0
   NCQ status                               : Enabled
   --------------------------------------------------------
   Controller Version Information
   --------------------------------------------------------
   BIOS                                     : 5.2-0 (17342)
   Firmware                                 : 5.2-0 (17342)
   Driver                                   : 1.1-5 (2461)
   Boot Flash                               : 5.2-0 (17342)
   --------------------------------------------------------
   Controller Battery Information
   --------------------------------------------------------
   Status                                   : Not Installed

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
   Logical device name                      : system
   RAID level                               : 1
   Status of logical device                 : Optimal
   Size                                     : 238290 MB
   Read-cache mode                          : Enabled
   Write-cache mode                         : Disabled (write-through)
   Write-cache setting                      : Disabled (write-through)
   Partitioned                              : Yes
   Protected by Hot-Spare                   : Yes
   Global Hot-Spare                         : 0,15
   Global Hot-Spare                         : 0,16
   Global Hot-Spare                         : 0,21
   Bootable                                 : Yes
   Failed stripes                           : No
   Power settings                           : Disabled
   --------------------------------------------------------
   Logical device segment information
   --------------------------------------------------------
   Segment 0                                : Present (0,23)             5QE0FSF0
   Segment 1                                : Present (0,22)             4ND1X4KT


----------------------------------------------------------------------
Physical Device information
----------------------------------------------------------------------
      Device #0
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,9(9:0)
         Reported Location                  : Enclosure 0, Slot 2
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40NS
         Firmware                           : SN06
         Serial number                      : 9QJ3GT54
         Size                               : 953869 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #1
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,10(10:0)
         Reported Location                  : Enclosure 0, Slot 3
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40NS
         Firmware                           : SN06
         Serial number                      : 9QJ3LEGE
         Size                               : 953869 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #2
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,11(11:0)
         Reported Location                  : Enclosure 0, Slot 4
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40NS
         Firmware                           : SN06
         Serial number                      : 9QJ2S391
         Size                               : 953868 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #3
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,12(12:0)
         Reported Location                  : Enclosure 0, Slot 5
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40NS
         Firmware                           : SN06
         Serial number                      : 9QJ3WTT7
         Size                               : 953868 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #4
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,13(13:0)
         Reported Location                  : Enclosure 0, Slot 6
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310005
         Model                              : 24NS
         Firmware                           : SN12
         Serial number                      : 9WK0QGSM
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #5
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,14(14:0)
         Reported Location                  : Enclosure 0, Slot 7
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310005
         Model                              : 24NS
         Firmware                           : SN12
         Serial number                      : 9WK3JL9H
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #6
         Device is a Hard drive
         State                              : Hot Spare
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,15(15:0)
         Reported Location                  : Enclosure 0, Slot 8
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40AS
         Firmware                           : SD15
         Serial number                      : 9QJ048TW
         Size                               : 953869 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #7
         Device is a Hard drive
         State                              : Hot Spare
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,16(16:0)
         Reported Location                  : Enclosure 0, Slot 9
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40AS
         Firmware                           : SD15
         Serial number                      : 9QJ048SN
         Size                               : 953868 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #8
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,17(17:0)
         Reported Location                  : Enclosure 0, Slot 10
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST375064
         Model                              : 0AS
         Firmware                           : 3.AAD
         Serial number                      : 3QD01VV0
         Size                               : 715404 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #9
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,18(18:0)
         Reported Location                  : Enclosure 0, Slot 11
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST375064
         Model                              : 0AS
         Firmware                           : 3.AAD
         Serial number                      : 3QD0093C
         Size                               : 715404 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #10
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,19(19:0)
         Reported Location                  : Enclosure 0, Slot 12
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST375064
         Model                              : 0AS
         Firmware                           : 3.AAD
         Serial number                      : 3QD00MX8
         Size                               : 715404 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #11
         Device is a Hard drive
         State                              : Ready
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,20(20:0)
         Reported Location                  : Enclosure 0, Slot 13
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST375052
         Model                              : 8AS
         Firmware                           : CC44
         Serial number                      : 5VP7AW39
         Size                               : 715404 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : Yes
         S.M.A.R.T. warnings                : 2
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #12
         Device is a Hard drive
         State                              : Hot Spare
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,21(21:0)
         Reported Location                  : Enclosure 0, Slot 14
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST310003
         Model                              : 40NS
         Firmware                           : SN06
         Serial number                      : 9QJ4KVXB
         Size                               : 953869 MB
         Write Cache                        : Disabled (write-through)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #13
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,22(22:0)
         Reported Location                  : Enclosure 0, Slot 15
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST325082
         Model                              : 4AS
         Firmware                           : 3.AAD
         Serial number                      : 4ND1X4KT
         Size                               : 238475 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #14
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,23(23:0)
         Reported Location                  : Enclosure 0, Slot 16
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : ST325082
         Model                              : 0AS
         Firmware                           : 3.AAD
         Serial number                      : 5QE0FSF0
         Size                               : 238475 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #15
         Device is an Enclosure services device
         Reported Channel,Device(T:L)       : 2,0(0:0)
         Enclosure ID                       : 0
         Type                               : SES2
         Vendor                             : AIC
         Model                              : ED16-53C-01A2
         Firmware                           : 114F
         Status of Enclosure services device
            Fan 1 status                    : Optimal
            Fan 2 status                    : Optimal
            Fan 3 status                    : Optimal
            Fan 4 status                    : Optimal
            Fan 5 status                    : Optimal
            Temperature                     : Normal


Command completed successfully.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 13:10

Если знаете точную изначальную конфигурацию массивов, можно пересобрать их без иництализации. Но это весьма рисковый вариант - надежнее все прошить, проверить, пересобрать и раскатать бэкап.

Верификацию гоняйте периодически, чтобы вот так вдруг бэды не выяснялись.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 13:12

И еще - перешивать и менять контроллеры при аварийном массиве - весьма рисковое мероприятие.

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 13:20

gs писал(а):Если знаете точную изначальную конфигурацию массивов, можно пересобрать их без иництализации
Точная конфигурация - это что? Я знаю, какие диски были в каждом массиве на момент падения, они в корзине, не доставались. Может быть, есть хаутушка, по шагам - что делать?
gs писал(а):Но это весьма рисковый вариант - надежнее все прошить, проверить, пересобрать и раскатать бэкап.
Надежнее. Но в бэкапе только критические данные, на массиве осталось то, что потерять не страшно, но неприятно
gs писал(а):Верификацию гоняйте периодически, чтобы вот так вдруг бэды не выяснялись.
Раз в 10 дней верификация, по максимуму, изначально так было настроено

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 13:23

gs писал(а):И еще - перешивать и менять контроллеры при аварийном массиве - весьма рисковое мероприятие.
Ну да. Только что было делать? Я решил, что контроллер накрылся

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 13:27

Если верификация так часто, но не помогло, значит внезапный попандос, от которого страхует только бэкап (я не очень понимаю, почему он не может быть полным). Ну или, частично, рэйд6.

Точная конфигурация - это тип массива, размер массива и страйпа и порядок расположения винтов в массиве.

Если данные важны, то можно обратиться к датарекаверам - но это будет стоить денех...

P.S. Винты-то есть в HCL контроллера?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 13:31

Поскольку винты саташные, можно их подвесить на саташные порты мамки или сата HBA и поиграться с софтовым рекаверингом.

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 13:54

gs писал(а):Если верификация так часто, но не помогло, значит внезапный попандос
Вот-вот, оно и есть
gs писал(а):от которого страхует только бэкап (я не очень понимаю, почему он не может быть полным)
Легко, если на нормальное хранилище для бэкапа денег не дают
gs писал(а):Точная конфигурация - это тип массива,
- да
gs писал(а):размер массива
- да
gs писал(а):страйпа
- дефолтный
gs писал(а):и порядок расположения винтов в массиве.
физический порядок винтов в корзине? или нужна нумерация сегментов? Если первый - то он есть, второго нет
gs писал(а):Если данные важны, то можно обратиться к датарекаверам - но это будет стоить денех...
Вариант рассматривается
gs писал(а):P.S. Винты-то есть в HCL контроллера?
не все

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 13:57

Я кинул ссылку знакомому рекаверу, сам проявится наверно.

Для бэкапа всякой хрени можно и USB коробень прикупить - они стоят недорого и есть на 6ТБ.

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 13:57

gs писал(а):Поскольку винты саташные, можно их подвесить на саташные порты мамки или сата HBA и поиграться с софтовым рекаверингом.
Можно... НО: семь винтов одновременно прицепить просто некуда, плюс программы для восстановления работают только с ntfs, а у меня том LVM2 на весь диск...

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 13:59

gs писал(а):Я кинул ссылку знакомому рекаверу, сам проявится наверно.

Для бэкапа всякой хрени можно и USB коробень прикупить - они стоят недорого и есть на 6ТБ.
Да мне-то что рассказывать... "Мы будем покупать современное решение для бэкапа, вот только утвердим проект". Так и утверждают...

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 14:00

Для воссоздания массива средствами контроллера, нужна нумерация сегментов. В общем, массив надо воссоздать с точностью до копейки.
Это довольно опасное мероприятие - любая ошибка может быть фатальной.

rahs
Advanced member
Сообщения: 98
Зарегистрирован: 07 дек 2009, 13:44
Откуда: Архангельск

Re: Adaptec 3405 - развалился массив

Сообщение rahs » 22 ноя 2011, 14:01

gs писал(а):Для воссоздания массива средствами контроллера, нужна нумерация сегментов. В общем, массив надо воссоздать с точностью до копейки.
Это довольно опасное мероприятие - любая ошибка может быть фатальной.
Понятно. Вроде как нумерация сегментов с физическим порядком дисков вообще ничего общего не имела.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение gs » 22 ноя 2011, 14:03


Аватара пользователя
Fader
Data Recovery Expert
Сообщения: 115
Зарегистрирован: 21 мар 2005, 02:13
Откуда: Москва
Контактная информация:

Re: Adaptec 3405 - развалился массив

Сообщение Fader » 22 ноя 2011, 14:37

Собственно, если необходимо будет восстанавливать данные, то я могу в этом помочь. Ситуация по массиву понятна, так что данные поднять будет возможно. Контакты в подписи.


_______________
С уважением, Валерий Пьянков.
+7 495 514-88-85
http://rlab.ru
v@rlab.ru
iсq 318370397

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 21 гость