Развалился 5-ТБ массив на HP Smart Array P410i

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 25 авг 2015, 14:05

igornov
Ну и еще:

Код: Выделить всё

===== Start of Option ROM POST Message Log =====
1719-Slot 0 Drive Array - A controller failure event occurred prior to this
     power-up.  (Previous lock up code = 0xAB)
1792-Slot 0 Drive Array - Valid Data Found in Array Accelerator
     Data will automatically be written to drive array.
1779-Slot 0 Drive Array - Replacement drive(s) detected OR previously failed
     drive(s) now appear to be operational:
         Port 2C: Box 1: Bays 5,6
         Port 4C: Box 2: Bays 2,3,4,5,6,7,8
     Logical drive(s) disabled due to possible data loss.
  Select "F1" to continue with logical drive(s) disabled
  Select "F2" to accept data loss and to re-enable logical drive(s)
 (RESUME = "F1" OR "F2" KEY)                    [default = "F1" in 45 seconds]  **TIMED OUT**                                                   

     The following disk drive(s) are failed and should be replaced:
         Port 4C: Box 2: Bay 1
===== End of Option ROM POST Message Log =====
[08/25 08:35:02]
После этого логический диск в состоянии disabled, возможно его удастся поднять без 1-го диска, ибо сбой произошел еще в 8-м диске. Но я бы сначала 8-й диск прогнал. А потом попробовал том перевключить.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 25 авг 2015, 14:12

Stranger03 писал(а):igornov
Вытаскивайте диски из 1-го и 8-го бокса, проверяйте утилитами. Если в 8-м боксе диск живой, попробуйте стартануть без 1-го диска. Может и получится. Хотспаре у вас не сработал.

в 1-м боксе как ни странно (судя по скринам) но диска уже нету физически ... с 26 мая

А 8-й точно до 22 августа выпал по логам ? Мне позвонили ночью 21 августа примерно в 23:00 о том что пропал ресурс... Так вот 21.08 логического диска уже не было...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 25 авг 2015, 14:15

igornov писал(а):А 8-й точно до 22 августа выпал по логам ? Мне позвонили ночью 21 августа примерно в 23:00 о том что пропал ресурс... Так вот 21.08 логического диска уже не было...
Ну судя по логам да, я ж не знаю, какое время там на сервере выставлено. Сбойнул именно 8-й диск, который сейчас в онлайне почему-то. И после него, судя по логам, массиву пришел привет с Колымы.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 25 авг 2015, 15:02

время на сервере синхронизируется с сервером времени и уже примерно в 23:00 21.08 логического диска не было... многочисленные перезагрузки ничего не давали.

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 25 авг 2015, 15:18

Это могло произойти от скажем временного неконтакта в разъёме самого 8-го диска?

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 25 авг 2015, 15:29

я в тех же логах нашёл:

[08/21 20:08:30]Fail Device: D014 physical_req 8090ec58 - reason code 20h
[08/21 20:08:30]PR 8090ec58h:D014 Op=2a PLErr=02 IopErr=0a S=52
[08/21 20:08:30] Unable to write ACL log, physical 0x8090ec58, drive 0xE, iop_error=0xA
[08/21 20:08:30]Fail Device: D015 physical_req 8090f1e8 - reason code 20h
[08/21 20:08:30]PR 8090f1e8h:D015 Op=2a PLErr=02 IopErr=0a S=52
[08/21 20:08:30] Unable to write ACL log, physical 0x8090f1e8, drive 0xF, iop_error=0xA
[08/21 20:08:30]Fail Device: D016 physical_req 8090f778 - reason code 20h
[08/21 20:08:32]PR 8090f778h:D016 Op=2a PLErr=02 IopErr=0a S=52
[08/21 20:08:32] Unable to write ACL log, physical 0x8090f778, drive 0x10, iop_error=0xA
[08/21 20:08:32]Fail Device: D017 physical_req 8090fd08 - reason code 20h


и ещё


Host time is 23:12:33, 8/21/2015
PCI slot 0

===== Start of Option ROM POST Message Log =====
1792-Slot 0 Drive Array - Valid Data Found in Array Accelerator
Data will automatically be written to drive array.
1784-Slot 0 Drive Array - Logical Drive Failure
The following disk drive(s) are failed and should be replaced:
Port 4C: Box 2: Bay 1
===== End of Option ROM POST Message Log =====
[08/21 23:12:33]


то есть ещё 21.08 уже не было логического диска

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 25 авг 2015, 18:47

В подтверждение того что глюк возник 21.08 из логов сервера... см скрины. У меня выпали подобным образом диски 5 и 6 из первого бокса а потом ещё и 4 и 5 со второго...(из логов сервера)

сейчас диски все живые, проверил викторией - SMART идеальный, бедов нету...

Что ж это такое произошло? Помогите правильно пояснить руководству... а то судя по всему расстреляют... :( :( :(
Вложения
6_.JPG
5_.JPG
4_.JPG
3_.JPG

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 26 авг 2015, 10:53

igornov писал(а):Что ж это такое произошло? Помогите правильно пояснить руководству... а то судя по всему расстреляют... :( :( :(
Судя по логам батарейки у вас в контроллере нет. Кеш на запись вероятно включена. Произойти могло что угодно. Например скачек электропитания, перезагрузка, рассинхронизация данных из-за потери кеша контроллера. Ну а далее привет великому и ужасному.
П.С. Очень странно, что вы заметили сбойный массив спустя несколько месяцев. Ибо после сбоя система должна была жутко тормозить. Если вы ответственный за все это, то директор будет прав, если вас "расстреляет", увы и ах.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 26 авг 2015, 11:50

Stranger03 писал(а):
igornov писал(а):Что ж это такое произошло? Помогите правильно пояснить руководству... а то судя по всему расстреляют... :( :( :(
Судя по логам батарейки у вас в контроллере нет. Кеш на запись вероятно включена. Произойти могло что угодно. Например скачек электропитания, перезагрузка, рассинхронизация данных из-за потери кеша контроллера. Ну а далее привет великому и ужасному.
П.С. Очень странно, что вы заметили сбойный массив спустя несколько месяцев. Ибо после сбоя система должна была жутко тормозить. Если вы ответственный за все это, то директор будет прав, если вас "расстреляет", увы и ах.

Уже не расстреляет, массив успешно вернулся к жизни после нажатия F2 (в логах видно где) и тем самым перевключения логического диска. Но хотспаре так и не хочет замещать сбойный диск, хотя должен это сделать автоматически... Правда сбойный диск мы ещё тогда вынули... может в этом причина? Что касается тормозов массива так они были и до выпадения диска... батарейка есть и была, но вчера выключили кеш на запись и сняли батарейку (визуально уже надутая)

Как заставить Hot Spare встать на место недостающего диска? Принудительно

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 26 авг 2015, 12:37

igornov писал(а):Уже не расстреляет, массив успешно вернулся к жизни после нажатия F2 (в логах видно где) и тем самым перевключения логического диска.
Я вам это и предлагал сделать несколькими постами ранее. Ну хорошо, что восстановился. Сейчас я бы аварийно сделал фулл бекап всего, на всякий случай.
Как заставить Hot Spare встать на место недостающего диска? Принудительно
Честно на ХП процедуру не помню. Если сам не хочет, то я бы сделал так:
1. фулл бекап
2. убрал диск из хотспаре
3. диск (НЕ МАССИВ) проинициализировал заново
4. сказал на нем ребилд
Где, не знаю, под рукой таких серверов нет. Думаю где-нибудь по правым кнопкам на том самом диске.
П.С. после ребилда массива я бы еще запустил проверку целостности файловой системы.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 26 авг 2015, 12:59

Рано радовался, после попытки копирования на съемный диск (пока вычислялся объём данных для копирования) сервер наглухо завис. но при этом начал активно моргать hot spare...может начал подставляться... Пока не трогал. Может раздуплится.

не выдержал... вынул spare и... после перезапуска сервер загрузился, диск тоже есть - сливаю в оперативном порядке всё что могу. Ну и Спаре проверяю Викторией на всякий случай

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 26 авг 2015, 13:46

igornov писал(а):Рано радовался
Удачи в борьбе, :). Больше я врядли чем смогу помочь...
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 26 авг 2015, 13:54

Stranger03 писал(а):
igornov писал(а):Рано радовался
Удачи в борьбе, :). Больше я врядли чем смогу помочь...

Благодарю за помощь!!!

Аватара пользователя
igornov
Advanced member
Сообщения: 194
Зарегистрирован: 15 окт 2002, 14:02
Откуда: Кривой Рог, Украина
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение igornov » 15 сен 2015, 21:28

Hi All!

Все данные с массива восстановил полностью. :yo: HP всё-таки железяка хорошая... но софт как по мне хромает (по сравнению с другими брендами и не совсем...). Из 13-ти дисков 4 уже с реалокейтами. Но массив выжил, хотя я его уже успел похоронить раза 2 как минимум :)

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Развалился 5-ТБ массив на HP Smart Array P410i

Сообщение Stranger03 » 16 сен 2015, 08:15

igornov писал(а):Все данные с массива восстановил полностью. :yo:
Поздравляю, надеюсь советы помогли, :)
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 27 гостей