Bad Block discovered: controller 1 помогите!

[Dmitry-tlt]

Доброго времени суток!
Помогите чем сможете,
кратно раз день-два мертво подвисает сервак, спасает только жеский reset, в логах винды (сервер 2008) заметил сообщения от Adaptec Storage Manager типа:
Bad Block discovered: controller 1 (2bcc200).
Bad Block discovered: controller 1 (874800).
Bad Block discovered: controller 1 (f5e200).
Bad Block discovered: controller 1 (fcd800).
Bad Block discovered: controller 1 (845000).
Bad Block discovered: controller 1 (1597c00).
Bad Block discovered: controller 1 (24e5c00).
Bad Block discovered: controller 1 (1c36c00).
Bad Block discovered: controller 1 (fac600).
Bad Block discovered: controller 1 (1097400).
Bad Block discovered: controller 1 (1097e00).

На сервере стоят 8мь дисков в 10м рейде под контроллером Adaptec RAID 5805, кстати на контроллере мигают красные диоды, это нормально?
В логе Adaptec Storage Manager файла RaidEvt.log:

28 Февраль 2011 г. 9:08:58 MSK INF 10572:A0-1C-S--L-- BaseServer Adaptec Storage Manager started on TCP/IP port number 34 571.
28 Февраль 2011 г. 9:14:13 MSK INF 19434:A00C-S--L-- BaseServer User novov logged into BaseServer with administrative privileges.
28 Февраль 2011 г. 9:15:30 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (2bcc200).
28 Февраль 2011 г. 9:15:50 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (874800).
28 Февраль 2011 г. 9:17:05 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (f5e200).
28 Февраль 2011 г. 9:22:49 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (fcd800).
28 Февраль 2011 г. 9:39:10 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (845000).
28 Февраль 2011 г. 9:42:53 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1597c00).
28 Февраль 2011 г. 9:46:49 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (24e5c00).
28 Февраль 2011 г. 9:58:24 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1c36c00).
28 Февраль 2011 г. 9:59:24 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (fac600).
28 Февраль 2011 г. 10:28:12 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1097400).
28 Февраль 2011 г. 10:28:17 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1097e00).
28 Февраль 2011 г. 11:37:18 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (f56a00).
28 Февраль 2011 г. 12:19:11 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (845378).
28 Февраль 2011 г. 12:19:31 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1937480).
28 Февраль 2011 г. 12:32:53 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (fcd800).
28 Февраль 2011 г. 12:33:23 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (14d5400).
28 Февраль 2011 г. 12:33:43 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1c3ee00).
28 Февраль 2011 г. 12:34:13 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1456400).
28 Февраль 2011 г. 12:35:29 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (25bf538).
28 Февраль 2011 г. 12:58:38 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1357fa8).
28 Февраль 2011 г. 13:34:55 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (15e7800).
28 Февраль 2011 г. 15:02:33 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1914e00).
28 Февраль 2011 г. 15:03:49 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (945a00).
28 Февраль 2011 г. 15:04:34 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (8e4800).
28 Февраль 2011 г. 16:38:14 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (160e200).
28 Февраль 2011 г. 16:56:42 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (15663d8).
28 Февраль 2011 г. 16:56:47 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (11ce238).
28 Февраль 2011 г. 16:56:52 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (11ce200).
28 Февраль 2011 г. 16:56:57 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1c3e120).
28 Февраль 2011 г. 16:57:02 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (ac5ca0).
28 Февраль 2011 г. 16:57:07 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (ac5cf8).
28 Февраль 2011 г. 16:57:08 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (ac5c00).
28 Февраль 2011 г. 16:57:13 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1915c00).
28 Февраль 2011 г. 16:57:18 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (143d050).
28 Февраль 2011 г. 16:57:23 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (11cd600).
28 Февраль 2011 г. 16:57:28 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1915c00).
28 Февраль 2011 г. 16:57:33 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (bfce00).
28 Февраль 2011 г. 16:57:38 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (13cd690).
28 Февраль 2011 г. 16:57:43 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (13cd600).
28 Февраль 2011 г. 22:32:02 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (7cd200).
28 Февраль 2011 г. 22:33:48 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (f57400).
28 Февраль 2011 г. 22:33:53 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (f66800).
28 Февраль 2011 г. 22:33:58 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (f84a00).
28 Февраль 2011 г. 22:34:08 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (fd5400).
28 Февраль 2011 г. 22:34:38 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (108f200).
28 Февраль 2011 г. 22:34:38 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (108f600).
28 Февраль 2011 г. 22:34:38 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (108fa00).
28 Февраль 2011 г. 22:34:43 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1097600).
28 Февраль 2011 г. 22:35:07 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1487960).
28 Февраль 2011 г. 22:35:07 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1487a00).
28 Февраль 2011 г. 22:35:28 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1567a00).
28 Февраль 2011 г. 22:35:48 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1675a00).
28 Февраль 2011 г. 22:36:03 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1685000).
28 Февраль 2011 г. 22:36:13 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (1c36c00).
28 Февраль 2011 г. 22:36:23 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (136da00).
28 Февраль 2011 г. 22:36:28 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (136da00).
28 Февраль 2011 г. 22:37:35 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (16edc00).
28 Февраль 2011 г. 22:40:01 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (844c00).
28 Февраль 2011 г. 22:40:06 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (8cc600).
28 Февраль 2011 г. 22:40:11 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (8ce400).
28 Февраль 2011 г. 22:40:16 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (8e5e00).
28 Февраль 2011 г. 22:40:32 MSK WRN 418:A01C-S--L-- BaseServer Bad Block discovered: controller 1 (28b4200).

Я так понимаю, что сдыхает какой-то винт, вопрос какой (где узнать его номер или ячейку)?
В ASM на винтах и контроллере статус optimal (скрин прилагаю)
Заранее благодарю за любую помощь!

[KLIM_SPb]

Support archive выложите. (Direct Attached Storage->Имя вашего сервера, по нему правой кнопкой и там будет пункт save support archive)

[Dmitry-tlt]

Support archive выложите. (Direct Attached Storage->Имя вашего сервера, по нему правой кнопкой и там будет пункт save support archive)

[Dmitry-tlt]

KLIM_SPb спасибо за наводку!
Почитав логи и файлы конфигурации пришел к выводу, что все беды в основном на: bad block recovery. Controller 1, channel 0, SCSI device ID 0, а это винт:
Serial attached SCSI
-----------------------
Type............................Disk drive
Vendor..........................FUJITSU
Model...........................MBA--73RC
Serial number...................BJL0P----37S
Firmware level..................0103
Reported channel................0
Reported SCSI device ID.........0
World-wide name.................500000E---0B2181
Interface type..................Serial attached SCSI
Size............................68,492 GB
Negotiated transfer speed.......3.00 Gb/s
State...........................Optimal
S.M.A.R.T. error................No
Write-cache mode................Write back
Phy 0...........................3.00 Gb/s
Phy 1...........................No device attached

его замена должна помочь решению проблемы?
и возможно его как-нибудь восстановить программно?

[KLIM_SPb]

Обновите прошивку контроллера, она у вас очень старая (16343).
Да, по всем признакам проблема с этим диском.

[Dmitry-tlt]

Драйвер обновлял недавно (18252).
Спасибо!

[dorson]

Всех с наступающим!
Не хочу создавать новую тему, просто проблема аналогична, помогите понять какой диск выходит из строя. Всего их 8, из них собран 10 рейд.

Правильно я понимаю что виновник

Type............................Disk drive
Vendor..........................FUJITSU
Model...........................MBA3073RC
Serial number...................BJL0P8501YPR
Firmware level..................0103
Reported channel................0
Reported SCSI device ID.........4
World-wide name.................500000E01B4C7861
Interface type..................Serial attached SCSI
Size............................68,492 GB
Negotiated transfer speed.......3.00 Gb/s
State...........................Optimal
S.M.A.R.T. error................No
Write-cache mode................Write back
Hardware errors.................0
Medium errors...................16
Parity errors...................0
Link failures...................0
Aborted commands................0
S.M.A.R.T. warnings.............0
Phy 0...........................3.00 Gb/s
Phy 1...........................No device attached

Теперь бы разобраться какой это диск физически

8 дисков в корзине расположены 2 колоноки по 4 диска. Видимо это верхний диск во второй колонке.Как вы думаете правильно?

И так сказать чтоб два раза не вставать, сейчас биос 15728, надо обновить. Данные после обновления будут доступны? Ребилд делать на старом биосе или можно сначало обновить биос а потом ребилд?
Заранее спасибо

[gs]

В ASM есть фича "индицировать диск", если память не изменяет. Правда непонятно, почему Вы его по лампочкам и так не видите.
В конце концов можно остановить сервер и глянуть по серийнику диска.

Отребилдить лучше на существующей прошивке.

При прошивке отстегните кабель с винтами для надежности.

[dorson]

Спасибо за наводку, действительно в ASM есть функция blink physical disk.

И все таки осталось пару вопросов:
1. на горячую менять сбойный диск или на холодную?
2. вроде как на сайте адаптека, говорится что биос контроллера можно перешить из под ASM, но не нашел в описании ASM как это сделать. Лучше биос перешивать загрузившись из под ДОС или из под ASM?

[dorson]

Подниму вопросы, все таки хотелось бы получить ответы.

Подскажите как будет выглядеть процесс замены диска.
1. Я выключаю сервер
2. Нахожу по серийному номеру диск, меняю на новый
3. Включаю сервер
Ребилд начнется сам? Или надо будет сделать какие то телодвижения?
Например зайти в ASM инициализировать диск и что то запустить?

Подскажите пожалуйста первый раз столкнулся с такой ситуацией.

С уважением
Спасибо

[turboprop]

1. Полный бэкап всех раид-томов, которые нельзя потерять.
2. в ASM включить (если есть и выключена) функцию AUTOFAILOVER
2.1 вынуть неисправный диск, на его место установить новый, сделать в ASM rescan, убедиться в ASM что начался процесс ребилда.
или
3. установить новый диск на любое свободное место, сделать в ASM rescan, назначить его Global Hot Spare и тогда опять же автоматически начнётся ребилд.

это всё сработает, если сбойный диск в offline и вы правильно определите и вынете именно его. если ошибётесь, то самый простой способ восстановления - создать массивы заново и развернуть обратно бэкап.

[Tert]

dorson
Кстати, рекомендую выключить кеширование записи на дисках (именно на дисках, а не на самом контроллере).
А то черевато сбоями на RAID'е

[dorson]

dorson
Кстати, рекомендую выключить кеширование записи на дисках (именно на дисках, а не на самом контроллере).
А то черевато сбоями на RAID'е

А как это сделать?

[dorson]

вопрос насчет отключения кеширования на дисках
я правильно понимаю что надо зайти ASM на каждый диск и поставить
write - caсhe mode в write through

Сам нашел именно это и надо выставить чтоб отключить кеш на дисках

[Rulkin]

День добрый.
не поможете ли найти причину отказа.
adaptec 3805
8 hdd
RAID 5