Adaptec 5805 + HDD rebuilding (+)

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
nickolay
member
Сообщения: 29
Зарегистрирован: 18 янв 2009, 18:30
Откуда: Санкт-Петербург

Adaptec 5805 + HDD rebuilding (+)

Сообщение nickolay » 26 июл 2009, 21:03

Здравствуйте!

Есть сервер Supermicro.
Adaptec 5805 + WD1002FBYS x 8 штук.

--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (16501)
Firmware : 5.2-0 (16501)
Driver : 1.1-5 (2456)
Boot Flash : 5.2-0 (16501)

Два логических диска RAID-6. Один для системы, другой для данных.
Установлен Linux.
В какой то момент пропадает раздел sda3.
В логе ядра видим:

[172817.205857] synchronize_callback: synchronize failed, status = 226
[172817.354409] end_request: I/O error, dev sda, sector 124528031
[172817.356250] I/O error in filesystem ("sda3") meta-data dev sda3 block 0x5148d91 ("xlog_iodone") error 5 buf count 6656
[172817.370924] xfs_force_shutdown(sda3,0x2) called from line 1062 of file fs/xfs/xfs_log.c. Return address = 0xc027cc7a
[172817.370947] Filesystem "sda3": Log I/O Error Detected. Shutting down filesystem: sda3
[172817.385019] Filesystem "sda3": xfs_log_force: error 5 returned.
[172817.386156] Please umount the filesystem, and rectify the problem(s)
[172819.595000] Filesystem "sda3": xfs_log_force: error 5 returned.
[172821.514878] Filesystem "sda3": xfs_log_force: error 5 returned.
[172851.513237] Filesystem "sda3": xfs_log_force: error 5 returned.
[172862.627247] sd 0:0:0:0: [sda] 209707008 512-byte hardware sectors: (107 GB/99.9 GiB)
[172862.627262] sd 0:0:0:0: [sda] Write Protect is off
[172862.627263] sd 0:0:0:0: [sda] Mode Sense: 06 00 10 00
[172862.627283] sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, supports DPO and FUA
[172870.076460] sd 0:0:1:0: [sdb] Very big device. Trying to use READ CAPACITY(16).
[172870.076480] sd 0:0:1:0: [sdb] 11504947200 512-byte hardware sectors: (5.89 TB/5.35 TiB)
[172870.076492] sd 0:0:1:0: [sdb] Write Protect is off
[172870.076494] sd 0:0:1:0: [sdb] Mode Sense: 06 00 10 00
[172870.076512] sd 0:0:1:0: [sdb] Write cache: enabled, read cache: enabled, supports DPO and FUA
[172881.511612] Filesystem "sda3": xfs_log_force: error 5 returned.
[172911.529412] Filesystem "sda3": xfs_log_force: error 5 returned.
[172941.528362] Filesystem "sda3": xfs_log_force: error 5 returned.
[172971.526739] Filesystem "sda3": xfs_log_force: error 5 returned.
.......

Перезагружаю сервер, и вижу что массив в состоянии REBUILDING 12%.
Винты вроде все ONLINE.
Загружаю Linux, все отлично примонтировалось.
Смотрю arcсonf-ом, и вижу что сбойнул один винчестер(который сейчас находится в состоянии REBUILDING):

root@colo_128:~# /usr/StorMan/arcconf getlogs 1 DEVICE tabular
Controllers found: 1

ControllerLog
controllerID ..................... 0
type ............................. 0
time ............................. 1248626674
version .......................... 3
tableFull ........................ false

driveErrorEntry
smartError ....................... false
vendorID ......................... WDC
serialNumber ..................... WD-WMATV1372973
wwn .............................. 0000000000000000
productID ........................ WD1002FB
numParityErrors .................. 0
linkFailures ..................... 1
hwErrors ......................... 0
abortedCmds ...................... 0
mediumErrors ..................... 0
smartWarning ..................... 0

Посоветуйте пожалуйста, что делать? Считать что произошла случайность и забить на это, или как лучше поступить?

Вот еще getconfig на всякий случай:

Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
Controller Status : Optimal
Channel description : SAS/SATA
Controller Model : Adaptec 5805
Controller Serial Number : 8C3510944AE
Physical Slot : 5
Temperature : 54 C/ 129 F (Normal)
Installed memory : 512 MB
Copyback : Disabled
Background consistency check : Disabled
Automatic Failover : Enabled
Global task priority : High
Performance Mode : Default/Dynamic
Defunct disk drive count : 0
Logical devices/Failed/Degraded : 2/0/1
--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (16501)
Firmware : 5.2-0 (16501)
Driver : 1.1-5 (2456)
Boot Flash : 5.2-0 (16501)
--------------------------------------------------------
Controller Battery Information
--------------------------------------------------------
Status : Optimal
Over temperature : No
Capacity remaining : 99 percent
Time remaining (at current draw) : 1 days, 19 hours, 55 minutes

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
Logical device name : system
RAID level : 6 Reed-Solomon
Status of logical device : Optimal
Size : 102396 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back) when protected by battery
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : Yes
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,0) WD-WMATV1383408
Segment 1 : Present (0,1) WD-WMATV1371649
Segment 2 : Present (0,2) WD-WMATV1380744
Segment 3 : Present (0,3) WD-WMATV1380886
Segment 4 : Present (0,4) WD-WMATV1380398
Segment 5 : Present (0,5) WD-WMATV1389212
Segment 6 : Present (0,6) WD-WMATV1370774
Segment 7 : Rebuilding (0,7) WD-WMATV1372973

Logical device number 1
Logical device name : data
RAID level : 6 Reed-Solomon
Status of logical device : Suboptimal, Fault Tolerant
Size : 5617650 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
Write-cache mode : Enabled (write-back)
Write-cache setting : Enabled (write-back)
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : No
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,0) WD-WMATV1383408
Segment 1 : Present (0,1) WD-WMATV1371649
Segment 2 : Present (0,2) WD-WMATV1380744
Segment 3 : Present (0,3) WD-WMATV1380886
Segment 4 : Present (0,4) WD-WMATV1380398
Segment 5 : Present (0,5) WD-WMATV1389212
Segment 6 : Present (0,6) WD-WMATV1370774
Segment 7 : Rebuilding (0,7) WD-WMATV1372973


----------------------------------------------------------------------
Physical Device information
----------------------------------------------------------------------
Device #0
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,0
Reported Location : Enclosure 0, Slot 0
Reported ESD : 2,0
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1383408
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #1
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,1
Reported Location : Enclosure 0, Slot 1
Reported ESD : 2,0
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1371649
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #2
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,2
Reported Location : Enclosure 0, Slot 2
Reported ESD : 2,0
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1380744
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #3
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,3
Reported Location : Enclosure 0, Slot 3
Reported ESD : 2,0
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1380886
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #4
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,4
Reported Location : Connector 1, Device 0
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1380398
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #5
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,5
Reported Location : Connector 1, Device 1
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1389212
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #6
Device is a Hard drive
State : Online
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,6
Reported Location : Connector 1, Device 2
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1370774
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #7
Device is a Hard drive
State : Rebuilding
Supported : Yes
Transfer Speed : SATA 3.0 Gb/s
Reported Channel,Device : 0,7
Reported Location : Connector 1, Device 3
Vendor : WDC
Model : WD1002FBYS-0
Firmware : 03.00C05
Serial number : WD-WMATV1372973
Size : 953869 MB
Write Cache : Enabled (write-back)
FRU : None
S.M.A.R.T. : No
Device #8
Device is an Enclosure services device
Reported Channel,Device : 2,0
Enclosure ID : 0
Type : SES2
Vendor : ADAPTEC
Model : Virtual SGPIO 0
Firmware : 0001
Status of Enclosure services device
Temperature : Normal


Command completed successfully.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Adaptec 5805 + HDD rebuilding (+)

Сообщение gs » 26 июл 2009, 21:17

Перешить, обновить драйвер, подергать-сменить кабели - штатное шаманство.
Линк файлуре - оно ж неспроста ж.

Ну и кэш на винтах надо выключить.

nickolay
member
Сообщения: 29
Зарегистрирован: 18 янв 2009, 18:30
Откуда: Санкт-Петербург

Re: Adaptec 5805 + HDD rebuilding (+)

Сообщение nickolay » 27 июл 2009, 02:34

3 дня назад прошил в данном сервере последнюю прошивку контроллера.
Перезагрузился, и с ужасом обнаружил, что разделы sda3 и sdb1 не монтируются(ошибка была что раздел выходит за границы девайса).
Я был если честно в глубоком шоке(на массиве хранятся очень важные данные).
Но с шоком справился, прошил обратно предыдущую прошивку, ребутнулся, и все заработало.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 24 гостя