raid5 + sw stripe скосило

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
modul
Junior member
Сообщения: 3
Зарегистрирован: 08 сен 2008, 14:22
Откуда: Never Ever Land

raid5 + sw stripe скосило

Сообщение modul » 08 сен 2008, 14:41

Приветствую

Возникла ситуёвина:
В машинке (FreeBSD 6.2-STABLE; AMD Athlon(tm) 64 X2 Dual Core Processor 4200+) стоит сата-рэйд контроллер (Adaptec 21610sa, 16 сата1 дырок), на нем взведено 4 RAID5 по 4 320гб диска в каждом:

Код: Выделить всё

aacd2: <RAID 5> on aac0
aacd2: 915522MB (1874989056 sectors)
...
Все 4 массива собраны в gstripe (программный raid0):

Код: Выделить всё

GEOM_STRIPE: Device str0 created (id=1912026787).
GEOM_STRIPE: Disk aacd0 attached to str0.
GEOM_STRIPE: Disk aacd1 attached to str0.
...
Т.е. при падении одного из рэйдов всё летит вслед за ним. Больно не пинать, такая кухня досталась в наследство.

С некоторых пор один из рэйдов (спасибо отключениям питания) то ли потерял свой конфиг, то ли рассыпался, вобщем, случился с ним offline. Плюс к этому в массиве есть отвалившийся мембер с dead partition, переинитить кот. нельзя, ибо контроллер не признает сам массив. В онлайн же массив не встает, ибо есть лост мембер.

Чуть подробнее:

Код: Выделить всё

Executing: container list
Num          Total  Oth Stripe          Scsi   Partition
Label Type   Size   Ctr Size   Usage   C:ID:L Offset:Size
----- ------ ------ --- ------ ------- ------ -------------
 0    RAID-5  894GB      256KB Valid   0:01:0 64.0KB: 298GB
 /dev/aacd0           0                0:00:0 64.0KB: 298GB
                                       0:05:0 64.0KB: 298GB
                                       0:04:0 64.0KB: 298GB

 1    RAID-5  894GB      256KB Valid   0:07:0 64.0KB: 298GB
 /dev/aacd1           1                0:06:0 64.0KB: 298GB
                                       0:03:0 64.0KB: 298GB
                                       0:02:0 64.0KB: 298GB

 2    RAID-5  894GB      256KB Valid   1:00:0 64.0KB: 298GB
 /dev/aacd2           2                1:01:0 64.0KB: 298GB
                                       1:03:0 64.0KB: 298GB
                                       1:02:0 64.0KB: 298GB

 3    RAID-5  894GB      256KB UnCfged 1:04:0 64.0KB: 298GB
                                       1:05:0 64.0KB: 298GB
                                       1:06:0 64.0KB! 298GB
                                       1:07:0 64.0KB: 298GB
Массив мы видеть не хотим:

Код: Выделить всё

Executing: container restore RAID5 3
Command Error: <This operation is only valid for a RAID-5 set. You may have attempted to execute this operation in error.  If not, select the proper RAID-5 set and retry the operation.>

Код: Выделить всё

Executing: container readwrite 3
Command Error: <The specified container was not found.>
С дэдом можно так:

Код: Выделить всё

AAC0> dis rem ?
disk remove dead_partitions - This command will remove all dead
partitions from a disk.
после чего диск выскочит из массива, а в контейнере появится дырка --missing--

Код: Выделить всё

AAC0> conta set fail ?
container set failover - Assigns failover space to a specific container.
FORMAT - container set failover {container} {scsi_device} [{scsi_device}...]
тогда проиниченный диск эту дырку забьёт

но

Код: Выделить всё

AAC0> conta set fail 3 (1:06:0)
Executing: container set failover 3 (BUS=1,ID=6,LUN=0)
Command Error: <The specified container was not found.>
т.к. статус uncfged, а не degraded, в голову приходит сие:

Код: Выделить всё

AAC0> conta crea rai ?
container create raid5 - Creates a RAID5 set.
FORMAT - container create raid5 {free_space} [{scsi_device}...]
/cache - Enables the containers RAW mode cache.
/chunk_size - Same as /stripe_size.
/stripe_size - Specifies the stripe size for the RAID5 set. Defaults to 64K.
/label - Specifies the label to assign to the RAID5 set to be created.
/scrub - Specifies that parity should be created by scrubbing. Access
will be allowed immediately. Default is TRUE.
/wait - If specified, command will return only after the parity is
created. Default is FALSE.
/clear - If you specify TRUE, the command sets up the parity during
RAID-5 creation by clearing the entire RAID-5 set. The default is FALSE
(i.e., the command does not clear the entire RAID-5 set).
но оно убьёт массив вовсе (не факт, но проверять не хочется (: )

Количество контейнеров, тем не менее, правильное:

Код: Выделить всё

AAC0> conta sho fail
Executing: container show failover

Container Scsi C:ID:L
--------- ----------------------------------
0       --- No Devices Assigned ---
1       --- No Devices Assigned ---
2       --- No Devices Assigned ---
Command Error: <The specified container was not found.>
И "conta sho cache 3" видит этот массив.

Прошивка контроллера последняя, с адаптековского сайту.
На днях попробую с виндовой программкой (http://3nity.ru/viewtopic.htm?t=7874) - о результатах отпишусь.

Заранее спасибо за ответы.

modul
Junior member
Сообщения: 3
Зарегистрирован: 08 сен 2008, 14:22
Откуда: Never Ever Land

Сообщение modul » 09 сен 2008, 14:47

ASM вещает, что logical device 4 failed, но это и без него ясно. Выпавший хард (который с dead partition) в статусе rebuilding уже 2е сутки.
Никаких force online нету и впомине..

modul
Junior member
Сообщения: 3
Зарегистрирован: 08 сен 2008, 14:22
Откуда: Never Ever Land

Сообщение modul » 19 сен 2008, 11:57

Код: Выделить всё

AAC0> conta lis
Executing: container list
Num          Total  Oth Stripe          Scsi   Partition
Label Type   Size   Ctr Size   Usage   C:ID:L Offset:Size
----- ------ ------ --- ------ ------- ------ -------------
 0    RAID-5  894GB      256KB Valid   0:01:0 64.0KB: 298GB
 /dev/aacd0           0                0:00:0 64.0KB: 298GB
                                       0:05:0 64.0KB: 298GB
                                       0:04:0 64.0KB: 298GB

 1    RAID-5  894GB      256KB Valid   0:07:0 64.0KB: 298GB
 /dev/aacd1           1                0:06:0 64.0KB: 298GB
                                       0:03:0 64.0KB: 298GB
                                       0:02:0 64.0KB: 298GB

 2    RAID-5  894GB      256KB Valid   1:00:0 64.0KB: 298GB
 /dev/aacd2           2                1:01:0 64.0KB: 298GB
                                       1:03:0 64.0KB: 298GB
                                       1:02:0 64.0KB: 298GB

 3    RAID-5  894GB      256KB Valid   1:05:0 64.0KB: 298GB
 /dev/aacd3           3                1:04:0 64.0KB: 298GB
                                       1:07:0 64.0KB: 298GB
                                       1:06:0 64.0KB: 298GB

(:

Вылечилось так:
- с родного (из комплекта) диска контроллера из-под какого-то корявого линупса была дана команда conta restore raid5 3 (странно, но не ругнулась), которая скособочила массив в непонятный multilevel 5-0-0
- после ребута из-под винды на i386 платформе консольной же утилькой конфиг был вручную поправлен, массив начал ребилдиться
- потом уже из рабочего массива был наглым образом изъят дэд диск и по описанной методе вставлен обратно
- conta scrub 3

п.с. не дай бог никому такого "счастья"..

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 34 гостя