adaptec 3405 - raid 1 - один из дисков spare

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

lesha
Junior member
Сообщения: 9
Зарегистрирован: 20 май 2009, 13:10
Откуда: Санкт-Петербург

adaptec 3405 - raid 1 - один из дисков spare

Сообщение lesha » 10 сен 2010, 13:43

Здравствуйте,

Исходные данные: массив раид 1 из двух дисков на адаптек 3405 с выделенным хот спаре.

Недавно обновил прошивку контроллера до последней и операционную систему тоже обновил до фри 8.1.

Случился тут сбой контроллера. Хоть и редко, но подвисают они иногда... После этого заметил странность в выдаче конфигурации контроллера утилитой arcconf (хотя, может быть и давно уже так :(). Один из дисков зеркала почему-то помечен как spare и у самих дисков у одного только стоит статус онлайн, а у второго и третьего hot-spare. В то же время сам логический девайс со статусом оптимал. Т.е. зеркало состоящее из одно диска и защищённое двумя выделенными свободными дисками является оптимальным.

Что это, глюк в выдаче, ещё в чём-то? Как вылечить/исправить?
Выдачу arcconf getconfig прикладываю. Информацию о втором логическом девайсе я оттуда убрал, чтобы не мусорить, там просто диск в jbod стоит. Оставшееся свободное место на дисках из массива никак дополнительно не используется.

Код: Выделить всё

----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
   Controller Status                        : Optimal
   Channel description                      : SAS/SATA
   Controller Model                         : Adaptec 3405
   Controller Serial Number                 : 8C05100F5D1
   Physical Slot                            : 2
   Temperature                              : 55 C/ 131 F (Normal)
   Installed memory                         : 128 MB
   Copyback                                 : Disabled
   Background consistency check             : Enabled
   Automatic Failover                       : Enabled
   Global task priority                     : High
   Stayawake period                         : Disabled
   Spinup limit internal drives             : 0
   Spinup limit external drives             : 0
   Defunct disk drive count                 : 0
   Logical devices/Failed/Degraded          : 2/0/0
   NCQ status                               : Enabled
   --------------------------------------------------------
   Controller Version Information
   --------------------------------------------------------
   BIOS                                     : 5.2-0 (17342)
   Firmware                                 : 5.2-0 (17342)
   Driver                                   : 2.1-9 (1)
   Boot Flash                               : 5.2-0 (17342)
   --------------------------------------------------------
   Controller Battery Information
   --------------------------------------------------------
   Status                                   : Optimal
   Over temperature                         : No
   Capacity remaining                       : 100 percent
   Time remaining (at current draw)         : 3 days, 1 hours, 31 minutes

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
   Logical device name                      : a1
   RAID level                               : 1
   Status of logical device                 : Optimal
   Size                                     : 476150 MB
   Read-cache mode                          : Enabled
   Write-cache mode                         : Enabled (write-back)
   Write-cache setting                      : Enabled (write-back) when protected by battery/ZMM
   Partitioned                              : Yes
   Protected by Hot-Spare                   : Yes
   Dedicated Hot-Spare                      : 0,2
   Bootable                                 : Yes
   Failed stripes                           : No
   Power settings                           : Disabled
   --------------------------------------------------------
   Logical device segment information
   --------------------------------------------------------
   Segment 0                                : Present (0,0)      WD-WCASY4859732
   Segment 1                                : Spare (0,1)      WD-WCASY4872798

----------------------------------------------------------------------
Physical Device information
----------------------------------------------------------------------
      Device #0
         Device is a Hard drive
         State                              : Online
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,0(0:0)
         Reported Location                  : Enclosure 0, Slot 0
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : WDC
         Model                              : WD6401AALS-00L3B
         Firmware                           : 01.03B01
         Serial number                      : WD-WCASY4859732
         Size                               : 610480 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #1
         Device is a Hard drive
         State                              : Hot Spare
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,1(1:0)
         Reported Location                  : Enclosure 0, Slot 1
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : WDC
         Model                              : WD6401AALS-00L3B
         Firmware                           : 01.03B01
         Serial number                      : WD-WCASY4872798
         Size                               : 610480 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled
      Device #2
         Device is a Hard drive
         State                              : Hot Spare
         Dedicated Spare for                : logical device 0
         Supported                          : Yes
         Transfer Speed                     : SATA 3.0 Gb/s
         Reported Channel,Device(T:L)       : 0,2(2:0)
         Reported Location                  : Enclosure 0, Slot 2
         Reported ESD(T:L)                  : 2,0(0:0)
         Vendor                             : WDC
         Model                              : WD6401AALS-00L3B
         Firmware                           : 01.03B01
         Serial number                      : WD-WCASY4872902
         Size                               : 610480 MB
         Write Cache                        : Enabled (write-back)
         FRU                                : None
         S.M.A.R.T.                         : No
         S.M.A.R.T. warnings                : 0
         Power State                        : Unknown
         Supported Power States             : Full rpm
         NCQ status                         : Disabled


Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение Black-Dragon » 10 сен 2010, 14:35

lesha
А интересно, rebuild пробовали запускать?
Запускается? Что при этом происходит?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение exLH » 10 сен 2010, 15:12

Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение Black-Dragon » 10 сен 2010, 17:17

Спасибо, было интересно.

Вопросы:
- какой статус должен быть у исходного диска HS, на который отребилдился массив, если Copy Back включен? Разве этот диск не должен стать членом массива, хоть и на время (я про статус диска)?
- почему, всё-таки, у lesha показывается наличие одного выделенного HS и одного (очевидно) глобального, но при этом статус логического диска - Optimal?


P.S. А у конкурентов тоже есть подобное? У LSI, например.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение exLH » 10 сен 2010, 17:54

Black-Dragon писал(а):Спасибо, было интересно.
Видимо не очень, поэтому надо еще раз перечесть.

Статус "Hot Spare" остается у диска, независимо от того был ли включен copyback или нет.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение Black-Dragon » 10 сен 2010, 18:38

exLH писал(а):Видимо не очень, поэтому надо еще раз перечесть.
Статус "Hot Spare" остается у диска, независимо от того был ли включен copyback или нет.
Не так давно на одном из F-S TX200-S4 полетел диск в RAID10, так вот после ребилда HS не показывался как HS, а как обычный член массива?!
Может я и путаю чего, но помню не так уж и плохо.

P.S. Укажу на два момента:
1. Вывод плохого диска был произведен вручную: я заметил в логах ошибки с указанием диска, но контроллер продолжал диск пользовать. Тогда я его перевел вручную в offline. Ребилд пошел автоматом...
2. HS был dedicated.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение exLH » 10 сен 2010, 19:25

lesha писал(а):раид 1 из двух дисков на адаптек 3405
Black-Dragon писал(а):Не так давно на одном из F-S TX200-S4 полетел диск
Какая связь между FSC TX200 (или bmw x5/ ibm p770 / apple ipad - на выбор) и adaptec 3405?
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение Black-Dragon » 11 сен 2010, 11:14

exLH писал(а):Какая связь между FSC TX200 (или bmw x5/ ibm p770 / apple ipad - на выбор) и adaptec 3405?
По остальным не скажу, а по Фуджитсу - там есть рейд контроллер (LSI-ный), а adaptec 3405 - это тоже рейд контроллер. Вот собственно, самое основное, что удалось раскопать. :mrgreen:

В общем, как я понял, у Adaptec диск остается со статусом HS, даже после ребилда на него!? Так? (Просто для общего развития, с адаптек сталкиваюсь очень редко).


P.S. Посмотрел "IBM Power 770 and 780 Technical Overview and Introduction", там тоже есть RAID контроллер! :D
Правда, чей именно, сходу не нашел.

lesha
Junior member
Сообщения: 9
Зарегистрирован: 20 май 2009, 13:10
Откуда: Санкт-Петербург

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение lesha » 13 сен 2010, 12:43

exLH, сразу после Вашего сообщения включил через arcconf функцию copy back, она включилась без проблем (по крайней мере тот же arcconf говорит, что включилась). Никаких других изменений не произошло.

Функцию copy back я включал и игрался так же как и Вы с тестовым сбоем. Всё возвращалось и статус тоже. Честно говоря, перечитав несколько раз Вашу статью я так и не увидел, что у сбоившего диска статус не вернётся в состояние online, а останется статус hot spare. Разве что на картинке в скобочках слово spare у самого левого диска в самом нижнем ряду приписано. У меня такого при тестовых отключениях рабочих дисков не происходило. Случалось всё, контроллер вис при "выведении диска из строя" через команду arcconf или через тупое горячее выдёргивание. Один раз даже массив развалил. Но всегда после завершения rebuild-а статус дисков участвующих в зеркале был online, как и изначально до сбоя. Copy back я выключил, т.к. приоритет стоит высокий у задач контроллера и при ребилде или копи бэке работа сервера практически невозможна с нагрузкой на диски :(

Т.е. статус hot spare у рабочего диска в зеркале это нормально и я не должен волноваться по этому поводу, если у массива стоит статус optimal?

Почему-то мне кажется, что если когда-нибудь сбоит первый диск (который единственный в состоянии online) у меня массив рассыпется с потерей всех данных. Чего мне абсолютно не хочется при наличии двух рабочих дисков для зеркала и одного выделенного под горячую замену. Я бы и третий диск в зеркало добавил бы, лишь бы минимизировать время простоя при сбое дисков.

Black-Dragon, я не знаю как можно сказать сделать ребилд, кроме как "выдёргивания диска" :( Попытка сменить статус с hot spare на ready у третьего диска тупо переводит туда обратно без каких-либо других изменений, а со сменой статуса у второго диска просто ничего внешнего не происходит, статус так и остаётся hot spare.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение gs » 13 сен 2010, 13:50

Цитирую ответ адаптека:
"Здесь проблема в том, что человек делает довольно страшную ошибку, устанавливая 8.х дело в том, что 3 Серия контроллеров не имеет официальной поддержи 7.х и 8.х FreeBSD.

http://www.adaptec.com/en-US/downloads/ ... +RAID+3405

Для таких версий лучше купить 5 серии контроллер.

http://www.adaptec.com/en-US/downloads/ ... +RAID+5805

При этом, установку, желательно начинать с прошивки, которая привязанна к пакету драйвера, который дает поддержку 8.х (не ниже билда 17899)"

Черкните им в саппорт.

lesha
Junior member
Сообщения: 9
Зарегистрирован: 20 май 2009, 13:10
Откуда: Санкт-Петербург

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение lesha » 13 сен 2010, 14:44

gs, не могли бы Вы подсказать куда писать по-русски в адаптек? На сайте любые попытки выбрать русский ведут в английскую версию с возможностью написать только на английском, немецком, испанском, итальянском или французском :(

Что касается серий контроллеров, то серия 5х стала работоспособной только весной этого года после выхода очередной прошивки. До этого момента все изначально купленные контроллеры 5х приходилось менять на 3х. Контроллеры 5х тупо жёстко висли или появлялись ошибки в данных на совершенно исправных дисках. Покупать новый контроллер взамен купленного год или около того назад или использовать не поддерживаемую операционную систему это не вариант, к сожалению :( В любом случае, я могу всё делать опираясь исключительно на данных из биоса, где никаких намёков на операционную систему нет и в помине.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение exLH » 14 сен 2010, 09:30

Коллеги, раз уж возникли вопросы и недопонимания. То коротенько поясню. Тезисно, в двух-трех словах. Относится только к контроллерам Adaptec.

1. Статус 'Spare' дается диску, чтобы он в случае чего подменил собой умерший диск в массиве. Spare может быть глобальным, а может быть предназначен для конкретного массива.

2. Есть функция 'Copyback'. Она предназначена для того, чтобы после замены диска-трупа, бывший до ребилда 'Spare' диск им же и оставался. Copyback работает для вышедших из строя дисков после включения Copyback.

3. Статус 'Spare' остается на дисках и после ребилда (вне зависимости от того, был включен Copyback или нет). Это дает возможность увидеть, что диск изначально был 'Spare' и попал в массив из-за случившихся сбоев других дисков.

4. Если диск, который был 'Spare', предполагается оставить в массиве навсегда, то можно просто удалить статус Spare. Никаких других эффектов это действие не принесет.

Все.
За подробностями - в документацию и KB на сайте www.adaptec.com
Там все это расписано на чистом английском.
lesha писал(а):Что касается серий контроллеров, то серия 5х стала работоспособной только весной этого года
Это, простите, ерунда.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение Black-Dragon » 14 сен 2010, 11:54

exLH писал(а): Относится только к контроллерам Adaptec.
...
3. Статус 'Spare' остается на дисках и после ребилда (вне зависимости от того, был включен Copyback или нет). Это дает возможность увидеть, что диск изначально был 'Spare' и попал в массив из-за случившихся сбоев других дисков.

4. Если диск, который был 'Spare', предполагается оставить в массиве навсегда, то можно просто удалить статус Spare. Никаких других эффектов это действие не принесет.
Спасибо. Теперь всё понятно.

P.S. Что-то вы сегодня добрый с утра. :)

lesha
Junior member
Сообщения: 9
Зарегистрирован: 20 май 2009, 13:10
Откуда: Санкт-Петербург

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение lesha » 14 сен 2010, 12:47

exLH писал(а):4. Если диск, который был 'Spare', предполагается оставить в массиве навсегда, то можно просто удалить статус Spare. Никаких других эффектов это действие не принесет.

Все.
За подробностями - в документацию и KB на сайте http://www.adaptec.com
Там все это расписано на чистом английском.
exLH, спасибо за разъяснения, но почему-то мне легче не становится... :(
Ещё раз прошёлся до того же самого конца, только теперь новой дорогой :)
В базе знаний нашёл ответ 5117, где написано как Вы и говорите, только на буржуйских буквах, что статус hot spare это типа ерунда и заморачиваться не надо. Оттуда идёт отсылка к документации по команде arcconf о том, как удалить статус hot spare, если он меня напрягает (а это именно так). Открываю эту самую документацию и вижу, что я могу назначить устройству только три статуса:
- HSP—Create a hot spare from a ready drive
- RDY—Remove a hot spare designation
- DDD—Force a drive offline (to Failed)

Выставляю статус rdy диску, который реально hot spare, он становится ready.
Выставляю статус rdy диску, который как бы hot spare, он остаётся hot spare. Это если я просто даю команду:

Код: Выделить всё

arcconf setstate 1 device 0 1 rdy
Если же я ещё указываю и логическое устройство:

Код: Выделить всё

arcconf setstate 1 device 0 1 rdy logicaldrive 0
, то мне выдаётся ошибка:

Код: Выделить всё

The specified spare is NOT of type: DHS.
Попытка найти, что такое этот type DHS пока ни к чему не привела...
Если в этой документации по arcconf есть ещё какие-то потайные параметры позволяющие всё таки убрать статус hot spare с рабочего диска в массиве, то моих скромных знаний английского на них просто не хватает :(

exLH, пожалуйста, подскажите, как это сделать?
exLH писал(а):
lesha писал(а):Что касается серий контроллеров, то серия 5х стала работоспособной только весной этого года
Это, простите, ерунда.
Не хочется поднимать флейм о том, что фря говно, но все проблемы с ней у адаптека почему-то решаются исключительно только обновлением прошивок именно последнего. Вот ссылка подтверждающая, что только в декабре 2009 года были выпущены прошивки (на самом деле там они ещё не раз обновлялись), которые сняли постоянные зависания контроллеров серии 5х. А если посмотреть на сайте официальный список публичных прошивок, то она появилась только 23 апреля 2010 года. Вот эта ссылка подтверждает, что до того же апрельского обновления прошивки адаптеки серии 5х тупо портили данные если их нагрузить zfs.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: adaptec 3405 - raid 1 - один из дисков spare

Сообщение exLH » 14 сен 2010, 15:05

lesha писал(а):пожалуйста, подскажите, как это сделать?
Используйте Storage Manager.
lesha писал(а):Не хочется поднимать флейм о том, что фря говно, но все проблемы с ней у адаптека почему-то решаются исключительно только обновлением прошивок именно последнего.
Поверьте, про то что фря - говно никто с Вами и не собирается спорить :) Все очень просто - хваленое комьюнити не в состоянии нормально написать свой "открытый" код, так что бедным инженерам адаптека приходится исправлять прошивки под их поделки. :lol:
А если говорить серьезно, то ваша "замечательная" 8ая версия фри и не поддерживалась до недавнего времени адаптеком.
Все претензии - к комьюнити.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей