Каковы принципы работы hot swap?

[Grigory Batalov]

Здравствуйте!
Приобрели недавно системный блок Intel SC5100 и системную плату Intel STL2, водрузили туда Mylex AcceleRAID 170. Но возникло непонимание: при проверочном изъятии диска из корзины он переходит в offline и остаётся там даже после установки обратно (ждали порядка трёх часов). После перезагрузки поставили его в online в BIOSe контроллера - подключился.
По сему интересны принципы hot swap вообще:
От корзины идёт SCSI-шлейв в RAID-контроллер. Наверное, при отключении диска корзина сообщает об этом контроллеру и он начинает работать с оставшимися двумя. (У нас три диска в RAID-5, на четвёртый hot-spare ещё не накопили . ) Соответственно, при подключении диска обратно сообщит ли корзина об этом контроллеру через SCSI-интерфейс? Или она собиралась это сделать по 4х-жильному I2C-проводку, который мы не подключили, потому что на материнской плате не нашлось для него гнезда?
В качестве ОС используется ALT Linux Master 2.2, модуль DAC960. Отключение диска можно наблюдать по сообщениям модуля.

[setar]

Но возникло непонимание: при проверочном изъятии диска из корзины он переходит в offline и остаётся там даже после установки обратно (ждали порядка трёх часов).

Во первых в контроллере должна быть включена опция autorebuild,
во вторых должен придти сигнал от корзины (см.ниже)

После перезагрузки поставили его в online в BIOSe контроллера - подключился.

А вот это стрёмная операция - не делайте так на боевом сервере - диск побывав в offline успел "отстать" по содержанию от собратьев, принудительное включение его в online приведёт к искажению информации !!!
В рабочее состояние его нужно поднимать только через rebuild.

По сему интересны принципы hot swap вообще:
От корзины идёт SCSI-шлейв в RAID-контроллер. Наверное, при отключении диска корзина сообщает об этом контроллеру и он начинает работать с оставшимися двумя. (У нас три диска в RAID-5, на четвёртый hot-spare ещё не накопили . ) Соответственно, при подключении диска обратно сообщит ли корзина об этом контроллеру через SCSI-интерфейс? Или она собиралась это сделать по 4х-жильному I2C-проводку, который мы не подключили, потому что на материнской плате не нашлось для него гнезда?

HotSwap корзинки бываюn тупые и умные. Умные ( SAF - TE ) сообщают контроллеру о состоянии винтов. Соответственно чтобы небыло беды винты ушедшие в offline на тупых корзинках сами в online не включаются. SAF-TE корзинки при вставлении/замене сами запускают autorebuild.

По поводу I2C : шнурок нужен лишь для замены прошивки корзинки (обычно не требуется)

[a_shats]

Все достаточно просто, и имеет отношение скорее к контроллеру:
Именно контроллер зафиксировал отказ HDD с того момента, как Вы его вытащили из корзины, и - с этого же момента - этот винт контроллером считается неисправным. С какой радости ему поднимать сочтенный отказавшим диск в онлайн ? Только вручную - и на Ваш страх и риск. Вот если б Вы вставили другой винт вместо вынутого - отработал бы авторебилд и винт бы спокойно встал в онлайн.
Поднятие статуса on-line для винта, кстати, совсем не означает его исправности. Это лишь значит, что Вы заставили контроллер считать его исправным.

[Dmitry]

А диск который вытаскивали, сначала необходимо отформатировать можно через RAID контроллер, а можно через любой SCSI адаптер.
И только потом запускать в ручную rebuild при глупых корзинках и автоматом при умных. Вообще форматирование перед ребилдом процедура не обезательная, но очень советуемая.

[Grigory Batalov]

Во первых в контроллере должна быть включена опция autorebuild

В BIOS есть настройки:
Automatic rebuild management: Enabled
Rebuild rate: 50

После перезагрузки поставили его в online в BIOSe контроллера - подключился.

А вот это стрёмная операция - не делайте так на боевом сервере - диск побывав в offline успел "отстать" по содержанию от собратьев, принудительное включение его в online приведёт к искажению информации !!!
В рабочее состояние его нужно поднимать только через rebuild.

Да, замечена порча файловой системы . Это пока только эксперименты, в работе, конечно, подобные ляпы недопустимы.

HotSwap корзинки бывают тупые и умные. Умные ( SAF - TE ) сообщают контроллеру о состоянии винтов. Соответственно чтобы небыло беды винты ушедшие в offline на тупых корзинках сами в online не включаются. SAF-TE корзинки при вставлении/замене сами запускают autorebuild.

В спецификации на SC5100 заявлена поддержка SAF-TE 1.0

С какой радости ему поднимать сочтенный отказавшим диск в онлайн ? Только вручную - и на Ваш страх и риск. Вот если б Вы вставили другой винт вместо вынутого - отработал бы авторебилд и винт бы спокойно встал в онлайн.

Ок, в настройках физических дисков есть пункт "Rebuild redundancy data" - после таких экспериментов подключать диск нужно именно с его помощью?

А диск который вытаскивали, сначала необходимо отформатировать можно через RAID контроллер, а можно через любой SCSI адаптер.
И только потом запускать в ручную rebuild при глупых корзинках и автоматом при умных. Вообще форматирование перед ребилдом процедура не обезательная, но очень советуемая.

Спасибо, буду иметь в виду.

Спасибо за ответы. Наверное, последний вопрос, пока я не начал использовать GAM: раз автоматического обновления диска не произошло, с помощью GAM можно выполнять все эти операции типа rebuild, format и т.д. дабы не прибегать к перезагрузке (т.е. дублирует ли он утилиты из BIOS контроллера)?

[setar]

Спасибо за ответы. Наверное, последний вопрос, пока я не начал использовать GAM: раз автоматического обновления диска не произошло, с помощью GAM можно выполнять все эти операции типа rebuild, format и т.д. дабы не прибегать к перезагрузке (т.е. дублирует ли он утилиты из BIOS контроллера)?

Всё просто - заводим группу и конкретный сервер по его ip,
заходим как пользователь gamroot.
Присоединившись к контроллеру увидим его состояние в critical и винт в offline с красным крестом .
Щелкаем по offline винту и нажимаем кнопочку "rebuild"
всё, далее мин 40

[gs]

ГАМ не только дублирует все функции BIOS, но и добавляет много других полезных.
К тому же он (и только он) позволяет мониторить дисковую систему в процессе. (не перезагружаться же в конце концов, чтобы посмотреть - все ли нормально)
Опять же в случае сбоев логи пишет - полезно при разборе полетов.