IBM DS 3512. Установка второго контроллера.

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 12:01

Доброго дня!
Докупили второй контроллер и SAS-винты. Вопрос в том, как его теперь подключить.

По мануалу с IBM перепрошил хранилище последней firmware (c NVSRAM, Controller_Code_07832200 - DS3K под двухконтроллерную конфигурацию), включил режим двухконтроллерной работы (через командную строку) и установил второй контроллер в хранилище.
После этого творится какая-то ерунда. В DS Manager появляется два устройства. Первый контроллер падает в unresponsive. Ничего с хранилищем сделать не получается, пока не вынимаю второй контроллер.

Может кто подсказать, как правильно устанавливать второй контроллер?
Служба поддержки IBM это что-то с чем-то. Уже 3 дня они мне толком ничего сказать не могут.

Огромное спасибо всем кто откликнется!

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 14:48

"vikms"
DS3500 User Guide, страница 115 - 116:

Код: Выделить всё

Installing a controller
Use this procedure to install a second controller. The second controller is controller B. If the storage subsystem contains only one controller, that controller is controller A.
Attention: Make sure that the two controllers have the same host port adapter, DIMM size, and options. An incompatible controller will be placed in a lockout state by the other controller.
To install a controller in the storage subsystem, complete the following steps:
1. Read the safety information that begins on page xiii and “Best practices guidelines” on page 5.
2. Install new dual-controller NVSRAM firmware on controller A. See “Downloading controller or NVSRAM” in the DS Storage Manager 10 Installation and Host Support Guide for information about how to download the NVSRAM firmware.
Note: Obtain the latest dual-controller NVSRAM firmware from http://www.ibm.com/servers/storage/support/disk/.
3. Start the command-line interface; then, enter the following command to change controller A from simplex (single-controller) mode to duplex (dual-controller) mode:
                            Smcli ctlr_A_IP_address -c "set storageSubsystem redundancyMode=duplex;"
4. Shut down the storage subsystem, and then start it again (see “Turning on the storage subsystem” on page 68). If controller A was successfully converted to duplex mode, the subsystem reports an alternate controller missing error message. If the error message is not reported, reinstall the new dual-controller NVSRAM firmware on controller A and repeat steps 3 through 4.
5. Unpack the new controller. Save all packing materials in case you have to return a controller.
6. Make sure that both controllers have the same host port adapter, DIMM size, and options.
7. If controller A contains an optional host port adapter, install an identical optional host port adapter in the new controller. See “Installing an optional host port adapter” on page 101 for instructions.
8. Remove the controller filler panel from the bay:
a. Open the two release levers. The filler panel moves out of the bay approximately 0.6 cm (0.25 inch).
b. Pull the filler panel out of the bay.
c. Place the filler panel in a safe place for future use.
9. Install the new controller.
a. Make sure that the release levers on the controller are in the open position.
b. Slide the controller into the bay until it stops.
c. Push the release levers to the closed position.
10. Wait up to 5 minutes for the DS Storage Manager software to recognize the new controller.
11. Connect the host interface cables to the controller. See “Cabling the DS3500 storage subsystem” on page 23 for more information.
12. Make sure that all expansion enclosure connections have been completed (see the dual-controller topologies in “DS3500 storage subsystem drive cabling topologies” on page 42); then, connect the SAS drive expansion cable from the right ESM in the last expansion enclosure in the chain to the drive expansion port on controller B of the DS3500.
13. Wait up to 5 to 10 minutes for the DS Storage Manager software to report the drives and the redundant drive path.
14. Verify the state of the LEDs on the newly inserted controller. See “Controller LEDs” on page 75. You can also use the Subsystem Management window to identify any new faults. Do any storage subsystems have a fault (Needs Attention) status?
v Yes: Click Recovery Guru in the Subsystem Management window toolbar, and complete the recovery procedure. If the problem remains, contact your IBM technical-support representative.
v No: Go to step 15.
15. Use the DS Storage Manager software to print a new storage subsystem
profile.
Ссылка на документ: http://www.64bit.eu/soubory/3157/ibm-st ... e.pdf?ms=3
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

Re: IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 15:02

Делал по этому мануалу как раз. С пункта 13 идет не так. У меня не определяется второй контроллер нормально. Он виден, но выдает ошибки. Версия прошивок у контроллеров различается. Перепрошить второй он мне не дает. Само хранилище выпадает в recovery mode.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:12

vikms писал(а):Делал по этому мануалу как раз. С пункта 13 идет не так. У меня не определяется второй контроллер нормально. Он виден, но выдает ошибки. Версия прошивок у контроллеров различается. Перепрошить второй он мне не дает. Само хранилище выпадает в recovery mode.
Попробуйте прошить второй контроллер без первого.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

Re: IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 15:19

Второй ставить на место первого? И прошивать то же dual-прошивкой?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:22

Что происходит после того, как установили второй контроллер, подключили все кабеля в пункте 12-ть (что описано выше)? Какие там ошибки есть? По идее второй контроллер должен синхоринироваться с первым автоматом (занимает некоторое время) = как раз описано в пункте 10-ть. После этого нврам у обоих должна быть одинаковая.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:29

vikms писал(а):Второй ставить на место первого? И прошивать то же dual-прошивкой?
Честно не знаю, можно попробовать просто отключить первый контроллер, посмотреть что будет происходить. Вероятно выскочит ошибка первого контроллера и диски должны стать доступны через второй. Но я не уверен, это уже шаманство.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

Re: IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 15:34

У меня нет полок расширения. Пока стоит одно хранилище. Сервера не подключал. Два ethernet воткнуты в оба контроллера.

Поведение странное.
После добавления второго контроллера в Storage manager появляется два контроллера с одинаковым IP адресом. При чем оба подключения идут на контроллер А. На один из коннектов вообще не подключается - написан ярлычок разорванного соединения. По второму подключается, но пишет что хранилище в recovery mode.
На самом контроллере В горят синяя и оранжевая лампочка с восклицательным знаком сзади.

Когда оставляю один контроллер (А). То ругается на Removed battery CRU/FRU в контроллере В, Recovery mode хранилища и то, что controller B removed.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:45

vikms писал(а):Когда оставляю один контроллер (А). То ругается на Removed battery CRU/FRU в контроллере В, Recovery mode хранилища и то, что controller B removed.
Вкладка логов доступна? Саппорт-лог собирается? Детально ошибки можете написать?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:47

"vikms"
Это доступно?

Код: Выделить всё

8. Diagnose and correct the fault by completing the following steps:
a. Run the DS Storage Manager Recovery Guru by clicking Recovery Guru in the Subsystem Management window toolbar.
b. Complete the recovery procedure.
If the Recovery Guru directs you to replace a failed component, use the individual LEDs on the storage subsystem to locate the specific failed component. For troubleshooting procedures, see Chapter 6, “Solving problems,” on page 127.
c. When the recovery procedure is completed, select Recheck in the Recovery Guru. This action runs the Recovery Guru again to make sure that the problem is corrected.
d. If the problem remains, contact your IBM technical-support representative.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 15:56

vikms писал(а):На самом контроллере В горят синяя и оранжевая лампочка с восклицательным знаком сзади.
Синяя лампочка - готово к удалению компонента, оранжевая - ошибка. При установке второго контроллера должно пройти минут 5-10 для синхронизации двух контроллеров. Ждали?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 16:00

Вот еще документ для изучения: http://www.redbooks.ibm.com/abstracts/sg247914.html
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

Re: IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 16:08

Да, ждал долго. На данный момент логи ... почему то чистые.

Пока пара скриншотов:

Сама ошибка в Recovery Guru

Изображение

Состояние контроллеров:

Изображение

Изображение

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS 3512. Установка второго контроллера.

Сообщение Stranger03 » 02 окт 2012, 16:13

vikms писал(а):Да, ждал долго. На данный момент логи ... почему то чистые.
У вас ошибка в модуле памяти на втором контроллере. Смотрите что там. Попробуйте переставить память. Если не поможет, у нас где-то валялись старые модули для 35-й ДС-ки.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

vikms
Junior member
Сообщения: 11
Зарегистрирован: 02 окт 2012, 11:44
Откуда: Moscow

Re: IBM DS 3512. Установка второго контроллера.

Сообщение vikms » 02 окт 2012, 16:31

Попробовал переставить - картина та же.
Сейчас поищем, но вряд ли у нас будут такие низкопрофильные модули.

Хранилище мы покупали не у вас...

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 10 гостей