IBM DS5100: на пинг не отвечает, через консоль не зайти

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 12 июл 2016, 17:32

IBM 5100, до недавнего времени все нормально, неожиданно перестали отзываться по сети оба контроллера, при этом основной функционал не затронут, все работает (тук-тук-тук).

Проверка показала, что на сетевых интерфейсах постоянно up/down, игры в portfast, 100-full, подключение нотебуком, подключение нотебуком через промежуточный простой свитч к успехам не привели.

Решили попробовать подключиться через консоль, пользовались инструкцией:
http://bazanovv.livejournal.com/30775.html

Консоль появляется, если нажать S, то пароль DSStorage не срабатывает (назвать текущую версию ПО затрудняюсь), если нажать ESC, то появляется запрос логина и пароля, под первым "правильным" вариантом даже что-то происходит, во всяком случае после логина и пароля ругани нет, но и никакой реакции. Попытка вводить команды ничего не дает.

Может сталкивался кто? Есть советы, что еще до перезагрузки по питанию попробовать?

По FC подключена к серверу с VMWare, не ясно прокатит такой вариант или нет перехвата управления.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Stranger03 » 13 июл 2016, 13:05

hystrix писал(а):Есть советы, что еще до перезагрузки по питанию попробовать?
Я бы начал с полного бекапа.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 13 июл 2016, 13:20

Stranger03 писал(а):
hystrix писал(а):Есть советы, что еще до перезагрузки по питанию попробовать?
Я бы начал с полного бекапа.
Из общих соображений или можно предположить (по опыту) серьезную проблему с СХД?

На СХД виртуальные машины VMWare, резервные копии делаются Veeam регулярно, хотя само восстановление займет длительное время (как из-за поиска нового СХД, доставки и подключения, так и из-за времени развертывания такого объема данных).

Если все серьезно, то начнем с поиска подменного СХД и полной миграции данных на него.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Stranger03 » 13 июл 2016, 13:38

hystrix писал(а):Из общих соображений или можно предположить (по опыту) серьезную проблему с СХД?
Трудно сказать, надо смотреть на логи. Если честно, шанс, что оба контроллера резко сдохли, очень невелик. Если только один контроллер вам не посылал сигналы весь прошлый год, а по ходу и второй. Возможно банальная перезагрузка поможет, но я бы не рисковал без наличия полного бекапа, с которого предварительно проведена процедура восстановления (то есть мы убедились, что бекап живой)
Если все серьезно, то начнем с поиска подменного СХД и полной миграции данных на него.
Вы с какого города? Поправьте город в профиле.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Bormoto » 13 июл 2016, 13:48

To hystrix:
На DS не сталкивался с набором симптомов, а на софтовых стораджах под Linux такое наблюдается после серьёзного повреждения файловой системы и после рестарта они уже не загружаются.

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 13 июл 2016, 13:50

Stranger03 писал(а):
hystrix писал(а):Из общих соображений или можно предположить (по опыту) серьезную проблему с СХД?
Трудно сказать, надо смотреть на логи. Если честно, шанс, что оба контроллера резко сдохли, очень невелик. Если только один контроллер вам не посылал сигналы весь прошлый год, а по ходу и второй. Возможно банальная перезагрузка поможет, но я бы не рисковал без наличия полного бекапа, с которого предварительно проведена процедура восстановления (то есть мы убедились, что бекап живой)
Вы с какого города? Поправьте город в профиле.
1. Город добавил, СПб!-)

2. Чтобы смотреть на логи надо сперва восстановить доступ к СХД, а оно по IP не отвечает, результаты доступа через serial также неудовлетворительны.

3. Админ дает признательные показания, что в течение месяца точно работал с СХД, проблем не наблюдалось.

4. Бэкапы тестируются автоматически, степень доверия к ним выше среднего, сейчас проверяем полноту.

Есть две рабочие версии:
1. Админ оставил софт подключенным к СХД на длительный период, что и привело к такому эффекту (нашел описание подобного глюка).
2. В сети прошли какие-то пакеты, которые вызвали частичный отказ софта СХД.

Хотим все-таки перезагрузить один из двух контроллеров, но есть непонимание:
1. Как это сделать, т.к. просто отключение питания не поможет, у DS5100 же питание между ними еще резервировано? Разрывать его не хочется. Может есть другие способы? По мануалам не нашел!-(
2. Корректна ли вообще перезагрузка одного контроллера по питанию в DS5100?

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 13 июл 2016, 13:52

Bormoto писал(а):To hystrix:
На DS не сталкивался с набором симптомов, а на софтовых стораджах под Linux такое наблюдается после серьёзного повреждения файловой системы и после рестарта они уже не загружаются.
Перезагрузки самого СХД по питанию не было, судя по индикаторам функционирует оно нормально, данные доступны (в том числе проверено ночным бэкапом, который забрал изменения).

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Bormoto » 13 июл 2016, 13:58

hystrix писал(а): Перезагрузки самого СХД по питанию не было, судя по индикаторам функционирует оно нормально, данные доступны (в том числе проверено ночным бэкапом, который забрал изменения).
Я имею в виду файловую систему, на которой сама OS хранилки. Вот, как раз, данные доступны, OS в памяти доступ обеспечивает, а управлять уже никак. Правда, у вас ситуация иная - два контроллера. После снятия свежих бэкапов и отключения клиентов, можно попробовать по очереди вытаскивать контроллеры и отслеживать изменение состояния.

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 13 июл 2016, 18:15

Bormoto писал(а):После снятия свежих бэкапов и отключения клиентов, можно попробовать по очереди вытаскивать контроллеры и отслеживать изменение состояния.
Вопрос в том, можно ли у DS5100 вытаскивать контроллер, если перед этим он не был выведен из обслуживания программно?

P.S. MAC-то от СХД прилетает, попробуем воткнуться нотебуком, записать трафик, посмотреть какие ARP-пакеты летят.

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 13 июл 2016, 19:28

hystrix писал(а):MAC-то от СХД прилетает, попробуем воткнуться нотебуком, записать трафик, посмотреть какие ARP-пакеты летят.
Поработали снифером, летит ARP от СХД, в нем указан верный адрес. Попытки просто соединений на 80-й, 443-й не удались, почти сразу идет up/down интерфейса.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Stranger03 » 14 июл 2016, 07:40

hystrix писал(а):Поработали снифером, летит ARP от СХД, в нем указан верный адрес. Попытки просто соединений на 80-й, 443-й не удались, почти сразу идет up/down интерфейса.
Она же файберная, соединитесь напрямую с хостом. В конце то концов, возьмите писюк с файберной карточкой (либо 2-х портовая, либо пару однопортовых), подключите напрямую к СХД (там минимум по 2-а порта на контроллер, если не по 4-е, не помню уже). Поставьте СМ и попробуйте подключится через файбер. Я бы не перегружал, до тех пор, пока нет подменки и данные не переброшены на нее.
П.С. у нас большой тех.отдел в Питере. Если готовы будете оплатить работы и подменку на время попыток восстановления, ребята могут взяться.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 14 июл 2016, 08:24

К сожалению все FC заняты, на сегодня как раз запланирован этот вариант.

Спасибо за предложение, подумаем.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение Stranger03 » 14 июл 2016, 08:31

hystrix писал(а):К сожалению все FC заняты, на сегодня как раз запланирован этот вариант.
Подключите через коммутатор. Ничего сложного. По любому для переезда вам понадобиться коммутатор.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

hystrix
Junior member
Сообщения: 9
Зарегистрирован: 12 июл 2016, 17:25
Откуда: Санкт-Петербург

Re: IBM DS5100: на пинг не отвечает, через консоль не зайти

Сообщение hystrix » 15 июл 2016, 09:30

1. Вчера удалось все-таки пробиться к СХД по FC (причем из виртуальной машины!-), никаких критичных ошибок, поведение нормальное.
2. Попытались сменить сетевые настройки, отключали и включали IPv4 - проблема не изменилась, поведение то же самое.
3. Перекинули все массивы на контроллер A, контроллер B отправили в Offline, потом включили в Online. После включения контроллера на нем обнаружился адрес по умолчанию (возможно последствие п.2), который нормально пинговался, управление подключилось.
4. Перекинули все массивы на контроллер B, контроллер A отправили в Offline, потом включили в Online. После включения он думал, потом показывал адрес 0.0.0.0, потом вспомнил сам ранее настроенный адрес, который также нормально запинговался, управление подключилось.

Таким образом проблема решена, возможно кому-то пригодится информация.
К сожалению причина такого поведения не ясна, доступные лога ответ не дали, сервиса нет.

Всем большое спасибо!

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 17 гостей