Проблемы с Adaptec 3805 после добавления новых винтов

Поломалось, посыпалось, не работает...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение Alexander B. » 29 сен 2009, 13:14

Добрый день. Убедительно прошу помочь с возникшей проблемой.

Дано: купленный у Вас сервер с контроллером Adaptec 3805. Было 3 винта SATA Hitachi по 1 TB, создано два RAID-5 - SYSTEM для системных разделов на 50 Gb и DATA для данных на весь остальной объем. Стоит Debian lenny.

Добавил еще пять таких же винтов. Через ASM инициализировал новые диски, перевел их в Write Through, выбрал "Expand or change logical device" для первого RAID-5 (который SYSTEM на 50 Gb для системы), поставил галочки напротив всех новых дисков, нажал "Apply". ASM некоторое время подумал, после чего сказал, что на сервере вообще ни одного контроллера более не видит. То же говорит после длительных раздумий и arcconf:

Код: Выделить всё

alb@trinity:~$ sudo /usr/StorMan/arcconf GETCONFIG 1
Controllers found: 0
Invalid controller number.
Так что никаких средств увидеть, что там сейчас происходит с массивом, у меня нет. Сервер, впрочем, интенсивно мигает лампочками напротив всех восьми винтов.

Дальше хуже. Отвалился в read-only один из логических разделов на массиве SYSTEM (третий из шести). Таблица разделов там такая:

Код: Выделить всё

Model: Adaptec SYSTEM (scsi)
Disk /dev/sda: 53.7GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name  Flags
 1      17.4kB  1000MB  1000MB  ext3
 2      1000MB  7000MB  6000MB  linux-swap
 3      7000MB  12.0GB  5000MB  reiserfs
 4      12.0GB  13.0GB  1000MB  ext3
 5      13.0GB  23.0GB  10.0GB  ext3
 6      23.0GB  53.7GB  30.7GB  ext3
Так вот, /dev/sda3, который reiserfs, стал read-only. Попытка перемонтировать заканчивается неудачей:

Код: Выделить всё

alb@trinity:~$ sudo mount -o remount /dev/sda3
mount: /dev/sda3: can't read superblock
В то же время, проверка ФС ошибок не выявляет:

Код: Выделить всё

alb@trinity:~$ sudo reiserfsck --rebuild-sb /dev/sda3
reiserfsck 3.6.19 (2003 www.namesys.com)
Will check superblock and rebuild it if needed
Will put log info to 'stdout'
...
Super block seems to be correct
Остальные разделы на /dev/sda пока работают нормально.
Последние относящиеся к вопросу строки в сислоге (который затем писаться тоже перестал, ибо на отвалившемся разделе был как раз /var):

Код: Выделить всё

Sep 29 12:16:46 trinity Adaptec Storage Manager Agent: [407] Physical drive added: controller 1, enclosure 1, slot 7, S/N STF607MH3NYS2K.
Sep 29 12:16:46 trinity Adaptec Storage Manager Agent: [401] Failed drive - Selection timeout: device removed or not responding: controller 1, enclosure 1, slot 7, S/N STF607MH3NYS2K (Vendor: Hitachi Model: HDT721010SLA360).

(до этого точно такие же строки на каждый из ранее добавленных винтов)

Sep 29 12:23:27 trinity kernel: [19183457.904294] sd 4:0:0:0: Device offlined - array deleted
Sep 29 12:23:27 trinity rsyslogd: /var/log/kern.log: Input/output error
Sep 29 12:23:27 trinity rsyslogd: /var/log/messages: Input/output error
Sep 29 12:23:27 trinity kernel: [19183457.906027] sd 4:0:0:0: rejecting I/O to offline device
Sep 29 12:23:27 trinity kernel: [19183457.906027] sd 4:0:0:0: rejecting I/O to offline device
Sep 29 12:23:27 trinity kernel: [19183457.906027] sd 4:0:0:0: rejecting I/O to offline device
Sep 29 12:23:27 trinity kernel: [19183457.906027] ReiserFS: sda3: warning: clm-6001: grab_tail_page failed -5
Посоветуйте, пожалуйста, что делать. Перезагружать сервер страшновато - вдруг не поднимется. Хотелось бы сохранить систему (ничего там критичного из данных нет, но тратить время на переустановку крайне нежелательно). И главное - что вообще произошло и в чем причина, что я сделал не так?

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Re: Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение Alexander B. » 29 сен 2009, 17:11

В общем, ASM через пару часов "проснулся" и вновь увидел контроллер, показав, что идет реконфигурация массива.
Систему я, правда, все-таки угробил окончательно :-( , но это уже проблема лично у меня в /dev/hands...
Остается непонятным только, почему при совершении операции с массивом, которая должна, по идее, быть абсолютно прозрачной для операционной системы, произошло "отваливание" одного из разделов.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение gs » 29 сен 2009, 17:21

Сложно сказать, мыслей нет.
Но на будущее советую перед процедурой перешить контроллер и дрова, сделать верификацию массива, проверить новые винты. Ну и конечно только с батарейкой.
И сразу пачку винтов в экспанд не стоит вгонять - процедура и так не самая веселая...

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Re: Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение Alexander B. » 29 сен 2009, 18:19

gs писал(а):Сложно сказать, мыслей нет.
Но на будущее советую перед процедурой перешить контроллер и дрова, сделать верификацию массива, проверить новые винты. Ну и конечно только с батарейкой.
И сразу пачку винтов в экспанд не стоит вгонять - процедура и так не самая веселая...
Спасибо за советы. Прошивку контроллера действительно обновить не подумал. Верификацию сделал, батарейка стоит. А вот насчет "пачки винтов" можно уточнить: т.е. если я из RAID-5 на 3 диска хочу сделать RAID-5 на 8 дисков, то надо по одному добавлять новые винты к массиву? Я думал, чем меньше раз эту процедуру повторишь - тем меньше шансов, что что-то с ней пойдет не так... А так у меня массив неделю будет постоянно экспандиться...

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение gs » 29 сен 2009, 18:38

Ну я бы просто через бэкап-рестор сделал.
Я просто знаю, какую кашу представляет из себя массив во время экспанда - малейший сбой и привет. А если еще и несколько дисков залпом...

Alexander B.
Power member
Сообщения: 35
Зарегистрирован: 29 окт 2007, 21:21
Откуда: Ростов-на-Дону

Re: Проблемы с Adaptec 3805 после добавления новых винтов

Сообщение Alexander B. » 29 сен 2009, 23:47

gs писал(а):Ну я бы просто через бэкап-рестор сделал.
Я просто знаю, какую кашу представляет из себя массив во время экспанда - малейший сбой и привет. А если еще и несколько дисков залпом...
Бекап-рестор в домашних условиях означает необходимость поиска или покупки отдельной железки. Хотя 2 Тб по нынешним меркам стОят копейки, возможно, и есть в этом смысл, чем рисковать данными (пусть они не Бог весть какой важности, важные и так забекаплены, но восстанавливать долго будет). Подумаю.

Ответить

Вернуться в «Массивы - Технические вопросы, решение проблем.»

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и 22 гостя