Скорость Online Capacity Expansion у контроллеров Adaptec

[Alexander B.]

Предлагаю куда-нибудь в местный FAQ крупными буквами написать "1. Online Capacity Expansion у контроллеров Adatpec нет! 2. Если в документации на котороллер написано, что оно есть, - см. п. 1". И вот почему.

Я все-таки решился сделать экспанд массиву RAID-5 на Adaptec 3805 с 3-х винтов по 1 Тб до 8-ми винтов по 1 Тб. Некоторое время назад писал про возникшие с этим проблемы. В этот раз сделал бекап, обновил драйвера... и черт меня дернул после этого все же запустить экспанд, а не пересоздать массив с восстановлением из бекапа. В отличие от прошлого раза, процесс пошел сразу без подвисаний и ошибок. Контроллер бодро зашуршал винтами и заморгал лампочками, ASM показал статус Reсonfiguring... и 0% выполнения. До 1% дошло только через 12 часов. Сначала я подумал, что проценты просто будут бежать неравномерно, бывает. Но 2% появилось только по прошествии суток. 3% - через полтора суток... Таким образом, экспанд грозит продлиться 50 дней (!!!).
Гугль, к которому я кинулся за помощью, подсказал, что я не одинок, - действительно экспанд у людей длится по месяцу и дольше. Причем как на 3 серии, так и на 5. Много добрых слов в адрес Adaptec находят эти люди. По запросу "Adaptec RAID expansion speed" в гугле эти слова легко найти.
Спрашивается, зачем заявлять о наличии у контроллера функции, которая явно реализована через одно место и такая реализация не имеет никакого практического смысла?.. Лучше бы честно написали, что OCE нет, - больше бы времени и нервов людям сэкономили.

А вопрос, собственно, в том, как теперь наиболее корректно этот вечный экспанд прервать и пересоздать массив заново? Через ASM прервать процесс и сделать что-либо еще с массивом не получается. Через BIOS получится? Памятуя про прошлые проблемы, страшновато просто перезагрузить сервер - на этом контроллере еще один logical device, на котором система, и его загубить очень не хочется.

[gs]

Нагрузка на сервере есть?
BBU есть?
Приритет фоновых задач?

[Alexander B.]

Нагрузка отсутствует, BBU есть, приоритет высокий.

[Alexander B.]

Поднимаю старую тему, потому что ребилд всё-таки завершился... 23 суток и 3 часа (!)

[Valentin]

Расширение raid5 на 9 террабайтных дисках с начального размера около 3 Тб до максимального размера около 7,4 Тб на 51645 происходило со скоростью 24 часа на террабайт, причем равномерно, то есть на заведомо пустом месте скорость не увеличивалась! Причем после экспериментов есть подозрение, что скорость при смене уровня массива и при увеличении размера одинакова, возможно и алгоритм для этих разных действий один универсальный, а потому эти два действия в АСМ объединены в одном месте как одно действие.

[gs]

А почему должна увеличиваться скорость на пустом месте?
Это блочное устройство, оно вообще не знает, что на нем какие-то файлы лежат.

[Alexander B.]

В моем случае скорость все-таки увеличивалась (иначе бы 50 дней, а не 23 экспанд длился). Но, честно говоря, абсолютные значения этой скорости создают впечатление, что контроллер вообще не очень хорошо знает, как делать экспанд. Или алгоритм оного написан ну очень дремучим индийским кодером (неужели и firmware довольно дорогих железок тоже они пишут). Менее производительный 3ware 9550, помнится мне, справлялся с аналогичной задачей раз в 10 быстрее.

[Valentin]

знает он, где пустое место, потому что если попробовать удалить логичекский диск, он просит сначала удалить разделы, а если диск GPT, то и его придется преобразовать обратно в MBR, и только тогда будет позволено удалить логический диск с массива...
Кстати, выяснилось, что после прошивки на ноябрьский биос (контроллер 51645) windows2008R2 уже не может нормально работать на старом драйвере, после перезагрузки до установки нового драйвера исправил ошибки на каждом файле, завелся и глюканул через пару дней (уже с новым драйвером), при восстановлении с образа, сознанного родным средством активации, сказал, что не может форматнуть диск С без установки драйверов, хотя очень быстро восстановился и без их установки и предварительного форматирования С, нормально стартанул и новый резервный архив я уже сделал с новым драйвером. Чудеса, да и только.
В комментариях к новой прошивке написано, что скорость расширения, о которой мы говорим, уменьшена.

[gs]

Знает не контроллер, а ASM - это две очень большие разницы.
И не путайте данные и разделы - это тоже две большие разницы.

[gs]

По поводу скорости. Еще лет пять назад был такой файберный массив DotHill RIVA. Процессоры там стояли пень3 800МГц - т.е. по контроллерным меркам весьма неслабые. Так у него в официальном перфоманс репорте было написано - экспанд 9ГБ/час, и это на FC винтах. У Вас же вышло около 40ГБ/час на десктопных винтах, которые еще неизвестно как работают с микрокодом контроллера.
Вообще, экспанд - настолько интимное дело, что все усилия разработчиков прилагаются не к скорости, а к надежности процесса, ибо это весьма чревато последствиями. Настолько чревато, то просто совсем чревато.
Разработчики могут радикально ускорить процесс, включив кэш дисков во время процедуры - но вероятность успешного завершения процесса в таком случае будет под очень большим вопросом.
Да и контроллер-то серверный. А серверу недельку почухать - ерунда, главное чтобы до конца дочухал...

[Alexander B.]

По поводу скорости. Еще лет пять назад был такой файберный массив DotHill RIVA. Процессоры там стояли пень3 800МГц - т.е. по контроллерным меркам весьма неслабые. Так у него в официальном перфоманс репорте было написано - экспанд 9ГБ/час, и это на FC винтах. У Вас же вышло около 40ГБ/час на десктопных винтах, которые еще неизвестно как работают с микрокодом контроллера.
Вообще, экспанд - настолько интимное дело, что все усилия разработчиков прилагаются не к скорости, а к надежности процесса, ибо это весьма чревато последствиями. Настолько чревато, то просто совсем чревато.
Разработчики могут радикально ускорить процесс, включив кэш дисков во время процедуры - но вероятность успешного завершения процесса в таком случае будет под очень большим вопросом.
Да и контроллер-то серверный. А серверу недельку почухать - ерунда, главное чтобы до конца дочухал...

У меня на 3805 вышло 14,5 ГБ/час (8000 Гб / (23 сут. * 24) ), это у Valentin на 51645 40 получилось. А насчет "на десктопных винтах, которые еще неизвестно как работают с микрокодом контроллера" - так ведь у Вас же по Вами составленной конфигурации сервер покупал
С надёжностью, слава Богу, всё оказалось ОК, verify после экспанда успешно прошёл, данные все на месте. Но тот факт, что (как отмечено как минимум в двух других темах на данном форуме) перезагрузка сервера в процессе экспанда убивает массив, вызывает большие вопросы. За три недели вполне могли хоть раз вырубить электричество на период, превышающий возможности UPS-а.

[gs]

Ну одну тему я помню и слова того автора у меня вызывают вежливое сомнение. Наверняка ручки пошалили - так оно обычно и бывает, и никто не признается.
Но то, что операция опасная - лично я писал уже раз сто. Я просто представляю логику процесса

[Valentin]

Да, было дело, но тогда экспанд делался с добавлением по одному диску в массив и крах случился на третьем, ошибкой был сбой нервов при этом ужасном писке, ничего не надо было трогать до окончания экспанда с одним сбойнувшим диском. Усвоил, что кэш на дисках для таких вещей надо выключать. Только позже оказалось, что при выключенном кэше эти проклятые самсунги отваливаются еще чаще. Да, влип я с этими дисками, постепенно из 16 уже 9 заменил на хитачи, с ними нет никаких проблем. Но когда покупал контроллер, в списке совместимости они были. Потом исчезли. Да, еше выяснилось, что им нужен покой, хорошая корзина (лучше хорошая кувалда), даже при легком прикосновения руки MHDD показывает падение скорости. Не удивлюсь, если кто скажет, что они просто от вибрации отлетают.