Как оптимизировать RAID-1

[setar]

Выложи плиз эти тесты для скачки - у меня уже спрашивали.
Там суть такая - запускал стандартные паттерны иометра при 50 outstanding
IOs. Размер тестовой области менялся в настройках иометра - т.е. смотрел как
влияет размер базы в зависимости от размера кэша (при очень большой базе все
контроллеры дают практически одинаковый результат, который зависит от
скорости и числа винтов).
Конфигурация машины: Supermicro SS8050, 4xPIII-Xeon-700-1MB, 2GB
4xInterleaved, RAID5 Write Back 5xFujitsu MAN 18GB 10kRPM.
Прошивки контроллеров были как есть на тот момент (т.е. майлекс, например, с
тех пор стал заметно шустрее).
Результаты достаточно старые - несколько месяцев - но чем богаты...

http://www.triniti.spb.ru/files/results ... 0cache.zip

[Alexeys15]

Я, кстати, хотел еще спросить насколько результаты тестов зависят от размера файла, который создает Iometer.

[gs]

При одном потоке 7МБ\с 64к random write очень похоже на правду. Но очень странно, что увеличение числа процессов не дает эффекта. А кэш включен? И какие\сколько дисков, какой уровень рэйд?
Кстати, я тут уже где-то писал, что майлекс сильно увеличивает скорость записи (не всегда конечно) при прошивке 7х фирмвари и установке cache line size, как и stripe size 64к.

[Alexeys15]

У меня как я и писал RAID1 на 2*Fujitsu man (18GB).
Кэш включен!
Что есть cache-line size ?
Прошивка 6-ая!

[gs]

cache line size - это размер блока, которым контроллер данные внутри себя оперирует, он может отличаться от блока, которыми он пишет на диски. в прошивках серии 6х кэш лайн сайз был жестко 8кВ, в 7х можно увеличить до 64. писать на диски он при этом начинает шустрее - только не спрашивайте почему - лень ответ из пальца высасывать. естественно, эффект бывает далеко не всегда - проверять на конкретной задаче нада.

[Alexeys15]

Спасибо за объяснения.
Я в принципе так и думал, но в отсутствие данного параметра для измененя в 6 прошивке меня смутило, а 7 я не обратил внимание.
Насколько я понял его можно поменять самому до инициализации логического диска?

[gs]

Оптимизация нужна потому что у меня провисает скорость записи по сети (на файловых операциях), размер блока 64К (это из теста, которым проверяли скорость записи по сетке для работы с файл серверной БД), случайная запись-наиболее тяжелый случай.
Хотелось бы, чтобы при таких операциях скорость упиралась в пропускную способность сети!
Кстати был очень удивлен, но при увеличении глубины команд до 80 эта скорость немного уменьшилась. Тестировал на NTFS.
Другую прошивку пока проверить не могу (скорее всего в выходные). Думаю вряд ли что-то измениться, так как у Вас же я и получил информацию о том, что может измениться только скорость потоковой записи (вроде даже значительно). Хотя бы намекали на то, что в новой фирмвари изменили размер оперируемого блока внутри контроллера до 64К?!!
Насчет поддержки RAID10 и RAID0+1 я вкурсе! Только вот говорят, что последний по надежности значительно хуже!

Я кажется просек - мы уже вроде общались по телефону (низкотехнологичный канал передачи информации . Насколько я понял, задача осложняется набором разных операционок на клиентах и неясно как работающей файловой СУБД. Короче задача со всеми неизвестными. Попробуй(те?) все же перешить фирмварь на 7х и увеличить размер кэш лайн сайза - я замечал, что FW6x на некоторых задачах проседает при размере блока 64к.
Только ридми надо читать - там какие-то старые версии надо перешивать за два захода.

А что значит R0+1 по надежности хуже R10? У майлекса отказоустойчивость ВСЕХ уровней рэйд, кроме R0 и JBOD, абсолютно одинакова!!! По крайней мере я так считаю - если кто не согласен, пишите, очень интересно - только с обоснованиями.

[Alexeys15]

Да, Вы правы это действитеьно я (я, кстати, сверху говорил об общении с Вами).
readme читаю в первую очередь!
7-ую прошивку залил на один из серваков уже давно, но возможности перестроить массив и переинициализировать логический драйв не было. Будет только в эти выходные. А без этого как Вы и говорили ничего не изменилось.
Насчтет RAID10 и RAID0+1 я не очень в этом разбираюсь, знаю конечно, что Майлекс поддерживает и то и то!
Насчет того, что это не одно и то же в плане надежности прочитал на сайте iхbt в конфе по тех поддержке и магнитным носителям (отбирал статьи по слову RAID). По моему там даже приводили ссылки на какие то западные сайты. Может это конечно и туфта?!

[Alexeys15]

Кстати вот одна из ссылок:
http://forum.ixbt.com/0011/018490.html#20
а, вот и вторая:
http://forum.ixbt.com/0011/016500.html#8

[gs]

Да, Вы правы это действитеьно я (я, кстати, сверху говорил об общении с Вами).
readme читаю в первую очередь!
7-ую прошивку залил на один из серваков уже давно, но возможности перестроить массив и переинициализировать логический драйв не было. Будет только в эти выходные. А без этого как Вы и говорили ничего не изменилось.
Насчтет RAID10 и RAID0+1 я не очень в этом разбираюсь, знаю конечно, что Майлекс поддерживает и то и то!
Насчет того, что это не одно и то же в плане надежности прочитал на сайте ixbt в конфе по тех поддержке и магнитным носителям (отбирал статьи по слову RAID). По моему там даже приводили ссылки на какие то западные сайты. Может это конечно и туфта?!

Поменять кэш лайн сайз можно и без переинициализации - это я в телефонном разговоре тормознул. Нужно только чтобы все логические драйвы были со страйпом 64к.

А по поводу статей - все надо делить на 15, а то и на 16. К тому же информация, верная для одного типа контроллеров, может быть в корне неверной для другого. Что касается майлекса, то рэйд0+1 - это единый массив, и делается хитро (посмотрите доку), что позволяет сипотльзовать нечетное число дисков (в отличие от других контроллеров). Рэйд10 - это просто объединение нескольких рэйд1 массивов в один LUN (типа volume set у софтового рэйда микрософта) (аналогично R30 и 50 - это просто увеличение объема свыше 16 дисков, которые могут быть в одном массиве). Т.е. внутренняя организация 0+1 и 10 принципиально разная. Теоретически, они оба могут выдерживать выпадение более чем одного диска (если повезет и эти винты не зеркальны). Но практически у меня это не получалось (правда на старом контроллере смотрел). Так что все отказоустойчивые уровни рэйда у майлекса гарантированно выдерживают вылет ОДНОГО диска (при условии, что он не подсадит скази шину) и в этом отношении друг от друга не отличаются.

[Alexeys15]

Что сами думаете по этому поводу?
Там кстати niknik давал ссылку на сайт с 10 и 01.

[Alexeys15]

Кстати я вспомнил, что видел этот параметр и собирался у Вас о нем спрашивать, но забегался.
А Вы последнюю ссылку смотрели?

[Zirro]

Так что все отказоустойчивые уровни рэйда у майлекса гарантированно выдерживают вылет ОДНОГО диска

Т.е. получается нет никакого смысла покупать 4 винта и организовывать RAID-10 (RAID 0+1), достаточно 3 винтов на RAID-5

[gs]

RAID0+1 отличается от 5 не отказоустойчивостью, а скоростью. Он намного шустрее 5 в задачах со случайным поиском - типа баз данных.
Правда на непрерывной передаче он может быть и медленнее из-за того, что данных почти в два раза больше передается - просто скази шина и его процессор перегружается. (это я проверял на майлексе, про другие не знаю, но вполне возможно, что аналогично)

[Alexeys15]

Вот наконец-то взял тест, если вы еще на месте жду совета.
Файловые операции производятся с файлом в 64К, размер блока записи 8К.
Если это имеет какое-то значение то соотношение операций чтения/записи= 50/50.

Что касается RAID10 можно ведь и двухканальник поставить! Там проц по моему более мощный!