полезный и "сырой" объем массива

[KolяН]

Добрый день!
Нигде не могу найти полную информацию по всем вендорам. Мне требуется найти какой полезный объем получается при объединении дисков в RAID массивы, по вендорам (IBM, SUN, HP, EMC, HITACHI) и дисков разного объема. Просто после изучения данного вопроса пришел к выводу, что нет четкой формулы по которой можно было посчитать какой объем будет полезным. Если владеете такой информацией, то был бы очень признателен!

[a_shats]

А зачем такое нужно ?
Это даже если предположить, что все вендоры дружно выложили в открытый доступ точные данные о том, сколько у них занимает CoD, как делается выравнивание и т.п.

[KolяН]

Мне необходима данная информация для оценки, какое количество дисков потребуется и какого они должны быть объема, под каждое из приложений. При выборе ДМ надо просчитать все диски, которые в нем будут находиться... А как можно наполнить массив дисками, не зная данного соотношения?

[a_shats]

А как можно наполнить массив дисками, не зная данного соотношения?

Примерно, с точностью до десятков гигабайт Причина очень проста: если у Вас менее 30% свободного места (от общего) - уже надо бежать закупаться доп. винтами/полками/и т.д. Если менее 10% на томе NTFS - Вы еще это и прочувствуете, в виде могучих тормозов.
Это во-первых.
Во-вторых, производительность массива для задачи определяется никак не объемом - а количеством винтов. Учитывая то, что даже 73 ГБ SAS/FC винты уже сходят в небытие, т.е. минимальный объем винта 146 ГБ - сами понимаете
А если нужен правильный совет - опишите как можно подробнее: какие приложения с какими требованиями к дисковой подсистеме необходимо выполнять. Если неизвестны требования к дисковой - опишите каждое приложение как можно подробнее, особенно это касается количества пользователей и роста за определенный период (месяц/год) данных, с которыми каждое из приложений работает (это характеризует нагрузку от этого приложения на запись, в общем случае).

[Stranger03]

"KolяН"
IBM, SUN:
RAID5 = кол-во дисков - 1 * объем
RAID1 = кол-во дисков/2 * объем
На ЕМС, Хитачи в зависимости от моделей первые 4-5 дисков отводятся под систему (не целиком)
P.S. все это верно для лоу-енд и мид-ренж

[KolяН]

Я сейчас составляю универсальный алгоритм выбора дисков для дискового массива. Как понять какой тип дисков понял вроде - по типу приложений. Потом необходимо понять под каждое приложение какой составить RAID - по соотношению чтение\запись. Потом встает вопрос, а из каких дисков по объему собрать RAID. Причем у каждого из производителей есть свои требования к набору дисков, кто-то позволяет минимально поставить 4 диска, а кто-то 8. Чтоб хоть как-то алгоритмизировать процесс подбора дисков я и пытаюсь найти информацию сколько объема на дисках тратится под служебную информацию.
Еще вопрос, а наполнение дискового массива рекомендуется производить одинаковыми по объему дисками, чтоб были диски горячей замены универсальными и могли подойти для каждой RAID группы, или на это не обращают внимание при проектирвоании?
з.ы. при этом необходимо знать на сколько лет проектируется ДМ и этот запас расширения предусмотреть, либо выбрать массив другого класса, который способен поддерживать большее количество дисков.

[KolяН]

"KolяН"
IBM, SUN:
RAID5 = кол-во дисков - 1 * объем
RAID1 = кол-во дисков/2 * объем
На ЕМС, Хитачи в зависимости от моделей первые 4-5 дисков отводятся под систему (не целиком)
P.S. все это верно для лоу-енд и мид-ренж

А есть такая информация по HP?
Эта информация на основании практики или где-то есть документы вендора по этому вопросу? Просто у IBM когда-то давно видел в RED BOOK, соотношение в зависимости от дисков сколько у них полезного объема, но сейчас что-то не могу найти..
Про EMC и Hitachi не очень понял.
А что можно сказать про High-End класс?
Для IBM и SUN имелся ввиду не 1, а 10 RAID? или это для 1го, а для 10 как-то иначе считается?

[exLH]

Если Вам нужно подобрать СХД для себя, то огласите интегратору требования к полезному объему и не забивайте голову ерундой.
Если Вам это нужно для того, чтобы подбирать СХД клиентам, обратитесь к своему руководству, чтобы оно направило Вас на соответствующие курсы. Там Вас научат использовать несложные утилиты для расчета полезной емкости.

[a_shats]

Я сейчас составляю универсальный алгоритм выбора дисков для дискового массива.

Готовы опубликовать Ваш эпохальный труд ! Если он, конечно, будет обоснован.
У нас такого алгоритма - нет и не предвидится. Собственно - и не только у нас.

Вы, собственно, не с той стороны подошли. Почитайте, пожалуйста, статьи на нашем сайте, ну и прочие материалы в нете по конфигурированию дисковых подсистем. Особенно рекомендую обратить внимание на стандартные решения стандартных задач.

А есть такая информация по HP?

Нет и быть не может - НР не раскрывает без NDA (да и вообще толком не раскрывает) информацию о раскладе данных по винтам на Евах (EVA).

[KolяН]

Если Вам это нужно для того, чтобы подбирать СХД клиентам, обратитесь к своему руководству, чтобы оно направило Вас на соответствующие курсы. Там Вас научат использовать несложные утилиты для расчета полезной емкости.

Мне необходимо найти именно соотношение. Понятное дело, что можно поручить дело профессионалам и ни о чем не думать. Но я хочу разобраться и понять алгоритмы подсчета этого самого полезного объема. А что за утилиты, если не секрет?

Вы, собственно, не с той стороны подошли. Почитайте, пожалуйста, статьи на нашем сайте, ну и прочие материалы в нете по конфигурированию дисковых подсистем. Особенно рекомендую обратить внимание на стандартные решения стандартных задач.

Что именно не в той последовательности я делаю, поясните, пожалуйста. Что за стандартные решения стандартных задач?

[exLH]

Нет и быть не может - НР не раскрывает без NDA (да и вообще толком не раскрывает) информацию о раскладе данных по винтам на Евах (EVA).

Все лежит в открытом доступе. Нужно просто внимательно читать.

[KolяН]

Все лежит в открытом доступе. Нужно просто внимательно читать.

Буду очень признателен, если сообщите где можно найти данную информацию.

[Stranger03]

Я сейчас составляю универсальный алгоритм выбора дисков для дискового массива.

Это будет эпохальный труд, вполне готовый на получение шнобелевской премии. Добавьте сюда еще IBM nSeries = NetApp. В них на каждый контроллер в СХД отводится по 4-е диска. В итоге система IBM N3300 Dual Controller = FAS 2020 теряет из 12-ти винтов в голове 8-мь сразу. Как вам такой расклад?

[KolяН]

Stranger03, Вы мне показали закономерность, но у меня оп ней возникли еще вопросы, не могли бы Вы на них ответить.
exLH, где можно постараться это найти?
a_shats, Вы сказали, что немного не с той стороны подошел, а в какой последовательности необходимо производить выбор?
Всем спасибо!

[a_shats]

Вы сказали, что немного не с той стороны подошел, а в какой последоватльности необходимо производить выбор?

Сначала необходимо изучить стандартные решения для стандартных задач, на этом форуме примеров - море.
Затем - методы "допиливания" стандартных решений до бюджета.
В общем случае, определяется
- потребность конкретной задачи в ресурсах дисковой подсистемы в виде IOps (input/output operations/sec , единица измерения нагрузки, используемая для нагрузки типа "случайный доступ мелкими блоками"), МБайт/с (если приложению нужны потоки), соотношение чтения к записи
- какие необходимы интерфейсы и сколько от хоста до массива для парирования нагрузки (кому Ethernet в виде iSCSI/NFS/SMB хватает, кому и файбера мало бывает)
- есть ли и совместим ли софт MPIO для данных конкретных массива/интерфейса/ОС на хосте
- рассчитывается, сколько каких винтов требуется для парирования этой нагрузки, +резерв, +parity, +spare
- потребная в будущем масштабируемость (будущее = гарантийный срок)
- потребный сейчас и в будущем функционал (снэпшоты, зеркалирование между массивами средствами контроллера и т.п.)
- исходя из всего вышеперечисленного - определяется необходимый массив.
Причем это все для простейшей задачи - конфигурирования DAS (1 хост с 1 массивом), и в популярном, тык скыть, виде, не учитывающем всех мелочей. С SAN все еще несколько сложнее.