если скорость чтения определяет, то RAID 5 или 10?

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 04 мар 2010, 00:04

Всем доброго времени суток!

заранее сорри если не нашел поиском, но вроде все похожее не совсем "мое"

задача - раздача видео-контента с сервера, 4-8 тысяч одновременных сессий, средняя скорость сессии получателя 128-256 кбайт-с, контент разнообразный (эффективность кэширования <5%), ЗАПИСИ почти нет (соотношение read/write 0.5%/99.5%, запись идет не постоянно, равномерно блоками по 128-256 кбайт-с (т.е. кэш записи контроллера с BBU вроде как все сгладит)

опробован сервер DL180 G6, RAID HP410 512 MB BBU, диски SAS 450 gb 15k rpm 5 штук. Массив RAID 5. ОС Win2008 x64. Память 16 гб.

имеем - суммарная скорость чтения при 5000 одновременных потоков 78-82 мб-сек, при этом периодически копится очередь длинной 20-100 (данные performance monitor)

проблема 1 - не устраивает скорость
проблема 2 - кол-во потоков чтения обещает расти до 8 тыс, что приведет (??) к снижению суммарной скорости чтения

предлагают хранилище, но бюджет пока может не вынести, поэтому хочется понять, нельзя ли более скромными средствами достичь цели?

цель - суммарно 200 мбайт-с при 7-8 тыс ридеров. предполагается взять что-то типа 2U HP DL 180 G5 с 12 слотами для HDD и поставить туда 12 дисков SAS 15к rpm по 146 гб (1= система, 10=RAID5, 1=hotswap для RAID5)

и куча вопросов:

- RAID5 или RAID10? а если дисков не 12 а 24, то снова тот же вопрос? прим - отказоустойчивость RAID5 устраивает, RAID10 рассматривается только из целей повышения скорости чтения ДАЖЕ в ущерб емкости

- дадут ли более дорогие SAS'ы выигрыш в моем случае перед SATA? точнее, оправдают ли они свою цену, при условии что емкость массива не так принципиальна как скорость?

- принципиально ли наличие более 256 мб кэша контроллера?

- в базе 4 гб RAM, принципиально ли расширить? до скольки?

- какой сделать размер страйпа?

ОГРОМНОЕ спасибо тем кто дочитал, был бы рад выслушать ваше мнение!

LY

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение Stranger03 » 04 мар 2010, 07:24

"LisiyYozhig"
При таком соотношении записи и чтения РАИД5 будет предпочтительнее. Если не хотите терять в производительности при отказе одного винта, то лучше построить РАИД6. Вариантов на мой взгляд несколько:
1. внешняя СХД с кучей дисков, но при одинаковом числе дисков внутренняя дисковая будет однозначно быстрее.
2. взять за более чем бюджетные деньги нашу микру в 836-м, 846-м кузове. поставить туда адаптек с батарейкой и максимально набить винтами малой емкости. Например 24х146ГБ САС 15К.
Хуйлетт в такой конфигурации будет однозначно дороже, если только это не ремаркетинг.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение gs » 04 мар 2010, 15:52

Рэйд10 не нужен. Тут даже рэйд6 будет вполне уместен.
Скорее всего у Вас тупо не хватает производительности дисков (по этой причине сата отпадает).
Варианты:
1. внешний сторадж типа MSA2000 и т.п.
2. сервак с большим количеством дисков.
3. пока расширения (JBOD) к существующему серверу (если контроллер позволяет подключать ящики снаружи - я просто слабо знаю хулет).

На мой взгляд, вариант 3 предпочтителен (тупо дешевле).

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение gs » 04 мар 2010, 15:53

Набивка дополнительной памяти может дать эффект только если объем горячих данных невелик. Это мы за Вас сказать не можем. Попробуйте как-нибудь выяснить это дело.

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 04 мар 2010, 16:23

gs писал(а):Набивка дополнительной памяти может дать эффект только если объем горячих данных невелик. Это мы за Вас сказать не можем. Попробуйте как-нибудь выяснить это дело.
тесты показали, что на 10 минутном интервале поступают повторные запросы только на 5% данных. Т.е. даже если 100% угадать на какие они поступят (prefect со 100% хитовостью), то эффективность кэша не превысит 5%. Из этого я делаю вывод, что вложение в RAM является неразумным. Я прав?

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 04 мар 2010, 16:25

gs писал(а):3. поЛка расширения (JBOD) к существующему серверу (если контроллер позволяет подключать ящики снаружи - я просто слабо знаю хулет).

На мой взгляд, вариант 3 предпочтителен (тупо дешевле).
если я верно мыслю, то на плате RAID контроллера HP P410 2 внутренних порта (куда через 2 шнурка подключается backplane на все внутренние диски), а на его попе - внешний разъем, куда каким-то шнурком может (???) втыкаться внешняя полка типа JBOD. Вопрос: это так? есть такие полки для HP DL G5 / G6?

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 04 мар 2010, 16:30

Stranger03 писал(а):2. взять за более чем бюджетные деньги нашу микру в 836-м, 846-м кузове. поставить туда адаптек с батарейкой и максимально набить винтами малой емкости. Например 24х146ГБ САС 15К.
Хуйлетт в такой конфигурации будет однозначно дороже, если только это не ремаркетинг.
вот эту штуку

DL180G5 E5420 (2.50GHz-2x6MB) Quad Core, 4GB, 12LFF SATA 4x500GB P400-512M BBWC RPS Lights-out 100c

отдают за 70 тыров. Вроде недорего - хоть и прошлое поколение, но 2 БП, нормальный проц, контроллер с топовой памятью и батареей.

не могли бы вы выслать предлагаемый конфиг "836/846" на почту (или тут разместить)? просто не представляю о чем идет речь. Спасибо!

hitower
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 357
Зарегистрирован: 23 дек 2007, 15:35
Откуда: Москва
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение hitower » 04 мар 2010, 16:36

LisiyYozhig писал(а):
Stranger03 писал(а):2. взять за более чем бюджетные деньги нашу микру в 836-м, 846-м кузове. поставить туда адаптек с батарейкой и максимально набить винтами малой емкости. Например 24х146ГБ САС 15К.
Хуйлетт в такой конфигурации будет однозначно дороже, если только это не ремаркетинг.
вот эту штуку

DL180G5 E5420 (2.50GHz-2x6MB) Quad Core, 4GB, 12LFF SATA 4x500GB P400-512M BBWC RPS Lights-out 100c

отдают за 70 тыров. Вроде недорего - хоть и прошлое поколение, но 2 БП, нормальный проц, контроллер с топовой памятью и батареей.

не могли бы вы выслать предлагаемый конфиг "836/846" на почту (или тут разместить)? просто не представляю о чем идет речь. Спасибо!
Так а зачем Вам сервер с 4 дисками? с 12 берите.
Размер страйпа для вашей задачи - чем больше, тем лучше, 256...512к - должно быть оптимально.

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 04 мар 2010, 16:41

hitower писал(а):Так а зачем Вам сервер с 4 дисками? с 12 берите.
Размер страйпа для вашей задачи - чем больше, тем лучше, 256...512к - должно быть оптимально.
там смысл в том, что у этого HP 12 отсеков, а те 4 лишних SATA по 500 гб будут сданы обратно по сдельной цене, в результате будет 12 по146 SAS 15k
вот пока альтернативу этому и ищу. 836/846 это я так понял Supermirco 3U/4U - вопрос цены

hitower
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 357
Зарегистрирован: 23 дек 2007, 15:35
Откуда: Москва
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение hitower » 04 мар 2010, 16:46

LisiyYozhig писал(а):там смысл в том, что у этого HP 12 отсеков, а те 4 лишних SATA по 500 гб будут сданы обратно по сдельной цене, в результате будет 12 по146 SAS 15k
вот пока альтернативу этому и ищу. 836/846 это я так понял Supermirco 3U/4U - вопрос цены
Чем собирать такого франкенштейна (диски, как я понял, вы хотите взять на стороне, кстати, салазки под HP найти проблематично) - проще действительно взять 12/16/24х дисковый сервер нашего производства с нормальной гарантией.

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 05 мар 2010, 06:49

hitower писал(а):
LisiyYozhig писал(а):там смысл в том, что у этого HP 12 отсеков, а те 4 лишних SATA по 500 гб будут сданы обратно по сдельной цене, в результате будет 12 по146 SAS 15k
вот пока альтернативу этому и ищу. 836/846 это я так понял Supermirco 3U/4U - вопрос цены
Чем собирать такого франкенштейна (диски, как я понял, вы хотите взять на стороне, кстати, салазки под HP найти проблематично) - проще действительно взять 12/16/24х дисковый сервер нашего производства с нормальной гарантией.
салазки найдутся - все имеет цену :) но к предложениям я открыт, на "волшебстве" HP свет клином не сошелся. Может есть адрес конфигуратора? или типовые предложения? скиньте пож-ста - ====== эт майл.ру

Аватара пользователя
DeadMazay
Advanced member
Сообщения: 1743
Зарегистрирован: 20 сен 2007, 15:07
Откуда: Новосибирск, Мск
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение DeadMazay » 05 мар 2010, 07:29

Ваш мэйл виден сотрудникам...
Проснуться и скинут
конфигуратор

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение Stranger03 » 05 мар 2010, 07:31

LisiyYozhig писал(а):вот эту штуку
DL180G5 E5420 (2.50GHz-2x6MB) Quad Core, 4GB, 12LFF SATA 4x500GB P400-512M BBWC RPS Lights-out 100c
отдают за 70 тыров. Вроде недорего - хоть и прошлое поколение, но 2 БП, нормальный проц, контроллер с топовой памятью и батареей.
не могли бы вы выслать предлагаемый конфиг "836/846" на почту (или тут разместить)? просто не представляю о чем идет речь. Спасибо!
Нафига вам такой динозаурус? Хотите из него медаль на грудь сделать? Вам надо много дисков, больше чем 4-е. А здесь скорей всего диски 2.5", жутко дорогие. Москвичи к вам поближе все-таки, примерно на тысячу километров. Илья вам пришлет вариант.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение Stranger03 » 05 мар 2010, 07:33

LisiyYozhig писал(а):салазки найдутся - все имеет цену :)
Только учтите один момент, если вдруг на ваших дисках по какой-то причине будет разваливаться рейд-группа, то кричать о несправедливости будет некому. Но с гарантии вас снимут сразу же.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

LisiyYozhig
Junior member
Сообщения: 15
Зарегистрирован: 03 мар 2010, 23:37
Откуда: Волгоград

Re: если скорость чтения определяет, то RAID 5 или 10?

Сообщение LisiyYozhig » 05 мар 2010, 07:42

Stranger03 писал(а):
LisiyYozhig писал(а):салазки найдутся - все имеет цену :)
Только учтите один момент, если вдруг на ваших дисках по какой-то причине будет разваливаться рейд-группа, то кричать о несправедливости будет некому. Но с гарантии вас снимут сразу же.
в нашей ли стране говорить о рисках :) я понимаю прекрасно, "опыт" самосбора и "гарантии" имеется, в разных местах стоят разные сервера, все зависит от задачи, бюджета, перспективности, я не сторонник тупо по любому поводу покупать Cray "чтоб уж хватило" :)

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 18 гостей