Необходим расчет и совет по хранилищу

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Необходим расчет и совет по хранилищу

Сообщение SDTux » 12 мар 2007, 16:59

Для проекта необходимо комплексное решение, позволяющее работать 3м серверам (2 в кластере + 1 отдельный) с видео-контентом, состоящим из небольших отрывков.

Задачи общей системы: 2 узла в кластере кодируют видео, 3й сервер через веб-интерфейс отдает видео по запросу. Планируемое число просмотров файлов с видео до 25000 в день, кодируемых до 2000 в день, средний объем ролика 6 мегабайт.

Желаемый первоначальный объем под файлы 1-2 Тб, последующее увеличение до 15 Тб.
Жесткие диски должны быть объединены в РАЙД-10 (если вы придерживаетесь другого мнения, выслушаю ваши аргументы).
Система обязательно должна монтироваться в 19'' стойку.

Какая еще нужна информация для представления решения?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 17:06

Нужны более точные цифры по битрейту отдаваемых потоков и количеству одновременных сессий просмотра.
Для кодеров важно знать исходный и результирующий форматы и софт. А лучше всего если Вы померяете как именно жмет Ваш софт - для экстраполяции.
Какая операционка? Какой софт будет использоваться для раздачи и управления контентом?

Хинт - примерно то же самое делает сейчас Элекард, примем на нашем железе у них уже работает пилотный проект (правда калибром поболее).

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 17:07

Рэйд10 не нужен, и пятого хватит (записи будет немного).

SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Сообщение SDTux » 12 мар 2007, 17:58

1. Сейчас необходим расчет только по части хранения, по серверной части цифры для расчетов будут доступны не ранее чем через месяц.
2. Райд-10 не только и не столько для скорости, сколько для отказоустойчивости - категорически критично, т.к. доступность системы должна быть маскимальна.

Я не в курсе, что за компания "Элекард".

SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Сообщение SDTux » 12 мар 2007, 18:02

Работать серверная часть будет под управлением linux, вероятнее всего suse.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 18:11

http://www.elecard.ru/
У них есть интеграторское подразделение, которое IPTV собственно и занимается.

1. Для расчета потребной дисковой как раз и нужны названные параметры - по меньшей мере количество сессий и битрейт.
2. Рэйд10 ничуть не более надежен на практике, чем рэйд5. Смотрите тогда уж на рэйд6. Но на самом деле отказоустойчивость такого уровня одним только уровнем рэйда в одном аппарате не достигается. Это комплексная весчь - например дублирование дисковых систем. Вообще это отдельная и недешевая песня.

Дисковая система зависит также от нужного уровня сервиса, географического расположения системы и бюджета.
Из недорогих вариантов - например Xyratex 5402/5404, IBM DS4200. Но о том подойдут или нет без цифр говорить сложно.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 18:12

Ну и плюс для организации одновременного доступа нескольких серверов потребуется софт - файловая система IBM GPFS например.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 18:14


SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Сообщение SDTux » 12 мар 2007, 18:38

gs писал(а):http://www.elecard.ru/
У них есть интеграторское подразделение, которое IPTV собственно и занимается.
Посмотрел - да, у них уровень не тот.
gs писал(а):1. Для расчета потребной дисковой как раз и нужны названные параметры - по меньшей мере количество сессий и битрейт.
Количество параллельных сессий изначально ~100 (в течение полугода превысить порог в 200 и дальнейший рост), битрейт планируемый от 100 до 256 (средний 112).
gs писал(а):2. Рэйд10 ничуть не более надежен на практике, чем рэйд5. Смотрите тогда уж на рэйд6. Но на самом деле отказоустойчивость такого уровня одним только уровнем рэйда в одном аппарате не достигается. Это комплексная весчь - например дублирование дисковых систем. Вообще это отдельная и недешевая песня.
ОК, возможен и РАЙД-6 (единственно, что он менее распространен, на сколько я знаю. Тот же DS4700 его не поддерживает). Понимаю, что не только РАЙД решает, поэтому и задал вопрос Вам.
И сразу вопрос теоретический: почему РАЙД-10 не более надежен, чем РАЙД-5?
gs писал(а):Дисковая система зависит также от нужного уровня сервиса, географического расположения системы и бюджета.
Из недорогих вариантов - например Xyratex 5402/5404, IBM DS4200. Но о том подойдут или нет без цифр говорить сложно.
Оборудование будет установлено в Москве, наша компания находится в Екатеринбурге. Уровень доступности 24*7, точнее 60*24*7.
Ориентировочный бюджет $10000. Возможно варьирование в случае, если реально будет видно преимущество.
Обязательный пункт - возможность дальнейшего расширения, т.к. заявленные цифры будут актуальны максимум в течение года.
Последний раз редактировалось SDTux 12 мар 2007, 19:02, всего редактировалось 2 раза.

SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Сообщение SDTux » 12 мар 2007, 18:38

gs писал(а):Ну и плюс для организации одновременного доступа нескольких серверов потребуется софт - файловая система IBM GPFS например.
Т.е. вопрос совместимости с ОС?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 12 мар 2007, 19:02

Уровень доступности 24*7, точнее 60*24*7.
Ориентировочный бюджет $10000
Так не бывает.
В лучшем случае, еще один 0 надо дописать.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 19:02

Честно говоря я не представляю как в десять тонн поместить двухконтроллерную дисковую систему :(
Раза в полтора как минимум больше будет, даже если Xyratex или Infortrend.

SDTux
Junior member
Сообщения: 12
Зарегистрирован: 12 мар 2007, 16:40
Откуда: E-burg
Контактная информация:

Сообщение SDTux » 12 мар 2007, 19:06

Заявленный бюджет можно подвинуть в 1,5 раза (т.е. до $15000).
Какой оптимальный вариант за эти деньги можно расчитать? И что еще понадобится для взаимодействия полки и серверов кроме самих серверов?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 19:08

При таком бюджете не стоит смотреть на шаринговые файловые системы.
Одна дисковая типа 5402 с сата винтами, подключенная к кластеру раздающих серверов. Сервера-кодеры пусть через сетку пишут на массив (через вещательные машины).

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 12 мар 2007, 19:10

И еще я не понял про битрейт 112. 112 - чего? Килобит или килобайт в сек? Или еще в чем-то измеряется?

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей