SAN для видео

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

SAN для видео

Сообщение St » 02 авг 2006, 23:58

Добрый день! Опишу текущую ситуацию.
RAID 5 фибреченеловский Fortra с контроллером Mylex, 16 дисков Seagate по 73 гб, тоже фибреченеловских, коммутатор Vixel 7100, 5 станций видеомонтажа, контроллеры qlogic. На каждую станцию минимум 1-2 потока по 50 Мбит на чтение-запись. Управляется через Sanergy. В принципе, все это живет, но довольно старенькое, на коммутаторе пару портов не работает, диски вылетают, менять их проблематично, места маловато. Стоит вопрос о модернизации.
Понятно, что нужно брать новый коммутатор и RAID.  

1. Оборудование. Места бы хотелось минимум 10Тб, с возможностью расширения. По скорости, для начала будет такая же, но хотелось бы иметь резерв в случае перехода на монтаж HD. Или сейчас нет смысла про это думать ? Пока что оборудование, типа Fibrechannel 4 Гбита, дорогое и малораспространено ?

2. Потянет ли это рейд на SATA дисках ? Одни говорят, что рейды на SATA не хуже чисто фибреченеловских, другие, что бывают провалы в скоростях на самих дисках на нелинейных запросах. Падение скорости на монтажках ниже скорости одного потока, недопустимо.

3. Планирую соединить новый коммутатор со старым и постепенно переводить станции на новый RAID, чтобы могли работать с обеими RAID, а после полного перехода, если все будет работать, отказаться от старого оборудования. Порты коммутатора Fibrechannel 4 обратно совместимы с Fibrechannel 1. Будет ли работать такая схема ?

4. Можно ли заменить Sanergy на MetaSAN ? Какие могут быть ньюансы ?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 03 авг 2006, 08:42

Ваш аппарат достаточно старенький и небыстрый.

1. Новый ящик конечно имееет смысл. Причем стоят 4Гб/с модели начального уровня совсем недорого. Например Xyratex 5402E с двумя контроллерами без винтов стоит чуть более червонца. Расширяется до 60 дисков (25-27ТБ сата).
Насчет монтажа HD - Вы имеете в виду некомпрессированные потоки или как? Если некомпрессированные, то современного аппарата подобного класса хватит едва ли на одну монтажку.
2. По поводу сата. При таком числе потоков и соответствующем числе винтов потянет и сата. В принципе у нас в середине месяца приезжают демомашины 5402 - можно потестить. Я кстати как раз и собираюсь и хотелось бы часть тестов делать в сотрудничестве с видюшными спецами.
3. Пес его знает. Виксели были капризными, насколько я помню. Пробовать надо. Хотя современные коммутаторы стоят недорого.
4. Смысл? Они очень похожи, да и санержи вполне надежна и функциональна. Если уж менять, то на Sanbolic MelioFS - она существенно более продвинута, но и стоит неслабо.

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 08 авг 2006, 14:54

Спасибо за ответ.
1. Модель интересная. Это сейчас лучшее, что есть, по цене-качеству ?
HD, конечно, компрессированный. Современные кодеки требуют 25-100 Мбит на поток видео.
2. И какое, на ваш взгляд, должно быть соответствующее число винтов ? И имеет ли значение размер кэша рейда при такой многопоточной работе ?
Насчет тестирования - это очень интересно, хотелось бы посмотреть результаты.  Вы имеете ввиду вы будете проводить тесты с вашими знакомыми видюшными специалистами ? Сам то я нахожусь не в Москве.
3. А по коммутарам-адаптерам - у вас в прайсах только Qlogic. А что скажете про Brocade. И есть ли кабели по 30м ?
4. Мне интересно узнать про такую возможность MetaSAN как "расшаривание" диска через Gigabit Ethernet, это реально работает ?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 08 авг 2006, 15:12

1. Это один из самых интересных вариантов, хотя и не единственный.
2. Для Вашей задачи имхо должно хватить одного ящика сата дисков.
Размер кэша влияет при большом числе потоков. Конкретно у этой модели есть возможность задавать вручную префетч -  тут можно поиграть параметрами, чтобы потоки не дергали каждый раз винты. Но у Вас потоков немного и кэша на выравнивание нагрузки много не надо. Хотя там по гигу в контроллере - более чем...
Тестить я буду сам, но если кто-то подключится или хотя бы даст вводные по имитации нагрузки - буду премного благодарен.
3. Брокейд не делает адаптеры - только свичи. Да и в Вашем конкретном случае любые свичи подойдут - а кулоджики недурны вовсе.
Кабели оптические можете заказать в любой сетевой конторе любой длины (вернее есть тонкости, но при 30м это несущественно). Только уточните тип разъема - LC.
4. Я не тестил метасан. Просто он до боли похож на многолетней давности SANergy. Что касается расшаривания - я не очень понимаю, что это значит. Расшарить по эзернету можно любой каталог обычной виндой. Смысл подобных софтин как раз в расшаривании по файберу, без привлечения сервера.

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 09 авг 2006, 14:53

2. Насчет теста.
Так как Вы уважаете Iometer, по адресу ftp://vidsupp:3AsPasPu@privftp.matrox.c ... bench_test
можно скачать описание настроек Iometer для эмуляции потоков современной видеомонтажки Matrox Axio для SD/HD видео. У меня модель попроще, но думаю, общий принцип тот же. Стандартный режим работы с одной станции - 2-3 потока по 50 Мбит на чтение и 1 на запись. Можно ли будет одновременно такой тест запустить с 5-6 станций ? Так же, могу прислать по почте утилитку от Matrox для проверки дисковой системы, она 1-2 потока эмулирует. Еще хотелось бы знать, как будет вести себя RAID при полной нагрузке, если выдернуть один винт.
3. Да кабели-то сделать можно, но хотелось бы фирменные, а не кустарные :)
4. Насчет "расшаривания" через MetaSAN-MetaLAN - я читал, что возможна такая штука - диск на удаленном компьютере, подключенном только через гигабит, видится на компьютере, как локальный. Правда не совсем понимаю, а как же коллизии Ethernet, скjрость не будет линейная.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 09 авг 2006, 14:57

Не могу скачать :(
list -la не проходит - т.е. содержимого папки  не вижу, если это файлик - прочитать его тоже не могу. :(

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 09 авг 2006, 15:01

Странно, у меня качается. Отправил почтой.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 09 авг 2006, 15:09

2. Насчет теста. Шлите все мылом. Нам самим это интересно. Я в принципе бывший телевизионщик, но вводные от действующих спецов будут очень кстати.
Проверить можно все, но не все просто. Например корректная имитация большого числа потоков иометром просто очень муторна.
5-6 станций нам не надо - на одной все запустим. это не принципиально. Выдернутый винт проверим.
3. В нормальной конторе кабели будут вполне качественные. Мы можем заказать у поставщика "фирменные" - но стоит ли тащить из Америки то, что можно тут сделать не хуже?
4. Это можно сделать средствами iSCSI - наверно дешевле тайгера выйдет. Только зачем? Вроде бы монтажный софт нормально и с сетевыми томами работает.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 09 авг 2006, 15:13

Большое спасибо, получил, посмотрим.

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 09 авг 2006, 19:15

Жду результатов :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 09 авг 2006, 19:17

Ну это недели через две - железо приедет, да и тесты - занятие долгое...

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 25 авг 2006, 13:26

Ну и как, есть новости ? :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 авг 2006, 13:59

Пока демооборудование не доехало.
Но позавчера тестил систему, приехавшую для клиента (правда она была на сас дисках и ее уже отгрузили).

Результаты.
Массив на 12 сас дисках в рэйд5. Оптимизации не делал (заточка была под СУБД - некогда было, а у клиента СУБД). Работал через один 4Гбит канал - т.е. задействован был только один контроллер (с двумя было бы конечно шустрее).
Тест иометром. 8 линейных потоков записи, 18 потоков чтения. Блоки по 64к. Суммарная скорость болталась примерно в диапазоне 330-370МБ/с. Причем при увеличении числа потоков скорость росла, но мне было некогда набивать кучу воркеров.
Тест был честный - все воркеры иометра работали со смещением стартового сектора, т.е. влияние кэша исключено.
Пока все.

St
Junior member
Сообщения: 15
Зарегистрирован: 02 авг 2006, 22:54
Откуда: Сургут

Сообщение St » 25 авг 2006, 14:04

А ожидается машина на SATA ?  И скоро ожидается ? :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 авг 2006, 14:07

Скоро. Должна приехать к выставке Storage Expo, на которую мы всех приглашаем :)

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей