Решение для video server-ов

[Andrew]

Есть примерно такой набор задач:
1. Захват контента из эфира (около 3 Tb в день)
2. Выгрузка захваченого контента на ленты
3. Раздача контента по сети (тоже около 3 Tb в день). Для этого часть контента поднимается с лент, куда была записана.

Видится следующая структура:
-- Ленточная библиотека с надлежащей емкостью и пропускной способностью (чтобы уметь сохранить 3 Tb на ленты, и поднять другие 3 Tb)
-- Дисковый массив на ~ 3 Tb, для отдачи данных по сети.
-- Несколько раздающих контент серверов подключеных к массиву
-- Много серверов захватывающих контент (подключенных непосредственно к библиотеке?) пока не ясно...

Ленты в библиотеке будут постепенно заменяться (по мере захвата будет, разумеется происходить насыщение, но когда оно наступит непонятно ).

На месте библиотеки пока вырисовывается Quantum ATL m2500.
Сеть оптическая.

С коммутаторами и дисковым массивом пока ясности нет. То есть
известно одно - от массива не требуется особой надежности, я и вообще RAID какого либо уровня.
Какие решения можно посоветовать, чьи? Во сколько это примерно встанет?

Стоит ли вообще городить огород с SAN, может вообще переметнуться на NAS (т.к. задача в общем-то сильно завязана на сеть).

[Андрей Куренков]

Андрей!
А стоит ли вообще городить огород с лентами. У Вас сразу назревает очень узкое место - скорость записи на ленту. Даже если Вы собираетесь писать на ленту в реальном времени, а не в некое "окно", отведенное для выгрузки, то потребуется ленточная библиотека со средней скоростью записи не менее 128Мбайт/час. Боюсь, даже приличный массив "ультриумов" Вас не удовлетворит:(
Здесь плавно вырисовывается либо хранилище типа Optical JukeBox, либа пара-тройка-... равноправных дисковых массивов, работающих попеременно, т.е. в режиме сутки - main, вторые - backup, (третьи - вчерашний backup), ... Наконец, данные (кроме особо интересных, которые нарезаются на долговременное хранилище типа того JukeBox или DVD-библиотеки) - под нож и массив снова становится "main", т.е. под запись с эфира...

P.S. Еще очень забавный момент - реальное число циклов перезаписи на ленточных носителях и время доступа к произвольному фрагменту, записанному на ленточной библиотеке (достигает десятков секунд или нескольких минут)...

[Andrew]

А стоит ли вообще городить огород с лентами. У Вас сразу назревает очень узкое место - скорость записи на ленту. Даже если Вы собираетесь писать на ленту в реальном времени, а не в некое "окно", отведенное для выгрузки, то потребуется ленточная библиотека со средней скоростью записи не менее 128Мбайт/час.

Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.

Наконец, данные (кроме особо интересных, которые нарезаются на долговременное хранилище типа того JukeBox или DVD-библиотеки) - под нож и массив снова становится "main", т.е. под запись с эфира...

Да, скорее всего часть контента будет действительно нарезаться на DVD, но их емкость не слишком велика (по сравнению с лентой).

Еще очень забавный момент - реальное число циклов перезаписи на ленточных носителях и время доступа к произвольному фрагменту, записанному на ленточной библиотеке (достигает десятков секунд или нескольких минут)...

Да, это меня тоже очень беспокоит. Ладно скорость подмотки, она вроде не очень критична, но вот перезапись. С одной стороны, то, что ушло на ленту, скорее всего больше НИКОГДА не будет перезаписано,
но вот считываться будет [возможно] каждый день. То есть это не задача классического backup, а нечто типа Tivoli-вского Hierarchical Storage Management, т.е. выведение редко используемой информации на более автономные, и менее дорогие носители.
Собственно, почему и выбрана лента - она вроде бы наиболее дешева в пересчете на единицу инф.

[CyberDrake]

Так, несколько мыслей...

Стоимость хранилища на 28x146GB HDD, включая внутренний 4-х канальный RAID, будет стоить порядка 50 000$. Его емкость можно расширить в два раза до ~8 TB. Можно также применить хранилище на жестких дисках IDE, подключенное по SCSI или FC.
Чистое FC решение емкостью в ~4.5 TB с комплектом FC адаптеров обойдется примерно в 85 000$.

Применение иерархического хранения данных с моей точки зрения весьма оправдано.
Что использовать для этой цели ленточку или DVD, лично я не знаю, хотя на первый взгляд DVD может выйти подешевле.

[Andrew]

Так, несколько мыслей...

Стоимость хранилища на 28x146GB HDD, включая внутренний 4-х канальный RAID, будет стоить порядка 50 000$. Его емкость можно расширить в два раза до ~8 TB. Можно также применить хранилище на жестких дисках IDE, подключенное по SCSI или FC.
Чистое FC решение емкостью в ~4.5 TB с комплектом FC адаптеров обойдется примерно в 85 000$.

А можно поподробнее про хранилище из IDE-дисков, подключенное по
FC? Кто делает такие штуки, почем, какую периферию нужно брать для
подключения? То есть я не против SCSI-дисков, даже очень за, но платить по $2000 за один диск, и даже по $600 почему-то не хочется.

Применение иерархического хранения данных с моей точки зрения весьма оправдано.
Что использовать для этой цели ленточку или DVD, лично я не знаю, хотя на первый взгляд DVD может выйти подешевле.

Ага. Но вот вопрос - сколько данныз можно записать на один DVD,
IMHO, 4-8 Gb? Поправьте если я ошибаюсь...

[Андрей Куренков]

Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.

Да, с размерностью у меня, естественно запачатка вышла Внимательно поизучав спецификации, понял, что задача вырисовывается далеко не тривиальная. Основная проблема - именно скорость записи и время доступа. Optical JukeBox при ближайшем рассмотрении отпал. Большинство ленточных библиотек тоже.
Скорость записи около 1ТВ/ч - это к сожалению, даже для старших библиотек типа HP StorageWorks ESL9xxx пиковая теоретическая величина, а среднее значение вдвое ниже...
И дисковый массив мягко говоря непростой получается... Не говоря уже о сетке - сразу вспоминается 10Gb, т.к. даже транк из 4-х гигабитных линков может заткнутся на трафике в 1ТБ/ч...

В результате, может быть проще организовать распределенную сеть хранения, разнеся разные каналы на разные массивы... И доступ автоматически структурируется и масштабировать решение проще

[Андрей Куренков]

То есть я не против SCSI-дисков, даже очень за, но платить по $2000 за один диск, и даже по $600 почему-то не хочется.

А ведь придется...

[CyberDrake]

В качестве более дешевого, но только для действительно БОЛЬШИХ объемов информации могу порекомендовать F-AT (FC to ATA) от Chaparral
http://www.chaparralnet.com/prod/produc ... ights&id=9

это конечно будет дешевле, но при таком раскладе я бы все равно начал смотреть на "чистые" FC решения, потому что для SCSI это будет верхняя граница, т.е. модернизировать решение такого уровня на SCSI может быть весьма проблематично.

[Andrew]

Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.

Да, с размерностью у меня, естественно запачатка вышла Внимательно поизучав спецификации, понял, что задача вырисовывается далеко не тривиальная.

Это точно...

Основная проблема - именно скорость записи и время доступа. Optical JukeBox при ближайшем рассмотрении отпал. Большинство ленточных библиотек тоже.
Скорость записи около 1ТВ/ч - это к сожалению, даже для старших библиотек типа HP StorageWorks ESL9xxx пиковая теоретическая величина, а среднее значение вдвое ниже...

Ну, по моему не так все грустно.
Я подготовил для начальства обзор библиотек нужного класса,
И там 9 вариантов, если отбросить производителей, для которых нужная
модель является Top (то есть не масштабируется вверх), то остаются следующие модели:
Scalar 100 от ADIC,
Ultrascalable tape library от IBM,
TLS 88132 от QualStar,
ATL m2500 от Quantum,
StorageWork esl198sl от HP, и наконец,
StorEdge L180 от Sun.
Из них я и пытался выбирать.

И дисковый массив мягко говоря непростой получается...

Ну, такие-то массивы любой ламер делает нонче .
Вот только цена заоблачная. Но о ней ниже.

Не говоря уже о сетке - сразу вспоминается 10Gb, т.к. даже транк из 4-х гигабитных линков может заткнутся на трафике в 1ТБ/ч...

Ну, для начала нам надо все же 136 GB/h

В результате, может быть проще организовать распределенную сеть хранения, разнеся разные каналы на разные массивы... И доступ автоматически структурируется и масштабировать решение проще

Возможно, возможно.

[Andrew]

В качестве более дешевого, но только для действительно БОЛЬШИХ объемов информации могу порекомендовать F-AT (FC to ATA) от Chaparral
http://www.chaparralnet.com/prod/produc ... ights&id=9

Мда.
Выглядит очень заманчиво. Особенно если верить, что 3 TB будут действительно стоить $ 30 000.

Для сравнения,
Привожу квоты на Clarion от EMC (дистрибьютор французкий, ногами не бить):
CX 400 EMC - 55 000 евро
60 дисков по 73 Gb - 137 000 евро (вдумайтесь в цифру!!!)

Ну и еще soft для всей этой груды железа на пару тысяч.

[CyberDrake]

софт на пару тысяч, весьма оптимистичное заявление
думаю, что здесь к паре тысяч еще один нолик набежать вполне может

[Andrew]

софт на пару тысяч, весьма оптимистичное заявление
думаю, что здесь к паре тысяч еще один нолик набежать вполне может

Да, там есть еще в конфигурации сервер управляющий backup-ом, он 26 000 стоит

[Andrew]

софт на пару тысяч, весьма оптимистичное заявление
думаю, что здесь к паре тысяч еще один нолик набежать вполне может

И кстати, с потребным софтом я знаком меньше всего. То есть даже не знаю, куда смотреть. Единственное что помню - Veritas Backup.
Но он наверное сюда не годится. Можно ли сделать нечто типа serverless backup, то бишь чтобы ленточная библиотека забирала нужные данные с массива а другие - спихивала на него. Причем хочется, чтобы и ленты и диски виделись как единое поле данных, возможно, разделенное на пару media sets или что-то в этом роде (я тут не силен). Подскажите что посмотреть, чтобы попонятнее и подешевле.

[Андрей Куренков]

Подскажите что посмотреть, чтобы попонятнее и подешевле.

Продукты семейства HP OpenView storage :
- area manager;
- node manager;
- storage builder;
- storage optimizer;
- storage accauntant;
- storage allocater;
...
Ряд продуктов идет в комплекте поставки хранилищ (НР)...

[CyberDrake]

Я бы на Вашем месте обратил внимание на семейство IBM Tivoli Storage Manager (TSM) : www.tivoli.spb.ru и www.tivoli.com

Кстати у TSM есть замечательная возможность иерархического backup и архивации. Т.е. данные по определенным критериям мигрируют сперва на один носитель (например "быстрый" дисковый массив) а потом, уже по другим критериям (к примеру каждые 3 часа или каждая 5-ая копия сливается на "медленную" ленточку).

Только тогда уж сперва надо ПО выбрать, а потом и все остальное, особенно библиотеку с возможностью подключения к SAN - я уже сталкивался с тем что заказчик купил железку, а она с тем софтом, что он хочет не работает...