Решение для video server-ов
Модераторы: Trinity admin`s, Free-lance moderator`s
Решение для video server-ов
Есть примерно такой набор задач:
1. Захват контента из эфира (около 3 Tb в день)
2. Выгрузка захваченого контента на ленты
3. Раздача контента по сети (тоже около 3 Tb в день). Для этого часть контента поднимается с лент, куда была записана.
Видится следующая структура:
-- Ленточная библиотека с надлежащей емкостью и пропускной способностью (чтобы уметь сохранить 3 Tb на ленты, и поднять другие 3 Tb)
-- Дисковый массив на ~ 3 Tb, для отдачи данных по сети.
-- Несколько раздающих контент серверов подключеных к массиву
-- Много серверов захватывающих контент (подключенных непосредственно к библиотеке?) пока не ясно...
Ленты в библиотеке будут постепенно заменяться (по мере захвата будет, разумеется происходить насыщение, но когда оно наступит непонятно ).
На месте библиотеки пока вырисовывается Quantum ATL m2500.
Сеть оптическая.
С коммутаторами и дисковым массивом пока ясности нет. То есть
известно одно - от массива не требуется особой надежности, я и вообще RAID какого либо уровня.
Какие решения можно посоветовать, чьи? Во сколько это примерно встанет?
Стоит ли вообще городить огород с SAN, может вообще переметнуться на NAS (т.к. задача в общем-то сильно завязана на сеть).
1. Захват контента из эфира (около 3 Tb в день)
2. Выгрузка захваченого контента на ленты
3. Раздача контента по сети (тоже около 3 Tb в день). Для этого часть контента поднимается с лент, куда была записана.
Видится следующая структура:
-- Ленточная библиотека с надлежащей емкостью и пропускной способностью (чтобы уметь сохранить 3 Tb на ленты, и поднять другие 3 Tb)
-- Дисковый массив на ~ 3 Tb, для отдачи данных по сети.
-- Несколько раздающих контент серверов подключеных к массиву
-- Много серверов захватывающих контент (подключенных непосредственно к библиотеке?) пока не ясно...
Ленты в библиотеке будут постепенно заменяться (по мере захвата будет, разумеется происходить насыщение, но когда оно наступит непонятно ).
На месте библиотеки пока вырисовывается Quantum ATL m2500.
Сеть оптическая.
С коммутаторами и дисковым массивом пока ясности нет. То есть
известно одно - от массива не требуется особой надежности, я и вообще RAID какого либо уровня.
Какие решения можно посоветовать, чьи? Во сколько это примерно встанет?
Стоит ли вообще городить огород с SAN, может вообще переметнуться на NAS (т.к. задача в общем-то сильно завязана на сеть).
Local Observer
- Андрей Куренков
- free-lance moderator
- Сообщения: 220
- Зарегистрирован: 09 окт 2002, 20:11
- Откуда: Foray ltd. СПб
- Контактная информация:
Re: Решение для video server-ов
Андрей!
А стоит ли вообще городить огород с лентами. У Вас сразу назревает очень узкое место - скорость записи на ленту. Даже если Вы собираетесь писать на ленту в реальном времени, а не в некое "окно", отведенное для выгрузки, то потребуется ленточная библиотека со средней скоростью записи не менее 128Мбайт/час. Боюсь, даже приличный массив "ультриумов" Вас не удовлетворит:(
Здесь плавно вырисовывается либо хранилище типа Optical JukeBox, либа пара-тройка-... равноправных дисковых массивов, работающих попеременно, т.е. в режиме сутки - main, вторые - backup, (третьи - вчерашний backup), ... Наконец, данные (кроме особо интересных, которые нарезаются на долговременное хранилище типа того JukeBox или DVD-библиотеки) - под нож и массив снова становится "main", т.е. под запись с эфира...
P.S. Еще очень забавный момент - реальное число циклов перезаписи на ленточных носителях и время доступа к произвольному фрагменту, записанному на ленточной библиотеке (достигает десятков секунд или нескольких минут)...
А стоит ли вообще городить огород с лентами. У Вас сразу назревает очень узкое место - скорость записи на ленту. Даже если Вы собираетесь писать на ленту в реальном времени, а не в некое "окно", отведенное для выгрузки, то потребуется ленточная библиотека со средней скоростью записи не менее 128Мбайт/час. Боюсь, даже приличный массив "ультриумов" Вас не удовлетворит:(
Здесь плавно вырисовывается либо хранилище типа Optical JukeBox, либа пара-тройка-... равноправных дисковых массивов, работающих попеременно, т.е. в режиме сутки - main, вторые - backup, (третьи - вчерашний backup), ... Наконец, данные (кроме особо интересных, которые нарезаются на долговременное хранилище типа того JukeBox или DVD-библиотеки) - под нож и массив снова становится "main", т.е. под запись с эфира...
P.S. Еще очень забавный момент - реальное число циклов перезаписи на ленточных носителях и время доступа к произвольному фрагменту, записанному на ленточной библиотеке (достигает десятков секунд или нескольких минут)...
Re: Решение для video server-ов
Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,Андрей Куренков писал(а): А стоит ли вообще городить огород с лентами. У Вас сразу назревает очень узкое место - скорость записи на ленту. Даже если Вы собираетесь писать на ленту в реальном времени, а не в некое "окно", отведенное для выгрузки, то потребуется ленточная библиотека со средней скоростью записи не менее 128Мбайт/час.
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.
Да, скорее всего часть контента будет действительно нарезаться на DVD, но их емкость не слишком велика (по сравнению с лентой).Наконец, данные (кроме особо интересных, которые нарезаются на долговременное хранилище типа того JukeBox или DVD-библиотеки) - под нож и массив снова становится "main", т.е. под запись с эфира...
Да, это меня тоже очень беспокоит. Ладно скорость подмотки, она вроде не очень критична, но вот перезапись. С одной стороны, то, что ушло на ленту, скорее всего больше НИКОГДА не будет перезаписано,Еще очень забавный момент - реальное число циклов перезаписи на ленточных носителях и время доступа к произвольному фрагменту, записанному на ленточной библиотеке (достигает десятков секунд или нескольких минут)...
но вот считываться будет [возможно] каждый день. То есть это не задача классического backup, а нечто типа Tivoli-вского Hierarchical Storage Management, т.е. выведение редко используемой информации на более автономные, и менее дорогие носители.
Собственно, почему и выбрана лента - она вроде бы наиболее дешева в пересчете на единицу инф.
Local Observer
- CyberDrake
- free-lance moderator
- Сообщения: 338
- Зарегистрирован: 23 авг 2002, 10:39
- Откуда: Санкт-Петербург
- Контактная информация:
Так, несколько мыслей...
Стоимость хранилища на 28x146GB HDD, включая внутренний 4-х канальный RAID, будет стоить порядка 50 000$. Его емкость можно расширить в два раза до ~8 TB. Можно также применить хранилище на жестких дисках IDE, подключенное по SCSI или FC.
Чистое FC решение емкостью в ~4.5 TB с комплектом FC адаптеров обойдется примерно в 85 000$.
Применение иерархического хранения данных с моей точки зрения весьма оправдано.
Что использовать для этой цели ленточку или DVD, лично я не знаю, хотя на первый взгляд DVD может выйти подешевле.
Стоимость хранилища на 28x146GB HDD, включая внутренний 4-х канальный RAID, будет стоить порядка 50 000$. Его емкость можно расширить в два раза до ~8 TB. Можно также применить хранилище на жестких дисках IDE, подключенное по SCSI или FC.
Чистое FC решение емкостью в ~4.5 TB с комплектом FC адаптеров обойдется примерно в 85 000$.
Применение иерархического хранения данных с моей точки зрения весьма оправдано.
Что использовать для этой цели ленточку или DVD, лично я не знаю, хотя на первый взгляд DVD может выйти подешевле.
Продолжение банкета...
А можно поподробнее про хранилище из IDE-дисков, подключенное поCyberDrake писал(а):Так, несколько мыслей...
Стоимость хранилища на 28x146GB HDD, включая внутренний 4-х канальный RAID, будет стоить порядка 50 000$. Его емкость можно расширить в два раза до ~8 TB. Можно также применить хранилище на жестких дисках IDE, подключенное по SCSI или FC.
Чистое FC решение емкостью в ~4.5 TB с комплектом FC адаптеров обойдется примерно в 85 000$.
FC? Кто делает такие штуки, почем, какую периферию нужно брать для
подключения? То есть я не против SCSI-дисков, даже очень за, но платить по $2000 за один диск, и даже по $600 почему-то не хочется.
Ага. Но вот вопрос - сколько данныз можно записать на один DVD,
Применение иерархического хранения данных с моей точки зрения весьма оправдано.
Что использовать для этой цели ленточку или DVD, лично я не знаю, хотя на первый взгляд DVD может выйти подешевле.
IMHO, 4-8 Gb? Поправьте если я ошибаюсь...
Local Observer
- Андрей Куренков
- free-lance moderator
- Сообщения: 220
- Зарегистрирован: 09 окт 2002, 20:11
- Откуда: Foray ltd. СПб
- Контактная информация:
Re: Решение для video server-ов
Да, с размерностью у меня, естественно запачатка вышла Внимательно поизучав спецификации, понял, что задача вырисовывается далеко не тривиальная. Основная проблема - именно скорость записи и время доступа. Optical JukeBox при ближайшем рассмотрении отпал. Большинство ленточных библиотек тоже.Andrew писал(а): Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.
Скорость записи около 1ТВ/ч - это к сожалению, даже для старших библиотек типа HP StorageWorks ESL9xxx пиковая теоретическая величина, а среднее значение вдвое ниже...
И дисковый массив мягко говоря непростой получается... Не говоря уже о сетке - сразу вспоминается 10Gb, т.к. даже транк из 4-х гигабитных линков может заткнутся на трафике в 1ТБ/ч...
В результате, может быть проще организовать распределенную сеть хранения, разнеся разные каналы на разные массивы... И доступ автоматически структурируется и масштабировать решение проще
- Андрей Куренков
- free-lance moderator
- Сообщения: 220
- Зарегистрирован: 09 окт 2002, 20:11
- Откуда: Foray ltd. СПб
- Контактная информация:
Re: Продолжение банкета...
А ведь придется...Andrew писал(а): То есть я не против SCSI-дисков, даже очень за, но платить по $2000 за один диск, и даже по $600 почему-то не хочется.
- CyberDrake
- free-lance moderator
- Сообщения: 338
- Зарегистрирован: 23 авг 2002, 10:39
- Откуда: Санкт-Петербург
- Контактная информация:
В качестве более дешевого, но только для действительно БОЛЬШИХ объемов информации могу порекомендовать F-AT (FC to ATA) от Chaparral
http://www.chaparralnet.com/prod/produc ... ights&id=9
это конечно будет дешевле, но при таком раскладе я бы все равно начал смотреть на "чистые" FC решения, потому что для SCSI это будет верхняя граница, т.е. модернизировать решение такого уровня на SCSI может быть весьма проблематично.
http://www.chaparralnet.com/prod/produc ... ights&id=9
это конечно будет дешевле, но при таком раскладе я бы все равно начал смотреть на "чистые" FC решения, потому что для SCSI это будет верхняя граница, т.е. модернизировать решение такого уровня на SCSI может быть весьма проблематично.
Re: Решение для video server-ов
Возможно, возможно.Андрей Куренков писал(а):Andrew писал(а): Да, это есть. Поэтому и нужна быстрая библиотека (правда у меня получалось 130 Gb/час . Но это достижимый результат,
Средняя скорость библиотек такого класса около 1 TB/h, так что должно хватить.Да, с размерностью у меня, естественно запачатка вышла Внимательно поизучав спецификации, понял, что задача вырисовывается далеко не тривиальная.
Это точно...Ну, по моему не так все грустно.Основная проблема - именно скорость записи и время доступа. Optical JukeBox при ближайшем рассмотрении отпал. Большинство ленточных библиотек тоже.
Скорость записи около 1ТВ/ч - это к сожалению, даже для старших библиотек типа HP StorageWorks ESL9xxx пиковая теоретическая величина, а среднее значение вдвое ниже...
Я подготовил для начальства обзор библиотек нужного класса,
И там 9 вариантов, если отбросить производителей, для которых нужная
модель является Top (то есть не масштабируется вверх), то остаются следующие модели:
Scalar 100 от ADIC,
Ultrascalable tape library от IBM,
TLS 88132 от QualStar,
ATL m2500 от Quantum,
StorageWork esl198sl от HP, и наконец,
StorEdge L180 от Sun.
Из них я и пытался выбирать.Ну, такие-то массивы любой ламер делает нонче .И дисковый массив мягко говоря непростой получается...
Вот только цена заоблачная. Но о ней ниже.
Ну, для начала нам надо все же 136 GB/hНе говоря уже о сетке - сразу вспоминается 10Gb, т.к. даже транк из 4-х гигабитных линков может заткнутся на трафике в 1ТБ/ч...В результате, может быть проще организовать распределенную сеть хранения, разнеся разные каналы на разные массивы... И доступ автоматически структурируется и масштабировать решение проще
Local Observer
Мда.CyberDrake писал(а): В качестве более дешевого, но только для действительно БОЛЬШИХ объемов информации могу порекомендовать F-AT (FC to ATA) от Chaparral
http://www.chaparralnet.com/prod/produc ... ights&id=9
Выглядит очень заманчиво. Особенно если верить, что 3 TB будут действительно стоить $ 30 000.
Для сравнения,
Привожу квоты на Clarion от EMC (дистрибьютор французкий, ногами не бить):
CX 400 EMC - 55 000 евро
60 дисков по 73 Gb - 137 000 евро (вдумайтесь в цифру!!!)
Ну и еще soft для всей этой груды железа на пару тысяч.
Local Observer
- CyberDrake
- free-lance moderator
- Сообщения: 338
- Зарегистрирован: 23 авг 2002, 10:39
- Откуда: Санкт-Петербург
- Контактная информация:
И кстати, с потребным софтом я знаком меньше всего. То есть даже не знаю, куда смотреть. Единственное что помню - Veritas Backup.CyberDrake писал(а):софт на пару тысяч, весьма оптимистичное заявление
думаю, что здесь к паре тысяч еще один нолик набежать вполне может
Но он наверное сюда не годится. Можно ли сделать нечто типа serverless backup, то бишь чтобы ленточная библиотека забирала нужные данные с массива а другие - спихивала на него. Причем хочется, чтобы и ленты и диски виделись как единое поле данных, возможно, разделенное на пару media sets или что-то в этом роде (я тут не силен). Подскажите что посмотреть, чтобы попонятнее и подешевле.
Local Observer
- Андрей Куренков
- free-lance moderator
- Сообщения: 220
- Зарегистрирован: 09 окт 2002, 20:11
- Откуда: Foray ltd. СПб
- Контактная информация:
- CyberDrake
- free-lance moderator
- Сообщения: 338
- Зарегистрирован: 23 авг 2002, 10:39
- Откуда: Санкт-Петербург
- Контактная информация:
Я бы на Вашем месте обратил внимание на семейство IBM Tivoli Storage Manager (TSM) : www.tivoli.spb.ru и www.tivoli.com
Кстати у TSM есть замечательная возможность иерархического backup и архивации. Т.е. данные по определенным критериям мигрируют сперва на один носитель (например "быстрый" дисковый массив) а потом, уже по другим критериям (к примеру каждые 3 часа или каждая 5-ая копия сливается на "медленную" ленточку).
Только тогда уж сперва надо ПО выбрать, а потом и все остальное, особенно библиотеку с возможностью подключения к SAN - я уже сталкивался с тем что заказчик купил железку, а она с тем софтом, что он хочет не работает...
Кстати у TSM есть замечательная возможность иерархического backup и архивации. Т.е. данные по определенным критериям мигрируют сперва на один носитель (например "быстрый" дисковый массив) а потом, уже по другим критериям (к примеру каждые 3 часа или каждая 5-ая копия сливается на "медленную" ленточку).
Только тогда уж сперва надо ПО выбрать, а потом и все остальное, особенно библиотеку с возможностью подключения к SAN - я уже сталкивался с тем что заказчик купил железку, а она с тем софтом, что он хочет не работает...
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 34 гостя