Посоветуйте: надежная система хранения на 300Тб

Конфигурирование, планирование RAID систем, возможности, технологии, теория. Qlogic, LSI Logic, Adaptec ...

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
bigproject
Junior member
Сообщения: 5
Зарегистрирован: 06 фев 2007, 16:06
Откуда: Киев

Посоветуйте: надежная система хранения на 300Тб

Сообщение bigproject » 06 фев 2007, 16:31

Для нехилого интернет-проекта, строю систему хранения данных, требования такие:
- объем хранимых данных - не меньше 300Тб
- надежность включая поддержку snapshots (бекапов не будет, просто некуда и некогда столько бекапить)
- возможность доступа по NFS как к единому диску (т.е. веб-серверы должны подключаться по NFS к системе хранения и видеть один огромный диск)

Пока остановились на варианте с использованием Solaris 10 + ZFS + много машин с винтами отдающими iSCSI.
Т.е. ставим 20 машин, в каждой 16 винтов по 1Тб, все это отдается по iSCSI в одну машину с Solaris10 и используется ZFS для создания единого пула.

Дальше есть 2 варианта как конфигурить машины с винтами.
Вариант 1.
поставить аппаратный RAID контролеер и объединять все 16 винтов в RAID5/6 и отдавать наверх в ZFS как одно iSCSI устройство.
Т.е. ZFS будет видеть 20 HDD по 16Тб и затем объединит их в один RAIDZ2
Таким образом мы будем защищены от выхода из строя 2х машин + защищены от выхода из строя винтов в самих машинах.

Вариант2.
отдавать каждый винт по-отдельности как iSCSI устройство.
Т.е. в итоге ZFS будет видеть 20х16=320 HDD
Затем создать 16 групп RAIDZ2 по 20 устройств в каждой по принципу:
- все первые HDD из каждой машины - первая группа
- все вторые HDD из каждой машины - вторая группа
и т.п.
Таким образом мы будем все также защищены от выхода из строя 2х машин (либо произвольных 40 винтов, но не более 2х винтов на raidz2 группу)


Посоветуйте пожалуйста какой из вариантов лучше?
В каком какие недостатки Вы видите?
Или может быть использовать нечто другое для построения такой системы хранения?

С уважением,
Олег

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 06 фев 2007, 16:42

Есть еще вариант :)
ПО Falconstor+ куча относительно недорогих массивов, с помощью этого ПО объединенных.
Success Story могем накидать.

shkoda
member
Сообщения: 27
Зарегистрирован: 18 фев 2004, 09:23
Откуда: Москва

Сообщение shkoda » 06 фев 2007, 18:53

Зависит от:
- сколько будет стоить простой или потеря данных
- бюджет начальный\развитие
- сколько людей это будет пытаться обслуживать, так называемые storage administrators
- тип хранимой информации: БД (какая?), ФС с мелкими или крупными файлами)
- требования к производительности в IOPS\MBps


Потом можно начинать искать компромисы от HDS USP1100 вниз до "5ТБ за 5куе" :)

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 06 фев 2007, 19:06

Честно говоря при таких объемах запаритесь мониторить и чинить все это хозяйство.
Поставили бы уж пачку Инфортрендов или, лучше, Зайратексов и собрали их в кучу софтом, как и пишете. Будет ненамного дороже, но существенно меньше объектов управления и ломания.

bigproject
Junior member
Сообщения: 5
Зарегистрирован: 06 фев 2007, 16:06
Откуда: Киев

Сообщение bigproject » 13 фев 2007, 15:39

[quote="a_shats"]Есть еще вариант :)
ПО Falconstor+ куча относительно недорогих массивов, с помощью этого ПО объединенных.
Success Story могем накидать.[/quote]

Почитал http://www.falconstor.ru  но там как-то все слегка запутано описано. Может у вас есть ссылки на описание решений с помощью Falconstor подобного масштаба?

Грубо говоря - нам нужно надежно объединить N машин по M винтов (отдаются по iSCSI) в единое хранилище, которое можно отдавать по NFS как один "виртуальный винт".

Удачи,
Олег

bigproject
Junior member
Сообщения: 5
Зарегистрирован: 06 фев 2007, 16:06
Откуда: Киев

Сообщение bigproject » 13 фев 2007, 15:52

>- сколько будет стоить простой или потеря данных

желательно конечно без потерь и простоев (для этого и думаем использовать RAIDы). Мы допускаем простой на уровне час в неделю,  но потеря данных может привести к потере 20% пользователей сервиса, что крайне нежелательно.

>- бюджет начальный\развитие
планируется около 100 килобаксов на каждые 100Тб

>- сколько людей это будет пытаться обслуживать, так называемые storage administrators
планируется круглосуточные дежурства, т.е. до 10 человек

>- тип хранимой информации: БД (какая?), ФС с мелкими или крупными файлами)
в основном много мелких файлов, на крупные файлы (больше 10Мб) скорее всего будет приходится не более 10-20%

>- требования к производительности в IOPS\MBps
максимум что надо - 128 Мбайт/сек, насчет IOPS - еще будем тестировать

Удачи,
Олег

bigproject
Junior member
Сообщения: 5
Зарегистрирован: 06 фев 2007, 16:06
Откуда: Киев

Сообщение bigproject » 13 фев 2007, 15:59

[quote="gs"]Честно говоря при таких объемах запаритесь мониторить и чинить все это хозяйство.
Поставили бы уж пачку Инфортрендов или, лучше, Зайратексов и собрали их в кучу софтом, как и пишете. Будет ненамного дороже, но существенно меньше объектов управления и ломания.[/quote]

Вы имеете в виду поставить нечто вида Infortrend EonStor A16E-G2130-4 ?

Фактически это вариант номер 1. Нам тут не принципиально поставить обычные сервера под линухом или что-то типа Infortrend, главное как потом все эти iSCSI объединить.
Будет ли Solaris+ZFS хорошим решением?

Удачи,
Олег

shkoda
member
Сообщения: 27
Зарегистрирован: 18 фев 2004, 09:23
Откуда: Москва

Сообщение shkoda » 13 фев 2007, 17:02

Код: Выделить всё

>- бюджет начальный\развитие 
планируется около 100 килобаксов на каждые 100Тб
Да уж... Из разряда "5ТБ в домовую сеть, за 5куе". Про покупные средства виртуализации можете забыть.
bigproject писал(а):>- сколько будет стоить простой или потеря данных
желательно конечно без потерь и простоев (для этого и думаем использовать RAIDы). Мы допускаем простой на уровне час в неделю,  но потеря данных может привести к потере 20% пользователей сервиса, что крайне нежелательно.
Сумма не прозвучала. Во сколько обойдется отток и привлечение новых 20% пользователей.
Простой 1 час в неделю и один "виртуальный винт" на 300ТБ - не совместимы. Максимум что с точки зрения MTTR имеет смысл - 2TБ.
bigproject писал(а): >- тип хранимой информации: БД (какая?), ФС с мелкими или крупными файлами)
в основном много мелких файлов, на крупные файлы (больше 10Мб) скорее всего будет приходится не более 10-20%
Несколько миллиардов файлов на одной ФС? Не скажу за zfs, но на solaris ufs 200млн файлов это кошмар. Думайте не над одним "большим винтом"
bigproject писал(а): >- требования к производительности в IOPS\MBps
максимум что надо - 128 Мбайт/сек, насчет IOPS - еще будем тестировать
Транк из 2-х гигабит - хватит. Вполне так себе.

PS: это случаем не какой-нить mail\image\video hosting?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 13 фев 2007, 17:11


shkoda
member
Сообщения: 27
Зарегистрирован: 18 фев 2004, 09:23
Откуда: Москва

Сообщение shkoda » 13 фев 2007, 17:13

gs писал(а):www.gvideo.ua :)
503 Service Unavailable
Failed to resolve the name of server www.gvideo.ua to connect

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 13 фев 2007, 17:14

Не, ну ты чё - не понял юмора? :)

bigproject
Junior member
Сообщения: 5
Зарегистрирован: 06 фев 2007, 16:06
Откуда: Киев

Сообщение bigproject » 14 фев 2007, 17:20

[quote="shkoda"][quote="gs"]www.gvideo.ua :)[/quote]
503 Service Unavailable
Failed to resolve the name of server www.gvideo.ua to connect[/quote]

нет, это не мы :)

да, у нас будет mail/file/photo/video шаринг, собственно для этого и думаем как лучше всего это хранить.
Идея насчет одного "виртуальный винта" появилась вследствие простоты его использования существующими приложениями.

В распределенных же файловых системах (к примеру Lustre) нет всех необходимых нам функций (к примеру snapshots)

Насчет ZFS - с ней вродебы все хорошо, поддерживает зиллион файлов и Sun обещает что время доступа к файлу = constant time при любом кол-ве файлов (даже в одной директории). Судя по нашим предварительным тестам это действительно так.

sanek1978
member
Сообщения: 32
Зарегистрирован: 17 май 2003, 15:36

Сообщение sanek1978 » 14 фев 2007, 20:46

bigproject писал(а): Идея насчет одного "виртуальный винта" появилась вследствие простоты его использования существующими приложениями.
MTTR - mean time to recover. Т.е. сколько времени вы будете поднимать 300ТБ когда оно все упадет. Оно упадет, это неизбежно. Откуда вы будете поднимать? С лент или с snapshot на уже упавшей файловой системе?Вам вполне допустимо потерять 1/150 от всех данных, т.е. можно не бэкапиться. А вот потерять все данные - нельзя.
Софт все-равно будет самописным, так что придется его поменять.
MTBF (mean time before failure) я бы оценил как год, от силы два.
gc писал(а):Не, ну ты чё - не понял юмора?
Сразу нет :) Совсем затюкали...

Ответить

Вернуться в «Массивы - RAID технологии.»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей