Организация системы хранения данных

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

MDoc
Junior member
Сообщения: 11
Зарегистрирован: 19 мар 2010, 23:59
Откуда: Уфа

Организация системы хранения данных

Сообщение MDoc » 20 мар 2010, 00:12

Нужен совет в организации системы хранения данных :D

Поставлена задача - всех пользователей загнать на терминал, убрать все данные с серверов на внешнее устройство, которое будет стоять в другом помещении и которое при необходимости можно быстро забрать и уйти. Вопрос в следующем - какое оборудование выбрать для организации хранения и доступа к данным. :?:

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Ziggy Stardust » 20 мар 2010, 10:46

MDoc писал(а):Вопрос в следующем - какое оборудование выбрать для организации хранения и доступа к данным. :?:
О каких объемах хранимых данных идет речь? Какие требования по отказоустойчивости? Сколько пользователей будут одновременно доступаться к хранилищу и какую скорость доступа нужно обеспечить?

Сходу видятся следующие варианты.

1. Отдельностоящий файловый сервер нафаршированный объемными дисками.
2. Специализированное NAS устройство.
3. СХД, к которой по файберу подключаются сервера, выполняющие роль файловых.

MDoc
Junior member
Сообщения: 11
Зарегистрирован: 19 мар 2010, 23:59
Откуда: Уфа

Re: Организация системы хранения данных

Сообщение MDoc » 20 мар 2010, 12:56

К хранилищу будет иметь доступ терминальный сервер, на котором будет организована распределенная файловая система DFS.
Будут храниться рабочие файлы пользователей, SQL база объемом 2,5Гб, несколько баз 1С по 2-3 пользователе на каждую (объем документов до 500 в месяц).
Отказоустойчивость не меньше "зеркала"
Размер устройства желателен с 15" ноутбук, снять и быстро унести не вызывая подозрений.
Размер коммутационного устройства значения не имеет.
Желательно предложить конкретную схему, поскольку раньше с такими устройствами не сталкивался, а посоветоваться не с кем.

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Ziggy Stardust » 20 мар 2010, 16:21

MDoc писал(а):К хранилищу будет иметь доступ терминальный сервер, на котором будет организована распределенная файловая система DFS.
А на какие ресурсы будет эта DFS ссылаться?
Будут храниться рабочие файлы пользователей, SQL база объемом 2,5Гб, несколько баз 1С по 2-3 пользователе на каждую (объем документов до 500 в месяц).
Всего то на какой объем расчитываете? На сколько пользователей? До 500 чего в месяц, Мб, Гб?
Размер устройства желателен с 15" ноутбук, снять и быстро унести не вызывая подозрений.
Хммм... Даже и не знаю чего вам на это посоветовать. Нормальных СХД и НАСов такого размера не бывает.

Поставьте файловый сервер с хот-свап винтами (это самый бюджетный вариант будет, СХД удовольствие не самое дешевое). Корзинки с винтами и уносите при необходимости...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Stranger03 » 21 мар 2010, 16:51

MDoc писал(а):которое будет стоять в другом помещении и которое при необходимости можно быстро забрать и уйти.
В другое помещение поставить можно любую СХД, вариантов подключения масса. А вот под мышку забрать коробку больше 40-ка килограмм не получится. Бюджет на сие мероприятие известен?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

MDoc
Junior member
Сообщения: 11
Зарегистрирован: 19 мар 2010, 23:59
Откуда: Уфа

Re: Организация системы хранения данных

Сообщение MDoc » 22 мар 2010, 05:17

Оборудование СХД достаточно габаритное, поэтому можно рассмотреть устройства с быстросъемной корзиной или хранением данных на диске с горячей заменой и ежедневным копированием в буферные устройства:

пользователи ---- буфер ---- данные

Схема работы: каждое утро данные копируются на буферное устройство, пользователи работают с буферов вечером сессии закрываются и данные записываются из буфера на устройства хранения.
В настоящее время объем хранимых данных небольшой до 150 Гб, но 50Гб это 1С, соответственно необходимо высокое быстродействие связки пользователи ---- буфер.

Бюджет по потребностям, но рамках разумного :D

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Ziggy Stardust » 22 мар 2010, 05:44

MDoc писал(а):Оборудование СХД достаточно габаритное, поэтому можно рассмотреть устройства с быстросъемной корзиной
Все СХД позволяют горячую замену дисков. Т.е. у всех диски будут "быстросъемные" (только перед тем как снимать надо отключить все сервера от СХД и саму СХД :-)).
Схема работы: каждое утро данные копируются на буферное устройство, пользователи работают с буферов вечером сессии закрываются и данные записываются из буфера на устройства хранения.
В настоящее время объем хранимых данных небольшой до 150 Гб, но 50Гб это 1С,
Имхо, для такого объема вам вполне хватит довольно простого файлового сервера с винтами горячей замены (для быстрого съема :-)). Буфером будет являться сам сервер. При желании можете организовать с него ежедневное резервное копирование данных для длительного хранения.
соответственно необходимо высокое быстродействие связки пользователи ---- буфер.
Сколько одновременных пользовательских соединений? И какую скорость доступа каждому требуется обеспечить?

Можно для оперативности в ICQ продолжить - 13043204.

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: Организация системы хранения данных

Сообщение Bormoto » 22 мар 2010, 07:28

IMHO, наиболее гибкое решение выносного хранилища - нечто, присоединяемое по iSCSI. Из специализированных устройств всего доступнее по цене Infortrend. И по качеству вполне. Есть и локальные сборщики, но, наверное, тут нетактично озвучивать конкурентов компании-владельца форума. Из "навесных" программных решений имеются MS WSS (покупается вместе с аппаратом), Starwind, Neхenta и т.д. Но вся конкретика, как уже было отмечено выше, упирается в объем данных и интенсивность I/O.
P.S. Забавно читать еще одну фантазию на тему обмануть "кого надо". Необходимая степень стойкости к лицу разве что акционерам, а не наемному персоналу. :)

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Ziggy Stardust » 22 мар 2010, 08:44

Bormoto писал(а):IMHO, наиболее гибкое решение выносного хранилища - нечто, присоединяемое по iSCSI.
К использованию iSCSI в продакшене надо очень аккуратно подходить. При хреновой инфраструктуре (сеть, электропитание, резервное электропитание и т.д.) от iSCSI будет только вред, вплоть до полностью потерянных разделов с данными.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Stranger03 » 22 мар 2010, 11:15

MDoc писал(а):пользователи ---- буфер ---- данные
Если потеря данных за сутки у вас не критична, то можно рассмотреть вариант держать всю базу в виртуальной памяти, а в конце дня всю базу переливать куда-то по айскази. Но переливать 50ГБ по впн-ну через и-нет канал куда-то каждый день.... Вы точно этого хотите? Трафик в месяц более 1.5 ТБ по инету осилите? :wink:
В настоящее время объем хранимых данных небольшой до 150 Гб, но 50Гб это 1С, соответственно необходимо высокое быстродействие связки пользователи ---- буфер.
База данных в 50ГБ для 1С-ки это не мало. Очень не мало. Если выносить СХД куда-то далеко, то нужен более чем не хилый канал к СХД. Здесь стоимость самой железяки померкнет в стоимости трафика или аренды канала. Кроме того, вы думаете если к вам придут маски-шоу, оно вас спасет? Думаете там такие дураки, что не поймут что у вас внешняя СХД?
ну-ну, :roll:
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Stranger03 » 22 мар 2010, 11:18

"MDoc"
самый правильный вариант озаботиться полным уничтожением инфы в момент масок, но делать резервные копии на ленточки. а ленточки хранить на вокзале в камере хранения, :lol:
Но если вы думаете, что это можно сделать за 10 рублей, вы очень глубоко ошибаетесь.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: Организация системы хранения данных

Сообщение Bormoto » 22 мар 2010, 18:48

Ziggy Stardust писал(а):К использованию iSCSI в продакшене надо очень аккуратно подходить. При хреновой инфраструктуре (сеть, электропитание, резервное электропитание и т.д.) от iSCSI будет только вред, вплоть до полностью потерянных разделов с данными.
Я же написал "наиболее гибкое" решение, а не "наиболее надежное". Очевидно, что чем протяженнее коммуникация (конечно, шина сильно короче провода и разъемов поменьше) для передачи данных и чем больше промежуточных элементов, тем, при прочих равных условиях, надежность будет ниже. Но это справедливо для любых решений. А о состоянии инфраструктуры топик-стартера и интенсивности i/o пока ничего не известно, чтобы судить о применимости.
P.S. Если судить по публичным источникам, стоимость развертывания на iSCSI является наименьшей при построении SAN, когда, конечно, iSCSI вообще применимо в том или ином случае случае. Нелюбовь со стороны СИ вполне понятна. :)

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Ziggy Stardust » 22 мар 2010, 19:03

Bormoto писал(а):Если судить по публичным источникам, стоимость развертывания на iSCSI является наименьшей при построении SAN, когда, конечно, iSCSI вообще применимо в том или ином случае случае.
Ну если скорость доступа не критична, то да, дешевле. А чтобы было сопоставимо с FC, это уже надо 10Гб езернет. А это уже тоже далеко не копейки...

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Организация системы хранения данных

Сообщение Stranger03 » 22 мар 2010, 19:11

Коллеги, не надо ссориться. Автор топика куда-то ушел в туман, может на хобот. Ответит, тогда будем ломать копья.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

sivanov
Advanced member
Сообщения: 127
Зарегистрирован: 25 апр 2008, 11:20
Откуда: Свердлоская обл.

Re: Организация системы хранения данных

Сообщение sivanov » 22 мар 2010, 19:34

Оказавается гигабайт, асус и супермикро имеют микро ATX серверные материнские платы, на Intel 3000/3200 ICH7R/9R с двумя годными PCI-Ex слотами, куда можно воткнуть двухпортовый FC HBA для работы в target режиме и SATA плату для подключения SSD. Thermaltake выпускает симпатичные корпуса с ручкой для переноски, серия lanbox. эти корпыса имеют два 5.25" отсека куда можно установить девайс навроде http://www.chieftec.eu/images/accessori ... 2%20SS.jpg
8 SSD обеспечат заполнение полосы пропускания двух 4Gb FC каналов. FC работает на 10 километровых каналах, можно на другом конце города поставить.
4GB FC начинает дешеветь. Пруфлинк http://tinyurl.com/y9vf2op . я себе купил точно такой же по лучшему предложению $130. Без фирменной гарантии естественно.
Софт: Opensolaris+ZFS+COMSTAR: управение RAID массивом, файловыми системами, томами, FC TARGET'ами на высшем уровне - снепшоты, клонирование, дедупликация, все как у брендов

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 14 гостей