Порекомендуйте перспективную технологию для комплекса с SAN

[Archvile]

Заказчик поставил примерно такую задачу: есть кластер СУБД (Oracle), кучка файл-серверов, ЛВС, пользователи которой формируют запросы к серверам, серверы являются клиентами SAN на базе FC, общие требования - производительность, отказоустойчивость, есть сумма порядка по 200k$ каждый год.

Вопрос стоит так: сейчас подошло время, и надо выбрать несколько аппаратных решений, перспективных в расчете на несколько ближайших лет, т.е. требуется какая-то действительно эксключивная технология. Год назад, например, таким решением явился IPStor, ~10 лет - fibre channel. А сейчас, куда не глянуть, все что-то не то. iSCSI - куча проблем, неперспективно; Infiniband - дорого; FAS - реально не нужно, FC 2/4/10Gb - никакой не эксклюзив и уж точно не что-то новое, блейд-серверы - не нужно.

Не посоветуете пару вариантов чего-нибудь эффективного для модернизации описанной системы с целью повышения производительности, надежности, и примерную стоимость ? (предполагается такое решение закупить)

Спасибо

[a_shats]

FC (массив(ы) )+Infiniband (SAN+RAC) - и не так уж это и сильно дорого
Как вариант.

[Archvile]

А примерная цена такого решения (до 32 узлов кластера, если сторэдж и FC-оборудование уже имеется) ?

[a_shats]

Грубо 80 тонн.
Сюда входят модульный коммутатор InfiniIO 7000 от Infinicon со всеми нужными модулями(в т.ч. 4 порта FC- на SAN/массив), HBA, и все прочее. Если надо - могу подробно выслать конфиг.

[Archvile]

да, хотелось бы

[a_shats]

Отправлено.

[Archvile]

Еще вопросик вдогонку - на сегодня существуют какие-нибудь дисковые системы с "родным" хост-интерфейсом infiniband ?

[Dmitry]

Думаю нет, т. к. технолгия infiniband  до сих пор была не устоявшаяся и только недавно была всеми принята (версию 1.0 не хотели использовать, а 1.1 пошла). Соответсвенно производители storage's еще только подхватили технологию и если решат встраивать, то пройдет пол года не меньше, а может и не будут вообще такое делать. Зачем огород городить - есть коммутаторы Infiniband в которых есть Fibre Channel порты, и сторадж можно подключить напрямую к ним. Все imho.

[a_shats]

IB - штука новая универсальная по сути, FC, как ни странно, несколько более специализирован - потому, имхо, действительно не стоит ждать дисковых массивов со встроенным IB в ближайшее время.

[Archvile]

a_shats

Если не сложно, не могли бы Вы выслать коммерческое предложение для варианта не 32, а  4 узлов кластера (или примерную стоимость)

Не могли бы Вы ответить на некоторые из вопросов.

Стоит задача обеспечить файловый доступ к SAN и работу с СУБД, объем файлов порядка нескольких ТБ, объем БД порядка нескольких ГБ (в БД содержатся ссылки на файлы)

Будут ли проблемы у данной конфигурации, рекомендованной Вами, с Oracle+RAC+Linux ?
Есть ли шлюзы IB->NAS ?
Есть ли (в частности, у вас) серверы на базе Itanium2/64 или аналогичные (или похуже), где infiniband реализован не через PCI ? есть ли смысл их покупки ? Если нет, какие серверы для СУБД Вы считаете перспективными в рамках данного решения ? Стоит ли использовать обычные файл-серверы вместо шлюзов NAS для обеспечения доступа пользователей к файлам SAN? если да, можете ли Вы что-нибудь порекомендовать (что-нибудь перспективное) ? Стоит ли объединять файл-серверы с серверами СУБД в рамках сети IB ?

Как Вы считатете, если ли смысл и возможность кластер строить на блейд-серверах ? есть ли у вас подобные решения ?

Можно ли как-нибудь сюда прикрутить IPStor или аналогичное решение с поддержкой неаппаратного зеркалирования дисковых массивов (можно ли обеспечить возможность работы с массивами FC шлюза IB->FC как FC SAN-клиента IPStor? Есть ли какая-нибудь возможность назначать IB-серверам ресурсы хранилища (хотя бы не на уровне логических ресурсов IPStor, а LUN) ?

Вопрос общий: что бы Вы могли рекомендовать по модернизации комплекса (в котором работает IPStor, SAN-клиенты FC, дисковые массивы FC, нет единой точки отказа), желательно такого, чтобы это согласовалось с IPStor и позволяло бы постепенно проводить модернизацию стоимостью примерно по 100-200k$  в течение ближайших нескольких лет ? В принципе, решение IB нам понравилось

Как Вы считаете, хорошее ли решение на базе кластера infiniband 4 узла (с возможностью раширения до 10, в пределе до 32)+шлюз IB->FC+дисковые массивы FC+IPstor с зеркалированием+2-4 шлюза NAS->SAN ? Есть ли у вас варианты подобных решений ?

Понимаю, что вопрос глупый, но можно ли сюда еще iSCSI прикрутить ?


Большое спасибо

[a_shats]

OK, чуть попозже...
По Вашим вопросам:
1. Нет, первоначально данная конфигурация вообще выстраивалась именно под эту связку софта
2. Есть опция- модуль GbE (7022-VE3 VEx 7020 GB Ethernet Line Card)
3. На базе Itanium 2 и AMD Opteron - есть, решений с интегрированным IB - нет, да и вряд ли в них есть особый смысл... Набортных FC тоже ведь нет
Какие решения - под какие есть отлаженный софт. На данный момент мы используем для таких вещей сервера на базе Intel Xeon DP (в 2-процессорниках) и AMD Opteron (в 4-процессорниках). Itanium 2 категорично рекомендовать не могу: несмотря на доступность, опыта их эксплуатации у нас нет.
Вообще говоря, с появлением FC массивов, умеющих держать и FC и SATA JBOD (RIO 3400, например), смысл наличия NAS в таком решении для меня совсем невелик. Разве что - в порядке фронт-энда (сервер который якобы NAS - но не имеющий собственной дисковой п/с подключенный к тому же ящику с рабочим LUN на SATA)
По поводу блейд- серверов - грабли в их опциях: они очень ограничены (количество) и весьма нехило стоят. На мой взгляд, сейчас они применимы разве что там, где очень дорого стоит аренда места(юнитов) и имеется нехилая задача...В смысле - Вам от блэйдов вряд ли толк будет...
4.По общему вопросу - ну, я уже порекомендовал
5. Зоопарк изрядный, но производительность и наличие всех нужных фич - самое то. Если сюда еще и iSCSI - ну, думайте сами - Вам всем ЭТИМ управлять

[CyberDrake]

Будут ли проблемы у данной конфигурации, рекомендованной Вами, с Oracle+RAC+Linux ?

В принципе предложенное оборудование (я уже в курсе какое ) имеет драйверы под Linux? так что проблем с аппаратной конфигурацией быть не должно.
Кстати, вот ссылка на Success Story http://www.infinicon.com/pdf/Oracle_10g ... e_0604.pdf
Главным плюсом Infiniband является не сколько его пропускная способность (хотя это тоже немаловажный факт), сколько малое время задержки передачи <~6мкс, что весьма важно для межузловых соединений.
Что касается шлюза IB-NAS, то я несколько не понимаю зачем он нужен. Его роль может играть обычный файловый сервер, у которого по IB может идти как работа с дисками, так и стек TCP-IP.

IPStor, судя по спискам сертифицированного оборудования, Infiniband пока не поддерживает, но собирается.
По поводу Blade серверов, их пока не поставляли, так как у брэндов (IBM, HP) цены особо доступными назвать весьма затруднительно, а наши горячо любимые Intel и Supermicro эти продукты объявили, но вот в доступе их пока нет, так что сами ждем.
На счет прикрутить IPStor к технологии Infiniband, я бы использовал предложенный уже  InfinIO 7000 сдля интерконнекта узлов Oracle шлюзом на FC, к которому по FC подключил бы уже IPStor сервер/кластер.

Есть ли какая-нибудь возможность назначать IB-серверам ресурсы хранилища (хотя бы не на уровне логических ресурсов IPStor, а LUN) ?

Скажу честно, не знаю не пробовал, но ограничений пока не вижу. Хотя может быть назначение будет не на уровне WWN серверов, а на уровне портов Infiniband коммутатора (но это только мои рассуждения).

[Archvile]

OK, чуть попозже...
По Вашим вопросам:
Вообще говоря, с появлением FC массивов, умеющих держать и FC и SATA JBOD (RIO 3400, например), смысл наличия NAS в таком решении для меня совсем невелик.

тут такое дело... объем файлового хранилища в перспективе достигает 50-100 ТБ, и ко всем нужен доступ, и нужна поддержка зеркалирования и всего такого прочего... Я вижу единственным решением - виртуализовать SAN и средствами IPstor-а или еще кого-нибудь сделаать файловый шлюз. Но, возможно, есть альтернатива ?

На базе Itanium 2 и AMD Opteron - есть, решений с интегрированным IB - нет, да и вряд ли в них есть особый смысл... Набортных FC тоже ведь нет

Это я про то что не является ли "мост" PCI/IB узким местом ?

5. Зоопарк изрядный, но производительность и наличие всех нужных фич - самое то. Если сюда еще и iSCSI - ну, думайте сами - Вам всем ЭТИМ управлять

А в смысле функциональности и перспективности решения, есть ли хоть один аргумент перехода с FC на iSCSI, если уже вложены денюжки в FC (кроме защиты инкапсулированных пакетов), если система географически не распределена ?

IPStor, судя по спискам сертифицированного оборудования, Infiniband пока не поддерживает, но собирается.

а нету на эту тему ссылочки ? хотя бы понять, будет ли это в ближайшие пару лет...

На счет прикрутить IPStor к технологии Infiniband, я бы использовал предложенный уже  InfinIO 7000 сдля интерконнекта узлов Oracle шлюзом на FC, к которому по FC подключил бы уже IPStor сервер/кластер.

Ну да, так и планируется

Скажу честно, не знаю не пробовал, но ограничений пока не вижу. Хотя может быть назначение будет не на уровне WWN серверов, а на уровне портов Infiniband коммутатора (но это только мои рассуждения).

Это я к тому, что как, по Вашему мнению, следует ли сейчас в комплекс с ipstor 4.0 прицепить IB или лучше пока подождать ?





вопросик вдогонку - не посоветуете систему резервного копирования 50ТБ, желательно дешевую D2D ( ) (будет использоваться для хранения снимков), чтобы можно было в идеале сделать снапшот, только тыкнув в консоли IPStor. Как вы относитесь к решениям HP, хотя бы в общем ? (в плане совместимости и эксплуатации) и примерную вашу стоимость такого решения, если есть


И еще вопросик - не посоветуете дисковую систему 50-100 ТБ, набираемую из модулей, производительностью не хуже lsi df4000r, у которой нет проблем с IPStor, также максимально дешевую и без аппаратного зеркалирования  :D   ?
и примерную вашу стоимость такого решения, если есть

Или все-таки лучше эти две системы набирать не модулями , а стойками и виртуализацией ?  :D

Спасибо

[gs]

IB собственно нужен не для дисковых систем, а в качестве быстрого внутрикластерного транспорта для Real Application Claster'а .

А что касаемо большого объема - посмотрите Chaparral RIO-SATA. Сухая емкость 60ТБ. Ценник относительно(!) гуманный - но его наверно лучше не в форуме обсуждать.

А насчет не хуже DF4000R - по линейному трансферу RIO/RIVA, даже с сата винтами, порвут его как бобик тряпку.
Реальный трансфер RIVA (младшенькая ) - 670МБ/с чтение, что-то около 500 на запись. И энто всего с одной банкой дисков, правда файберных. Но саташный аппарат на чтение не хуже, а при наличии сотни-другой винтов и на запись будет летать со свистом

[a_shats]

По вопросам:
1. RIO SATA (3400) Вашу проблему решит http://www.chaparralnet.com/prod/produc ... ifications
2. А кто мешает поставить их несколько ? AFAIK, софт соответствующий есть. Да и - это ж нехилый сервер должен быть, чтобы переварить то, что способна дать PCI-X 133 МГц
3. Имхо - ни одного. (FC->iSCSI)