SAS-SATA xBOD для 2-4 серверов

[ld_library_path]

Задача: оснастить небольшой вычислительный кластерок распределенным сториджем (т.е. каждому узлу кластера надо выделить дисковой памяти теров 4-8 ). Цель - специализированное хранилище для WORM-данных. Примение RAID-ов в любов виде не актуально. Возможности добавления локальных SATA-дисков нет. iSCSI не подходит ибо на кластере сеть НЕ езернет. Разворачивать SAN не кошерно. Посему вытекает DAS: SAS-SATA или FC-SATA (второе есессно менее интересно ибо требует приобретния множественных FC HBA). При наличии внешних SAS-портов на каждом сервере вариант SAS-SATA наиболее близок. Однако, Xyratex аппараты типа RS-1603-EBD, а тем более RA-4835, слишком велики (по объему для каждого сервера, а также по количеству дисков). Посему желаемо раздельное владение дисковой полкой между двумя (а лучше 4-мя) серверами. Отсюда вопросы:
1) возможно ли в принципе разделние доступа к JBOD/SBOD/EBOD со стороны нескольких host-портов? какой либо маппинг дисков на порты (например у того же зиратекса)?
2) если да (собственно и если нет тоже), то может ли уважаемое собрание подсказать путь решения данной задачки и указать на достойные варианты дисковых полок?

[gs]

Чтобы подключить внешние ящики, Вам в любом случае потребуется ставить некие адаптеры. Ну так что мешает воткнуть езернет карточки?
Какой-нибудь айскази аппарат типа ИБМ 3300 или инфортренд был бы самым удачным решением.
Ну или купить сас-сата аппарат (хератекс Е5412 или ИБМ 3200) и воткнуть в серваки сас адаптеры.

Джибод вешать на несколько машин - даже если заработает, то лучше заранее застрелиться.

[ld_library_path]

Cогласен что это аномально, однако вкладывать немалые деньги в RAID-контроллеры, которые не будут использоваться - тоже не хочется. iSCSI - в принципе вариант.
1) Можете ли вы посоветовать iSCSI-аппарат, который был бы очень ёмким как по количеству SATA-дисков, так и по общей ёмкости?
2) Интересна также характеристика "соотношение сырой ёмкости к числу iSCSI-портов".
3) Есть ли какие-нибудь отзывы о работе iSCSI в сети FastEthernet? Или без GE смысла особого нет залезать в этот iSCSI?
4) Есть ли положительные отзывы о production-применении iSCSI-инициаторов в Linux, FreeBSD ?

[gs]

1. IBM DS3300. Если хватит 16 дисков, то еще http://www.infortrend.com/main/2_produc ... 2130-4.asp
2. Не понял.
3. Скажите что-нибудь про потребную скорострельность.
4. Насчет фри не знаю (и предвижу проблемы), но в линуксе вроде проблем нет.

Что касается "ненужных рэйд контроллеров", то могу сказать, что головной модуль Xyratex 5402 стоит всего тонн на пять дороже джибода (это если двухконтроллерный!). Если как следует набивать винтами, то разница будет невеликая. Зато управлять всем этим хозяйством будет на порядок удобнее.

[exLH]

Можете ли вы посоветовать iSCSI-аппарат, который был бы очень ёмким как по количеству SATA-дисков, так и по общей ёмкости?
NetApp FAS6080, но маловероятно, что она Вам понравится. Если меньше, то NetApp FAS2020. Кроме того, IBM DS3300 (до 48-ми дисков 750ГБ).
Или, как вариант, HP AiO1200.

2) Интересна также характеристика "соотношение сырой ёмкости к числу iSCSI-портов".
3) Есть ли какие-нибудь отзывы о работе iSCSI в сети FastEthernet? Или без GE смысла особого нет залезать в этот iSCSI?
После прочтения №3 не вижу никакого смысла в вопросе №2 - если у Вас 100Мбит сеть, то в чем фишка большого числа портов?
Если скорость FE устраивает, то можно и без гигабита жить.

4) Есть ли положительные отзывы о production-применении iSCSI-инициаторов в Linux
есть
, FreeBSD ?
нет и не ожидается

[a_shats]

однако вкладывать немалые деньги в RAID-контроллеры, которые не будут использоваться - тоже не хочется. iSCSI - в принципе вариант.
 Не подскажете, где Вы видели iSCSI-JBOD ?
Я вообще не понял, с чего Вы взяли, что RAID-контроллеры, которые не будут использоваться ? У Вас совершенно никакой нагрузки нет ? С хранилищем работает один пользователь ? Отказоустойчивость и сохранность данных никак не интересует ?
1) Можете ли вы посоветовать iSCSI-аппарат, который был бы очень ёмким как по количеству SATA-дисков, так и по общей ёмкости?
Насколько конкретно емким ?
2) Интересна также характеристика "соотношение сырой ёмкости к числу iSCSI-портов".
Характеристика выглядит примерно как соотношение в огороде бузины и в Киеве дядьки.
3) Есть ли какие-нибудь отзывы о работе iSCSI в сети FastEthernet? Или без GE смысла особого нет залезать в этот iSCSI?
Работает ровно с той же производительностью, что и SMB - разве что представление винтов с т.з. сервера отличается (сетевой либо локальный ресурс).
4) Есть ли положительные отзывы о production-применении iSCSI-инициаторов в Linux, FreeBSD ?
Любым поисковиком по iSCSI +"success story".

[ld_library_path]

Ух, прямо не ожидал такого внимания Столько желающих помочь....
Как я уже писал раньше, задача специфическая - раздать КАЖДОМУ узлу HPC-кластера некоторый дисковый ресурс. Емкость этого ресурса на один узел по моим оценкам должна быть порядка 4-16 ТБ. Защиту целостности предполагаю делать множественной репликацией самих объектов (что-то типа файлов), а не введением избыточности на блочном уровне. Посему RAID не нужен.  К томуже целостность терабайтных RAID-массивов это отдельная песня. Короче если расклад с JBOD'ами не катит, то iSCSI в принципе это вариант. Но в этом случае Дисковая система должна иметь как можно больше дисковых слотов, диски должны быть наибольшей емкости (SATA), и выдаваться узлам кластера по одному на узел. В этом контексте интересен механизм маппирования дисков на узлы-потребители. Как это делается обычно?

[ld_library_path]

Да забыл. И цена конечно должна быть разумной.

[gs]

Разумной - это сколько?
И узлов сколько?
Целостность терабайтных массивов у нас почему-то не вызывает проблем.
Маппинг делается средствами рэйд контроллера.

[ld_library_path]

Разумной - это сколько?

скажем так, Xyratex более предпочтительней чем Hitachi

И узлов сколько?

скаже так, три варианта - 60, 300 и 600

Целостность терабайтных массивов у нас почему-то не вызывает проблем.

спорить не буду -  проблем у вас не вызывает и хорошо

Маппинг делается средствами рэйд контроллера.

а привязка по IP-адресу ?

[gs]

Простите, про 600 узлов по 16ТБ на каждый - это шутка или опечатка? Или у Вас и правда есть несколько десятков миллионов долларов?

[ld_library_path]

Простите, про 600 узлов по 16ТБ на каждый - это шутка или опечатка? Или у Вас и правда есть несколько десятков миллионов долларов?

Ну нет конечно столько. К тому же чем больше число узлов, тем меньше дисков. 600 узлов сейчас нет, но в стратегической перспективе - легко. И это далеко не HighEnd сервера - просто PC-шки.

[gs]

Если исходить из среднего - по 8ТБ на ноду, и минимального количества нод - 60шт, то система даже на инфортрендах потянет на поллимона отнюдь не рублей. Пишите адрес - приедем, спляшем

[ld_library_path]

Ух-ты, перебор конечно
может быть эта затея будет реальна через год-другой - как плотность дисков подрастет.
Но все равно спасибо за участие )