ВК с внешним дисковым массивом

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

ВК с внешним дисковым массивом

Сообщение hgh » 30 сен 2004, 10:45

Итак, стоит задача сконфигурировать вычислительный кластер с внешним дисковым массивом. На этом же кластере будет висеть веб-сервис для интерактивного доступа к посчитанному.
В данный момент планируется три двухпроцессорных узла. Так же необходимо предусмотреть возможность расширения.
Ориентировочный балланс - 25 - 30 тысяч долларов.
Хотелось бы послушать мнение специалистов на тему на чем подобное собрать?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 30 сен 2004, 10:56

Сервера:
Что за софт будет ? Под какую платформу он лучше заточен - Intel, AMD ? Каков нужен объем ОЗУ ?
Внешний массив:
Какая будет нагрузка на массив: линейная (последовательный доступ большими блоками или поток) или же похожая на БД (случайный доступ мелкими блоками) ?
Бюджет Ваш вполне позволяет выстроить правильное решение с небольшим запасом на FC, но - чтобы давать конкретные рекомендации, необходимы ответы на вопросы выше.
ЗЫ: сорри, просмотрел откуда Вы ;) информацию могу дать только в московских (наших ;) ) ценах ;)

hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

Сообщение hgh » 30 сен 2004, 11:03

a_shats писал(а):Сервера:
Что за софт будет ? Под какую платформу он лучше заточен - Intel, AMD ?
Софт самописный, заточен под Intel.
a_shats писал(а): Каков нужен объем ОЗУ ?
Не менее 6ГБ.
Не будучи большим специалистом в серверных технологиях, все же рискну предположить, что ECC-память не подойдет из-за низкой производительности оной. В расчетных задачах все же производительность важнее надежности.
a_shats писал(а): Внешний массив:
Какая будет нагрузка на массив: линейная (последовательный доступ большими блоками или поток) или же похожая на БД (случайный доступ мелкими блоками) ?
Линейная

ЗЫ. Я тоже бюджет в американских долларах, а не в локальной валюте прикинул :), бюджет более чем примерен. Московские цены вполне подойдут - сейчас меня больше интересует их порядок.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 30 сен 2004, 11:32

А какой объем дисковой требуется?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 30 сен 2004, 11:35

Что касается софта для расшаривания дисковой, раз уж у Вас все остальное все равно самописное, можно использовать RedHat Global File System (GFS) - она доступна в исходниках по GPL.
Исхожу по железу опять же из наших реалий.
Железо можно применить примерно такое:
Supermicro 6013P-8/2xXeon DP 3,2 Ghz 1 MB cache/6x1Gb DDR266 ECC Registered/QLA2340/2xHDD 36 Gb U320 10K rpm
Это 1U платформа.
SAN в составе:
DotHill SANNet II FC 5x36 Gb 10K rpm bundle
QLogic SANbox 5200 стекируемый свич на 8 портов
Ну и прилагающиеся SFP-шки, кабеля...
В итоге - чуть больше 30К.
Все исходя из указанного бюджета и наших ценовых реалий.
Упс, сорри, считал пока для двух узлов, для трех - цена увеличится на стоимость одного узла...

hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

Сообщение hgh » 30 сен 2004, 12:11

a_shats писал(а): Supermicro 6013P-8/2xXeon DP 3,2 Ghz 1 MB cache/6x1Gb DDR266 ECC Registered/QLA2340/2xHDD 36 Gb U320 10K rpm
Хммм, у Supermicro указано, что X5DPR-8G2+ стоящая в 6013P-8, не держит 800 FSB, а се критично...

Да, и если по цене не помещаемся в FC, в каком направлении опускаться? ;)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 30 сен 2004, 12:28

А, ну то есть Вы Ноконы хотите ? Это другое дело, конечно, и стоит дороже, кстати... Действительно, Нокону держат матери только на 7325, 7320, 7520 - а это продукты новые...
В каком - направлении "опускаться" - трижды хм... Вряд ли Вам удастся построить человеческий кластер с более чем 3 узлами на SCSI. Ну можно, конечно - но цена резво приблизится к FC...

hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

Сообщение hgh » 01 окт 2004, 06:24

a_shats писал(а):А, ну то есть Вы Ноконы хотите ? Это другое дело, конечно, и стоит дороже, кстати... Действительно, Нокону держат матери только на 7325, 7320, 7520 - а это продукты новые...
Да, Xeon Nokona, 800FSB... Причем, по возможности 1U платформа.

ЗЫ. А разве SANbox 5200 - не на 16 портов?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 01 окт 2004, 10:08

На ноконе можно смотреть в сторону платформы 6014H-i2. Ставить туда 2 SATA диска в зеркало для системы (или грузиться прямо с дискового массива).
qlogic sanbox 5200 - он и 8-ми, и 12-ти, и 16-ти, и даже 20-ти портовый коммутатор. В зависимости от желаний, покупаются те или иные лицензии и, путем несложной активации, добавляются нужные порты.

hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

Сообщение hgh » 01 окт 2004, 10:33

exLH писал(а):На ноконе можно смотреть в сторону платформы 6014H-i2. Ставить туда 2 SATA диска в зеркало для системы (или грузиться прямо с дискового массива).
А проблем со смешиванием SATA и внешнего массива не будет?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 01 окт 2004, 11:19

Абсолютно никаких. Вам эти диски нужны только чтобы машину загрузить. В конце концов, CD-ROM-то у Вас работает как-то? :)

hgh
Junior member
Сообщения: 18
Зарегистрирован: 05 янв 2004, 12:45
Откуда: Singapore
Контактная информация:

Сообщение hgh » 01 окт 2004, 14:23

Большое спасибо за помощь.

Однако позволю себе повторить вопрос про ECC - на сколько я слышал, производительность ECC-памяти существенно ниже чем памяти с той же частотой, но без ECC. Не мог бы кто-нибудь просвятить в данном моменте?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Сообщение exLH » 01 окт 2004, 14:29

Производительность модулей (если я что-то понимаю) не зависит от ECC. (могу ошибаться).
Однако совершенно точно регистровая память будет работать медленнее, чем не регистровая. Количественные измерения делать достаточно сложно, хотя ранее (на древних мамках на 440BX) они проводились.
Для Вас важно то, что серверные чипсеты (7520, 7320) требуют чтобы память была и ECC, и Registered, поэтому добиться играми с памятью ускорения у Вас не получится.

Iggy
Junior member
Сообщения: 3
Зарегистрирован: 09 сен 2004, 15:40
Откуда: EMC

а международный опыт? ;)

Сообщение Iggy » 04 окт 2004, 17:03

В общем, есть довольно много внедрений HPC кластеров на недорогих Интеловых платформах. О централизованном хранилище там, как правило, говорится скорее в терминах "общий доступ" и/или "дешевизна". Соответственно, при этом никакого FC не используется - скорее, NAS-подобные системы. Например, можно посмотреть www.megware.com - у них есть чуть ли не входящий в top500 кластер. Так этот кластер вообще построен без общего хранилища и myrinet между узлами.
На мой взгляд, надо адекватно оценить требуемую производительность СХД, и соответственно выбрать систему - может быть, окажется достаточно просто файлового сервера...

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей