Хочу собрать дома HPC кластер - есть вопросы.

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Djames
Junior member
Сообщения: 2
Зарегистрирован: 13 янв 2010, 00:39
Откуда: Москва

Хочу собрать дома HPC кластер - есть вопросы.

Сообщение Djames » 13 янв 2010, 01:25

Понадобился дома кластер - в оборудование практически ничего не понимаю. Бюджет на все это, понятное дело, сильно ограничен.
Хочу 6 компов объединить между собой в виде звезды. Будет ли разница между оптикой и медью по задержке (1 гигабит)? Расстояние меньше метра. Планируется без свитча - в центральном сервере 5 сетевых карт.
В идеале хотелось бы расшарить всю оперативную память на все процессоры, поэтому latency критична. На 10G денег пока нет (если только бу оборудование не получиться намутить с ebay).

И какая минимальная конфигурация должна быть у центрального сервера, если в пиковой загрузке все каналы будут практически полностью задействованы?

Или это бред с технической точки зрения?

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение setar » 13 янв 2010, 12:27

Вы к вопросу подошли с неправильной стороны.
какие задачи?
распределённый рендеринг картинок будет прекрасно работать и на 100Mbps Ethernet,
А решение "плотных" задач и на 10Gbps Ethernet в латентность и канал упиратья будет, только infiniband спасёт.
Классифицируйте вашу задачу и если она "плотная" забудте о домашнем кластере, ибо стоимость одной карты infiniband ~1500$ не говоря про коммутатор да и собственно сервера.
IMHO это неподъёмно для финансирования физ лицом, да и лишено смысла.
t.me: @RoboforumSetar ; st@3nt.ru

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение setar » 13 янв 2010, 12:31

Если вы хотите SSI ("В идеале хотелось бы расшарить всю оперативную память на все процессоры") то забудте.
собрать можно на чем угодно, даже включится, но решать задачи будет медленее одного квадкора современного
t.me: @RoboforumSetar ; st@3nt.ru

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение setar » 13 янв 2010, 12:43

и ещё , как правило в HPC нет "центрального" сервера, топология обычно тор, трех мерный тор, ну на крайняк звезда в центре которой инфинибенд коммутатор с толстой полосой матрицы коммутации.
есть как правило озадачивающий сервер, и обычно он загружен меньше решателей
t.me: @RoboforumSetar ; st@3nt.ru

Djames
Junior member
Сообщения: 2
Зарегистрирован: 13 янв 2010, 00:39
Откуда: Москва

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение Djames » 14 янв 2010, 00:31

Кластер нужен для тестирования различных алгоритмов решения оптимизационных задач.
Как правило это алгоритмы на большем дереве - размером порядка 30Gb (это если сильно урезать задачу).
Текущие алгоритмы в принципе нормально сегментируются по данным - и их можно поверх tcp/ip без проблем организовать. Я просто подумал, что может получиться что-то большее ))

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение setar » 14 янв 2010, 15:26

ну что могу тогда сказать, делайте на меди - дешевле.
потери у вас основные будут не на латентности интерфейса а на стеке ip
конфигурация центрального сервера - просто памяти побольше (~4G на кеши + рабочее поле) и с помошью тюнинга (sysctl) расширить кеши ip стека в 4-8 раз
t.me: @RoboforumSetar ; st@3nt.ru

Kuza
Junior member
Сообщения: 1
Зарегистрирован: 09 июл 2011, 18:10
Откуда: krsk

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение Kuza » 09 июл 2011, 18:19

Много уже конечно прошло времени с открытия данной темы, но вдруг еще есть кто.

У меня задача увеличить скорость выполнения рендера хотя бы на порядок, в идеале конечно сделать масштабируемое решение. Вариант с распределением вычислений самим рендером не дает нужного порядка. В связи с этим стал смотреть в сторону кластерных технологий.

Вопрос: Могу ли я на (допустим) HPC-кластере запустить стороннее приложение, или как вариант запустить гипервизор и в нем запустить OS, которая сможет работать на всех ресурсах, которыми будет располагать кластер.

GoldHands
Junior member
Сообщения: 11
Зарегистрирован: 12 июл 2011, 12:01
Откуда: Москва

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение GoldHands » 12 июл 2011, 13:17

Kuza писал(а):Много уже конечно прошло времени с открытия данной темы, но вдруг еще есть кто.

У меня задача увеличить скорость выполнения рендера хотя бы на порядок, в идеале конечно сделать масштабируемое решение. Вариант с распределением вычислений самим рендером не дает нужного порядка. В связи с этим стал смотреть в сторону кластерных технологий.

Вопрос: Могу ли я на (допустим) HPC-кластере запустить стороннее приложение, или как вариант запустить гипервизор и в нем запустить OS, которая сможет работать на всех ресурсах, которыми будет располагать кластер.
у меня визы в 3DS Max рендерят, тут все просто - увеличивать кол-во нод в ферме. Недавно с Quad перевел на i7-2600 - скорость рендера почти в 3 раза увеличилась.
Думал на HPC сделать ферму, но 3DS Max не работает еще там.

Когда-то на ixbt обсуждали эту тему и там приводили вот такой вариант построения фермы: строится кластер на Linux, поднимается там Windows, а на ней уже запускается нужное приложение.
Получается виртуалка с сотней ядер :)

P.S. как бы не ругались, но у меня в ферме десктопное железо, стабильности под наши задачи вполне хватает. А вот для анимации и рендера в неделю уже нужны серверные железки.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение gs » 12 июл 2011, 14:39

Все зависит от прикладного софта. Например 3Дмакс сам имеет штатные средства организации фермы и костыли ему только повредят.

Решения для объединения нескольких машин в одну большую SMP существуют (например www.scalemp.ru), но целесообразность, особенно в свете цены, под большим вопросом. А вот виртуализация тут точно мимо кассы - она служит для прямо противоположной задачи.

sivanov
Advanced member
Сообщения: 127
Зарегистрирован: 25 апр 2008, 11:20
Откуда: Свердлоская обл.

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение sivanov » 21 июл 2011, 14:51

не пугайте ценами на IB железо.
бу карты DDR можно купить по $100-$150. попадают довольно часто.
свитч можно купить за $250-500
только надо иметь терпение.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Хочу собрать дома HPC кластер - есть вопросы.

Сообщение gs » 21 июл 2011, 15:24

Вообще-то речь шла о другом.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 11 гостей