Решение для крупного кластера на базе Infiniband и GbE

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
Archvile
Advanced member
Сообщения: 97
Зарегистрирован: 28 окт 2003, 18:55
Откуда: Санкт-Петербург

Решение для крупного кластера на базе Infiniband и GbE

Сообщение Archvile » 04 июн 2007, 12:04

Имеется высокопроизводительная кластерная система (в стадии закупки), для которой  необходимо объединить в единую сеть 128 узлов по интерфейсу Infiniband, и 512 узлов по интерфейсу GigabitEthernet. Территориальная распределенность - помещение примерно 40x40 метров. Устанавливаемый в узлы адаптер infiniband: QHT7140-SP. Аппаратура коммуникации infiniband должна обеспечивать минимальную задержку.

Какое оборудование рекомендуете ?
Как я понимаю, в infiniband есть проблема с расстоянием <15м ? Т.е. надо изобретать "хитрую" топологию ?
Занимаетесь ли вы такими вещами ? Если да, можно ли получить от вас коммерческое предложение для закупки ?

Спасибо.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Решение для крупного кластера на базе Infiniband и GbE

Сообщение Stranger03 » 04 июн 2007, 12:09

Узлы под какой ОС и ПО работают?

Archvile
Advanced member
Сообщения: 97
Зарегистрирован: 28 окт 2003, 18:55
Откуда: Санкт-Петербург

Сообщение Archvile » 04 июн 2007, 12:16

уточню в течение часа; ОС скорее всего redhat 64bit

Главный волнующий вопрос - что делать с расстояниями
Последний раз редактировалось Archvile 04 июн 2007, 12:21, всего редактировалось 1 раз.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 04 июн 2007, 12:21

Archvile писал(а):уточню в течение часа; ОС скорее всего redhat 64bit
Уточните, поскольку рекомендации по железу будут напрямую зависеть от используемого кластерного ПО. И как оно будет взаимодействовать с железом.

Archvile
Advanced member
Сообщения: 97
Зарегистрирован: 28 окт 2003, 18:55
Откуда: Санкт-Петербург

Сообщение Archvile » 04 июн 2007, 15:01

уточнил про ОС - на узлах infiniband стоит linux suse, на узлах GbE стоит Windows, софт какой-то свой.

Попутно сразу еще вопрос - нормально ли заработает связка "адаптер QHT7140 - трансивер CX4 на оптику - свич Silverstorm 9120" (в даташите QHT7140 вроде сказано про поддержку) ?

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 04 июн 2007, 20:53

Archvile писал(а):"адаптер QHT7140 - трансивер CX4 на оптику - свич Silverstorm 9120" (в даташите QHT7140 вроде сказано про поддержку) ?
Вы про External fiber optic media support? Если честно я пока этого устроства в глаза не видел. Как правило для соединения мы использовали IBTA стандартный кабель к свичам. У него свой коннектор. По поводу подключения и использования софта напишу завтра, хочется уже домой поехать.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Сообщение Stranger03 » 05 июн 2007, 15:54

Общая картинка подключения инфинибенда и изернет файбера может выглядеть так: берете пару 9080 свичей, в нем учитываете необходимое количество файберных и инфинибендовых портов, к нему подключаете мелкие свичи 9024, хосты к мелким свичам. На линуксовые сервера с инфинибендом ставите IPoIB и вперед. Для виндовых серверов достаточно поставить драйвера для файберного изернета.

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей