посоветуйте конфигурацию кластера

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Crazyzhuk
Power member
Сообщения: 37
Зарегистрирован: 25 сен 2006, 12:57
Откуда: Самара

посоветуйте конфигурацию кластера

Сообщение Crazyzhuk » 25 сен 2006, 13:11

есть предприятие, работающее с многоэлементными (5 млн.) расчетами в Nastran и Ansys.
руководство просит подобрать конфу кластера под эти задачи и пока готово расстаться с 20-30 тыс. у.е.

уважаемые специалисты, подскажите пожалуйста:
1. что можно собрать за эти деньги
2. нужно ли внешнее хранилище данных
3. критична ли связь по fiber chanel или можно обычный гигабит
4. как должен выглядеть этот кластер в идеале

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 сен 2006, 13:15

У Вас достаточно специфичные задачи. Расшифруйте немного подробнее плиз.

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 25 сен 2006, 13:27

Есть такое подозрение, что это будет просто число дробилка. Для Nastran скорее всего нужен будет модуль Nastran Distributed Memory Parallel (DMP).

Есть вот такой пример организации:
http://www.mscsoftware.com/support/libr ... p03099.pdf
Староват немного, но ИМХО принцип не поменяется.

Crazyzhuk
Power member
Сообщения: 37
Зарегистрирован: 25 сен 2006, 12:57
Откуда: Самара

Сообщение Crazyzhuk » 25 сен 2006, 13:34

в том то и дело, что я не могу конкретизировать поставленную задачу, т.к. не обладаю большей информацией. сюда бы еще спеца по озвученному ПО...
нужна очень высокая производительность для сложных математических расчетов в ограниченное время

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 25 сен 2006, 14:30

Crazyzhuk писал(а): нужна очень высокая производительность для сложных математических расчетов в ограниченное время
Вычисления, вычислениям рознь. Некотором интерконнект не важен, а некоторые очень чувствительены к нему. Причем порой важна или латенстость, или пропускная способность или все вместе. Аналогично можно сказать и про память: некоторым нужно много, а некоторые спроектированы так, что бы в кэш влезть.

Если ПО распараллеливает из коробки, и алгоритм для вас черный ящик, то имеет смысл обратиться к поставщику софта и к соответсвующим тестам. Если алгоритм распараллеливания проектируют собственные разработчики, то они должны определить применые требования, ну или хотя бы озвучить порядки цифр. Думаю, за те деньги, которые это ПО стоит получить консультацию или даже взять "на попробовать" не составит труда.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 25 сен 2006, 14:41

Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет :) Поставить хоть инфинибанду можем, были б деньги :)
Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 25 сен 2006, 14:48

Еще добавочка про Nastran. Судя по этой http://www.mscsoftware.com.my/products/ ... an_dmp.htm страничке распараллеливание осуществляется методом декомпозиции области (domain decomposition), а этот метод очень хорош в том плане, что не требует больших затрат на пересылку данных между узлами. Это подтверждают результаты по ссылке приведеной мной чуть выше - при fast ethernet практически линейный рост. Метод декомпозиции может такое. Где то на сайте производителя видел, что все отлично работает до 64 CPU. Т.о. образом за ваши деньги наверное взять несколько штук двухпроцессорных узлов. Цену на софт то же стоит прикинуть.

Еще раз повторюсь, лучше потестировать. Например попросить у постовщика оборудования 3-4 (можно немного разных, но сходных по хар-кам) узла и посмотреть на масштабируемость задачи.

Crazyzhuk
Power member
Сообщения: 37
Зарегистрирован: 25 сен 2006, 12:57
Откуда: Самара

Сообщение Crazyzhuk » 25 сен 2006, 14:49

a_shats писал(а):Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет :) Поставить хоть инфинибанду можем, были б деньги :)
Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...
с бортовым GbE согласен, остальное не потянем при этих деньгах
разъясните, пожалуйста, что такое PD и нужно ли 12 узлов и такое большое хранилище(нужно ли оно вообще для нашей задачи математических вычислений)

и насчет прикидок если можно в цифрах

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 25 сен 2006, 14:53

a_shats писал(а):Andrew Sapronov
В указанный бюджет из интерконнекта ничего, кроме бортовых GbE не лезет :) Поставить хоть инфинибанду можем, были б деньги :)
Я прикидывал ужо 12 узлов на PD+минимальное хранилище на SATA 1-1,5 ТБ, но - не знаю, насколько это будет соответствовать нагрузке...
Без анализа алгоритма, модели для обсчета, софта - прикидки не имеют смысла.

Т.е. имеет смысл знать размер модели на диске, как с моделью работает софт, в какой форме получаются результаты, ну и естественно хотя бы порядок разбиения. 5 млн. элементов это не много. Даже если такие матрицы параллелить "в тупую" 8ми узловой двухпроцессорный кластер будет ее попросту рвать (на гигабите), а средненький сервер в качестве простенького NAS справится с нугрузкой.

Это "в тупую". Но не забываем, что это все программы конечно эллементного анализа, получаемые матрицы (или методы) очень специфичны, а следовательно решать можно еще быстрее, а при domain decomposion, при определенных условиях, интерконнект можно свести к нулю.
Последний раз редактировалось Andrew Sapronov 25 сен 2006, 15:16, всего редактировалось 2 раза.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 25 сен 2006, 15:00

Хранилище внешнее наверно особого смысла не имеет (да и дорого это). Наверно сойдет банальный файл-сервер.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 25 сен 2006, 15:00

Crazyzhuk
Это для общего случая. 12хPentium D - это 24 процессорных ядра, считал 950-е - с тактовой частотой 3,4 ГГц и по 2 МБ кэша L2 на ядро :)
Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов :) И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.
Andrew Sapronov
Абсолютно с Вами согласен.
Как и писал, прикидывал для общего случая такое:
узел
Supermicro 5015M-MF/Pentium D 950/4x1GB DDRII-533 ECC/SATA-II 80 GB 7200 rpm
хранилище
Supermicro 5015M-MT/Pentum D 930/2x512 MB DDRII-533 ECC/3Ware 9550SX-4LP+BBU/4x500GB 7200 rpm SATA-II

Аватара пользователя
Andrew Sapronov
Advanced member
Сообщения: 107
Зарегистрирован: 05 июл 2005, 17:23
Откуда: Питер

Сообщение Andrew Sapronov » 25 сен 2006, 15:14

Чуть выше дополнил пост.

ИМХО про железо:
a_shats писал(а): Как и писал, прикидывал для общего случая такое:
узел
Supermicro 5015M-MF/Pentium D 950/4x1GB DDRII-533 ECC/SATA-II 80 GB 7200 rpm
Для общего случая это, наверное, само то.
Я бы думал сторону двухкратного уменьшения узлов с двухкрантным увеличением процессоров на каждом. Но опять таки все зависит от объема памяти, и то чего там софт умеет поддерживать. Для счета я бы брал двухпроцессорные оптероны с 8 гиг. Правда как у них там сейчас с ценам я не знаю и опять таки софт ...
a_shats писал(а): Supermicro 5015M-MT/Pentum D 930/2x512 MB DDRII-533 ECC/3Ware 9550SX-4LP+BBU/4x500GB 7200 rpm SATA-II
Вполне подойдет.

Crazyzhuk
Power member
Сообщения: 37
Зарегистрирован: 25 сен 2006, 12:57
Откуда: Самара

Сообщение Crazyzhuk » 25 сен 2006, 15:28

a_shats писал(а):Crazyzhuk
Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов :) И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.
Почему SATA а не SCSI, который быстрей в 2 раза?
Опять же отказоустойчивость нам не важна, зачем RAID 5 ?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 25 сен 2006, 15:32

Я бы думал сторону двухкратного  уменьшения узлов с двухкрантным увеличением процессоров на каждом. Но опять таки все зависит от объема памяти, и то чего там софт умеет поддерживать. Для счета я бы брал двухпроцессорные оптероны с 8 гиг. Правда как у них там сейчас с ценам я не знаю и опять таки софт ...
Это исключительно cost-effective решение, увы, узел на 2х280 Оптеронах с 8 ГБ ОЗУ стоит более, чем вдвое дороже в сравнении с предложенными ;) Я бы даже сказал - с трудом влезает всего 5 узлов, т.е. 20 ядер :( Все-таки не имеют Оптероны такого преимущества в производительности, чтобы 20 ядер К8 2,4 ГГц были шустрее 24 ядер NetBurst 3,4 ГГц, имхо...

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 25 сен 2006, 15:34

Crazyzhuk писал(а):
a_shats писал(а):Crazyzhuk
Хранилище - это место, куды кладут промежуточные и окончательные результаты расчетов :) И это не много - всего лишь 4х500 ГБ SATA винта в RAID5.
Почему SATA а не SCSI, который быстрей в 2 раза?
Опять же отказоустойчивость нам не важна, зачем RAID 5 ?
1. В чем именно SCSI быстрее в 2 раза ?  :D  Будет 5-12 дохленьких линейных потоков, SATA вполне потянет.
2. Про отказоустойчивость - а у Вас, извините, эти все расчеты будут делаться для прикола, или таки для результатов ? ;)

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 15 гостей