Выбор сервера для математических расчетов

[CrazyFrog]

времена Silicon Image ушли в прошлое).

Silicon Graphics вполне успешно эксплуатируется многими, у них сейчас есть как и SMP, так и MPP платформы. Довольно интересные, на Itanium и Xeon. Свой MIPS они забросили, да. Но ядра MIPS и до сих пор согревают нас  ;)

А может ли кластер обрабатывать на разных нодах не куски одного задания, а полность задания

Если задания независимы друго от друга и их можно запускать из командной строки, то вам  поможет job scheduler. Такой как PBS/Torque или Sun Grid Engine. Рекомендую последний. Оба - свободный софт.

ЗЫ форум снова некорретно показывается при ширине в 1024 pix.

[setar]

ЗЫ форум снова некорретно показывается при ширине в 1024 pix.

Дык блин дезигнеры наши умелые рекламу в правый верхний угол воткнули ...
временное неудобство, а вообще за такое пинать нужно ...

[Andrey N. Oktyabrski]

А нехай слева под логотипом этот баннер влепят, там он никому мешать не будет.

[gs]

Так семинар уже прошел - вырежи его нахрен.

[setar]

Коллеги, блин у вас всех такой огромный опыт построения и работы с вычислительными кластерами, я просто фигею ...
Я эту тему грызу уже второй год, а нюансов и тем для изучения ещё море.
Хоть бы кто мне тему эту линком скинул - не успеваю я отслеживать весь форум...

В общем мой ответ такой: уважаемый ZaYac обращайтесь лично ко мне, я вам расскажу все тонкости и варианты решения, кроме того могу дать тестовый удалённый вход на работающий демокластер.

[ZaYac]

В общем мой ответ такой: уважаемый ZaYac обращайтесь лично ко мне, я вам расскажу все тонкости и варианты решения, кроме того могу дать тестовый удалённый вход на работающий демокластер.

Что-то личные сообщения не отправляются...

Просидев несколько дней в инете над попыткой разобраться в кластерах, grid и т.п. нажил только головную боль.

В одном из пекетов, поддерживающем multiproccessing в документации нашел следующие способы multiproccessing:
1)LSF Load Sharing Facility
2)DPL distributed process library.
3)rsh
4)ssh

Попробовал openmosix. До sun grid руки не дошли и пока не совсем осознал что такое.
Теперь о том что хочется
0) В организации есть 2 сервера на opteron и DS4200 от IBM
1) Хочется объеденить планируемы серверы  и старые серверы в единое целое. Что б все пользователи удаленно (по ssh) заходили по одному IP.
2) Новый (новые сервера) должны иметь в совокупности 24 ядер + 4 Гига памяти на каждое

[gs]

Черкните письмом на setar собака trinitygroup.ru

[setar]

термины правильные начинают уже появляться а вот общего понимания пока нет...

нужно определиться с используемой технологией распараллеливания.
она может быть:

• встроенна в ПО и для дистрибьюции задач используется прямой консольный вход в систему (rsh,ssh). Этот метод чаще других используется разработчиками считающими себя очень крутыми и игнорирующими чужие наработки. Недостатки метода в том что механизм использует стек tcp/ip который даже будучи принудительно завёрнут на быстрый интерконнект (infiniband) даст около 40% потерь на накладные расходы при передаче данных, отсюда задержки и замедление скорости работы кластера в целом.
• Использование библиотек распределенных вычислений (MPI,MPICH,MVAPICH2 ...).
  Самый эффективный путь, быстрый и отдающий механизм решения задач и проблем интерконнекта на откуп специально заточенного ПО.
  Прекрасно работает, использует максимум возможностей интерконнекта.  
• Третий путь это применение распределённой SMP технологии виртуализации системы (openmosix и другие). Путь головной боли для админа, не рекомендуется в системах с повышенными требованиями к надежности решения. Производительность больше всего зависит от скорости (и латентности) интерконнекта.

Второй вопрос который нужно будет решить - общая файловая система (параллельная). Суть в том что простое монтирование сетевого файлового ресурса на всех узлах приводит к блокировкам файла при одновременном доступе Ну и уменьшение производительности по эффекту узкого горлышка

А связаться с омною просто, у меня в профиле указана и почта, и icq.
можно даже голосом позвонить +7(812) 327 59 60 (доп206)
P.S. а приват сообщения на форуме отключены

[ZaYac]

Судя по наличию следющих строк в мануале

Our Distributed Processing Library (DPL), which is integrated with DP-enabled applications, provides a virtual infrastructure for creating parallel and distributed processing applications  and make our applications work in multiple environments. DPL uses a user generated configuration file for defining the distributed computing environment required by our tools. A single configuration file can be used across multiple DPL-enabled applications in a flow, or you can have multiple configuration files. Based on your input, the application to determines which DPL configuration to use.

DPL supports a virtual infrastructure across LSF 6.x, RSH, and SSH-based distributed computing. Supported operations include job submission, job monitoring (such as status checks), and job control (stop, resume, and terminations).
а так же

You can also use DPLView to monitor distributed processing jobs as they execute. DPL Monitor provides you the ability to watch jobs in progress, report the status of a job, and view the resource consumption for a job. DPLView retrieves the job information by connecting to a specified DPL master, and can be connected to different DPL masters at different times. A DPL master is capable of accepting connections from more than one DPLView, so different users can connect to a single DPL master from remote locations.

мы имеем дело с первым вариантом ....

[ZaYac]

А что касается файловой системы... нагрузка на нее очень не большая. Сейчас один сервер подключен по FC к массиву, который по NFS раздает остальным.... хотя так как деньги дают один раз может и имеет смысл потратиться на FC свитч и попробовать настроить GFS.

[ZaYac]

В свежей версии есть поддержка Sun Grid
You can now use the Host Setup page of the Multiple-CPU Processing form to specify options for distributed processing using the Sun Grid Engine (SGE).

[setar]

Про файловую систему:
NFS и является узким горлышком - все узлы конкурентно ломятся по одному интерфейсу, максимальный трансфер 100МБ/с разделён на кол-во узлов.
забудте про GFS - глюк на глюке, либо коммерческая GPFS либо GlusterFS по лицензии GPL

строить параллельную файловую систему через FC - сами придумали ?
а наличие слов Target-Initiator в описании способа соединения не смущает ???

[setar]

SGE - достаточно бредовая система дистрибуции задач, ещё более медленная чем постановка через ssh

c DPL не сталкивался, ничего не могу сказать.
но судя по всему это оба коммерческие продукты и не очень интересны в вашем случае.

судя по всему остаётся ssh...

[setar]

далее по опыту:
- берите не менее 2GB оперативки на ядро.
- используйте максимально быстрый интерконнект, даже несмотря на то что в вашем случае придётся гонять задачи поверх стека tcp/ip
- не используйте решения AMD (без комментариев, в споры не ввязываюсь, из разряда вещей которые у военных прописываются красной краской - в память о пролитой крови)
- процессоры выбирайте с максимально быстрым FSB (1333), на нынешний момент времени оптимальной ценой за гигафлопс производительности обладают процы Intel QuadCore 2.5 Ггц
- память максимальной частоты (800Mhz)

рекомендую обратить внимание на вот такие платформы они специально заточены под такие задачи. Особенность в том что в 1U получаем 2 узла, и интегрированный в плату инфинибенд порт.

[ZaYac]

строить параллельную файловую систему через FC - сами придумали ?
а наличие слов Target-Initiator в описании способа соединения не смущает ???

мммм...то есть  по FC паралельные ФС нельзя реализовать. Тогда я совсем не понимаю как из DS4200 сделать массив, на котором будет работать паралельная ФС