Выбор сервера для математических расчетов

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Сообщение gs » 04 июл 2008, 16:05

Дисковую можно через какой-нибудь сервак сделать NFS'ом...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 04 июл 2008, 16:09

ZaYac писал(а):
setar писал(а): строить параллельную файловую систему через FC - сами придумали ?
а наличие слов Target-Initiator в описании способа соединения не смущает ???
мммм...то есть  по FC паралельные ФС нельзя реализовать. Тогда я совсем не понимаю как из DS4200 сделать массив, на котором будет работать паралельная ФС
один или для балланса 2 шлюзующих сервера
примерно так как на картинке в приложении, только в вашем случае будет один массив и коммутаторы FC не нужны
Вложения
GPFS.jpg

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 04 июл 2008, 16:10

gs писал(а):Дисковую можно через какой-нибудь сервак сделать NFS'ом...
;) я выше объяснял почему это не правильно.
NAS`ом параллельным типа ExaStore - можно, но очень экономически не целесообразно

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 04 июл 2008, 16:24

выше про GPFS показано как скоммутирована SAN ( FC ) часть,
а вот здесь как происходит объединение узлов посредством GPFS внутри системы
Вложения
GPFS_2.jpg

ZaYac
Junior member
Сообщения: 12
Зарегистрирован: 01 июл 2008, 10:18
Откуда: Москва

Сообщение ZaYac » 04 июл 2008, 16:41

так с этим стало чуть более понятно
я правильно понял что tcp/ip стек можно пустить поверх infiniband ?
То есть если получится организовать нормальную работу на некой пародии на кластер (сервер (подключенный к массиву) +3 персоналки подключенные к одной локалки), то можно надеется что с IB тоже все заработает.
Под нормальной работой в данном случае понимается только нормальная диспетчеризация задач...

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 04 июл 2008, 16:55

Да, несмотря на психологический дискомфорт от потери 40% производительности, tcp/ip может работать поверх infiniband.
Про нормальную работу скажу просто - такой опыт есть.

Oleg2
Заслуженный сетевик
Сообщения: 494
Зарегистрирован: 15 окт 2004, 17:47
Откуда: Москва

Сообщение Oleg2 » 04 июл 2008, 18:12

ZaYac писал(а):Судя по наличию следющих строк в мануале

Our Distributed Processing Library (DPL), which is integrated with DP-enabled applications, provides a virtual infrastructure for creating parallel and distributed processing applications  and make our applications work in multiple environments. DPL uses a user generated configuration file for defining the distributed computing environment required by our tools. A single configuration file can be used across multiple DPL-enabled applications in a flow, or you can have multiple configuration files. Based on your input, the application to determines which DPL configuration to use.

DPL supports a virtual infrastructure across LSF 6.x, RSH, and SSH-based distributed computing. Supported operations include job submission, job monitoring (such as status checks), and job control (stop, resume, and terminations).

а так же

You can also use DPLView to monitor distributed processing jobs as they execute. DPL Monitor provides you the ability to watch jobs in progress, report the status of a job, and view the resource consumption for a job. DPLView retrieves the job information by connecting to a specified DPL master, and can be connected to different DPL masters at different times. A DPL master is capable of accepting connections from more than one DPLView, so different users can connect to a single DPL master from remote locations.


мы имеем дело с первым вариантом ....
Простите, а не будет Вам сложно выложить сюда этот документ целиком?
Или (идеально) дать ссылку на документацию... Если, конечно, это возможно.
Google старательно даёт только одну адекватную ссылку - на этот форум. :D

ZaYac
Junior member
Сообщения: 12
Зарегистрирован: 01 июл 2008, 10:18
Откуда: Москва

Сообщение ZaYac » 05 июл 2008, 07:55

документик смогу выложить не раньше понедельника (мне не жалко), только там кроме того что я написал больше ничего нету (только описание конфиг. файла под это дело)

to setar
Долго вспоминал откуда мне ваш ник и аватарка знакомы, потом вспомнил Вы же на сайте волпо в разделе СМ рулите :)

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 07 июл 2008, 17:33

ZaYac писал(а):документик смогу выложить не раньше понедельника (мне не жалко), только там кроме того что я написал больше ничего нету (только описание конфиг. файла под это дело)

to setar
Долго вспоминал откуда мне ваш ник и аватарка знакомы, потом вспомнил Вы же на сайте волпо в разделе СМ рулите :)
:) свои люди
Нужно подпись приделать Edgun 5.5 + Nikko Stirling 10x42 ;)
Кстати кластерами я начал заниматься именно моделируя газодинамику в СМ

Аватара пользователя
CrazyFrog
Advanced member
Сообщения: 210
Зарегистрирован: 16 авг 2005, 23:09
Откуда: Мурманск

Сообщение CrazyFrog » 08 июл 2008, 22:49

1)LSF Load Sharing Facility
2)DPL distributed process library.
3)rsh
4)ssh
и
(rsh,ssh)
(MPI,MPICH,MVAPICH2 ...).
(openmosix и другие).
для меня выглядят совершенно разными множествами ;)
(первое способ запуска задач, второе - способы организации многопроцессорных вычислений).

И производительность openmosix зависит больше не от интерконнекта, а от лишних блокировок, которых требует любая система с общей памятью. Собственно, именно поэтому приложения MPI оказываются быстрее приложений на openMP на SMP-системах.

Аватара пользователя
setar
Site Admin
Site Admin
Сообщения: 1990
Зарегистрирован: 22 авг 2002, 12:03
Откуда: St. Petersburg

Сообщение setar » 10 июл 2008, 15:09

CrazyFrog писал(а):
1)LSF Load Sharing Facility
2)DPL distributed process library.
3)rsh
4)ssh
и
(rsh,ssh)
(MPI,MPICH,MVAPICH2 ...).
(openmosix и другие).
для меня выглядят совершенно разными множествами ;)
(первое способ запуска задач, второе - способы организации многопроцессорных вычислений).
:) формально да, а для пользователя это выкатывается в общую задачу - как прикладное ПО умеет работать с кластером ...
И производительность openmosix зависит больше не от интерконнекта, а от лишних блокировок, которых требует любая система с общей памятью. Собственно, именно поэтому приложения MPI оказываются быстрее приложений на openMP на SMP-системах.
:) пробовали сравнивать openmosix over Ethernet, c over Infinibend ?
;) разница разительная, а блокировки и на обеих интерконнектах одинаковые.
Я не сравнивал  openMP на SMP с MPI а лишь сказал что быстрый интерконнект крайне важен.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 24 гостя