маштабируемый вычеслительный кластер

_gul_ · Сообщение **_gul_** » 25 окт 2006, 09:32

Требуется подобрать конфигурацию для реализации кластера, под управлением redhat enterprise linux 3. В качестве узлов 2-х процессорные сервера на базе opteron 285 с 4Гб памяти на процессор. Raid массив на 2-3 Тб, без особых требований к производительности.
Первоначально планируется установить 2 узла и 1Тб хранилище, в следующем году увеличить число узлов до 7-10 и хранилище до 2-3Тб.

Сообщение **exLH** » 25 окт 2006, 09:47

Много неизвестных в задаче...
Если предположить, что узлы будут грузиться по сети, что дисковый массив должен быть подключен только к управляющему серверу (и далее, например, по NFS раздаваться), что в качестве интерконнекта выбран ethernet, то можно предложить:
Supermicro 1020A-T + 2x285 + 8x1GB в качестве вычислительных узлов.
+ машинка со SCSI портом наружу для управляющего узла
+ Infortrend A12U-G2421 с четырьмя-пятью 500ГБ дисками. Впрочем, с тем же успехом можно использовать внутренние диски...

Andrew Sapronov

exLH писал(а):Много неизвестных в задаче...

Это точно

exLH писал(а): Если предположить, что узлы будут грузиться по сети ...
... Supermicro 1020A-T + 2x285 + 8x1GB в качестве вычислительных узлов.

Основываясь на опыте эксплуатации подобного комплекса крайне рекомендуется поставить в узлы хотя бы по одному диску. Простенькому. Но это общая рекомендация. Если заранее известен тип и количественные характеристики выполняющихся задач, то возможно это и не понадобится.

PS если вопрос именно про масштабируемость, то желательно, что бы сервера в дальнейшем, скажем через пол года, можно было докупить идентичные, но опять таки, это зависит от решаемых задач.

Недавно вставал вопрос о создании аналогичной системы и очень понравились http://www.ibm.com/systems/ru/p/hardware/midrange/575/ в плане масштабируемости. Еще в этих машинках порадовало соотношение пиковой производительности и производительности по Linpak.

Сообщение **Stranger03** » 25 окт 2006, 11:01

Andrew Sapronov писал(а):Недавно вставал вопрос о создании аналогичной системы и очень понравились http://www.ibm.com/systems/ru/p/hardware/midrange/575/ в плане масштабируемости. Еще в этих машинках порадовало соотношение пиковой производительности и производительности по Linpak.

Ага, очень интересная машинка, только вот ее стоимость очень далека от того, что предлагал Андрюха,

. Даже в минимальной комплектации за сотенку.

_gul_ · Сообщение **_gul_** » 25 окт 2006, 23:20

наверно по не знанию, я не совсем корректно сформулировал задачу. Предпологается создать некое подобие кластера с балансированной нагрузкой. То есть что бы из вне кластер виделся как единая машина, а пользователи в терминальном режиме могли запускать несколько различных задач (часть из них оптимизированно под многопроцессорные системы). Причем нагрузка на узлы должна быть равномерной. Все исходные данные и результаты обработки храняться на raid массиве. В качестве соеденения между узлами хочется нечто большее нежели ethernet. Примерные затраты на узел 400.000 руб

Andrew Sapronov

С такими требованиями и общим бюджетом как у Вас имеет таки смысл посмотреть на машинки от IBM, наверное не на ту что я привел, а на попроще. Вообще если пройтись поиском по этому форуму по железу IBM то можно составить представление чего оно умеет. ИМХО это примерно то что вам нужно. Здешние спецы должны подсказать получше.

Если это делать на "стандартном" железе то вопрос балансировки/диспетчеризации сугубо софтовый. И отчасти зависит от типа приложений. В частности используют ли они MPI, PVM и прочие подобные библиотеки.

Сообщение **exLH** » 26 окт 2006, 11:49

_gul_
Если честно, то понятнее пока не стало...
У Вас уже есть понимание того, как все это будет работать?
Или есть только некий софт, который поддерживает многопроцессорные системы, и желание дать возможность нескольким пользователям одновременно его использовать?
Как имеющееся ПО работает в кластере (по каким протоколам)?
Пока вопросов становится больше, а ответов меньше

Сообщение **Stranger03** » 27 окт 2006, 10:37

_gul_ писал(а):Предпологается создать некое подобие кластера с балансированной нагрузкой. То есть что бы из вне кластер виделся как единая машина, а пользователи в терминальном режиме могли запускать несколько различных задач

Правильно ли я понимаю, что вы хотите сделать терминальный кластер из нескольких узлов для распределения нагрузки по узлам?
Какие ОС будут стоять на узлах?
Какие приложения будут использоваться?
Поддерживают ли они кластеризацию?
Какие данные будут использовать?
Какое количество пользователей?

_gul_ · Сообщение **_gul_** » 01 ноя 2006, 16:24

Stranger03 писал(а): Правильно ли я понимаю, что вы хотите сделать терминальный кластер из нескольких узлов для распределения нагрузки по узлам?
Какие ОС будут стоять на узлах?
Какие приложения будут использоваться?
Поддерживают ли они кластеризацию?
Какие данные будут использовать?
Какое количество пользователей?

извиняюсь за задержку.
1) ОС- Linux RHEL3,4 Suse 10.0
2) приложения не поддерживают кластеризацию
3) приложения предназначенны для трассировки многослойных печатных плат, разработки СВЧ аппаратуры
4) на текущий момент имеется необходимость в обеспечении 10 рабочих мест, из них постоянно не более 4 смогут использовать софт, требующий больших вычеслительных затрат, остальные просто занимааются подготовкой проектов.

Сообщение **exLH** » 01 ноя 2006, 16:57

Если приложения не поддерживают кластеризацию, то как Вы планируете распределять нагрузку? Нужно продумать схему лоад-балансинга... И видится мне, что сложности еще даже и не начинались, а вот когда Вы поставите пару серверов, рассчитывая, что этот "кластер" решит все проблемы - вот тогда все и начнется

Я бы на Вашем месте ориентировался на масштабируемые решения в рамках одного сервера (IBM x3950 - яркий тому пример).

Andrew Sapronov

_gul_ писал(а): 4) на текущий момент имеется необходимость в обеспечении 10 рабочих мест, из них постоянно не более 4 смогут использовать софт, требующий больших вычеслительных затрат, остальные просто занимааются подготовкой проектов.

Тут мне видится два сценария:

1. Каждому из этих пользователей достаточно 1го (в т.ч. многопроцессорного) узла, но необходима диспетчеризация, балансировка в зависимости от нагрузки каждого и т.п. то пачка "простых" серверов + resource manager типа PBS вам подойдет.

2. Если каждому из пользователей недостаточно одного многопроцессорного, то нужно смотреть на многопроцессорный с бОльшим числом процессоров

Все это справедливо, если приложение поддерживает многопроцессорность в том или ином виде.

_gul_ · Сообщение **_gul_** » 01 ноя 2006, 18:27

Вообщем хотелось бы получить результат аналогичный использованию openmosix.

Andrew Sapronov

_gul_ писал(а):а можно ссылочку на
resource manager типа PBS

Да пожалуйста. Но с небольшой прелюдией. Все PBS-подобные ресурс менеджеры реализуют стандарт POSIX 1003.2b и интерфейс у них аналогичный. Одной из первых появилась сис-ма OpenPBS http://www.openpbs.org/, но использовать ее крайне не рекомендуется в связи с ее полным устареванием и отсутствием какой бы то ни было поддержки. Эта система получила развитие в виде платной PBSPro http://www.altair.com/software/pbspro.htm и свободно-распространяемой TorquePBS http://www.clusterresources.com/pages/p ... anager.php. У многих крупных компаний есть свои реализации например у SUN - SGE ( http://gridengine.sunsource.net/ ). Она тоже свободно распространяется. Я рекомендую именно Torque. В дополнение к Torque на нее можно навешать ооочень навороченный планировщик maui ( http://www.clusterresources.com/pages/p ... eduler.php )

Andrew Sapronov

_gul_ писал(а):Вообщем хотелось бы получить результат аналогичный использованию openmosix.

Ну поставьте openMosix и Вы его получите - ни какого в случае если ваше приложение не поддерживает SMP, если оно его не поддерживает вам не поможет НИ одно программно аппаратное средство. А если поддерживает, то результат Вас, мягко говоря, не обрадует. Посмотрите на список системных вызовов, которые не работают/работают неэффективно в mosix и Вы поймете, что число-дробительные приложения не получат никакого выигрыша производительности.

P.S. А удалять сообщения это как то гхм не совсем корректно

маштабируемый вычеслительный кластер

маштабируемый вычеслительный кластер

Кто сейчас на конференции