маштабируемый вычеслительный кластер
Модераторы: Trinity admin`s, Free-lance moderator`s
маштабируемый вычеслительный кластер
Требуется подобрать конфигурацию для реализации кластера, под управлением redhat enterprise linux 3. В качестве узлов 2-х процессорные сервера на базе opteron 285 с 4Гб памяти на процессор. Raid массив на 2-3 Тб, без особых требований к производительности.
Первоначально планируется установить 2 узла и 1Тб хранилище, в следующем году увеличить число узлов до 7-10 и хранилище до 2-3Тб.
Первоначально планируется установить 2 узла и 1Тб хранилище, в следующем году увеличить число узлов до 7-10 и хранилище до 2-3Тб.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Много неизвестных в задаче...
Если предположить, что узлы будут грузиться по сети, что дисковый массив должен быть подключен только к управляющему серверу (и далее, например, по NFS раздаваться), что в качестве интерконнекта выбран ethernet, то можно предложить:
Supermicro 1020A-T + 2x285 + 8x1GB в качестве вычислительных узлов.
+ машинка со SCSI портом наружу для управляющего узла
+ Infortrend A12U-G2421 с четырьмя-пятью 500ГБ дисками. Впрочем, с тем же успехом можно использовать внутренние диски...
Если предположить, что узлы будут грузиться по сети, что дисковый массив должен быть подключен только к управляющему серверу (и далее, например, по NFS раздаваться), что в качестве интерконнекта выбран ethernet, то можно предложить:
Supermicro 1020A-T + 2x285 + 8x1GB в качестве вычислительных узлов.
+ машинка со SCSI портом наружу для управляющего узла
+ Infortrend A12U-G2421 с четырьмя-пятью 500ГБ дисками. Впрочем, с тем же успехом можно использовать внутренние диски...
- Andrew Sapronov
- Advanced member
- Сообщения: 107
- Зарегистрирован: 05 июл 2005, 17:23
- Откуда: Питер
Это точноexLH писал(а):Много неизвестных в задаче...
Основываясь на опыте эксплуатации подобного комплекса крайне рекомендуется поставить в узлы хотя бы по одному диску. Простенькому. Но это общая рекомендация. Если заранее известен тип и количественные характеристики выполняющихся задач, то возможно это и не понадобится.exLH писал(а): Если предположить, что узлы будут грузиться по сети ...
... Supermicro 1020A-T + 2x285 + 8x1GB в качестве вычислительных узлов.
PS если вопрос именно про масштабируемость, то желательно, что бы сервера в дальнейшем, скажем через пол года, можно было докупить идентичные, но опять таки, это зависит от решаемых задач.
Недавно вставал вопрос о создании аналогичной системы и очень понравились http://www.ibm.com/systems/ru/p/hardware/midrange/575/ в плане масштабируемости. Еще в этих машинках порадовало соотношение пиковой производительности и производительности по Linpak.
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Ага, очень интересная машинка, только вот ее стоимость очень далека от того, что предлагал Андрюха, . Даже в минимальной комплектации за сотенку.Andrew Sapronov писал(а):Недавно вставал вопрос о создании аналогичной системы и очень понравились http://www.ibm.com/systems/ru/p/hardware/midrange/575/ в плане масштабируемости. Еще в этих машинках порадовало соотношение пиковой производительности и производительности по Linpak.
наверно по не знанию, я не совсем корректно сформулировал задачу. Предпологается создать некое подобие кластера с балансированной нагрузкой. То есть что бы из вне кластер виделся как единая машина, а пользователи в терминальном режиме могли запускать несколько различных задач (часть из них оптимизированно под многопроцессорные системы). Причем нагрузка на узлы должна быть равномерной. Все исходные данные и результаты обработки храняться на raid массиве. В качестве соеденения между узлами хочется нечто большее нежели ethernet. Примерные затраты на узел 400.000 руб
- Andrew Sapronov
- Advanced member
- Сообщения: 107
- Зарегистрирован: 05 июл 2005, 17:23
- Откуда: Питер
С такими требованиями и общим бюджетом как у Вас имеет таки смысл посмотреть на машинки от IBM, наверное не на ту что я привел, а на попроще. Вообще если пройтись поиском по этому форуму по железу IBM то можно составить представление чего оно умеет. ИМХО это примерно то что вам нужно. Здешние спецы должны подсказать получше.
Если это делать на "стандартном" железе то вопрос балансировки/диспетчеризации сугубо софтовый. И отчасти зависит от типа приложений. В частности используют ли они MPI, PVM и прочие подобные библиотеки.
Если это делать на "стандартном" железе то вопрос балансировки/диспетчеризации сугубо софтовый. И отчасти зависит от типа приложений. В частности используют ли они MPI, PVM и прочие подобные библиотеки.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
_gul_
Если честно, то понятнее пока не стало...
У Вас уже есть понимание того, как все это будет работать?
Или есть только некий софт, который поддерживает многопроцессорные системы, и желание дать возможность нескольким пользователям одновременно его использовать?
Как имеющееся ПО работает в кластере (по каким протоколам)?
Пока вопросов становится больше, а ответов меньше
Если честно, то понятнее пока не стало...
У Вас уже есть понимание того, как все это будет работать?
Или есть только некий софт, который поддерживает многопроцессорные системы, и желание дать возможность нескольким пользователям одновременно его использовать?
Как имеющееся ПО работает в кластере (по каким протоколам)?
Пока вопросов становится больше, а ответов меньше
- Stranger03
- Сотрудник Тринити
- Сообщения: 12979
- Зарегистрирован: 14 ноя 2003, 16:25
- Откуда: СПб, Екатеринбург
- Контактная информация:
Правильно ли я понимаю, что вы хотите сделать терминальный кластер из нескольких узлов для распределения нагрузки по узлам?_gul_ писал(а):Предпологается создать некое подобие кластера с балансированной нагрузкой. То есть что бы из вне кластер виделся как единая машина, а пользователи в терминальном режиме могли запускать несколько различных задач
Какие ОС будут стоять на узлах?
Какие приложения будут использоваться?
Поддерживают ли они кластеризацию?
Какие данные будут использовать?
Какое количество пользователей?
извиняюсь за задержку.Stranger03 писал(а): Правильно ли я понимаю, что вы хотите сделать терминальный кластер из нескольких узлов для распределения нагрузки по узлам?
Какие ОС будут стоять на узлах?
Какие приложения будут использоваться?
Поддерживают ли они кластеризацию?
Какие данные будут использовать?
Какое количество пользователей?
1) ОС- Linux RHEL3,4 Suse 10.0
2) приложения не поддерживают кластеризацию
3) приложения предназначенны для трассировки многослойных печатных плат, разработки СВЧ аппаратуры
4) на текущий момент имеется необходимость в обеспечении 10 рабочих мест, из них постоянно не более 4 смогут использовать софт, требующий больших вычеслительных затрат, остальные просто занимааются подготовкой проектов.
- exLH
- Сотрудник Тринити
- Сообщения: 5061
- Зарегистрирован: 11 фев 2004, 15:49
- Откуда: Москва
- Контактная информация:
Если приложения не поддерживают кластеризацию, то как Вы планируете распределять нагрузку? Нужно продумать схему лоад-балансинга... И видится мне, что сложности еще даже и не начинались, а вот когда Вы поставите пару серверов, рассчитывая, что этот "кластер" решит все проблемы - вот тогда все и начнется
Я бы на Вашем месте ориентировался на масштабируемые решения в рамках одного сервера (IBM x3950 - яркий тому пример).
Я бы на Вашем месте ориентировался на масштабируемые решения в рамках одного сервера (IBM x3950 - яркий тому пример).
- Andrew Sapronov
- Advanced member
- Сообщения: 107
- Зарегистрирован: 05 июл 2005, 17:23
- Откуда: Питер
Тут мне видится два сценария:_gul_ писал(а): 4) на текущий момент имеется необходимость в обеспечении 10 рабочих мест, из них постоянно не более 4 смогут использовать софт, требующий больших вычеслительных затрат, остальные просто занимааются подготовкой проектов.
1. Каждому из этих пользователей достаточно 1го (в т.ч. многопроцессорного) узла, но необходима диспетчеризация, балансировка в зависимости от нагрузки каждого и т.п. то пачка "простых" серверов + resource manager типа PBS вам подойдет.
2. Если каждому из пользователей недостаточно одного многопроцессорного, то нужно смотреть на многопроцессорный с бОльшим числом процессоров
Все это справедливо, если приложение поддерживает многопроцессорность в том или ином виде.
- Andrew Sapronov
- Advanced member
- Сообщения: 107
- Зарегистрирован: 05 июл 2005, 17:23
- Откуда: Питер
Да пожалуйста. Но с небольшой прелюдией. Все PBS-подобные ресурс менеджеры реализуют стандарт POSIX 1003.2b и интерфейс у них аналогичный. Одной из первых появилась сис-ма OpenPBS http://www.openpbs.org/, но использовать ее крайне не рекомендуется в связи с ее полным устареванием и отсутствием какой бы то ни было поддержки. Эта система получила развитие в виде платной PBSPro http://www.altair.com/software/pbspro.htm и свободно-распространяемой TorquePBS http://www.clusterresources.com/pages/p ... anager.php. У многих крупных компаний есть свои реализации например у SUN - SGE ( http://gridengine.sunsource.net/ ). Она тоже свободно распространяется. Я рекомендую именно Torque. В дополнение к Torque на нее можно навешать ооочень навороченный планировщик maui ( http://www.clusterresources.com/pages/p ... eduler.php )_gul_ писал(а):а можно ссылочку на
resource manager типа PBS
- Andrew Sapronov
- Advanced member
- Сообщения: 107
- Зарегистрирован: 05 июл 2005, 17:23
- Откуда: Питер
Ну поставьте openMosix и Вы его получите - ни какого в случае если ваше приложение не поддерживает SMP, если оно его не поддерживает вам не поможет НИ одно программно аппаратное средство. А если поддерживает, то результат Вас, мягко говоря, не обрадует. Посмотрите на список системных вызовов, которые не работают/работают неэффективно в mosix и Вы поймете, что число-дробительные приложения не получат никакого выигрыша производительности._gul_ писал(а):Вообщем хотелось бы получить результат аналогичный использованию openmosix.
P.S. А удалять сообщения это как то гхм не совсем корректно
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 61 гость