Проектирование кластера

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Проектирование кластера

Сообщение EvgeniX » 07 сен 2008, 04:56

Проектируем расчётный кластер для института, хотели бы для начала прикинуть цену и основные параметры.

1. С конфигурацией узлов более-менее разобрались: хотим использовать платформу Intel SR1500ALSAS (1U) + 1 процессор Intel Xeon 5420 +  ОЗУ 2 ГБ x 4 шт + Диск SAS 15k x 3 шт. Т.е. суммарно выходит на сумму около 80 т.р. Нормальное решение?

А вот с внешним оформление всего этого дела пока не понятно. Если узлов будет примерно 8, то

2. Какой шкаф и какого-размера выбрать? 42U/33U стандартное решение в таких случаях (либо взять 2)? Туда ещё планируется поставить стоечный KVM-switch, стоечный коммутатор, патч. панель, блок розеток, и возможно ИБП (либо для ИБП будет заведён отдельный шкаф). Строится вся эта система с нацеливанием на возможное дальнейшее расширение.

ЦМО <ШТК-М-42.8.8-1ААА> нормальным будет, не сильно высокий?
+ сверху поставить блок вентиляторов

3. Что лучше использовать в качестве ИБП? Потолок нагрузки - примерно 6 КВт.

Сейчас рассматриваем как вариант:
UPS 8000VA Smart On-Line APC <SURT8000 XLI> (подкл-е доп. батарей) ~ 85 тыс руб
UPS 1000VA Smart APC <SUA1000RMI2U> Rack Mount 2U, USB ~ 15 тыс

+ какой-нибудь управляемый разветвитель питания
+ набор батарей (или на доп. батареях съэкономить)?

На сайте APC есть конструктор шкафа питания, выходит что-то вроде:
1) ИБП - APC Smart-UPS RT 20kVA RM 230V - SURT20KRMXLI
2) Аккумуляторная батарея  - APC Smart-UPS RT192V RM Battery Pack 2 Rows -SURT192RMXLBP2 x5шт.
3) Шкаф ИБП - NetShelter SX 42U 600mm Wide x 1070mm Deep Enclosure - AR3100
4) PDU - Rack PDU, Switched, 1U, 16A, 208/230V, (8)C13 - AP7921
5) Воздушное охлаждение - InfraStruXure InRow SC Air Cooled Self Contained 200-240V 50Hz - ACSC101 x2шт.
6) Управление - UPS Network Management Card w/ Environmental Monitoring - AP9619

Один такой шкаф APC по ихним ценам выходит что-то около 35k$, сколько для России не понятно. Но как-то дороговато. Какие есть ещё решения?

4. Сколько стоит, если смонтировать в комнате фальш.пол (размер комнаты небольшой)?

5. Что использовать для кондиционирования?
Сколько минимально стоит система кондиционирования через фальш.пол?

На всё про всё потолок в 1-1.5 млн.руб с перспективой дальнейшего урезания.

PS: Кто может, ответьте пожалуйста хотябы на часть вопросов.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 08 сен 2008, 11:31

1. Перед тем, как использовать эту платформу - поищите на этом форуме и по слову Intel, и по наименованию платформы ;) Ну, чтобы заранее в курсе грабель быть.
Конфигурация узла оччень странная для выч.кластера: зачем узлу винты ? Его надо грузить по сети.
Из каких соображений выбирались процессоры и объем ОЗУ ?

Сначала разберитесь с тем софтом, которым будете организовывать кластер и которым - считать, а уже исходя из того - выбирайте подходящее решение.
Кстати, есть интересный вариант для подобных применений:
http://www.supermicro.com/products/syst ... 15TW-T.cfm
Т.е. 2 ноды в 1 юните, и ничего лишнего.
Но, тем не менее, до того, как что-либо выбирать - повторюсь, сначала разберитесь, что софту Вашему надо.

2. Зависит в итоге от того, что Вы выберете в п.1 в итоге. Оттуда будут видны BTU (т.е. сколько тепла отводить надо) и потребление лепестричества. Опять же, при небольшом количестве нод в один стандартный 42U/47U шкаф полезет и кластер, и хранилище для него, и приличествующий UPS.

3. Берем номиналы БП, считаем нагрузку. Лезем на apc.com - там есть калькулятор, прикидываем, сколько надо, если что, эту нагрузку держать. Выбираем варианты. Крайне рекомендуется Симметра (она хоть масштабируется), но если по деньгам не лезет - смотрите на UPSы RT-серии (онлайновые).

5. Сначала посчитайте, сколько планируете отводить тепла из серверной (с запасом на оборудование в количестве стоек, которое возможно там установить). Потом прикидывайте кондей.

Подумайте также о сетевом оборудовании (коммутаторе). Учтите, что от его/их производительности и отказоустойчивости будет зависеть и то и другое Вашего кластера.

Т.е. если хотите решения - изложите задачи и нагрузки, и получите решение в целом :)

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 15:14

a_shats писал(а):1. Перед тем, как использовать эту платформу - поищите на этом форуме и по слову Intel, и по наименованию платформы ;) Ну, чтобы заранее в курсе грабель быть.
Поискал, толком ничего не нашёл, только что-то про то, что человек в BIOS войти не смог и про RAID что-то.
a_shats писал(а):Конфигурация узла оччень странная для выч.кластера: зачем узлу винты ? Его надо грузить по сети.
Из каких соображений выбирались процессоры и объем ОЗУ ?
Конфигурация выбиралась из оценки потребления ОЗУ и диска реальными задачами, которые у нас проводятся (а также некоторая небольшая прикидна на будущее). Специфика задач такова, что требуется ОЗУ до 50-100 ГБ на задачу, распараллеливаются подобные задачи максимум на 2-4 узла (есть ПО, которое задействует большее число узлов, но там процессоры большую часть времени простаивают, а распараллеливается память; но также есть и такое ПО, которое может эффективно зайдествовать узлов так 8-16 (ядер процессора) ), но так как память по сравнению с жёсткими дисками дорога, то ПО для хранения временных файлов использует диски (всё это настраивается в задаче). По задачам также есть минимальные объёмы ОЗУ, с которым запустится расчёт. Обычно минимум где-то 1 ГБ - 5 ГБ. Т.е. система должна быть явно 64-разрядной.

А так выбиралось то, что казалось подешевле. Процессор, кончено, имеет не последнее значение, но он задействован на 100%, только если вся задача умещается в ОЗУ. Был бы рад, если бы Вы помогли выбрать нормальную конфигурацию, хорошую в плане производительности, цены, и вообще эстетики :-)

Как вариант привожу данные одной из средних задач:

Код: Выделить всё

узел1) Memory used =  1 569 268 KB
узел2) Memory used =  1 550 649 KB

узел1) Disk used = 35 208 924 KB, 112 856 690 KB written, 1 725 334 948 KB read
узел2) Disk used = 34 479 347 KB, 111 342 897 KB written, 1 753 166 589 KB read

 Message passing statistics:
 node     sent KB   # msg    time          received      time
    0    64799843   60054   129.7    64050782  129557   450.1
    1    64050782  129557  1238.6    64799843   60054   887.7

 CPU  time =68946.70 sec =1149.11 min =19.15 hr =   68.55%
 CPU  time =70949.55 sec =1182.49 min =19.71 hr =   70.55%
 REAL time =100573.39 sec =1676.22 min =27.94 hr
 ratio     =  139.10%
a_shats писал(а):Сначала разберитесь с тем софтом, которым будете организовывать кластер и которым - считать, а уже исходя из того - выбирайте подходящее решение.
С софтом определились, под него и проектируем кластер. В основном это 4 программы (от одной к другой возрастают требования к объему ОЗУ и диску, в примере была приведена одна из малотребовательных). Для распараллеливания половина из них применяет MPICH.
Последний раз редактировалось EvgeniX 08 сен 2008, 15:45, всего редактировалось 7 раз.

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 15:24

a_shats писал(а):Кстати, есть интересный вариант для подобных применений:
http://www.supermicro.com/products/syst ... 15TW-T.cfm
Т.е. 2 ноды в 1 юните, и ничего лишнего.
Но, тем не менее, до того, как что-либо выбирать - повторюсь, сначала разберитесь, что софту Вашему надо.
Интересное решение. Софту требуется много памяти (дешёвой), в случае её нехватки мощная дисковая система. В данном случае на ноду (которых 2 в юните) можно задействовать RAID из 2-х жёстких дисков?

В некоторых случаях ноды будут использоваться отдельно, в некоторых по 2-3 на задачу (ПО это позволяет задавать сразу в задаче).
a_shats писал(а):2. Зависит в итоге от того, что Вы выберете в п.1 в итоге. Оттуда будут видны BTU (т.е. сколько тепла отводить надо) и потребление лепестричества. Опять же, при небольшом количестве нод в один стандартный 42U/47U шкаф полезет и кластер, и хранилище для него, и приличествующий UPS.
Всё упирается в цену, так планируется штук 8 узлов для начала (с возможностью наращивания).
a_shats писал(а):3. Берем номиналы БП, считаем нагрузку. Лезем на apc.com - там есть калькулятор, прикидываем, сколько надо, если что, эту нагрузку держать. Выбираем варианты. Крайне рекомендуется Симметра (она хоть масштабируется), но если по деньгам не лезет - смотрите на UPSы RT-серии (онлайновые).
Я так прикинул, что на 8 узлов  4 КВт хватит.

А это - APC Smart-UPS RT 5000VA RM 230V.
По Интернету его стоимость что-то около 75 тысяч руб.

А симметра в целом сколько выйдет? Мощности лишней явно не будет, хотелось бы, чтобы кластер при потере питания не 10 минут выдержал, а 1 час, например (т.к. жалко бы было потерять результаты недельного расчёта, есть такие, которые приходится заново начинать).
a_shats писал(а):5. Сначала посчитайте, сколько планируете отводить тепла из серверной (с запасом на оборудование в количестве стоек, которое возможно там установить). Потом прикидывайте кондей.
Выходит, что 4 КВт потребляет система + сколько-то выделяет ИБП при работе. Ещё, наверное, от объёма комнаты зависит?
a_shats писал(а):Подумайте также о сетевом оборудовании (коммутаторе). Учтите, что от его/их производительности и отказоустойчивости будет зависеть и то и другое Вашего кластера.
Как вот это -D-Link <DES-1216T> (Коммутатор DES-1216T оборудован 16 интерфейсами 10/100/1000), стоит около 7 тыс. руб ?

В догонку, ещё хотим вот это :-) - Переключатель KVM D-Link <DKVM-IP8>, работает по IP на 8 узлов.
a_shats писал(а):Т.е. если хотите решения - изложите задачи и нагрузки, и получите решение в целом :)
ПО - Gaussian (www.gaussian.com),  MolPro (www.molpro.net), GAMESS PC, GAMESS US, PRIRODA, ORCA.

Аватара пользователя
Alexxy
Junior member
Сообщения: 12
Зарегистрирован: 13 фев 2007, 16:08
Откуда: Санкт-Петербург
Контактная информация:

Сообщение Alexxy » 08 сен 2008, 16:21

А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 16:25

Alexxy писал(а):А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
В самом низу я это написал  :D
Alexxy писал(а):Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
Тут встаёт вопрос в цене всего этого дела. Допустим, интерконнецт будет мощным, но ведь тогда главный узел должен быть мощнее в несколько раз? Не дешевле при данных объёмах использовать просто узлы с жёсткими дисками?

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 08 сен 2008, 16:49

Я Вам цены для ориентировки послал, гляньте...

Аватара пользователя
Alexxy
Junior member
Сообщения: 12
Зарегистрирован: 13 фев 2007, 16:08
Откуда: Санкт-Петербург
Контактная информация:

Сообщение Alexxy » 08 сен 2008, 16:52

EvgeniX писал(а):
Alexxy писал(а):А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
В самом низу я это написал  :D

Про ниже написал не заметил ;-)
EvgeniX писал(а):
Alexxy писал(а):Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
Тут встаёт вопрос в цене всего этого дела. Допустим, интерконнецт будет мощным, но ведь тогда главный узел должен быть мощнее в несколько раз? Не дешевле при данных объёмах использовать просто узлы с жёсткими дисками?
Эм... А почему при этом главный узел должен быть мощнее?
Узлы вообще могут быть идентичные. Дисков на узлах может и не быть. тогда первая нода должна иметь массив или быть подключена к fc полке а на остальные ноды мона раздавать диски по iser (iSCSI over IB) скажем. В общем вариантов реально много. На любой вкус.
Последний раз редактировалось Alexxy 08 сен 2008, 17:03, всего редактировалось 1 раз.

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 16:57

a_shats писал(а):Я Вам цены для ориентировки послал, гляньте...
Если можно, перешлите письмо на
paneyu@gmail.com (старый e-mail у меня не работает, поправлю)

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 08 сен 2008, 17:03

Переслал.

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 17:30

А по поводу ИБП - симметра со всеми дополнительными компонентами по цене на сколько выйдет, что вообще нужно для её работы, какую нагрузку в течении какого времени сможет выдержать?

Спасибо за ответы.

Аватара пользователя
a_shats
Advanced member
Сообщения: 5010
Зарегистрирован: 27 авг 2002, 10:55
Откуда: Москва
Контактная информация:

Сообщение a_shats » 08 сен 2008, 18:10

По симметре (цене) прямщас сказать не готов.
Завтра уточню - пришлю. Хорошо ?

EvgeniX
Junior member
Сообщения: 17
Зарегистрирован: 10 май 2007, 10:16
Откуда: Ufa

Сообщение EvgeniX » 08 сен 2008, 18:11

a_shats писал(а):По симметре (цене) прямщас сказать не готов.
Завтра уточню - пришлю. Хорошо ?
Ok! Спасибо!

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 12 гостей