Проектирование кластера
Модераторы: Trinity admin`s, Free-lance moderator`s
Проектирование кластера
Проектируем расчётный кластер для института, хотели бы для начала прикинуть цену и основные параметры.
1. С конфигурацией узлов более-менее разобрались: хотим использовать платформу Intel SR1500ALSAS (1U) + 1 процессор Intel Xeon 5420 + ОЗУ 2 ГБ x 4 шт + Диск SAS 15k x 3 шт. Т.е. суммарно выходит на сумму около 80 т.р. Нормальное решение?
А вот с внешним оформление всего этого дела пока не понятно. Если узлов будет примерно 8, то
2. Какой шкаф и какого-размера выбрать? 42U/33U стандартное решение в таких случаях (либо взять 2)? Туда ещё планируется поставить стоечный KVM-switch, стоечный коммутатор, патч. панель, блок розеток, и возможно ИБП (либо для ИБП будет заведён отдельный шкаф). Строится вся эта система с нацеливанием на возможное дальнейшее расширение.
ЦМО <ШТК-М-42.8.8-1ААА> нормальным будет, не сильно высокий?
+ сверху поставить блок вентиляторов
3. Что лучше использовать в качестве ИБП? Потолок нагрузки - примерно 6 КВт.
Сейчас рассматриваем как вариант:
UPS 8000VA Smart On-Line APC <SURT8000 XLI> (подкл-е доп. батарей) ~ 85 тыс руб
UPS 1000VA Smart APC <SUA1000RMI2U> Rack Mount 2U, USB ~ 15 тыс
+ какой-нибудь управляемый разветвитель питания
+ набор батарей (или на доп. батареях съэкономить)?
На сайте APC есть конструктор шкафа питания, выходит что-то вроде:
1) ИБП - APC Smart-UPS RT 20kVA RM 230V - SURT20KRMXLI
2) Аккумуляторная батарея - APC Smart-UPS RT192V RM Battery Pack 2 Rows -SURT192RMXLBP2 x5шт.
3) Шкаф ИБП - NetShelter SX 42U 600mm Wide x 1070mm Deep Enclosure - AR3100
4) PDU - Rack PDU, Switched, 1U, 16A, 208/230V, (8)C13 - AP7921
5) Воздушное охлаждение - InfraStruXure InRow SC Air Cooled Self Contained 200-240V 50Hz - ACSC101 x2шт.
6) Управление - UPS Network Management Card w/ Environmental Monitoring - AP9619
Один такой шкаф APC по ихним ценам выходит что-то около 35k$, сколько для России не понятно. Но как-то дороговато. Какие есть ещё решения?
4. Сколько стоит, если смонтировать в комнате фальш.пол (размер комнаты небольшой)?
5. Что использовать для кондиционирования?
Сколько минимально стоит система кондиционирования через фальш.пол?
На всё про всё потолок в 1-1.5 млн.руб с перспективой дальнейшего урезания.
PS: Кто может, ответьте пожалуйста хотябы на часть вопросов.
1. С конфигурацией узлов более-менее разобрались: хотим использовать платформу Intel SR1500ALSAS (1U) + 1 процессор Intel Xeon 5420 + ОЗУ 2 ГБ x 4 шт + Диск SAS 15k x 3 шт. Т.е. суммарно выходит на сумму около 80 т.р. Нормальное решение?
А вот с внешним оформление всего этого дела пока не понятно. Если узлов будет примерно 8, то
2. Какой шкаф и какого-размера выбрать? 42U/33U стандартное решение в таких случаях (либо взять 2)? Туда ещё планируется поставить стоечный KVM-switch, стоечный коммутатор, патч. панель, блок розеток, и возможно ИБП (либо для ИБП будет заведён отдельный шкаф). Строится вся эта система с нацеливанием на возможное дальнейшее расширение.
ЦМО <ШТК-М-42.8.8-1ААА> нормальным будет, не сильно высокий?
+ сверху поставить блок вентиляторов
3. Что лучше использовать в качестве ИБП? Потолок нагрузки - примерно 6 КВт.
Сейчас рассматриваем как вариант:
UPS 8000VA Smart On-Line APC <SURT8000 XLI> (подкл-е доп. батарей) ~ 85 тыс руб
UPS 1000VA Smart APC <SUA1000RMI2U> Rack Mount 2U, USB ~ 15 тыс
+ какой-нибудь управляемый разветвитель питания
+ набор батарей (или на доп. батареях съэкономить)?
На сайте APC есть конструктор шкафа питания, выходит что-то вроде:
1) ИБП - APC Smart-UPS RT 20kVA RM 230V - SURT20KRMXLI
2) Аккумуляторная батарея - APC Smart-UPS RT192V RM Battery Pack 2 Rows -SURT192RMXLBP2 x5шт.
3) Шкаф ИБП - NetShelter SX 42U 600mm Wide x 1070mm Deep Enclosure - AR3100
4) PDU - Rack PDU, Switched, 1U, 16A, 208/230V, (8)C13 - AP7921
5) Воздушное охлаждение - InfraStruXure InRow SC Air Cooled Self Contained 200-240V 50Hz - ACSC101 x2шт.
6) Управление - UPS Network Management Card w/ Environmental Monitoring - AP9619
Один такой шкаф APC по ихним ценам выходит что-то около 35k$, сколько для России не понятно. Но как-то дороговато. Какие есть ещё решения?
4. Сколько стоит, если смонтировать в комнате фальш.пол (размер комнаты небольшой)?
5. Что использовать для кондиционирования?
Сколько минимально стоит система кондиционирования через фальш.пол?
На всё про всё потолок в 1-1.5 млн.руб с перспективой дальнейшего урезания.
PS: Кто может, ответьте пожалуйста хотябы на часть вопросов.
- a_shats
- Advanced member
- Сообщения: 5010
- Зарегистрирован: 27 авг 2002, 10:55
- Откуда: Москва
- Контактная информация:
1. Перед тем, как использовать эту платформу - поищите на этом форуме и по слову Intel, и по наименованию платформы Ну, чтобы заранее в курсе грабель быть.
Конфигурация узла оччень странная для выч.кластера: зачем узлу винты ? Его надо грузить по сети.
Из каких соображений выбирались процессоры и объем ОЗУ ?
Сначала разберитесь с тем софтом, которым будете организовывать кластер и которым - считать, а уже исходя из того - выбирайте подходящее решение.
Кстати, есть интересный вариант для подобных применений:
http://www.supermicro.com/products/syst ... 15TW-T.cfm
Т.е. 2 ноды в 1 юните, и ничего лишнего.
Но, тем не менее, до того, как что-либо выбирать - повторюсь, сначала разберитесь, что софту Вашему надо.
2. Зависит в итоге от того, что Вы выберете в п.1 в итоге. Оттуда будут видны BTU (т.е. сколько тепла отводить надо) и потребление лепестричества. Опять же, при небольшом количестве нод в один стандартный 42U/47U шкаф полезет и кластер, и хранилище для него, и приличествующий UPS.
3. Берем номиналы БП, считаем нагрузку. Лезем на apc.com - там есть калькулятор, прикидываем, сколько надо, если что, эту нагрузку держать. Выбираем варианты. Крайне рекомендуется Симметра (она хоть масштабируется), но если по деньгам не лезет - смотрите на UPSы RT-серии (онлайновые).
5. Сначала посчитайте, сколько планируете отводить тепла из серверной (с запасом на оборудование в количестве стоек, которое возможно там установить). Потом прикидывайте кондей.
Подумайте также о сетевом оборудовании (коммутаторе). Учтите, что от его/их производительности и отказоустойчивости будет зависеть и то и другое Вашего кластера.
Т.е. если хотите решения - изложите задачи и нагрузки, и получите решение в целом
Конфигурация узла оччень странная для выч.кластера: зачем узлу винты ? Его надо грузить по сети.
Из каких соображений выбирались процессоры и объем ОЗУ ?
Сначала разберитесь с тем софтом, которым будете организовывать кластер и которым - считать, а уже исходя из того - выбирайте подходящее решение.
Кстати, есть интересный вариант для подобных применений:
http://www.supermicro.com/products/syst ... 15TW-T.cfm
Т.е. 2 ноды в 1 юните, и ничего лишнего.
Но, тем не менее, до того, как что-либо выбирать - повторюсь, сначала разберитесь, что софту Вашему надо.
2. Зависит в итоге от того, что Вы выберете в п.1 в итоге. Оттуда будут видны BTU (т.е. сколько тепла отводить надо) и потребление лепестричества. Опять же, при небольшом количестве нод в один стандартный 42U/47U шкаф полезет и кластер, и хранилище для него, и приличествующий UPS.
3. Берем номиналы БП, считаем нагрузку. Лезем на apc.com - там есть калькулятор, прикидываем, сколько надо, если что, эту нагрузку держать. Выбираем варианты. Крайне рекомендуется Симметра (она хоть масштабируется), но если по деньгам не лезет - смотрите на UPSы RT-серии (онлайновые).
5. Сначала посчитайте, сколько планируете отводить тепла из серверной (с запасом на оборудование в количестве стоек, которое возможно там установить). Потом прикидывайте кондей.
Подумайте также о сетевом оборудовании (коммутаторе). Учтите, что от его/их производительности и отказоустойчивости будет зависеть и то и другое Вашего кластера.
Т.е. если хотите решения - изложите задачи и нагрузки, и получите решение в целом
Поискал, толком ничего не нашёл, только что-то про то, что человек в BIOS войти не смог и про RAID что-то.a_shats писал(а):1. Перед тем, как использовать эту платформу - поищите на этом форуме и по слову Intel, и по наименованию платформы Ну, чтобы заранее в курсе грабель быть.
Конфигурация выбиралась из оценки потребления ОЗУ и диска реальными задачами, которые у нас проводятся (а также некоторая небольшая прикидна на будущее). Специфика задач такова, что требуется ОЗУ до 50-100 ГБ на задачу, распараллеливаются подобные задачи максимум на 2-4 узла (есть ПО, которое задействует большее число узлов, но там процессоры большую часть времени простаивают, а распараллеливается память; но также есть и такое ПО, которое может эффективно зайдествовать узлов так 8-16 (ядер процессора) ), но так как память по сравнению с жёсткими дисками дорога, то ПО для хранения временных файлов использует диски (всё это настраивается в задаче). По задачам также есть минимальные объёмы ОЗУ, с которым запустится расчёт. Обычно минимум где-то 1 ГБ - 5 ГБ. Т.е. система должна быть явно 64-разрядной.a_shats писал(а):Конфигурация узла оччень странная для выч.кластера: зачем узлу винты ? Его надо грузить по сети.
Из каких соображений выбирались процессоры и объем ОЗУ ?
А так выбиралось то, что казалось подешевле. Процессор, кончено, имеет не последнее значение, но он задействован на 100%, только если вся задача умещается в ОЗУ. Был бы рад, если бы Вы помогли выбрать нормальную конфигурацию, хорошую в плане производительности, цены, и вообще эстетики
Как вариант привожу данные одной из средних задач:
Код: Выделить всё
узел1) Memory used = 1 569 268 KB
узел2) Memory used = 1 550 649 KB
узел1) Disk used = 35 208 924 KB, 112 856 690 KB written, 1 725 334 948 KB read
узел2) Disk used = 34 479 347 KB, 111 342 897 KB written, 1 753 166 589 KB read
Message passing statistics:
node sent KB # msg time received time
0 64799843 60054 129.7 64050782 129557 450.1
1 64050782 129557 1238.6 64799843 60054 887.7
CPU time =68946.70 sec =1149.11 min =19.15 hr = 68.55%
CPU time =70949.55 sec =1182.49 min =19.71 hr = 70.55%
REAL time =100573.39 sec =1676.22 min =27.94 hr
ratio = 139.10%
С софтом определились, под него и проектируем кластер. В основном это 4 программы (от одной к другой возрастают требования к объему ОЗУ и диску, в примере была приведена одна из малотребовательных). Для распараллеливания половина из них применяет MPICH.a_shats писал(а):Сначала разберитесь с тем софтом, которым будете организовывать кластер и которым - считать, а уже исходя из того - выбирайте подходящее решение.
Последний раз редактировалось EvgeniX 08 сен 2008, 15:45, всего редактировалось 7 раз.
Интересное решение. Софту требуется много памяти (дешёвой), в случае её нехватки мощная дисковая система. В данном случае на ноду (которых 2 в юните) можно задействовать RAID из 2-х жёстких дисков?a_shats писал(а):Кстати, есть интересный вариант для подобных применений:
http://www.supermicro.com/products/syst ... 15TW-T.cfm
Т.е. 2 ноды в 1 юните, и ничего лишнего.
Но, тем не менее, до того, как что-либо выбирать - повторюсь, сначала разберитесь, что софту Вашему надо.
В некоторых случаях ноды будут использоваться отдельно, в некоторых по 2-3 на задачу (ПО это позволяет задавать сразу в задаче).
Всё упирается в цену, так планируется штук 8 узлов для начала (с возможностью наращивания).a_shats писал(а):2. Зависит в итоге от того, что Вы выберете в п.1 в итоге. Оттуда будут видны BTU (т.е. сколько тепла отводить надо) и потребление лепестричества. Опять же, при небольшом количестве нод в один стандартный 42U/47U шкаф полезет и кластер, и хранилище для него, и приличествующий UPS.
Я так прикинул, что на 8 узлов 4 КВт хватит.a_shats писал(а):3. Берем номиналы БП, считаем нагрузку. Лезем на apc.com - там есть калькулятор, прикидываем, сколько надо, если что, эту нагрузку держать. Выбираем варианты. Крайне рекомендуется Симметра (она хоть масштабируется), но если по деньгам не лезет - смотрите на UPSы RT-серии (онлайновые).
А это - APC Smart-UPS RT 5000VA RM 230V.
По Интернету его стоимость что-то около 75 тысяч руб.
А симметра в целом сколько выйдет? Мощности лишней явно не будет, хотелось бы, чтобы кластер при потере питания не 10 минут выдержал, а 1 час, например (т.к. жалко бы было потерять результаты недельного расчёта, есть такие, которые приходится заново начинать).
Выходит, что 4 КВт потребляет система + сколько-то выделяет ИБП при работе. Ещё, наверное, от объёма комнаты зависит?a_shats писал(а):5. Сначала посчитайте, сколько планируете отводить тепла из серверной (с запасом на оборудование в количестве стоек, которое возможно там установить). Потом прикидывайте кондей.
Как вот это -D-Link <DES-1216T> (Коммутатор DES-1216T оборудован 16 интерфейсами 10/100/1000), стоит около 7 тыс. руб ?a_shats писал(а):Подумайте также о сетевом оборудовании (коммутаторе). Учтите, что от его/их производительности и отказоустойчивости будет зависеть и то и другое Вашего кластера.
В догонку, ещё хотим вот это - Переключатель KVM D-Link <DKVM-IP8>, работает по IP на 8 узлов.
ПО - Gaussian (www.gaussian.com), MolPro (www.molpro.net), GAMESS PC, GAMESS US, PRIRODA, ORCA.a_shats писал(а):Т.е. если хотите решения - изложите задачи и нагрузки, и получите решение в целом
- Alexxy
- Junior member
- Сообщения: 12
- Зарегистрирован: 13 фев 2007, 16:08
- Откуда: Санкт-Петербург
- Контактная информация:
А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
В самом низу я это написал :DAlexxy писал(а):А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
Тут встаёт вопрос в цене всего этого дела. Допустим, интерконнецт будет мощным, но ведь тогда главный узел должен быть мощнее в несколько раз? Не дешевле при данных объёмах использовать просто узлы с жёсткими дисками?Alexxy писал(а):Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
- Alexxy
- Junior member
- Сообщения: 12
- Зарегистрирован: 13 фев 2007, 16:08
- Откуда: Санкт-Петербург
- Контактная информация:
EvgeniX писал(а):В самом низу я это написал :DAlexxy писал(а):А можно все таки огласить название софта?
Судя по вышеназванным обьемам это сильно похоже на что то типа квантовой химии (gamess, gausian etc)
Про ниже написал не заметил
Эм... А почему при этом главный узел должен быть мощнее?EvgeniX писал(а):Тут встаёт вопрос в цене всего этого дела. Допустим, интерконнецт будет мощным, но ведь тогда главный узел должен быть мощнее в несколько раз? Не дешевле при данных объёмах использовать просто узлы с жёсткими дисками?Alexxy писал(а):Может имеет смысл посмотреть на системы с поддержкой RDMA (Infiniband)? Процессоры могут у вас проставивать из за того что задача ждет окончания io (находится в состоянии i/o wait) тогда это решается применением более мощных интерконнектов таких как DDR Infiniband (20Gbps на линк, топология сети fat tree)
Узлы вообще могут быть идентичные. Дисков на узлах может и не быть. тогда первая нода должна иметь массив или быть подключена к fc полке а на остальные ноды мона раздавать диски по iser (iSCSI over IB) скажем. В общем вариантов реально много. На любой вкус.
Последний раз редактировалось Alexxy 08 сен 2008, 17:03, всего редактировалось 1 раз.
Если можно, перешлите письмо наa_shats писал(а):Я Вам цены для ориентировки послал, гляньте...
paneyu@gmail.com (старый e-mail у меня не работает, поправлю)
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 12 гостей