Установка Windows HPC Server на VMWare ESXi. Эффективность

Модераторы: Trinity admin`s, Free-lance moderator`s

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 24 янв 2013, 11:36

Доброго времени, форумчане
Вопрос по большей части для специалистов по высокопроизводительным кластерам (HPC).
Есть блейд-корзина с 16-ю лезвиями, СХД с интегрированными оптическими коммутаторами.
1) Планируется поставить на лезвия пакеты VMware vSphere 5 Essentials Plus Kit, на виртуальных машинах развернуть Microsoft HPC Server 2008 для HPC-кластера.
Насколько такие решения применяются?

2) Предположим у нас 2 варианта: 16 виртуальных машин с Windows HPC и 16 физических машин на каждом лезвии с Windows HPC.
При каком варианте производительность HPC-кластера выше? На сколько приблизительно?

Очень жду Ваши комментарии и замечания по теме

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение Stranger03 » 24 янв 2013, 12:33

А какой сакральный смысл ставить Вмварь и сверху городить ХПЦ МС кластер? Почему не обойтись одним МС?
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 24 янв 2013, 13:36

Stranger03 писал(а):А какой сакральный смысл ставить Вмварь и сверху городить ХПЦ МС кластер? Почему не обойтись одним МС?
Я так думаю, что VMotion и остальные функции HA и перспективы облачных вычислений, которые дает гипервизор ESXi.
Это мой первый опыт MS HPC, пока вопрос в рамках уточнения, но я не видел возможностей HA у MS HPC, это ведь так?

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение kim_aa » 24 янв 2013, 14:18

rhiannon писал(а):
Stranger03 писал(а):А какой сакральный смысл ставить Вмварь и сверху городить ХПЦ МС кластер? Почему не обойтись одним МС?
Я так думаю, что VMotion и остальные функции HA и перспективы облачных вычислений, которые дает гипервизор ESXi.
Это мой первый опыт MS HPC, пока вопрос в рамках уточнения, но я не видел возможностей HA у MS HPC, это ведь так?
ыыы. Так непосредственно вычислительной HPC ноде, HA даром не сдался. Вычислительных нод много (ближайший аналог NLB-нода) - одна сдохнет, ну и ладно - нагрузка на другую переедет.
HA нужен только для ноды которая диспечеризацией занимается.

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 24 янв 2013, 14:26

ыыы. Так непосредственно вычислительной HPC ноде, HA даром не сдался. Вычислительных нод много (ближайший аналог NLB-нода) - одна сдохнет, ну и ладно - нагрузка на другую переедет.
HA нужен только для ноды которая диспечеризацией занимается.[/quote]

Да, я знаю про узел диспетчеризации, просто делать часть серверов на ESXi, часть на голом железке, как-то странно. Так какая может быть потеря производительности от установки HPC на ВМ?

Вопрос по установке HPC: как лучше делать купить Windows Server 2008 Standard x64 и поставить на него HPC Pack, или ставить сразу Windows HPC 2008 R2? Какие плюсы/минусы?

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 24 янв 2013, 14:30

Что там по использованию десктопных Windows 7 для работы MS HPC?
И по поводу программирования для MS HPC, какие библиотеки используются, где литература, мануалы, хорошие ссылки?

Кто-нибудь кодил для MS HPC, или для систем параллельных вычислений? Посоветуйте, опытному программисту, начинающему в области параллельного программирования нормальные материалы (желательно для опенсорс)?

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение kim_aa » 24 янв 2013, 16:29

rhiannon писал(а): Да, я знаю про узел диспетчеризации, просто делать часть серверов на ESXi, часть на голом железке, как-то странно. Так какая может быть потеря производительности от установки HPC на ВМ?

Вопрос по установке HPC: как лучше делать купить Windows Server 2008 Standard x64 и поставить на него HPC Pack, или ставить сразу Windows HPC 2008 R2? Какие плюсы/минусы?
1) А зачем вам ESXi? Тут выгоднее использовать Hyper-V.
2) Основной затык в использовании Гипервизоров это:
- требование наличия низколатентного высокоскоростного соединения между нодами, по простому Infiniband, которую гипервизоры не поддерживают;
- затруднен проброс в виртуалки всяческих акселераторов (не умеют гипервизоры их виртуализовать)
- сама архитектура HPC требует, чтобы ноды были одинаковые и данных на себе не хранили, поэтому нет особого смысла вводить доп. слой виртуализации.
- в любом случае виртуализация "отьест" производительность, а в случае HPC это главное.

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 24 янв 2013, 17:20

1) Я честно говоря, с Hyper-V не работал. Но по обзорам производительности (/количестве внедрений) Hyper-V уступает VMWare ESXi. Какие в нашем случае у Hyper-V будет преимущества?
Почти наверняка на этих же лезвиях будут стоять дополнительно ВМ Linux и FreeBSD, с ними видимо VMWare будет работать лучше, чем Hyper-V. Потом как-то перспективно делать все на виртуализации и облачной структуре, нет?
2) У нас корзина hp bladesystem c7000, обмен между лезвиями-корзиной идет по Infiniband и какие проблемы будут у гипервизора ESXi в данном случае?
О каких именно акселераторах идет? Что имеется в виду?
Данные они могут и не хранить, но данные хранятся на виртуальном хранилище VMWare (область на СХД) и в чем тут негативная сторона?
Дело в том, что это кластер будет работать on-demand: получается, что при кластере в идле лезвия будут просто простаивать, а при виртуализации эти ресурсы могут быть высвобождены для других ВМ.
Какая оценочная (приблизительно) потеря производительности при сравнении с установкой HPC-кластера на голое железо?
kim_aa писал(а):
rhiannon писал(а): Да, я знаю про узел диспетчеризации, просто делать часть серверов на ESXi, часть на голом железке, как-то странно. Так какая может быть потеря производительности от установки HPC на ВМ?

Вопрос по установке HPC: как лучше делать купить Windows Server 2008 Standard x64 и поставить на него HPC Pack, или ставить сразу Windows HPC 2008 R2? Какие плюсы/минусы?
1) А зачем вам ESXi? Тут выгоднее использовать Hyper-V.
2) Основной затык в использовании Гипервизоров это:
- требование наличия низколатентного высокоскоростного соединения между нодами, по простому Infiniband, которую гипервизоры не поддерживают;
- затруднен проброс в виртуалки всяческих акселераторов (не умеют гипервизоры их виртуализовать)
- сама архитектура HPC требует, чтобы ноды были одинаковые и данных на себе не хранили, поэтому нет особого смысла вводить доп. слой виртуализации.
- в любом случае виртуализация "отьест" производительность, а в случае HPC это главное.

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение Stranger03 » 25 янв 2013, 08:29

kim_aa писал(а):ыыы. Так непосредственно вычислительной HPC ноде, HA даром не сдался. Вычислительных нод много (ближайший аналог NLB-нода) - одна сдохнет, ну и ладно - нагрузка на другую переедет.
HA нужен только для ноды которая диспечеризацией занимается.
Что значит "ыыы"? Думаешь я не знаю, как строится ХПЦ кластер? Я не понимаю, зачем ставить вмварь, внутрь него пихать Винду и туда уже наматывать ХПЦ кластеризацию. Виртуализация сама по себе отъест часть ресурсов. А ХПЦ МС кластер можно построить и без нее.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение Stranger03 » 25 янв 2013, 08:35

kim_aa писал(а):1) А зачем вам ESXi? Тут выгоднее использовать Hyper-V.
2) Основной затык в использовании Гипервизоров это:
- требование наличия низколатентного высокоскоростного соединения между нодами, по простому Infiniband, которую гипервизоры не поддерживают;
- затруднен проброс в виртуалки всяческих акселераторов (не умеют гипервизоры их виртуализовать)
- сама архитектура HPC требует, чтобы ноды были одинаковые и данных на себе не хранили, поэтому нет особого смысла вводить доп. слой виртуализации.
- в любом случае виртуализация "отьест" производительность, а в случае HPC это главное.
Андрей, какой смысл в ХПЦ кластере городить огород с Гипер-Ви? Почему не сделать на обычных Виндовых серверах? Одну простую машинку под управлялку и несколько под сам кластер. Внешняя СХД тут особо не нужна, разве что хранить много данных.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

Аватара пользователя
Stranger03
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 12979
Зарегистрирован: 14 ноя 2003, 16:25
Откуда: СПб, Екатеринбург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение Stranger03 » 25 янв 2013, 08:37

rhiannon писал(а):1) Я честно говоря, с Hyper-V не работал. Но по обзорам производительности (/количестве внедрений) Hyper-V уступает VMWare ESXi. Какие в нашем случае у Hyper-V будет преимущества?
Почти наверняка на этих же лезвиях будут стоять дополнительно ВМ Linux и FreeBSD, с ними видимо VMWare будет работать лучше, чем Hyper-V. Потом как-то перспективно делать все на виртуализации и облачной структуре, нет?
Э, начали с МС ХПЦ кластера, а идем к виртуалках на Линуксе и БСД. Что-то я потерялся.
С уважением Геннадий
ICQ 116164373
eburg@trinitygroup.ru

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 25 янв 2013, 10:24

Stranger03 писал(а):
rhiannon писал(а):1) Я честно говоря, с Hyper-V не работал. Но по обзорам производительности (/количестве внедрений) Hyper-V уступает VMWare ESXi. Какие в нашем случае у Hyper-V будет преимущества?
Почти наверняка на этих же лезвиях будут стоять дополнительно ВМ Linux и FreeBSD, с ними видимо VMWare будет работать лучше, чем Hyper-V. Потом как-то перспективно делать все на виртуализации и облачной структуре, нет?
Э, начали с МС ХПЦ кластера, а идем к виртуалках на Линуксе и БСД. Что-то я потерялся.
Я говорю о том, что на этой корзине возможно появятся дополнительные сервисы, кроме HPC-кластера. Если HPC сервера будут стоять на каждом лезвии, невозможно будет развернуть дополнительные, не HPC-службы. А в случае виртуализации можно сделать больше ВМ, чем лезвий.
Потом когда стоит корзина, то просто напрашивается идея с гипервизором. Виртуализация дает очень большую гибкость в проектировании и перспективы, а на голое железо - это мне кажется уже прошлый век, как Вы думаете?

Все такие: сколько мы потеряем в производительности в случае одинакового количества физических нод (на лезвиях) и виртуальных нод (на ВМ)?

rhiannon
member
Сообщения: 26
Зарегистрирован: 02 авг 2010, 18:54
Откуда: MSK

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение rhiannon » 25 янв 2013, 11:59

Можно очень кратко, без детализации описать процесс развертывания HPC-кластера:
прям по пунктам, что на что ставится, какие лицензии нужно закупать? Там кажется HPC Pack ставится поверх Windows Server 2008 R2 x64, да?
Опять же какие фичи у HPC в случае установки на Standard или Enterprise?

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение kim_aa » 25 янв 2013, 12:50

Stranger03 писал(а): Что значит "ыыы"? Думаешь я не знаю, как строится ХПЦ кластер? Я не понимаю, зачем ставить вмварь, внутрь него пихать Винду и туда уже наматывать ХПЦ кластеризацию. Виртуализация сама по себе отъест часть ресурсов. А ХПЦ МС кластер можно построить и без нее.
"ЫЫЫ" было не к твоему посту, а к предложению использовать гипервизор. Я, как и ты не понимаю "нафига козе баян", поэтому и ЫЫЫ.

Предложение же использовать Hyper-V касалось только ноды диспечеризации (и то, как вариант реализации отказоустойчивости. Например, не все сервера лицензирования "HPC-руемого" ПО имеют встроенные средства отказоустойчивости). Вобще же, проектирование "универсальной" HPC-фермы, без учета используемого приложения, это, ИМХО, нечто сродни вечному двигателю или философскому камню.

Аватара пользователя
kim_aa
Advanced member
Сообщения: 118
Зарегистрирован: 24 ноя 2011, 16:30
Откуда: Санкт-Петербург
Контактная информация:

Re: Установка Windows HPC Server на VMWare ESXi. Эффективность

Сообщение kim_aa » 25 янв 2013, 12:55

rhiannon писал(а):Можно очень кратко, без детализации описать процесс развертывания HPC-кластера:
прям по пунктам, что на что ставится, какие лицензии нужно закупать? Там кажется HPC Pack ставится поверх Windows Server 2008 R2 x64, да?
Опять же какие фичи у HPC в случае установки на Standard или Enterprise?
http://technet.microsoft.com/en-us/libr ... 10%29.aspx

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя