Кластер виртуализации с СХД под управлением VMware.

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 20 мар 2014, 17:04

Доброго дня.
В компании назрела необходимость замены части серверного парка. Заодно было решено повысить надежность серверов путем перевода их на виртуальную платформу и организации отказоустойчивого кластера. К сожалению знаний по организации кластерных решений не хватает, поэтому хотелось бы обратиться к вам за помощью в выборе железа.
В качестве управляющего софта для кластера было решено остановиться на VMware Essential Plus Kit.
С железной точки зрения структура серверов видится следующим образом:
1. Сервер AD
2. Сервер Backup
3. Отказоустойчивый кластер, состоящий из:
3.1. Сервер управления VMware.
3.2.-3.4. Три ESXi хоста одинаковой конфигурации.
3.5. СХД рабочей емкостью не менее 10 ТБ.

Набор задач стандартный для небольшой организации:
- Общее число пользователей 200 (в перспективе 250).
- Домен под управлением Windows Server 2008.
- Сервер приложений 1С Предприятие 8.2 на 50 пользователей.
- Сервер SQL для 1С.
- Файловый сервер.
- Сервер WSUS.
- Сервер KSC.
- Сервер информационно-поисковых систем.
- Интернет шлюз.
- Ну и еще по мелочи несколько машин. В общем счете около 20 серверов.
Под хосты ESXi планируется взять 3 двухпроцессорные сервера Intel 2600 на Intel Xeon E5-2650v2 с 64 ГБ ОЗУ в каждом. Для загрузки ESXi ставим в них по 2 жестких диска SAS на 150-300 ГБ.
Под сервер управления ESXi однопроцессорный сервер на Intel XEON E3-1240v3 с 32 ГБ ОЗУ и 2 жесткими дисками SAS по 150-300 ГБ.
Таким образом какое-то видение самого кластера имеется. Насколько правильное - надеюсь на вашу помощь.
Однако в том, что касается СХД - тут у нас сплошные вопросы.
Какой интерфейс сопряжения СХД и узлов кластера оптимален для наших задач? какие конкретные модели СХД вы можете порекомендовать нам для выбора? Насколько правильно прикинуты мощности узлов нашего кластера?

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение Tert » 21 мар 2014, 01:20

LEXX_NDM
Вам примерно расписать предполагаемую нагрузку со стороны пользователей:
1. SQL: объем базы и ее рост, число активных пользователей.
2. Файловый сервер: число активных пользователей, характер хранимых документов и т.п.

Какие еще сервисы, кроме перечисленных вы хотите виртуализировать?
Почему контроллер домена вы вынесли за пределы кластера? Умрет AD - умрет все.

Про Hyper-V вместо VmWare не думали?
Интернет-шлюз на 250 человек - тоже довольно серьезное устройство (кстати, сколько каналов VPN он должен одновременно держать?). Тут я бы вообще подумал об отдельном специализированном устройстве.

P.S. Укажите город.

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 21 мар 2014, 08:42

По серверу SQL:
Общее количество баз SQL - 4.
Активно используемых баз - 2.
Объем каждой базы 1С примерно 1,7 ГБ.
Скорость роста - менее 100 МБ в месяц.
Общее число пользователей до 50 человек.
По файловому серверу:
Общее число пользователей около 200 (в перспективе 250).
Характер документов на 80% MSO (doc, docx, slx, xlsx), pdf и графические файлы (jpg, tiff).
Контроллер домена за пределы кластера - только первичный, резервные в кластере. Честно говоря не знаю, как-то выглядит надежнее когда основной контроллер на отдельной машине. :)
Насчет HyperV - нет, поскольку часть серверов планируется под Linux-ом и необходим доступ к USB-устройствам, а у HyperV с этим как-то не очень.
Насчет доп. сервисов, подлежащих виртуализации - в перспективе планируется внедрение системы электронного документооборота уровня LanDocs, также не указал терминальный сервер, но терминальщиков у нас в пределах 10 человек.
По интернет-шлюзу - сейчас с этой задачей вполне себе успешно справляется "двухпроцессорная" виртуалка с 4 ГБ памяти и 50 ГБ винтов под Ubuntu. Стоит Squid, Iptables и простенький шейпер на htb.
Город: Надым.

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение Tert » 21 мар 2014, 13:44

LEXX_NDM
Честно говоря не знаю, как-то выглядит надежнее когда основной контроллер на отдельной машине.
Контроллеры домена можно, конечно, размещать на узлах кластера, но Microsoft не рекомендует это делать. Главное, чтобы он был всегда доступен всем узлам кластера.
Насчет HyperV - нет, поскольку часть серверов планируется под Linux-ом и необходим доступ к USB-устройствам, а у HyperV с этим как-то не очень
А вот с кластеризацией у USB устройств плохо. Вы вручную будете перетаскивать ключи с сервера на сервер?
Решение вашей проблемы - USB Hub to Ethernet. Вроде вот такого Digi.

Кстати, и с Linux у Hyper-V не так уж плохо.

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 21 мар 2014, 14:49

Дополнительный аргумент в пользу VMware - наши сотрудники проходили обучение по их продуктам и имеют опыт эксплуатации одиночных серверов vCenter. Так как функционал и стабильность даже версии 5.1 нас вполне устраивали смысла переходить на HyperV как-то не наблюдается.
Насчет USB через Ethernet - нужно будет уточнить по совместимости с нашими ключами...
Одни из наших поставщиков посоветовали в качестве интерфейса сопряжения узлов кластера с СХД некий InfinitiBand (http://ark.intel.com/ru/products/67317/ ... -Dual-Port вот такой зверь). Выглядит заманчиво, но насколько я понимаю потребуется совместимый с ним СХД?

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение gs » 21 мар 2014, 15:09

Инфинибанд - это конечно хорошо, только вот СХД с таким интерфейсом негусто, причем это не самые дешевые штуки. И эффект от этого проявляется мягко говоря не во всех задачах.

До 7шт серверов можно подключить просто по SAS к ИБМ V3700 (очень быстро, дешево и сердито). Если серверов нужно больше, то есть FC. Ну или 10G.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение gs » 21 мар 2014, 15:10

А низконагруженные машины можно и по 1Г цеплять...

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 21 мар 2014, 15:19

gs писал(а):До 7шт серверов можно подключить просто по SAS к ИБМ V3700 (очень быстро, дешево и сердито). Если серверов нужно больше, то есть FC. Ну или 10G.
Ну узлов кластера на ближайшие пару лет планируется только 3...

Аватара пользователя
Tert
Advanced member
Сообщения: 4233
Зарегистрирован: 19 янв 2003, 08:09
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение Tert » 21 мар 2014, 16:19

LEXX_NDM
Одни из наших поставщиков посоветовали в качестве интерфейса сопряжения узлов кластера с СХД некий InfinitiBand
Явно у них эти модули на складе завалялись:-).
Других разумных объяснения такому странному предложению нет.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение gs » 21 мар 2014, 16:22

А то да, у нас пара мелланоксов тоже для тестов валяется :)

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 21 мар 2014, 17:05

Насчет использования SAS для сопряжения СХД и узлов: насколько оправдано применение SAS-коммутатора или можно напрямую цеплять узлы к СХД? Но ведь в таком случае обмен данными между узлами будет возможен лишь через Ethernet? И будут ли они видеть и совместно использовать такое хранилище?

Пока наименее затратным и понятным для нас является вот такое решение:
на схеме показано только взаимодействие узлов виртуализации с СХД...
Вложения
Doc4.pdf
(131.5 КБ) 495 скачиваний

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение gs » 21 мар 2014, 17:18

Зачем нужен сас коммутатор, если на самой СХД есть достаточное количество портов?

Обмен между хостами в любом случае только через эзернет.

В плане 1Г айскази меня смущает только 1С...

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 21 мар 2014, 18:15

Правильно ли я понимаю, что раз полка с двумя контроллерами, то каждый контроллер должен быть подключен к каждому узлу своим кабелем?
И еще по-поводу SAS и кластера из 3-х хостов: в VMware Conpatibility guide нашел вот такое замечание: "Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster."
http://www.vmware.com/resources/compati ... tOrder=Asc

Т.е. напрямую можно подцепить только 2 узла? В нашей схеме планируется три.
Плюс по конфигуратору от IBM (http://www-03.ibm.com/systems/support/s ... bility.wss) при применении прямого SAS недоступна технология VMware HA... :( То бишь отказоустойчивый кластер создать такими подключениями не получиться?

Насчет вашего смущения по поводу 1с и 1G iSCSI - Storwize 3700 позволяет воткнуть платы 4 + 4 1G iSCSI - если подцепить их все в коммутатор, а от серверов подать по 2 подключения...

MAV
Advanced member
Сообщения: 68
Зарегистрирован: 30 окт 2013, 17:07
Откуда: Москва
Контактная информация:

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение MAV » 24 мар 2014, 10:11

LEXX_NDM писал(а):Правильно ли я понимаю, что раз полка с двумя контроллерами, то каждый контроллер должен быть подключен к каждому узлу своим кабелем?
И еще по-поводу SAS и кластера из 3-х хостов: в VMware Conpatibility guide нашел вот такое замечание: "Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster."
Ключевое слово direct attach. Вам, насколько я понял, в качестве решения предлагалось v3700, а там в стоке, без плат расширения, можно подключить до 3-х узлов.
Т.е. напрямую можно подцепить только 2 узла? В нашей схеме планируется три.
Плюс по конфигуратору от IBM (http://www-03.ibm.com/systems/support/s ... bility.wss) при применении прямого SAS недоступна технология VMware HA... :( То бишь отказоустойчивый кластер создать такими подключениями не получиться?
сам SAS интерфейс уже предполагает отказоустойчивость, а если разделить пути по двум узлам, то высоко доступное решение не проблема.
Насчет вашего смущения по поводу 1с и 1G iSCSI - Storwize 3700 позволяет воткнуть платы 4 + 4 1G iSCSI - если подцепить их все в коммутатор, а от серверов подать по 2 подключения...
я думаю тут скорей опасения у коллеги не столько по скорости, сколько по латентности эзернет подключения.

LEXX_NDM
Junior member
Сообщения: 8
Зарегистрирован: 20 мар 2014, 16:41
Откуда: Надым

Re: Кластер виртуализации с СХД под управлением VMware.

Сообщение LEXX_NDM » 24 мар 2014, 10:29

MAV писал(а): Ключевое слово direct attach. Вам, насколько я понял, в качестве решения предлагалось v3700, а там в стоке, без плат расширения, можно подключить до 3-х узлов.
Т.е. если мы берем стоковый Storwize 3700 мои узлы кластера (3 шт.) должны быть оборудованы каждый 2-х портовый SAS контроллером (например 9750-4i4e), в каждый будут приходить по 2 хвоста с СХД (по 1 с каждого контроллера Storwize) и все это дело будет работать в составе HA кластера VMware ESXi 5.5?
Но тогда я не совсем понимаю, что значит эта фраза на сайте VMware (Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster.)...?

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 30 гостей