Кластер виртуализации с СХД под управлением VMware.
Модераторы: Trinity admin`s, Free-lance moderator`s
Кластер виртуализации с СХД под управлением VMware.
Доброго дня.
В компании назрела необходимость замены части серверного парка. Заодно было решено повысить надежность серверов путем перевода их на виртуальную платформу и организации отказоустойчивого кластера. К сожалению знаний по организации кластерных решений не хватает, поэтому хотелось бы обратиться к вам за помощью в выборе железа.
В качестве управляющего софта для кластера было решено остановиться на VMware Essential Plus Kit.
С железной точки зрения структура серверов видится следующим образом:
1. Сервер AD
2. Сервер Backup
3. Отказоустойчивый кластер, состоящий из:
3.1. Сервер управления VMware.
3.2.-3.4. Три ESXi хоста одинаковой конфигурации.
3.5. СХД рабочей емкостью не менее 10 ТБ.
Набор задач стандартный для небольшой организации:
- Общее число пользователей 200 (в перспективе 250).
- Домен под управлением Windows Server 2008.
- Сервер приложений 1С Предприятие 8.2 на 50 пользователей.
- Сервер SQL для 1С.
- Файловый сервер.
- Сервер WSUS.
- Сервер KSC.
- Сервер информационно-поисковых систем.
- Интернет шлюз.
- Ну и еще по мелочи несколько машин. В общем счете около 20 серверов.
Под хосты ESXi планируется взять 3 двухпроцессорные сервера Intel 2600 на Intel Xeon E5-2650v2 с 64 ГБ ОЗУ в каждом. Для загрузки ESXi ставим в них по 2 жестких диска SAS на 150-300 ГБ.
Под сервер управления ESXi однопроцессорный сервер на Intel XEON E3-1240v3 с 32 ГБ ОЗУ и 2 жесткими дисками SAS по 150-300 ГБ.
Таким образом какое-то видение самого кластера имеется. Насколько правильное - надеюсь на вашу помощь.
Однако в том, что касается СХД - тут у нас сплошные вопросы.
Какой интерфейс сопряжения СХД и узлов кластера оптимален для наших задач? какие конкретные модели СХД вы можете порекомендовать нам для выбора? Насколько правильно прикинуты мощности узлов нашего кластера?
В компании назрела необходимость замены части серверного парка. Заодно было решено повысить надежность серверов путем перевода их на виртуальную платформу и организации отказоустойчивого кластера. К сожалению знаний по организации кластерных решений не хватает, поэтому хотелось бы обратиться к вам за помощью в выборе железа.
В качестве управляющего софта для кластера было решено остановиться на VMware Essential Plus Kit.
С железной точки зрения структура серверов видится следующим образом:
1. Сервер AD
2. Сервер Backup
3. Отказоустойчивый кластер, состоящий из:
3.1. Сервер управления VMware.
3.2.-3.4. Три ESXi хоста одинаковой конфигурации.
3.5. СХД рабочей емкостью не менее 10 ТБ.
Набор задач стандартный для небольшой организации:
- Общее число пользователей 200 (в перспективе 250).
- Домен под управлением Windows Server 2008.
- Сервер приложений 1С Предприятие 8.2 на 50 пользователей.
- Сервер SQL для 1С.
- Файловый сервер.
- Сервер WSUS.
- Сервер KSC.
- Сервер информационно-поисковых систем.
- Интернет шлюз.
- Ну и еще по мелочи несколько машин. В общем счете около 20 серверов.
Под хосты ESXi планируется взять 3 двухпроцессорные сервера Intel 2600 на Intel Xeon E5-2650v2 с 64 ГБ ОЗУ в каждом. Для загрузки ESXi ставим в них по 2 жестких диска SAS на 150-300 ГБ.
Под сервер управления ESXi однопроцессорный сервер на Intel XEON E3-1240v3 с 32 ГБ ОЗУ и 2 жесткими дисками SAS по 150-300 ГБ.
Таким образом какое-то видение самого кластера имеется. Насколько правильное - надеюсь на вашу помощь.
Однако в том, что касается СХД - тут у нас сплошные вопросы.
Какой интерфейс сопряжения СХД и узлов кластера оптимален для наших задач? какие конкретные модели СХД вы можете порекомендовать нам для выбора? Насколько правильно прикинуты мощности узлов нашего кластера?
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
LEXX_NDM
Вам примерно расписать предполагаемую нагрузку со стороны пользователей:
1. SQL: объем базы и ее рост, число активных пользователей.
2. Файловый сервер: число активных пользователей, характер хранимых документов и т.п.
Какие еще сервисы, кроме перечисленных вы хотите виртуализировать?
Почему контроллер домена вы вынесли за пределы кластера? Умрет AD - умрет все.
Про Hyper-V вместо VmWare не думали?
Интернет-шлюз на 250 человек - тоже довольно серьезное устройство (кстати, сколько каналов VPN он должен одновременно держать?). Тут я бы вообще подумал об отдельном специализированном устройстве.
P.S. Укажите город.
Вам примерно расписать предполагаемую нагрузку со стороны пользователей:
1. SQL: объем базы и ее рост, число активных пользователей.
2. Файловый сервер: число активных пользователей, характер хранимых документов и т.п.
Какие еще сервисы, кроме перечисленных вы хотите виртуализировать?
Почему контроллер домена вы вынесли за пределы кластера? Умрет AD - умрет все.
Про Hyper-V вместо VmWare не думали?
Интернет-шлюз на 250 человек - тоже довольно серьезное устройство (кстати, сколько каналов VPN он должен одновременно держать?). Тут я бы вообще подумал об отдельном специализированном устройстве.
P.S. Укажите город.
Re: Кластер виртуализации с СХД под управлением VMware.
По серверу SQL:
Общее количество баз SQL - 4.
Активно используемых баз - 2.
Объем каждой базы 1С примерно 1,7 ГБ.
Скорость роста - менее 100 МБ в месяц.
Общее число пользователей до 50 человек.
По файловому серверу:
Общее число пользователей около 200 (в перспективе 250).
Характер документов на 80% MSO (doc, docx, slx, xlsx), pdf и графические файлы (jpg, tiff).
Контроллер домена за пределы кластера - только первичный, резервные в кластере. Честно говоря не знаю, как-то выглядит надежнее когда основной контроллер на отдельной машине.
Насчет HyperV - нет, поскольку часть серверов планируется под Linux-ом и необходим доступ к USB-устройствам, а у HyperV с этим как-то не очень.
Насчет доп. сервисов, подлежащих виртуализации - в перспективе планируется внедрение системы электронного документооборота уровня LanDocs, также не указал терминальный сервер, но терминальщиков у нас в пределах 10 человек.
По интернет-шлюзу - сейчас с этой задачей вполне себе успешно справляется "двухпроцессорная" виртуалка с 4 ГБ памяти и 50 ГБ винтов под Ubuntu. Стоит Squid, Iptables и простенький шейпер на htb.
Город: Надым.
Общее количество баз SQL - 4.
Активно используемых баз - 2.
Объем каждой базы 1С примерно 1,7 ГБ.
Скорость роста - менее 100 МБ в месяц.
Общее число пользователей до 50 человек.
По файловому серверу:
Общее число пользователей около 200 (в перспективе 250).
Характер документов на 80% MSO (doc, docx, slx, xlsx), pdf и графические файлы (jpg, tiff).
Контроллер домена за пределы кластера - только первичный, резервные в кластере. Честно говоря не знаю, как-то выглядит надежнее когда основной контроллер на отдельной машине.
Насчет HyperV - нет, поскольку часть серверов планируется под Linux-ом и необходим доступ к USB-устройствам, а у HyperV с этим как-то не очень.
Насчет доп. сервисов, подлежащих виртуализации - в перспективе планируется внедрение системы электронного документооборота уровня LanDocs, также не указал терминальный сервер, но терминальщиков у нас в пределах 10 человек.
По интернет-шлюзу - сейчас с этой задачей вполне себе успешно справляется "двухпроцессорная" виртуалка с 4 ГБ памяти и 50 ГБ винтов под Ubuntu. Стоит Squid, Iptables и простенький шейпер на htb.
Город: Надым.
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
LEXX_NDM
Решение вашей проблемы - USB Hub to Ethernet. Вроде вот такого Digi.
Кстати, и с Linux у Hyper-V не так уж плохо.
Контроллеры домена можно, конечно, размещать на узлах кластера, но Microsoft не рекомендует это делать. Главное, чтобы он был всегда доступен всем узлам кластера.Честно говоря не знаю, как-то выглядит надежнее когда основной контроллер на отдельной машине.
А вот с кластеризацией у USB устройств плохо. Вы вручную будете перетаскивать ключи с сервера на сервер?Насчет HyperV - нет, поскольку часть серверов планируется под Linux-ом и необходим доступ к USB-устройствам, а у HyperV с этим как-то не очень
Решение вашей проблемы - USB Hub to Ethernet. Вроде вот такого Digi.
Кстати, и с Linux у Hyper-V не так уж плохо.
Re: Кластер виртуализации с СХД под управлением VMware.
Дополнительный аргумент в пользу VMware - наши сотрудники проходили обучение по их продуктам и имеют опыт эксплуатации одиночных серверов vCenter. Так как функционал и стабильность даже версии 5.1 нас вполне устраивали смысла переходить на HyperV как-то не наблюдается.
Насчет USB через Ethernet - нужно будет уточнить по совместимости с нашими ключами...
Одни из наших поставщиков посоветовали в качестве интерфейса сопряжения узлов кластера с СХД некий InfinitiBand (http://ark.intel.com/ru/products/67317/ ... -Dual-Port вот такой зверь). Выглядит заманчиво, но насколько я понимаю потребуется совместимый с ним СХД?
Насчет USB через Ethernet - нужно будет уточнить по совместимости с нашими ключами...
Одни из наших поставщиков посоветовали в качестве интерфейса сопряжения узлов кластера с СХД некий InfinitiBand (http://ark.intel.com/ru/products/67317/ ... -Dual-Port вот такой зверь). Выглядит заманчиво, но насколько я понимаю потребуется совместимый с ним СХД?
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
Инфинибанд - это конечно хорошо, только вот СХД с таким интерфейсом негусто, причем это не самые дешевые штуки. И эффект от этого проявляется мягко говоря не во всех задачах.
До 7шт серверов можно подключить просто по SAS к ИБМ V3700 (очень быстро, дешево и сердито). Если серверов нужно больше, то есть FC. Ну или 10G.
До 7шт серверов можно подключить просто по SAS к ИБМ V3700 (очень быстро, дешево и сердито). Если серверов нужно больше, то есть FC. Ну или 10G.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
А низконагруженные машины можно и по 1Г цеплять...
Re: Кластер виртуализации с СХД под управлением VMware.
Ну узлов кластера на ближайшие пару лет планируется только 3...gs писал(а):До 7шт серверов можно подключить просто по SAS к ИБМ V3700 (очень быстро, дешево и сердито). Если серверов нужно больше, то есть FC. Ну или 10G.
- Tert
- Advanced member
- Сообщения: 4233
- Зарегистрирован: 19 янв 2003, 08:09
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
LEXX_NDM
Других разумных объяснения такому странному предложению нет.
Явно у них эти модули на складе завалялись:-).Одни из наших поставщиков посоветовали в качестве интерфейса сопряжения узлов кластера с СХД некий InfinitiBand
Других разумных объяснения такому странному предложению нет.
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
А то да, у нас пара мелланоксов тоже для тестов валяется
Re: Кластер виртуализации с СХД под управлением VMware.
Насчет использования SAS для сопряжения СХД и узлов: насколько оправдано применение SAS-коммутатора или можно напрямую цеплять узлы к СХД? Но ведь в таком случае обмен данными между узлами будет возможен лишь через Ethernet? И будут ли они видеть и совместно использовать такое хранилище?
Пока наименее затратным и понятным для нас является вот такое решение:
на схеме показано только взаимодействие узлов виртуализации с СХД...
Пока наименее затратным и понятным для нас является вот такое решение:
на схеме показано только взаимодействие узлов виртуализации с СХД...
- Вложения
-
- Doc4.pdf
- (131.5 КБ) 495 скачиваний
- gs
- Сотрудник Тринити
- Сообщения: 16650
- Зарегистрирован: 23 авг 2002, 17:34
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
Зачем нужен сас коммутатор, если на самой СХД есть достаточное количество портов?
Обмен между хостами в любом случае только через эзернет.
В плане 1Г айскази меня смущает только 1С...
Обмен между хостами в любом случае только через эзернет.
В плане 1Г айскази меня смущает только 1С...
Re: Кластер виртуализации с СХД под управлением VMware.
Правильно ли я понимаю, что раз полка с двумя контроллерами, то каждый контроллер должен быть подключен к каждому узлу своим кабелем?
И еще по-поводу SAS и кластера из 3-х хостов: в VMware Conpatibility guide нашел вот такое замечание: "Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster."
http://www.vmware.com/resources/compati ... tOrder=Asc
Т.е. напрямую можно подцепить только 2 узла? В нашей схеме планируется три.
Плюс по конфигуратору от IBM (http://www-03.ibm.com/systems/support/s ... bility.wss) при применении прямого SAS недоступна технология VMware HA... То бишь отказоустойчивый кластер создать такими подключениями не получиться?
Насчет вашего смущения по поводу 1с и 1G iSCSI - Storwize 3700 позволяет воткнуть платы 4 + 4 1G iSCSI - если подцепить их все в коммутатор, а от серверов подать по 2 подключения...
И еще по-поводу SAS и кластера из 3-х хостов: в VMware Conpatibility guide нашел вот такое замечание: "Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster."
http://www.vmware.com/resources/compati ... tOrder=Asc
Т.е. напрямую можно подцепить только 2 узла? В нашей схеме планируется три.
Плюс по конфигуратору от IBM (http://www-03.ibm.com/systems/support/s ... bility.wss) при применении прямого SAS недоступна технология VMware HA... То бишь отказоустойчивый кластер создать такими подключениями не получиться?
Насчет вашего смущения по поводу 1с и 1G iSCSI - Storwize 3700 позволяет воткнуть платы 4 + 4 1G iSCSI - если подцепить их все в коммутатор, а от серверов подать по 2 подключения...
-
- Advanced member
- Сообщения: 68
- Зарегистрирован: 30 окт 2013, 17:07
- Откуда: Москва
- Контактная информация:
Re: Кластер виртуализации с СХД под управлением VMware.
Ключевое слово direct attach. Вам, насколько я понял, в качестве решения предлагалось v3700, а там в стоке, без плат расширения, можно подключить до 3-х узлов.LEXX_NDM писал(а):Правильно ли я понимаю, что раз полка с двумя контроллерами, то каждый контроллер должен быть подключен к каждому узлу своим кабелем?
И еще по-поводу SAS и кластера из 3-х хостов: в VMware Conpatibility guide нашел вот такое замечание: "Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster."
сам SAS интерфейс уже предполагает отказоустойчивость, а если разделить пути по двум узлам, то высоко доступное решение не проблема.Т.е. напрямую можно подцепить только 2 узла? В нашей схеме планируется три.
Плюс по конфигуратору от IBM (http://www-03.ibm.com/systems/support/s ... bility.wss) при применении прямого SAS недоступна технология VMware HA... То бишь отказоустойчивый кластер создать такими подключениями не получиться?
я думаю тут скорей опасения у коллеги не столько по скорости, сколько по латентности эзернет подключения.Насчет вашего смущения по поводу 1с и 1G iSCSI - Storwize 3700 позволяет воткнуть платы 4 + 4 1G iSCSI - если подцепить их все в коммутатор, а от серверов подать по 2 подключения...
Re: Кластер виртуализации с СХД под управлением VMware.
Т.е. если мы берем стоковый Storwize 3700 мои узлы кластера (3 шт.) должны быть оборудованы каждый 2-х портовый SAS контроллером (например 9750-4i4e), в каждый будут приходить по 2 хвоста с СХД (по 1 с каждого контроллера Storwize) и все это дело будет работать в составе HA кластера VMware ESXi 5.5?MAV писал(а): Ключевое слово direct attach. Вам, насколько я понял, в качестве решения предлагалось v3700, а там в стоке, без плат расширения, можно подключить до 3-х узлов.
Но тогда я не совсем понимаю, что значит эта фраза на сайте VMware (Storage array SVC 7.2 SAS direct attach only support ESXi 5.5 two node cluster.)...?
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 31 гость