Железо для VMware vSphere

Технологии постороения кластеров (вычислительных и отказоустойчивых), настройка терминал серверов,
SAN , NAS, FibreChannel, Infiniband

Модераторы: Trinity admin`s, Free-lance moderator`s

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Железо для VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 12:39

Добрый день!

На выходных умер сервер Exchange 2003 - Intel-платформа года этак 2004-го.
Умер собственно RAID целиком.
С трудом подняли с бэкапа, потеряв часть данных в ящиках пользователей.
Проблемы с отдельными пользователями решаются до сих пор.
На фоне этого рук-во согласилось рассмотреть варианты перевода всего нашего зоопарка на отказоустойчивую виртуализированную платформу. :)

Некоторый опыт работы с VMware имеется, и я планирую вот такую схему:

3 сервера IBM x3650M2 "половинки" - т.е. можно будет в последствие потихоньку добавить ещё по 64Gb RAM и процессор второй:
1 x 794792G x3650 M2, Xeon 4C X5570 95W 2.93GHz/1333MHz FSB/8MB L3, 2x2GB, O/Bay 2.5in HS SAS, SR MR10i,CD-RW/DVD Combo, 675W p/s, Rack
8 x 46C7449 8GB Dual Rank PC3-10600 CL9 ECC DDR3 LP RDIMM 1333MHz
2 x 39R6525 QLogic 4Gb FC Single-Port PCIe HBA for IBM System x
1 x NetXtreme II 1000 Express Quad Port Ethernet Adapter
1 x 49Y3704 Express Redundant 675W Power supply
1 x 41W9680 3 Year Onsite Repair 24x7 8 Hour Committed Service (CS)

2 FC 4Gb коммутатора:
1 x Qlogic SANbox 5600 full fabric switch with (8) 4Gb ports enabled, (1) power supply, QuickTools software. [SB5600Q-08A]
3 x Qlogic Optical SFPs - 4Gb (4-pack) short wave SFP connectors Минимальная сумма счета 12000 р [SFP4-SW-JD4]
1 x Qlogic (4) port upgrade software license key for SANbox 5600Q, 5600 and 5600-E switches. [LK-5600-4PORT]

2 стораджа IBM DS3400 - два RAID-5 в каждом с одним диском HotSpare для каждого массива:
1 x 172642X IBM System Storage DS3400 Dual Controller
4 x 39R6475 IBM 4-Gbps Optical Transceiver - SFP
6 x 42D0560 Express IBM Express 450GB 3.5in HS 15K SAS HDD
6 x 43W7630 1000 GB Dual Port Hot Swap SATA
1 x 44J8020 3 Year Onsite Repair 24x7 4 Hour Response

Поверх этого VMware vSphere.
vMotion - основная технология для отказоустойчивости, может FaultTolerance для пары серверов.
Загрузку серверов предпологаю с SAN.
По процам и IO - ресурсов должно хватить даже "половинок", т.к. хоть парк серверов в основном и IBM, но все покупались по минимуму.
Т.е. Windows Server 2008 с 1Гб ОЗУ - нормальное явление :)
Реально загруженное приложение - это несколько MS SQL для 1C.
Да, политика компании - использовать оборудование IBM, если совсем никак - HP.

Вопросы:
1. Насколько выгодна/сбалансирована такая схема? В смысле может лучше делать на блейдах? Да и вообще, хотелось бы услышать мнение людей, которые постоянно пректируют подобные системы :)
2. Чем обеспечивать "зеркалирование"/отказоустойчивость стораджей? Надо чтобы при выходе из строя основного, запасной сторадж прозрачно подхватывался, Active/Active кластер вообщем.
3. Если покупать у вас, можно ли расчитывать на техподдержку в рамках "это железо будет работать так, как оговаривалось"? Вообще, некая сумма на консалтинговые услуги предпологается, но небольшая. Какие есть варианты?
Последний раз редактировалось TangaRUS 18 фев 2010, 20:58, всего редактировалось 1 раз.

Аватара пользователя
gs
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 16650
Зарегистрирован: 23 авг 2002, 17:34
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение gs » 18 фев 2010, 13:11

Огласите перечень задач для кластера. А то начали про эксчендж, закончили про 1С, причем без указания нагрузок и т.п.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 13:14

TangaRUS писал(а):vMotion - основная технология для отказоустойчивости
vMotion не имеет никакого отношения к отказоустойчивости!
TangaRUS писал(а):1. Насколько выгодна/сбалансирована такая схема? В смысле может лучше делать на блейдах?
Вполне адекватная схема. Если одного сервера под все задачи хватает, то никакого смысла в блейдах нет.
TangaRUS писал(а):2. Чем обеспечивать "зеркалирование"/отказоустойчивость стораджей? Надо чтобы при выходе из строя основного, запасной сторадж прозрачно подхватывался, Active/Active кластер вообщем.
IBM SAN Volume Controller EE
TangaRUS писал(а):3. Если покупать у вас, можно ли расчитывать на техподдержку в рамках "это железо будет работать так, как оговаривалось"?
Конечно. Но надо понимать, что "а вот теперь мы устроим тендер - кто продаст оборудование в ноль" автоматически подразумевает вынос техподдержки в отдельную строку бюджета а не ее наличие "в рамках".
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 13:26

gs писал(а):Огласите перечень задач для кластера. А то начали про эксчендж, закончили про 1С, причем без указания нагрузок и т.п.
Всегда можно вывалить кучу сырой "информации", но разбираться как правило всем лень.
Поэтому я и сократил до "По процам и IO - ресурсов должно хватить".

Но если настаиваете, вот что на него должно переехать: http://spreadsheets.google.com/ccc?key= ... rbEE&hl=ru

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 13:29

exLH писал(а):
TangaRUS писал(а):vMotion - основная технология для отказоустойчивости
vMotion не имеет никакого отношения к отказоустойчивости!
Ну как сказать :)
Я прекрасно понимаю, что делает vMotion, и в данном случае имею ввиду, что если физический сервер внезапно умрёт, то для выполнявшихся на нём виртуальных машин это будет выглядеть как нажатие кнопки reset, но при этом они автоматически перезапустятся на живых хостах.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 13:31

TangaRUS писал(а):Ну как сказать :)
Я прекрасно понимаю, что делает vMotion, и в данном случае имею ввиду, что если физический сервер внезапно умрёт, то для выполнявшихся на нём виртуальных машин это будет выглядеть как нажатие кнопки reset, но при этом они автоматически перезапустятся на живых хостах.
Ну вот так прямо и скажите :)
В указанном Вами случае vMotion не принимает никакого участия. Вообще никакого. А то, что Вы говорите - это VMware HA.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 13:39

exLH писал(а):В указанном Вами случае vMotion не принимает никакого участия. Вообще никакого. А то, что Вы говорите - это VMware HA.
Да, вы правы, криво написал. Конечно имел ввиду что vMotion будет использоваться при обслуживании железа.

А про IBM SAN Volume Controller EE сейчас читаю, но уже вижу что оно не красивое и дорогое.
Может тогда есть какой-нибудь Active/Passive для стораджа?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 13:47

TangaRUS писал(а):но уже вижу что оно не красивое и дорогое.
"не красивое" потому что "дорогое"? Или "не красивое" потому что отказоустойчивое, масштабируемое, повышающее производительность, закладывающее основу для дальнейшего расширения, ... {могу еще некоторое время продолжать} ?

Можно на каждой VM локально зеркалировать диски между системами. Если не запутаетесь (вернее до тех пор пока не запутаетесь).
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 14:33

exLH писал(а):Если одного сервера под все задачи хватает, то никакого смысла в блейдах нет.
Поясните пожалуйста смысл этой фразы.
TangaRUS писал(а):"не красивое" потому что "дорогое"? Или "не красивое" потому что отказоустойчивое, масштабируемое, повышающее производительность, закладывающее основу для дальнейшего расширения, ... {могу еще некоторое время продолжать} ?
Скорее всего так :)
Читаю, и вижу что тема SVС очень объёмная.
Можете рассказать, какие опции SVC нужны в планируемую схему, и сколько приблизительно стоят?
Я так понял, что каждая нода SVC состоит из двух узлов и обеспечивает непрерывную работу в случае выхода одного узла из строя?
Какова будет схема их включения в FC сеть?

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 15:40

TangaRUS писал(а):Поясните пожалуйста смысл этой фразы.
Смысл фразы в том, что если
По процам и IO - ресурсов должно хватить даже "половинок", т.к. хоть парк серверов в основном и IBM, но все покупались по минимуму.
то никакого смысла городить блейд нет.

Можете рассказать, какие опции SVC нужны в планируемую схему, и сколько приблизительно стоят?
Чтобы получить искомый результат - ничего кроме "базы".

Я так понял, что каждая нода SVC состоит из двух узлов и обеспечивает непрерывную работу в случае выхода одного узла из строя?
Можно и так сказать. Если проще - считайте, что это некий черный ящик, который сам по себе обладает отказоустойчивостью и делает все, что нужно для реализации Ваших требований.

Какова будет схема их включения в FC сеть?
минимальная схема - два коммутатора, зоны для хостов + зоны для дисковых устройств.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 15:54

Ладно, с блейдами понятно - не надо оно нам.

А по цене SVC всё-таки можете ответить, сколько эта "база" будет стоить?

ЗЫ: А если брать стораджи других производителей, есть у кого-нибудь "встроенное" решение по репликации?
Повторюсь, что устроит вариант, например как VMware HA, т.е. с перезагрузкой машин.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 16:44

TangaRUS писал(а):А по цене SVC всё-таки можете ответить
На 24 диска в листпрайсе - чуть меньше 70к$.
TangaRUS писал(а):ЗЫ: А если брать стораджи других производителей, есть у кого-нибудь "встроенное" решение по репликации?
"встроенное" решение по репликации есть и у IBM, только не для 3400.
А Вы хотите не репликацию, а зеркалирование. Это вещи разные, хотя хочется конечно чтобы они стоили одинаково :)
Чтобы "вылет" дисковой системы из строя отрабатывался совершенно прозрачно, может быть только два варианта - vmware даже не должна узнать о том, что была проблема на стороне СХД, либо все должно быть сделано на уровне каждой VM.
В остальных случаях потребуется ручное вмешательство по разруливанию ситуации.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо за VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 17:07

exLH писал(а):На 24 диска в листпрайсе - чуть меньше 70к$.
Не для этого бюджета.
Делаем вывод: зеркалирование - не для нас.

Тогда нужно оптимальное решение по репликации, при котором будет обеспечена консистеность данных в ВМ, будет необходимо минимальное ручное вмешательство(по времени выполнения), ну и конечно чем дешевле - тем лучше.
Какие тут варианты?

Или забить на это, и просто иметь второй сторадж рядом, и при вылете диска делать Storage vMotion на второй? Имею ввиду что вылетел один диск в массиве на первом сторадже, на его место встал hotspare диск, мы испугались и сделали Storage vMotion на второй сторадж, а на первом пока проверим/поменяем диски.

Аватара пользователя
exLH
Сотрудник Тринити
Сотрудник Тринити
Сообщения: 5061
Зарегистрирован: 11 фев 2004, 15:49
Откуда: Москва
Контактная информация:

Re: Железо за VMware vSphere

Сообщение exLH » 18 фев 2010, 17:37

TangaRUS писал(а):при котором будет обеспечена консистеность данных в ВМ
Консистентность данных в VM на уровне приложений на текущий момент может быть обеспечена только агентами внутри VM, например с использованием EMC Avamar.
TangaRUS писал(а):Или забить на это, и просто иметь второй сторадж рядом, и при вылете диска делать Storage vMotion на второй?
Вот здесь совсем не понял. Во-первых, Storage vMotion работает только в Enterprise и Ent+. Вы именно на эти лицензии ориентировались? Во-вторых, если с дисковой что-то случилось так, что она умерла, то storage vmotion уже ничем не поможет - это только средство онлайновой миграции, а не отказоустойчивости.

Я бы на Вашем месте уделил бы внимание процедурам резервного копирования, в т.ч. и с использованием CDP.
Почтовый адрес для связи: a.ivanov@trinitygroup.ru | ICQ: 112586598

TangaRUS
Junior member
Сообщения: 16
Зарегистрирован: 18 фев 2010, 11:38
Откуда: Москва

Re: Железо для VMware vSphere

Сообщение TangaRUS » 18 фев 2010, 21:19

exLH писал(а): Вот здесь совсем не понял. Во-первых, Storage vMotion работает только в Enterprise и Ent+. Вы именно на эти лицензии ориентировались?
Вообще - нет, Advanced.
exLH писал(а): Во-вторых, если с дисковой что-то случилось так, что она умерла, то storage vmotion уже ничем не поможет - это только средство онлайновой миграции, а не отказоустойчивости.
Имею ввиду, что вылетел один диск в массиве на первом сторадже, на его место встал hotspare диск, мы испугались и сделали Storage vMotion на второй сторадж, а на первом пока проверим/поменяем диски.

CDP - это что? Continuous Data Protection? Имеется ввиду какая-то концепция или конкретный продукт?

Поговорил с начальством, позиция такая:
- Можем-ли мы потерять данные с момента последнего бэкапа(например за последние 24 часа)?
- Если мы тратим столько денег, то больше(намёк на сдохший ексчендж) мы ничего потерять не можем!

Т.е. (еще раз акцентирую) максимум на что мы готовы - это потеря данных в результате жёсткой перезагрузки, типа как в случае с VMware HA.
При этом $70k на SVC - точно не вариант.
Я питаю надежду, что мы просто друг друга не понимаем, и подходящее для нас решение всё же есть, просто у меня не получается объяснить что нам надо :)
Вот есть-же вполне бюджетное решение StarWind iSCSI Target(http://www.starwindsoftware.com/starwind) с таким HA как нам хочется!

Ответить

Вернуться в «Кластеры, Аппаратная часть»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 8 гостей