НУжен совет по консолидации серверов

Как создать сервер оптимальной конфигурации.

Модераторы: Trinity admin`s, Free-lance moderator`s

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: НУжен совет по консолидации серверов

Сообщение Ziggy Stardust » 26 янв 2011, 12:48

Black-Dragon писал(а): А что вы скажете о HyperV vs ESX(i)? Сильно ли хуже первый в применении к нашему кейсу (с учетом максимальных потребностей, например, кластеризации, живой миграции и т.д.)?
С учетом именно максимальной боевой раскраски пока однозначно VMware. Сам по себе гипервизор пока тоже у VMware "покачественнее" будет.

У гипер-ви пока единственное _реальное_ приемущество - это цена. Заплатив за две Win2k8 R2 Enterprise лицензии можно развернуть кластер из двух гипер-ви хостов с 8-ю активированными виртуалками со все той же Win2k8 внутри.
И ещё такой вопрос по терминальным серверам: ограничивается ли технически в W2k3 количество терминальных пользователей. Т.е. знает ли сервер, что служба терминалов на нем лицензирована на N одновременных пользователей и не дает подключится (N+1)-ому? А в W2k8 R2?
Честно говоря, я тут не совсем в теме. По-моему, ограничивается именно числом введенных лицензий в службе лицензирования терминалов.
С уважением, Александр
ICQ://13043204

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 26 янв 2011, 12:53

Ziggy Stardust писал(а):Заплатив за две Win2k8 R2 Enterprise лицензии можно развернуть кластер из двух гипер-ви хостов с 8-ю активированными виртуалками со все той же Win2k8 внутри.
В смысле, кластер на уровне хостов? Или каждой пары VM в отдельности?

Не уверен, что кластеризация на уровне хостов практична, ведь (если я правильно понимаю), при сбое одной виртуальной машины, надо будет переходить целиком на второй физический сервер!

P.S. Правда, вот подумал, ведь почему должна умереть VM? - Только из-за софтовых проблем. А это значит, что её кластерная пара также сдохнет. Так? => Особого смысла в попарной кластеризации только VM нет?!

Ziggy Stardust
Advanced member
Сообщения: 327
Зарегистрирован: 15 сен 2007, 13:23
Откуда: Екатеринбург
Контактная информация:

Re: НУжен совет по консолидации серверов

Сообщение Ziggy Stardust » 26 янв 2011, 13:03

Black-Dragon писал(а):
Ziggy Stardust писал(а):Заплатив за две Win2k8 R2 Enterprise лицензии можно развернуть кластер из двух гипер-ви хостов с 8-ю активированными виртуалками со все той же Win2k8 внутри.
В смысле, кластер на уровне хостов? Или каждой пары VM в отдельности?
На уровне хостов.

Для кластеров между виртуалками под гипер-ви надо танцы с бубнами практиковать :-)
Не уверен, что кластеризация на уровне хостов практична, ведь (если я правильно понимаю), при сбое одной виртуальной машины, надо будет переходить целиком на второй физический сервер!
Задача кластеризации на уровне хостов состоит только в переносе виртуалок на другой хост при наличии проблем с аппаратной частью хоста (классический вариант HA кластера).
P.S. Правда, вот подумал, ведь почему должна умереть VM? - Только из-за софтовых проблем. А это значит, что её кластерная пара также сдохнет. Так? => Особого смысла в попарной кластеризации только VM нет?!
Софтовые проблемы внутри ВМ надо уже отдельно мониторить.
С уважением, Александр
ICQ://13043204

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 26 янв 2011, 16:24

Ziggy Stardust
Спасибо!

diz
У меня к вам были вопросы на предыдущей странице, ответьте, пожалуйста. И ещё на вопрос по терминальным серверам чуть выше.

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: НУжен совет по консолидации серверов

Сообщение diz » 26 янв 2011, 19:59

Black-Dragon писал(а): Подключение по SAS:
- на каких расстояниях возможно (вспоминается десяток метров),
- сколько серверов к одному DAS (это ведь уже DAS будет) можно подключать по SAS?
-Каг-бы до 20и метров, но у IBM доступны максимум 3х метровые кабели. С другой стороны, зачем такие расстояния для двух серверов?
-Понятие DAS размывается, но можете считать, что это DAS. Тут возможны варианты: Если берете DS3500+FC карту, тогда по SAS можно подключить до двух серверов напрямую. Если берете DS3500+SAS карту, то можно подключить до 4х серверов напрямую. Если подключать блейдцентр через SAS connectivity module (единственный на данный момент SAS коммутатор, с которым заявлена совместимость), то можно подключить как минимум 14 лезвий.
Black-Dragon писал(а): "FC репликация на удаленную площадку" это что? Оптика между 3524 и mirroring средствами самой СХД? Или ещё как?
Да, это оно самое.
Black-Dragon писал(а): VMWare Site Recovery Manager, можно ли пользовать с ESXi?
Если да, то достаточно ли купить лицензию только на SRM или нужны ещё какие-то пакеты? (И сколько оно примерно стоит?)
С ESXi можно. Важно понимать, что ESXi - не равно бесплатно. http://www.vmware.com/products/site-rec ... r/buy.html "Дополнительно" требуется vcenter и платная лицензия не менее standard.
Black-Dragon писал(а): И ещё, можно ли и нужно ли хост-сервер V-терминалов подключать напрямую к DAS, на которой хранятся профили пользователей или нужен промежуточный файл-сервер?
Вопрос не понял. У вас все будет лежать в СХД.
Black-Dragon писал(а): Там речи о нехватке ресурсов, вроде, не было. В голове запечатлелось так, что "2 - хорошо, 4 - плохо". Попробую найти какие-нибудь ссылки, не помню, где читал.
Мне кажется, Вы ошибаетесь.
Black-Dragon писал(а): По ограничению на пользователей TS на один сервер, а у вас сколько?
У нас терминал используется только в одном месте, там всего 20 человек, хоть и на дохлом сервере. Сам с этими проблемами не сталкивался.
Black-Dragon писал(а):Хотя, скажу честно, если HyperV уступает ESXi не так, чтобы ощутимо, я бы предпочел решение MS (ибо "единый" интерфейс и идеология, плюс через несколько лет HyperV будет превосходить ESX& :green: )
ИМХО они еще долго не догонят VMWare, но необходимого минимума, при котором многие уже смогут проигнорировать прелести VMWare вполне могут достичь в следующей версии H-V+SCVMM. Давненько закончили с другом курсы по hyper-v 2.0, впечатления вывалили тут: http://vmind.ru/2009/12/28/hyper-v-nash-vybor/ Описано несколько сбивчиво и в расчете на тех, кто уже пробовал hyper-v и понимает, о чем речь :) Если коротко: в hyper-v/scvmm настройка и работа осуществляется через зад, а грабли разбросаны в самых неожиданных местах. При такой реализации системы администрирования сравнивать чисто технические аспекты, такие как кол-во поддерживаемых VM, виртуальных процессоров, технологии работы с памятью и т.п. не имеет смысла, продукт создает впечатление сырого.

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 27 янв 2011, 11:09

diz писал(а):-Понятие DAS размывается, но можете считать, что это DAS. Тут возможны варианты: Если берете DS3500+FC карту, тогда по SAS можно подключить до двух серверов напрямую. Если берете DS3500+SAS карту, то можно подключить до 4х серверов напрямую.
Я представляю будущую инфраструктуру в ЦО как пара серверов-хостов - "носителей" VM всех серверов приложений (в т.ч. БД) и терминальных серверов соответственно. Т.е. на одном - все терминальные сервера, на втором - все остальные, ранее указанные.
Плюс ещё пара таких же резервных. Итого, 4. Таким образом, SAS подключение подойдет.
Не привык что-то делать без того, чтобы не предусмотреть некоторый запас...
А в дальнейшем, если вдруг ещё сервера надо будет подключать, возможно ли использовать указанный вами ранее SAS свитч, но не с блейд, а с произвольным сервером c SAS HBA (он так называется или просто "SAS контроллер"?)?
И ещё, делают ли резервирование SAS адаптеров, как с FC HBA или Ethernet, т.е. ставят ли (и подключают ли) два таких адаптера в каждый сервер?

Кстати, правильно ли я понимаю, что по SAS задержки д.б. мизерны (по сравнению с тем же Ethernet или iSCSIoE)?


По ESXi, итак мне понадобится ESXi Standard + vCenter + SRM?

- Там речи о нехватке ресурсов, вроде, не было. В голове запечатлелось так, что "2 - хорошо, 4 - плохо". Попробую найти какие-нибудь ссылки, не помню, где читал.
- Мне кажется, Вы ошибаетесь.
Вчера попытался что-нибудь раскопать, наткнулся только на обсуждение в форуме, где утверждалось, что TS в VM больше чем, с 2-мя ядрами работать нормально не умеет, и надо под TS в VM давать не более 2-х ЦПУ!

diz писал(а):продукт создает впечатление сырого.
Что ж, тогда я буду смотреть в сторону VMWare.

Спасибо за ответы.


P.S. Ещё пара вопросов всем:
- Можно ли проблему отсутствия драйверов для "персональных" USB принтеров для TS (например, Canon 2900, 3000) решить используя принт сервера? Или всё равно глючит?
- Какой наиболее дешевый сетевой принтер от HP можно брать для замены вышеуказанных Canon? (Т.к. вся 1ххх-ая серия сейчас дерьмо, начинаем с 2ххх. Скажем HP 2035n подойдет?)
- Необходима ли повторная активация W2k8 R2, который был установлен в VM на ESXi, MAK активирован и склонирован на идентичную по конфигурации VM? (Всё-таки там будет другой MAC, может даже серийники виртуального железа генерируются случайно и т.п.)
- Ставится ли ESXi на десктоп железо, чтоб поиграться?

Пока всё. Спасибо.


Stranger
А чего это вы самоустранились, я хотел получить бесплатные ответы именно от вас. (Они доставляют мне особое удовольствие) :D

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: НУжен совет по консолидации серверов

Сообщение diz » 27 янв 2011, 12:53

Black-Dragon писал(а):Я представляю будущую инфраструктуру в ЦО как пара серверов-хостов - "носителей" VM всех серверов приложений (в т.ч. БД) и терминальных серверов соответственно. Т.е. на одном - все терминальные сервера, на втором - все остальные, ранее указанные.
Плюс ещё пара таких же резервных. Итого, 4. Таким образом, SAS подключение подойдет.
Не привык что-то делать без того, чтобы не предусмотреть некоторый запас...
А в дальнейшем, если вдруг ещё сервера надо будет подключать, возможно ли использовать указанный вами ранее SAS свитч, но не с блейд, а с произвольным сервером c SAS HBA (он так называется или просто "SAS контроллер"?)?
И ещё, делают ли резервирование SAS адаптеров, как с FC HBA или Ethernet, т.е. ставят ли (и подключают ли) два таких адаптера в каждый сервер?
Когда потребуется увеличить кол-во серверов выдерните SAS карты, поставите FC`шные и подключите сколько надо через коммутаторы. Коммутатор блейдцентра работать без блейдцентра не будет. Да, можно поставить две HBA`шки.
Black-Dragon писал(а): Кстати, правильно ли я понимаю, что по SAS задержки д.б. мизерны (по сравнению с тем же Ethernet или iSCSIoE)?
Да.
Black-Dragon писал(а): По ESXi, итак мне понадобится ESXi Standard + vCenter + SRM?
Это если рассматривать вариант с репликацией и удаленным ЦОД`ом. Не забываем, что vsphere лицензирется попроцессорно, а standard поддерживает не более 6и ядер на процессор. Нюансов море на самом деле, Вы их все не выдерните через форум. К тому же, лично я могу насоветовать всякой фигни :)) Обратитесь к интеграторам, подготовят целостное и грамотное решение.
Последний раз редактировалось diz 27 янв 2011, 12:56, всего редактировалось 1 раз.

gserg
Advanced member
Сообщения: 56
Зарегистрирован: 27 июн 2008, 19:37
Откуда: Москва

Re: НУжен совет по консолидации серверов

Сообщение gserg » 27 янв 2011, 12:56

Black-Dragon писал(а): - Какой наиболее дешевый сетевой принтер от HP можно брать для замены вышеуказанных Canon? (Т.к. вся 1ххх-ая серия сейчас дерьмо, начинаем с 2ххх. Скажем HP 2035n подойдет?)
- Необходима ли повторная активация W2k8 R2, который был установлен в VM на ESXi, MAK активирован и склонирован на идентичную по конфигурации VM? (Всё-таки там будет другой MAC, может даже серийники виртуального железа генерируются случайно и т.п.)
- Ставится ли ESXi на десктоп железо, чтоб поиграться?
[/size]

1. Мне лично 2035 не понравился, не поддерживает Х-катриджы. Лучше 2055. Хотя и первый работает нормально.
2.При миграции с хоста на хост вы получаете абсолютно идентичную машину. При клонированиии МАКи поменяются, но сетевые настройки останутся, не помню точно (ребята поправят) SSID и имя компа не поменяются.
3. Еще как ставится, только не на все, нужно посмотреть совместимость. У меня тестовый ESXi 4.1 работает на ASUS P5Q -VMDO (так кажется) даже встроенная сеть на интел работает. + стоит двухголовая гигабитная сетевуха от супермикры в слоте PCI-E 16x :) Диски САТА видятся, но у меня их нет, хост подключен к СХД по ISCSI через езернет. Для экспериментов хватает.

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 27 янв 2011, 12:59

diz, gserg
Спасибо.
gserg писал(а):2.При миграции с хоста на хост вы получаете абсолютно идентичную машину. При клонированиии МАКи поменяются, но сетевые настройки останутся, не помню точно (ребята поправят) SSID и имя компа не поменяются.
Это мне известно, ибо давно клонированием промышляю. :D Пользую NewSID (но у меня всё на W2k3\XP, даже не знаю, есть ли что-то аналогичное на W2k8\Seven).
Речь идет именно о необходимости повторной активации (вопрос технический, не юридический).

Аватара пользователя
DeadMazay
Advanced member
Сообщения: 1743
Зарегистрирован: 20 сен 2007, 15:07
Откуда: Новосибирск, Мск
Контактная информация:

Re: НУжен совет по консолидации серверов

Сообщение DeadMazay » 27 янв 2011, 13:06

Black-Dragon писал(а): - Ставится ли ESXi на десктоп железо, чтоб поиграться?
ставится, но есть необходимые условия... это поддержка emt64, Intel-VT процессором и наличие поддерживаемой сетевой карты (без сетевки, помоему, даже не даст поставится)
с уважением Сергей.
ICQ: 365984224

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 27 янв 2011, 14:19

Подведу итоги.
Итак, что мы хотим:
1. При следующей смене серверов, виртуализировать все имеющиеся сервера на одной новой мощной машине (примерно так: 2x 8-10 Core with HT (32-40 logical cores)\ 96GB RAM\ 2x 4 ports 1000BaseT NIC).
Для отказоустойчивости берется ещё одна идентичная бекап машина.

2. Следующий шаг, перевод всех филиалов на терминальный сервис. С этой целью покупается ещё два, в общем-то, точно таких же серверов (основной и резервный TS-ы).

3. С целью создания резервного офиса (backup site) берутся ещё два сервера чуток послабее (примерно так: 2x 8 Core with HT (32 logical cores)\ 48GB RAM\ 2x 4 ports 1000BaseT NIC). Один как резерв для сервера приложений, второй - для терминального сервиса.

До сих пор всё ясно. Неясно только с дисковой подсистемой серверов.
Почему - вопрос денег. СХД покупать надо две, и вторую ставить на резервную площадку. Почему две, думаю очевидно.
Сколько будут стоить две СХД с 36-ю дисками 300GB SAS 15krpm и лицензией на mirroring (плюс что там ещё понадобится в минимальном варианте для кластеризации?)
Сильно ли дороже две СХД о 36-ти дисках vs 6 локальных дисковых подсистем в среднем с 20-ю дисками?


И ещё, если данные на СХД на резервной площадке будут реплицироваться средствами зеркалирования самих СХД, то что при этом будет с серверами на резервной площадке? В смысле, должны ли они быть включены, если да, то как будут работать их ОС, если их данные всё время меняются извне? Я никак не могу себе это представить.
Вот две ОС в кластере с единым хранилищем представляю, а это - нет. Объясните, пожалуйста.
Вот, если они будут выключены, а включена только СХД, то тоже представляю. Хотя нет, тут уже возникает вопрос согласованности данных, СХД-то реплицируются не вникая в согласованность. Голова кругом...
Поможите!

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: НУжен совет по консолидации серверов

Сообщение diz » 27 янв 2011, 14:34

Коротко и просто об SRM: http://www.vmgu.ru/articles/VMware-Site ... ry-Manager
Вот жирнее: http://vmind.ru/2009/03/29/nastrojka-srm
P.S. 1-3 я так и не понял, как у Вас получилась такая странная конфигурация.

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 27 янв 2011, 15:14

diz писал(а):P.S. 1-3 я так и не понял, как у Вас получилась такая странная конфигурация.
Почему? :green:
В смысле, что смущает? Слишком мощно и много памяти?
Если да, то за исключением одного сервера для установки на резервную площадку (её будем делать в этом году, и боюсь, что придется брать с локальной дисковой, ибо только одну СХД брать сейчас нерационально), всё остальное будет покупаться через год, не меньше. Потому и заложил чуть больше.

Аватара пользователя
diz
Advanced member
Сообщения: 1189
Зарегистрирован: 12 янв 2009, 12:09
Откуда: Пермь

Re: НУжен совет по консолидации серверов

Сообщение diz » 27 янв 2011, 15:58

Сервера на двух 8и ядерниках стоят в два раза дороже, чем на двух 6и ядерниках. Под виртуализацию обычно берут оборудование, которое дает максимум производительности за минимум денег, бывает, что обвязка-инфраструктура перевесят, но, думаю, это не тот случай.
Количество дисков тоже не соответствует процессорной мощи. Редко какая задача прокачает столько ядер-памяти и не нагрузит диски. Надо проводить полноценное обследование и сайзинг.
По оборудованию, которое будете покупать через год думать очень рано, т.к. год это огромный срок :)

P.S. Сегодня обратил внимание, в IBM`овских ценах память 1*8GB теперь стоит дешевле, чем 2*4GB

Black-Dragon
Advanced member
Сообщения: 507
Зарегистрирован: 17 апр 2009, 00:49
Откуда: Yerevan

Re: НУжен совет по консолидации серверов

Сообщение Black-Dragon » 27 янв 2011, 18:47

diz писал(а):Сервера на двух 8и ядерниках стоят в два раза дороже, чем на двух 6и ядерниках.
Я же написал, через год брать будем. Вот для резервной площадки ошибся, там, действительно, что-то типа Xeon 5650, как и советовал Ziggy Stardust.
diz писал(а):Количество дисков тоже не соответствует процессорной мощи. Редко какая задача прокачает столько ядер-памяти и не нагрузит диски. Надо проводить полноценное обследование и сайзинг.
Я так понял, что, по-вашему, дисков мало. 36 дисков мало? Что у нас сейчас, я подробно написал в 1-ом посте, и нагрузка не превышает нормы. IMHO, 36 дисков SAS 15krpm более, чем хорошо.
diz писал(а):По оборудованию, которое будете покупать через год думать очень рано, т.к.
год это огромный срок
Да, конечно. Поэтому я предварительно сверился с роудмапом Intel. :D
Там как раз 10-ти ядерные ЦПУ на подходе, а через годик и цены на них будут человеческими.
Единственное, чего пока не решил, это замена HDD на SSD.

Ответить

Вернуться в «Серверы - Конфигурирование»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 23 гостя