Сервер под ESX

[Be_HaPPY]

Предыстория:
Активно использую виртуализацию, сейчас 2 примерно одинаковых ESX-хоста: в каждом по 2 4-х ядерных XEON (в одном E5504 и в другом E5420), в каждом 24 Гб мозгов, Adaptec 5805 и RAID 6 на 10 SAS винтов в одном и 12 SAS винтов в другом.
Установлен ESXi 4.0, на котором крутятся 25 боевых виртуальных машин не считая тестовых. Всем хватало ресурсов, все относительно быстро бегало.
После очередной виртуализации - виндового веб-сервера (w2k3 x64) с сервером баз данных на MSSQL (sql 2005 + w2k8 x64) и 2-мя десятками сайтов резко возросла нагрузка на железо. Причем на сервере с E5420, где 2,5 ГГц на 667 шине машинкам было намного хуже, чем на сервере с E5504, где 2,0 ГГц на 800-й шине (по мозгам).
Если посмотреть показатели производительности в ESXi, то нагрузка на процессор от 10 до 60%, нагрузки на HDD практически нет, но при пиках нагрузки машинки с меньшим приоритетом остаются фактически без ресурсов (не могут ни с HDD нормально работать, ни элементарные операции выполнять).
Поэтому сейчас есть финансы на 3-й хост под виртуализацию (supermicro корпус с 12 корзинками, сдвоенным 2х800 Ватт блоком питания и Adaptec 5805 уже есть в наличии).
И вот собственно вопрос, что лучше:
1. Собрать еще один мощный esx-хост с собственной дисковой подсистемой или
2. Собрать мощный esx-хост и сделать единое хранилище данных для всех 3-х хостов?

По хранилищу рассматриваю все варианты от Starwind до специфических дистрибутивов, зашитых на флешку. По железу есть полный набор от серверов до RAID-контроллеров с кучей SAS-винтов и SAS-экспандеров (Chenbro). Поэтому надо только определиться, в какую сторону дальше развиваться.

По текущей нагрузке на винты могу сказать следующее: средняя нагрузка на винты - 20-70 мегабит/секунду. При переносе с хоста на хост машинок контроллер свободно выдает около 400 мегабит/секунду (сеть гигабитная), т.е. запас по скорости есть еще приличный.
Имеет ли смысл переходить с RAID 6 на 5?

По будущему серверу виртуализации так же есть сомнения: брать 2-х или 4-х процессорную конфигурацию? По памяти определился - где-то 72 Гб, т.к. хост виртуализации тоже имеет свои пределы по количеству размещаемых на нем виртуальных машинок. Но вот по процессорам непонятно: будет ли 4-х процессорная (каждый процессор по 4 ядра) конфигурация быстрее 2-х процессорной (на аналогичных процессорах)? Как я уже писал - нагрузка явно не на сами процессоры, а на шину.

[dim-soft]

54xx зеоны используют общую шину, а 55xx уже нет - там есть связь напрямую между процессорами
в 55xx -56xx частота шины между процессорами зависит от модели, самая быстрая в адванцед серии 5550 и выше

[Be_HaPPY]

Разница между 5550 (4 ядра) и 5650 (6 ядер) всего 100$. Даст ли прирост производительности покупка 2-х 6-ти ядерных процессоров против 2-х 4-х ядерных? Или на работу шины это не скажется?

[eworm]

а почему Вы решили,что "остаются без ресурсов" это проблема шины?? при 60% нагрузки на ядра хоста, машины без приоритета стоят в очереди на процессор и увеличение кол-ва ядер тут именно то,что надо. ( упереться в QPI на нехалемах...это даже я не знаю что у Вас за обмен с ОЗУ
(сколько у вас вцпу на вмашину?)

под виртуализацию количество ядер - это главный приоритет после ОЗУ.

[Be_HaPPY]

Как-то не думал, что при 60% нагрузке машинки уже начнут становиться в очередь. Теперь буду знать, спасибо.
Хочется понять, что у меня сделано не так, чтобы при выборе следующего сервера не допустить ошибок.
Хост который тупит, на нем крутятся:
4 линуксовых веб-сервера. Одному, с большим количеством сайтов выделено 4 vCPU, остальным трем - по 2. Машинки летают, проблем не испытывают.
Линуксовый ДНС и почтовый релей - у первого 1 vCPU и низкий приоритет, у второго - 2 vCPU и нормальный приоритет.
Виндовый веб-сервер (2k3). Жрет много ресурсов, т.к. на нем asp.net сайты (серверы приложений съедают по 200-300 Мб памяти каждый), выделено 4 vCPU и зарезервированы ресурсы по CPU.
Сервер БД. Все базы сайтов MSSQL (сидит 2,7 Гб в оперативке), MySQL (чуть больше гига). Является сервером БД для всех вышеперечисленных серверов. По счетчикам производительности затыков нет, круглые сутки отдает в сторону веб-серверов 5-10 Мбит/секунду. Но при определенных операциях (установка обновлений, бэкапы) резко возрастает нагрузка на процессоры и в эти моменты всему хосту становится плохо.
Машинка - файловая помойка (2k3, тоже крутится на этом сервере), имеющая низкий приоритет начинает ругаться, что нагрузка на проц выше ХХ%, хотя при этом сама почти ничего не делает. Тестовая машинка там же с низким приоритетом по всем параметрам начинает так тупить, что работать на ней вообще невозможно.
При этом если посмотреть на графики загрузки esxi-хоста, то возрастает использование CPU (всех ядер) и счетчик памяти "Memory Active".
Может, мне стоит уменьшить количество ядер на машинку?

В будущем, получается, лучше взять 6-ти ядерные процессоры.
Какой процессор будет оптимальным по соотношению цена/производительность?
E5645, L5640, X5650, X5660 или X5670 (диапазон от 1,1 до 1,7 k$)?

Стоит ли в моем случае переходить на отдельное хранилище или оставить хосты с собственными контроллерами и набором SAS-дисков?

P.S. до этого веб-сервер стоял на физическом сервере с Opteron 2220 и жестко тупил. Сервер БД стоял на полупрограммном RAID из 6 SATA и счетчик "длина очереди диска" зашкаливал. После переноса на виртуалку все стало летать.

[eworm]

Хост который тупит 4 vCPU

Ну вот сразу.. 4 вцпу это уже бутылочное горло-эта ВМ для отработки команды будет ждать пока будут доступны 4 физических ядра..
никогда не следует давать машине виртуальных ядер больше,чем ей реально нужно..
Если у Вас приложения(ие) реально утилизируют 4ех ядерный физический ЦПЮ- виртуализировать такие приложения я бы повоздержался.

Дайте всем машинам по 1 процессору, и смотрите на загрузку ядра внутри ВМ

По этой теме много хороших тредов на офф. форуме
вот ,как вариант:
http://communities.vmware.com/message/842893

[Be_HaPPY]

Ну вот сразу.. 4 вцпу это уже бутылочное горло-эта ВМ для отработки команды будет ждать пока будут доступны 4 физических ядра..

Спасибо, Вы дали моим серверам вторую жизнь

Не знал о такой особенности виртуализации, поэтому бездумно давал 4 ядра всем, у кого много различных приложений.

С процессорами определился - нужно брать с максимальным количеством ядер (либо 2 6-ти ядерных либо 4 4-х ядерных).

А стоит ли переходить на СХД, если у меня сейчас 3 ESX-хоста со своими хранилищами?

[exLH]

А стоит ли переходить на СХД, если у меня сейчас 3 ESX-хоста со своими хранилищами?

Стоит. И более того - настоятельно рекомендуется.

либо 4 4-х ядерных

старье не советую

[eworm]

Ну вот сразу.. 4 вцпу это уже бутылочное горло-эта ВМ для отработки команды будет ждать пока будут доступны 4 физических ядра..

Спасибо, Вы дали моим серверам вторую жизнь

Не знал о такой особенности виртуализации, поэтому бездумно давал 4 ядра всем, у кого много различных приложений.

С процессорами определился - нужно брать с максимальным количеством ядер (либо 2 6-ти ядерных либо 4 4-х ядерных).

А стоит ли переходить на СХД, если у меня сейчас 3 ESX-хоста со своими хранилищами?

4 ядра брать просто нет смысла.
С СХД сможете поиметь все прелести виртуализации-грубо говоря, все сервера превращаются в один пул ресурсов, с возможностью размазывать и регулировать нагрузку на этот пул как угодно и когда угодно, не говоря уже про отказоустойчивость( у вас всегда полночь,мало ли что ) и прочее.

[Be_HaPPY]

4-х ядерные хотел E5520 или E5507, но при этом брать материнку 4-х процессорную (итого 16 ядер на сервер)
6-ти ядерные - E5645, L5640, X5650, X5660 или X5670 (но при этом 2-х ядерная мать = 12 ядер на сервер)
Какой посоветуете?

По хранилищам: что стабильно работает с ESXi по гигабитным ethernet интерфейсам?
Рассматриваю starwind и open-e iscsi.
Железо будет supermicro мать, 55хх проц, 4 Гб ОЗУ, 20х300Gb SAS (2 корпуса) и 1 или 2 Adaptec 5805 + SAS Expander Chenbro (есть такой http://www.chenbro.com/corporatesite/pr ... php?sku=73 и такой http://www.chenbro.com/corporatesite/pr ... php?sku=74 ). Машинки будут подключаться по отдельным гигабитным Intel PRO1000 сетевушкам.
Что можно собрать из этого? Каким образом делить место в хранилище? Можно ли к одному и тому же разделу давать доступ разным ESXi-хостам? Чтобы в случае поломки хоста просто цеплять машинки в inventory другого хоста и запускать их там.

[eworm]

4 процессора...борт будет дорогой, плюс память размазываться на 4 узла,плюс ксеоны МП это 75хх, по-моему...
если бюджет не против-берите самое топовое, то есть 5670

по схд : смотрите на железо ibm 3500 или hp msa g3, софтовые решения в продакшн это не комильфо(плюс нужно две машины для старвинда в ХА кластере) и почитайте про vmfs, vmware HA, DRS ...большинство вопросов отпадут

[exLH]

4-х ядерные хотел E5520 или E5507, но при этом брать материнку 4-х процессорную (итого 16 ядер на сервер)

Так не бывает.
Это процессоры для двухпроцессорных машин.

Можно ли к одному и тому же разделу давать доступ разным ESXi-хостам?

Можно.
А старвинд - в кластер.

[Be_HaPPY]

Почитал описания и сравнения хранилищ и т.к. аппаратное сейчас купить бюджет не позволит, то решил отказаться от переноса всех машинок на программную СХД. Т.е. каждый хост лучше оставлю со своей SAS дисковой подсистемой, тем более места подо все хватает.

По процессорам появились еще сомнения:
AMD vs. Intel
CPU Intel® Xeon X5650 2.66GHz,12M,6.40GT/s, LGA1366 (95W), DDR3-1333 6Cores/12Threads (Westmere) OEM
и
CPU AMD 12-Core Opteron 6172 2,1GHz 12M 80w (Magny-Cours, Soket G34(1944) , 6400MT, DDR3-1333) OEM

Стоят одинаково, только во втором - аж 12 ядер против 6 Xeon'а. Что лучше взять под виртуализацию? Больше 2х12 ядер AMD или 2х6 ядер Xeon?

[eworm]

http://www.bit-tech.net/hardware/cpus/2 ... 0-review/1

[exLH]

http://www.vmware.com/products/vmmark/v1/results.html