Серверный Форум Тринити

Доброго времени суток !

Есть ли у кого опыт эксплуатации vmware ESX с СХД Xyratex ?

При использовании Xyratex с vmware ESX я столкнулся с проблемами производительности.

Конфигурация:
vmware ESX 3x (3.01, 3.02, 3.5), ESX 4x
HBA QLogic
Xyratex 5xxx, RAID 5 SAS, RAID 5 SATA
подключение по FC (пробовали PTP и фабрику)
Гостевая ОС на ESX - win2k3
ESX Datastore в VMFS 3x
Пробовали разные прошивки контроллера Xyratex
Пробовали разные варианты конфигурирования, в том числе и рекомендуемые vmware в SAN guide.

Проблема:
Низкая производительность записи в гостевых ос.
Запись больших файлов (несколько ГБ) внутри гостевой ОС происходит очень медленно. Согласно монитору дисков StorView скорость записи в районе 10 МБ. Windows показывает примерно такой же результат.
Такой же результат даже когда сервер не нагружен, работает только одна гостевая ОС.
При подключении Xyratex к физическому win2k3 скорость записи до 100 МБ.

Созданный диск в гостевой VM "thin" или "thick"?

exLH писал(а):Созданный диск в гостевой VM "thin" или "thick"?

Прошу прощение за долгое молчание.

Диски пробовали все видов. На производительность это практически не повлияло.
При определенной настройке зератекса (SAS и SATA) (в опция performance) удалось добиться хорошей производительности при записи непосредственно на ESX datastore - до 80 МБ/сек. Удалось создать одну ВМ (win2k3 ent sp1) с диском 30 ГБ, запись на которую идет быстро (до 60МБ/сек). Для всех остальных ВМ (win2k3, с того же дистрибутива) производительность при записи внутрь плохая < 10 МБ/сек + блокировка метаданных на ESX.
Очевидно, что проблема на уровне виртуализации дисков ВМ (vmdk) или внутри гостевой ОС.
Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

AlexeyC писал(а):Диски пробовали все видов. На производительность это практически не повлияло.

При всем уважении, не верю. Если тестируете запись на свежесозданном диске, разница должна быть весьма заметная.

AlexeyC писал(а):Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

Склонируйте ту ВМ, на которой скорость большая - и посмотрите еще раз.

exLH писал(а):

AlexeyC писал(а):Диски пробовали все видов. На производительность это практически не повлияло.

exLH писал(а): При всем уважении, не верю. Если тестируете запись на свежесозданном диске, разница должна быть весьма заметная.

Скорость во всех случаях очень медленная < 10 мб /сек. Думаю узким местом тут является не тип диска. По этому одинаковый результат.

AlexeyC писал(а):Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

exLH писал(а): Склонируйте ту ВМ, на которой скорость большая - и посмотрите еще раз.

[/quote]
Пробовал. Копировал vmdk на другие datastrore и создавал ВМ на основе этого диска. Запись на диск C: (системный) клона идет так же быстро. Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

AlexeyC писал(а):Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

Готов поспорить, что создаете "thin" vmdk - убедитесь, что создаете либо eagerzeroedthick, либо thick.

exLH писал(а):

AlexeyC писал(а):Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

Готов поспорить, что создаете "thin" vmdk - убедитесь, что создаете либо eagerzeroedthick, либо thick.

Проверил еще раз - диск thick.

Не поленился и проверил:
ESXi 3.4 build123629
Xyratex F5412E dual controller, 10x73GB в RAID10
Windows Server 2008 Std
10GB vmdk zeroedthick
линейная запись (64kB, 4 outstanding I/Os, 100% sequential, 100% writes) - ~110MB/s

через RDM примерно аналогично получается.

Так что чините свои операционки...

exLH писал(а):Не поленился и проверил:
ESXi 3.4 build123629
Xyratex F5412E dual controller, 10x73GB в RAID10
Windows Server 2008 Std
10GB vmdk zeroedthick
линейная запись (64kB, 4 outstanding I/Os, 100% sequential, 100% writes) - ~110MB/s

через RDM примерно аналогично получается.

Так что чините свои операционки...

Спасибо.
Любопытно.
Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?
Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

AlexeyC писал(а): Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?

Да.

AlexeyC писал(а): Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

Если честно - трудно. Кроме того, имеет смысл помнить про многочисленные проблемы windows 2003 при записи больших файлов по сети.

exLH писал(а):

AlexeyC писал(а): Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?

Да.

AlexeyC писал(а): Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

Если честно - трудно. Кроме того, имеет смысл помнить про многочисленные проблемы windows 2003 при записи больших файлов по сети.

ОК .Спасибо за помощь !

А как версия firmware на зератексе ?

3.7 Build 0015

Удалил RAID 5 и построил RAID 10.
Скорость записи в гостевых ОС под vmware ESX 4 и Xenserver 5.5 до 80 мб/сек...

Пересобрал RAID5 на последней прошивке (3.7 Build 0015 )
Скорость записи в гостевых ОС под vmware ESX 4 (c vmtools и без) - 10 МБ/сек. Под Xenserver 5.5 12 мб/сек до установки Xentools и до 50 МБ/сек после.

Непонятно почему vmware так не дружит с raid5 на xyratex

Уважаемые специалисты.

Прошу, подскажите как мерить скорость работы с диском на виртуалках?
хочу провести аналогичные эксперименты.