vmware ESX vs Xyratex

[AlexeyC]

Доброго времени суток !

Есть ли у кого опыт эксплуатации vmware ESX с СХД Xyratex ?

При использовании Xyratex с vmware ESX я столкнулся с проблемами производительности.

Конфигурация:
vmware ESX 3x (3.01, 3.02, 3.5), ESX 4x
HBA QLogic
Xyratex 5xxx, RAID 5 SAS, RAID 5 SATA
подключение по FC (пробовали PTP и фабрику)
Гостевая ОС на ESX - win2k3
ESX Datastore в VMFS 3x
Пробовали разные прошивки контроллера Xyratex
Пробовали разные варианты конфигурирования, в том числе и рекомендуемые vmware в SAN guide.

Проблема:
Низкая производительность записи в гостевых ос.
Запись больших файлов (несколько ГБ) внутри гостевой ОС происходит очень медленно. Согласно монитору дисков StorView скорость записи в районе 10 МБ. Windows показывает примерно такой же результат.
Такой же результат даже когда сервер не нагружен, работает только одна гостевая ОС.
При подключении Xyratex к физическому win2k3 скорость записи до 100 МБ.

[exLH]

Созданный диск в гостевой VM "thin" или "thick"?

[AlexeyC]

Созданный диск в гостевой VM "thin" или "thick"?

Прошу прощение за долгое молчание.

Диски пробовали все видов. На производительность это практически не повлияло.
При определенной настройке зератекса (SAS и SATA) (в опция performance) удалось добиться хорошей производительности при записи непосредственно на ESX datastore - до 80 МБ/сек. Удалось создать одну ВМ (win2k3 ent sp1) с диском 30 ГБ, запись на которую идет быстро (до 60МБ/сек). Для всех остальных ВМ (win2k3, с того же дистрибутива) производительность при записи внутрь плохая < 10 МБ/сек + блокировка метаданных на ESX.
Очевидно, что проблема на уровне виртуализации дисков ВМ (vmdk) или внутри гостевой ОС.
Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

[exLH]

Диски пробовали все видов. На производительность это практически не повлияло.

При всем уважении, не верю. Если тестируете запись на свежесозданном диске, разница должна быть весьма заметная.

Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

Склонируйте ту ВМ, на которой скорость большая - и посмотрите еще раз.

[AlexeyC]

Диски пробовали все видов. На производительность это практически не повлияло.

При всем уважении, не верю. Если тестируете запись на свежесозданном диске, разница должна быть весьма заметная.

Скорость во всех случаях очень медленная < 10 мб /сек. Думаю узким местом тут является не тип диска. По этому одинаковый результат.

Почему на одной ВМ производительность при записи высокая, а у все остальных на этом же datastore (или любом другом) не понятно.

Склонируйте ту ВМ, на которой скорость большая - и посмотрите еще раз.

[/quote]
Пробовал. Копировал vmdk на другие datastrore и создавал ВМ на основе этого диска. Запись на диск C: (системный) клона идет так же быстро. Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

[exLH]

Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

Готов поспорить, что создаете "thin" vmdk - убедитесь, что создаете либо eagerzeroedthick, либо thick.

[AlexeyC]

Если создавать на этоймашине второй диск, на него пишется медленно (<10 МБ/сек).

Готов поспорить, что создаете "thin" vmdk - убедитесь, что создаете либо eagerzeroedthick, либо thick.

Проверил еще раз - диск thick.

[exLH]

Не поленился и проверил:
ESXi 3.4 build123629
Xyratex F5412E dual controller, 10x73GB в RAID10
Windows Server 2008 Std
10GB vmdk zeroedthick
линейная запись (64kB, 4 outstanding I/Os, 100% sequential, 100% writes) - ~110MB/s

через RDM примерно аналогично получается.

Так что чините свои операционки...

[AlexeyC]

Не поленился и проверил:
ESXi 3.4 build123629
Xyratex F5412E dual controller, 10x73GB в RAID10
Windows Server 2008 Std
10GB vmdk zeroedthick
линейная запись (64kB, 4 outstanding I/Os, 100% sequential, 100% writes) - ~110MB/s

через RDM примерно аналогично получается.

Так что чините свои операционки...

Спасибо.
Любопытно.
Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?
Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

[exLH]

Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?

Да.

Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

Если честно - трудно. Кроме того, имеет смысл помнить про многочисленные проблемы windows 2003 при записи больших файлов по сети.

[AlexeyC]

Диски в зератексе SAS ? Зератекс подключен к ESX двумя линками FC ?

Да.

Если не трудно можете добавить в win2k8 2-ой диск 200 ГБ ? И попытаться записать на него большие (> 3 GB) файлы.

Если честно - трудно. Кроме того, имеет смысл помнить про многочисленные проблемы windows 2003 при записи больших файлов по сети.

ОК .Спасибо за помощь !

А как версия firmware на зератексе ?

[exLH]

3.7 Build 0015

[AlexeyC]

Удалил RAID 5 и построил RAID 10.
Скорость записи в гостевых ОС под vmware ESX 4 и Xenserver 5.5 до 80 мб/сек...

[AlexeyC]

Пересобрал RAID5 на последней прошивке (3.7 Build 0015 )
Скорость записи в гостевых ОС под vmware ESX 4 (c vmtools и без) - 10 МБ/сек. Под Xenserver 5.5 12 мб/сек до установки Xentools и до 50 МБ/сек после.

Непонятно почему vmware так не дружит с raid5 на xyratex

[Forbius]

Уважаемые специалисты.

Прошу, подскажите как мерить скорость работы с диском на виртуалках?
хочу провести аналогичные эксперименты.