ESXi 5.5.0 под нагрузкой i/o отваливается Adaptec 6405

[MaTpockuH-koT]

А мне вот что ответили:
"В данный момент, увы, новый драйвер предоставить не можем. Но, в данный момент ясно, что проблематика связанна с материнскими платами Supermicro и процессорами Intel V2. Если взять процессор V1, то проблема исчезает."

Я бы всё-таки к связке мама-проц добавил и контроллер адаптек, ибо без оного фунциклирует

[rtk]

Здравствуйте!

Проблема решилась заменой Adaptec 6405 на LSI 9260-4I (цена на них одинакова).
Спасибо сотрудникам компании!

[Stranger03]

Здравствуйте!

Проблема решилась заменой Adaptec 6405 на LSI 9260-4I (цена на них одинакова).
Спасибо сотрудникам компании!

На самом деле частенько слышал про проблемы Адаптеков с Варью. Потому чаще рекомендация ставить LSI. На Винде оно работает неплохо, а вот с линуксами проблемы.

[MaTpockuH-koT]

Здравствуйте!

Проблема решилась заменой Adaptec 6405 на LSI 9260-4I (цена на них одинакова).
Спасибо сотрудникам компании!

На самом деле частенько слышал про проблемы Адаптеков с Варью. Потому чаще рекомендация ставить LSI. На Винде оно работает неплохо, а вот с линуксами проблемы.

Ни на одном из серверов с материнкой Intel я проблем с Adaptec не встречал. Однако у Вас практического опыта в мегаразы больше, поэтому спорить не буду.

[FessAectan]

Здравствуйте!

Проблема решилась заменой Adaptec 6405 на LSI 9260-4I (цена на них одинакова).
Спасибо сотрудникам компании!

Надеюсь и мне удастся прийти к такому решению.
Менеджеру отписал, жду ответа.

[Stranger03]

"MaTpockuH-koT"
исправьте город в профиле пож.

[vzverev]

Возможно, тем, кому еще дорог Adaptec, будет полезно это знать:

~ # md5sum /usr/lib/vmware/vmkmod/aacraid
a818c68b1e9dc69084517cff33c01985 /usr/lib/vmware/vmkmod/aacraid


~ # esxcli software vib install -v /tmp/vmware-esxi-drivers-scsi-aacraid-550.5.2.1.40700.-1.5.5.1331820.x86_64.vib --no-sig-check
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: Adaptec_Inc_bootbank_scsi-aacraid_5.5.5.2.1.40700-1OEM.550.0.0.1331820
VIBs Removed: VMware_bootbank_scsi-aacraid_1.1.5.1-9vmw.550.0.0.1331820
VIBs Skipped:
~ #
~ #
~ #
~ #
reboot

~ # md5sum /usr/lib/vmware/vmkmod/aacraid
af065d022de883b5b172f25a8987a979 /usr/lib/vmware/vmkmod/aacraid

После замены драйвера хост успешно прошел 12-ти часовой нагрузочный тест, на котором дважды повисал с inbox набором драйверов.
Диагностика следующая:

~ # lspci -p | grep vmhba2
0000:09:00.0 9005:0285 9005:02b6 11/ 11/0x2f A V aacraid vmhba2
~ #


~ # dmesg | grep "WARNING: LinScsi: SCSILinuxAbortCommands:" | awk '{print $7,$9}' | sort | uniq
aacraid, vmhba2
~ #
~ # dmesg | grep "WARNING: LinScsi: SCSILinuxAbortCommands:" | awk '{print $7,$9}' | wc -l
9004
~ #

~ # dmesg | grep "Host adapter abort request" | awk '{print $7}' | sort | uniq
(3,1,17,0)
(3,1,18,0)
~ #


esxcfg-info -s

\==+VMFS Filesystems :
\==+Vm FileSystem :
|----Volume UUID...........................................54745226-c4f488e6-835a-003048d3deae
|----Volume Name...........................................Backup
|----LVM Name..............................................54745225-b3e23a3b-f0f3-003048d3deae
|----Type..................................................VMFS
|----Head Extent...........................................t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF11210E:1
|----Console Path........................................../vmfs/volumes/54745226-c4f488e6-835a-003048d3deae
|----Block Size............................................1048576
|----Total Blocks..........................................951808
|----Blocks Used...........................................874218
|----Size..................................................998043025408
|----Usage.................................................916684013568
|----Lock Mode.............................................Public Vmfs5
|----Major Version.........................................5
|----Minor Version.........................................60
|----Is Force Mounted......................................false
|----Is Accessible.........................................true
|----Something Offline.....................................false
\==+Extents :
\==+Disk Lun Partition :
|----Name............................................t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF11210E:1
|----Partition Number................................1
|----Start Sector....................................2048
|----End Sector......................................975155167
|----Partition Type..................................251
|----Console Device................................../vmfs/devices/disks/t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF11210E:1
|----DevFS Path....................................../vmfs/devices/disks/t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF11210E:1
|----Size............................................499278396928
|----Type............................................0x000000fb
|----Guid............................................aa31e02a400f11db9590000c2911d1b8
\==+Scsi Stats :
|----Commands.....................................464931
|----Blocks Read..................................3003547
|----Blocks Written...............................833646679
|----Aborts.......................................0
|----Resets.......................................0
|----Read Operations..............................8965
|----Write Operations.............................455592
|----PAE commands.................................0
|----PAE copies...................................0
|----Split commands...............................0
|----Split copies.................................0
|----Issue Time...................................16639804135
|----Issue Time Reads.............................734413825
|----Issue Time Writes............................15559335169
|----Total Time...................................16646090879
|----Total Time Reads.............................734762804
|----Total Time Writes............................15565164410
|----Queue Time...................................2008731203
|----Queue Time Reads.............................360510473
|----Queue Time Writes............................1454688388
|----Layer Time...................................1289048774
|----Layer Time Reads.............................360712493
|----Layer Time Writes............................734800348
\==+Scsi Stats :
|----Commands.....................................465014
|----Blocks Read..................................3003547
|----Blocks Written...............................833798240
|----Read Operations..............................8965
|----Write Operations.............................455675
|----Total Splits.................................0
|----Physical Address Extent Commands.............0
\==+Latency Stats :
|----Issue Time................................16677591401
|----Issue Time Reads..........................734413825
|----Issue Time Writes.........................15597122435
|----Layer Time................................1289049457
|----Layer Time Reads..........................360712493
|----Layer Time Writes.........................734801030
|----Queue Time................................2008731850
|----Queue Time Reads..........................360510473
|----Queue Time Writes.........................1454689035
|----Total Time................................16683879236
|----Total Time Reads..........................734762804
|----Total Time Writes.........................15602952767
\==+Queue Stats :
|----Active Commands...........................0
|----Queued Commands...........................0
|----Current Queue Depth.......................0
|----Max Queue Depth...........................0
\==+Split Type Stats :
|----Alignment Splits..........................0
|----Physical Address Extent Splits............0
|----Scatter Gather Splits.....................0
|----Forced Copies.............................0
|----Forced Splits.............................0
\==+Task Management Stats :
|----Aborts....................................0
|----Virtual LUN Resets........................0
|----Abort Tasks...............................0
|----LUN Resets................................0
|----Device Resets.............................0
|----Bus Resets................................0
\==+Disk Lun Partition :
|----Name............................................t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF31LBME:1
|----Partition Number................................1
|----Start Sector....................................2048
|----End Sector......................................975155167
|----Partition Type..................................251
|----Console Device................................../vmfs/devices/disks/t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF31LBME:1
|----DevFS Path....................................../vmfs/devices/disks/t10.ATA_____Hitachi_HDP725050GLA360_______________________GEC534RF31LBME:1
|----Size............................................499278396928
|----Type............................................0x000000fb
|----Guid............................................aa31e02a400f11db9590000c2911d1b8
\==+Scsi Stats :
|----Commands.....................................9167244
|----Blocks Read..................................1095231100
|----Blocks Written...............................1320912911
|----Aborts.......................................0
|----Resets.......................................0
|----Read Operations..............................1029155
|----Write Operations.............................8138087
|----PAE commands.................................0
|----PAE copies...................................0
|----Split commands...............................0
|----Split copies.................................0
|----Issue Time...................................283109065842
|----Issue Time Reads.............................47615773449
|----Issue Time Writes............................235493291950
|----Total Time...................................283532192223
|----Total Time Reads.............................47728664709
|----Total Time Writes............................235803527066
|----Queue Time...................................15056589736
|----Queue Time Reads.............................3946815705
|----Queue Time Writes............................11109774027
|----Layer Time...................................13683796170
|----Layer Time Reads.............................3452473827
|----Layer Time Writes............................10231322336
\==+Scsi Stats :
|----Commands.....................................9167244
|----Blocks Read..................................1095231100
|----Blocks Written...............................1320912911
|----Read Operations..............................1029155
|----Write Operations.............................8138087
|----Total Splits.................................0
|----Physical Address Extent Commands.............0
\==+Latency Stats :
|----Issue Time................................283109065842
|----Issue Time Reads..........................47615773449
|----Issue Time Writes.........................235493291950
|----Layer Time................................13683796170
|----Layer Time Reads..........................3452473827
|----Layer Time Writes.........................10231322336
|----Queue Time................................15056589736
|----Queue Time Reads..........................3946815705
|----Queue Time Writes.........................11109774027
|----Total Time................................283532192223
|----Total Time Reads..........................47728664709
|----Total Time Writes.........................235803527066
\==+Queue Stats :
|----Active Commands...........................0
|----Queued Commands...........................0
|----Current Queue Depth.......................0
|----Max Queue Depth...........................0
\==+Split Type Stats :
|----Alignment Splits..........................0
|----Physical Address Extent Splits............0
|----Scatter Gather Splits.....................0
|----Forced Copies.............................0
|----Forced Splits.............................0
\==+Task Management Stats :
|----Aborts....................................0
|----Virtual LUN Resets........................0
|----Abort Tasks...............................0
|----LUN Resets................................0
|----Device Resets.............................0
|----Bus Resets................................0

[Tert]

У контроллеров Adaptec 5xxx и 6xxx есть проблемы с работой под VmWare 5.x на процессорах Xeon E5-xxxxV2. Это признано самой компанией Adaptec.
Связано с реализацией контроллера прерываний в этих процессорах, которая несовместима с старыми сериями контроллеров Adaptec.
По словам инженеров Adaptec они пытаются решить эту проблему и обещают решение к новому году (правда сам год не уточняют ). Скорее всего оно будет заключаться в обновлении BIOS материнских плат (с новым микрокодом для процессоров).

[v0id1001]

Я правильно понимаю, что для Adaptec 6405 на сайте производителя VIB Adaptec_Inc_bootbank_scsi-aacraid_5.5.5.2.1.40700-1OEM.550.0.0.1331820 не доступен!?
А vzverev взял VIB из соседней ветки, что предназначена для Adaptec 7ХХХ/8ХХХ, и с ним всё работает без проблем?

[vzverev]

Машина с Adaptec два года проработала как часы под ESX4.
Проблема появилась после обновления сферы до 5.5.
Пришлось поставить указанный драйвер.
~ # vim-cmd hostsvc/hosthardware | grep Xeon
description = "Intel(R) Xeon(R) CPU E5420 @ 2.50GHz",
description = "Intel(R) Xeon(R) CPU E5420 @ 2.50GHz",
~ #

[vzverev]

У контроллеров Adaptec 5xxx и 6xxx есть проблемы с работой под VmWare 5.x на процессорах Xeon E5-xxxxV2. Это признано самой компанией Adaptec.
Связано с реализацией контроллера прерываний в этих процессорах, которая несовместима с старыми сериями контроллеров Adaptec.
По словам инженеров Adaptec они пытаются решить эту проблему и обещают решение к новому году (правда сам год не уточняют ). Скорее всего оно будет заключаться в обновлении BIOS материнских плат (с новым микрокодом для процессоров).

Забыл добавить, что для описанного Вами симптома с обработкой прерываний есть временные пилюли:
esxcli system settings kernel set --setting=iovDisableIR -v TRUE

Проблемы с ремапингом прерываний не связаны с кодом драйвера Adaptec и они воспроизводятся и на LSI и Emulex и на Qlogic
http://kb.vmware.com/selfservice/micros ... Id=1030265

[Tert]

vzverev
Не знал об этом.
У нас клиентов были жалобы именно на Adaptec. При этом с LSI все работает нормально.

Ну и в посте выше я оттранслировал позицию Adaptec. Компания заявила, что есть проблема с контролерами 5xxx и 6xxx при работе в гипервизорах, которые реализуют новый метод обработки прерываний. На сегодня это ESX 5.5 и Xen.
7xxx и 8xxx работают без проблем.

[vzverev]

vzverev
Не знал об этом.
У нас клиентов были жалобы именно на Adaptec. При этом с LSI все работает нормально.

Ну и в посте выше я оттранслировал позицию Adaptec. Компания заявила, что есть проблема с контролерами 5xxx и 6xxx при работе в гипервизорах, которые реализуют новый метод обработки прерываний. На сегодня это ESX 5.5 и Xen.
7xxx и 8xxx работают без проблем.

http://www.intel.com/content/dam/www/pu ... o-spec.pdf
....
8.3.2 Implications for ARI
The PCI-Express Alternate Routing-ID Interpretation (ARI) Extended Capability enables endpoint
devices behind ARI-capable PCI-Express Root/Switch ports to support ‘Extended Functions’, beyond
the limit of 8 ‘Traditional Functions’. When ARI is enabled, ‘Extended Functions’ on an endpoint are
under the scope of the same remapping unit as the ‘Traditional Functions’ on the endpoint.
...

[FessAectan]

Вот такой солюшн предложили вчера Adaptec.

Пока ещё не имеется новый драйвер для Вашего контроллера под ESXi 5.5, но зато могу Вам предоставить решение проблемы довольно простым способом (см. ниже).

Сначало обновите драйвер контроллера на версию 40700, если этот драйвер ещё не установлен: http://www.adaptec.com/en-us/speed/raid/aac/linux/aacraid_vmware_drivers_1_2_1-40700_cert_tgz.php.

После обновления драйвера перезагрузите сервер.

Потом в консоле хоста введите следующую команду: esxcli system module parameters set -m aacraid --parameter-string 'msi=1'

Перезагрузите сервер. Войдите в консоль и проверьте, включен ли MSI с командами :

1. lspci | grep Adap
2. dmesg | grep MSI

Дайте системе поработать и сообщите нам результаты через пару дней.

[FessAectan]

Солюшен от адаптека - http://ask-ru.adaptec.com/app/answers/d ... _id/17403/