два esxi соединить IB InfiniHost III Ex Dual-Port

[dim-soft]

как сделать ?
карточки в сервера поставил, cx4 шнурком соединил.
esxi в выводе lspci видит
000:001:00.0 Serial bus controller: Mellanox Technologies MT25208 InfiniHost III Ex

поставил драйвера с vmware
esxupdate --bundle=MEL-mlx4_en-1.5.5-436-offline_bundle-341584.zip update

все равно в сетевых не появились

[dim-soft]

установил на esxi 4.1 u1 пакеты
ESX41u1_MLNX-OFED-1.4.1-2.0.000.zip
MEL-mlx4_en-1.5.5-436-offline_bundle-341584.zip

в сторадж контроллерах появился, в сетевых нет
не стартует ib_ipoib.o
вывод команды
~ # ibstat -l
-E- ib_ipoib module is not loaded, run vmkload_mod ib_ipoib

попытка загрузить вручную:
~ # vmkload_mod ib_ipoib
vmkload_mod: Can not load module ib_ipoib: Unresolved symbol


кто в курсе что крутить ?

[diz]

Похоже, драйвер не совместим с этой версией ESXi.. Попробуй 4рку.

[diz]

Похоже, драйвер не совместим с этой версией ESXi.. Попробуй 4рку.

Так и есть: http://communities.vmware.com/cshwsw.js ... r=mellanox
Ставил по этому документу?

[dim-soft]

на версию esxi 40 не ставиться:

/vmfs/volumes/4da223c4-eb5daec6-344b-001cc0474793 # esxupdate --bundle=ESX40_MLNX-OFED-1.4.1-2.0.000.zip update
ESX40_MLNX-OFED-1.4.1-2.0.000.. ######################################## [100%]

Installing packages :cross_ib.. ######################################## [100%]

Encountered error PackageManagerError:
The error data is:
Vibs - {'ESX40_MLNX-OFED-1.4.1-2.0.000': <"ESX40_MLNX-
OFED-1.4.1-2.0.000">, 'cross_ib-srp_1.4.1-583': cross_ib-
srp_1.4.1-583:uninstalled, staged, 'cross_mlx4-en_1.4.1-583':
cross_mlx4-en_1.4.1-583:uninstalled, staged, 'cross_ib-
ipoib_1.4.1-583': cross_ib-ipoib_1.4.1-583:uninstalled, staged,
'cross_ib-basic_1.4.1-583': cross_ib-
basic_1.4.1-583:uninstalled, staged}
Message - Error (1) running ipkg to install vibs cross_ib-srp_1.4.1-583
cross_mlx4-en_1.4.1-583 cross_ib-ipoib_1.4.1-583 cross_ib-
basic_1.4.1-583:
Errno - 15
Description - The package manager transaction failed.

[diz]

Пора писать в mellanox
P.S. Ты прямо по доке через vihostupdate пробовал?

Код: Выделить всё

o Install the mlx4_en driver by running:
  RCLI#> vihostupdate --server <server ip> --bundle <mlx4_en VIB> --install
   --nosigcheck
o Install the ib_basic driver package by running: 
  RCLI#> vihostupdate --server <server ip> --bundle <ib_basic VIB> --install
  RCLI#> reboot
o Install the ULP driver package by running: 
  RCLI#> vihostupdate --server <server ip> --bundle <ib_ulp VIB> --install

Или попробуй буква-в-букву сделать по доке с главы 2.2.1.

Давай по шагам, и вернемся к 4.1

Код: Выделить всё

VMware ESXi 4.1.0 build-348481' - ESX 4.1 Update 1

Билд точно тот?

Код: Выделить всё

6.Verify your machine is in maintenance mode.
7.Install the mlx4_en driver. Run:
rcli# vihostupdate --server <server ip> --bundle <MLX-OFED VIB> --install

[dim-soft]

решил проверить под windows

поставил драйвера Mellanox WinOF VPI for Windows

система увидела и SAN и сетевую, но сетевая пишет кабель не подключен, хотя зеленым горят на обоих картах

где подкрутить чтобы сделать 10G сеть точка-точка ?

[vzverev]

Саппортным путем это сделать невозможно, т.к. комплект утилит для ESX/ESXi не включает opensm.
Детали ниже по тексту:

http://www.mellanox.com/related-docs/pr ... Manual.pdf

4.2.1Subnet Manager
The driver package requires InfiniBand Subnet Manager (SM) to run on the subnet. The driver package does not include an SM.
If your fabric includes a managed switch/gateway, please refer to the vendor's user's guide to acti¬vate the built-in SM.
If your fabric does not include a managed switch/gateway, an SM application should be installed on at least one non-ESX Server machine in the subnet. You can download an InfiniBand SM such as OpenSM from www.openfabrics.org under the Downloads section.

Под линукс это решение прекрасно работает:
http://www.zeromq.org/results:10gbe-tests-v031
Видимо должно пройти время, пока opensm портируют под гипервизор.

В Вашем случае имеет смысл взять 10Gb Ethernet карты из списка совместимости:
http://www.vmware.com/resources/compati ... ategory=io
Что-нибудь типа AXX10GBIOMOD (ixgbe version 3.4.23 )

[vzverev]

Соединение двух esxi хостов по Infiniband без коммутатора возможно с помощью subnet менеджера из сборки ib-opensm-3.3.16-64.x86_64.vib.
Подробности здесь: http://www.bussink.ch/?p=1306