infiniband rdma

Модераторы: Trinity admin`s, Free-lance moderator`s

Ответить
sharp
Junior member
Сообщения: 5
Зарегистрирован: 21 июн 2015, 18:32

infiniband rdma

Сообщение sharp » 17 авг 2015, 11:16

Приветствую комрады,
есть ноды которые подключены к свичу, все оборудование мелланокс, IPoIB выключен, интерфейсы ib{0,1} выключены на первой ноде врубаю
ib_write_bw -d mlx4_0 -i 1 -a --report_gbits
на второй
ib_write_bw filo_server1 -a

вывод первой ноды

************************************
* Waiting for client to connect... *
************************************
---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : mlx4_0
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
CQ Moderation : 100
Mtu : 4096
Link type : IB
Max inline data : 0
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[Gb/sec] BW average[Gb/sec] MsgRate[Mpps]
8388608 5000 1635.89 1635.87 0.000204
---------------------------------------------------------------------------------------

вывод второй

---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : mlx4_0
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
TX depth : 128
CQ Moderation : 100
Mtu : 4096
Link type : IB
Max inline data : 0
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps]
2 5000 23.75 23.04 12.081115
4 5000 47.87 46.28 12.132960
8 5000 95.73 93.39 12.240574
16 5000 189.30 185.46 12.154553
32 5000 380.03 370.33 12.135030
64 5000 757.20 729.48 11.951880
128 5000 1464.84 1412.23 11.569010
256 5000 1634.21 1632.30 6.685890
512 5000 1634.21 1633.07 3.344528
1024 5000 1635.04 1634.65 1.673884
2048 5000 1635.45 1635.19 0.837216
4096 5000 1635.45 1635.44 0.418674
8192 5000 1635.66 1635.04 0.209285
16384 5000 1635.81 1635.81 0.104692
32768 5000 1635.89 1635.87 0.052348
65536 5000 1635.91 1635.90 0.026174
131072 5000 1635.92 1635.91 0.013087
262144 5000 1635.90 1635.88 0.006544
524288 5000 1635.89 1635.87 0.003272
1048576 5000 1635.88 1635.83 0.001636
2097152 5000 1635.89 1635.89 0.000818
4194304 5000 1635.91 1635.88 0.000409
8388608 5000 1635.89 1635.87 0.000204
---------------------------------------------------------------------------------------

Вопрос:
1. Не работает тест RDMA. Если добавляю аргумент -R тупо висит пока не отключу тест. (-R, --rdma_cm Connect QPs with rdma_cm and run test on those QPs)
если без -R то как видно из вывода rdma_cm отключен.
2. Если есть решение как гонять по rdma данные в ceph буду признателен.

Bormoto
Advanced member
Сообщения: 253
Зарегистрирован: 06 июл 2007, 22:20
Откуда: спб

Re: infiniband rdma

Сообщение Bormoto » 18 авг 2015, 13:20

To sharp
Оптимально - напишите в саппорт вендора или на их тех.форум. Можно даже по-русски. Есть практически 100%-я вероятность, что вам ответят. И на том же языке.

Ответить

Вернуться в «Кластеры, Программное обеспечение»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 4 гостя