Форум Тринити

Открытый технический форум по серверам и системам хранения данных, кластерным решениям, SAN, NAS.
Microsemi infortrend storage
Текущее время: 17 июл 2018, 23:36

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 2 ] 
Автор Сообщение
 Заголовок сообщения: infiniband rdma
СообщениеДобавлено: 17 авг 2015, 12:16 
Не в сети
Junior member

Зарегистрирован: 21 июн 2015, 19:32
Сообщения: 4
Приветствую комрады,
есть ноды которые подключены к свичу, все оборудование мелланокс, IPoIB выключен, интерфейсы ib{0,1} выключены на первой ноде врубаю
ib_write_bw -d mlx4_0 -i 1 -a --report_gbits
на второй
ib_write_bw filo_server1 -a

вывод первой ноды

************************************
* Waiting for client to connect... *
************************************
---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : mlx4_0
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
CQ Moderation : 100
Mtu : 4096[B]
Link type : IB
Max inline data : 0[B]
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[Gb/sec] BW average[Gb/sec] MsgRate[Mpps]
8388608 5000 1635.89 1635.87 0.000204
---------------------------------------------------------------------------------------

вывод второй

---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : mlx4_0
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
TX depth : 128
CQ Moderation : 100
Mtu : 4096[B]
Link type : IB
Max inline data : 0[B]
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps]
2 5000 23.75 23.04 12.081115
4 5000 47.87 46.28 12.132960
8 5000 95.73 93.39 12.240574
16 5000 189.30 185.46 12.154553
32 5000 380.03 370.33 12.135030
64 5000 757.20 729.48 11.951880
128 5000 1464.84 1412.23 11.569010
256 5000 1634.21 1632.30 6.685890
512 5000 1634.21 1633.07 3.344528
1024 5000 1635.04 1634.65 1.673884
2048 5000 1635.45 1635.19 0.837216
4096 5000 1635.45 1635.44 0.418674
8192 5000 1635.66 1635.04 0.209285
16384 5000 1635.81 1635.81 0.104692
32768 5000 1635.89 1635.87 0.052348
65536 5000 1635.91 1635.90 0.026174
131072 5000 1635.92 1635.91 0.013087
262144 5000 1635.90 1635.88 0.006544
524288 5000 1635.89 1635.87 0.003272
1048576 5000 1635.88 1635.83 0.001636
2097152 5000 1635.89 1635.89 0.000818
4194304 5000 1635.91 1635.88 0.000409
8388608 5000 1635.89 1635.87 0.000204
---------------------------------------------------------------------------------------

Вопрос:
1. Не работает тест RDMA. Если добавляю аргумент -R тупо висит пока не отключу тест. (-R, --rdma_cm Connect QPs with rdma_cm and run test on those QPs)
если без -R то как видно из вывода rdma_cm отключен.
2. Если есть решение как гонять по rdma данные в ceph буду признателен.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: infiniband rdma
СообщениеДобавлено: 18 авг 2015, 14:20 
Не в сети
Advanced member

Зарегистрирован: 06 июл 2007, 22:20
Сообщения: 256
Откуда: спб
To sharp
Оптимально - напишите в саппорт вендора или на их тех.форум. Можно даже по-русски. Есть практически 100%-я вероятность, что вам ответят. И на том же языке.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Часовой пояс: UTC + 3 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB