概述
提供基础的环境供 RDMA 相关业务测试。
机器信息
| IP |
发行版 |
内核 |
| 10.199.100.34 |
CentOS 8 |
4.18.0-193.14.2.el8_2.x86_64 |
| 10.199.100.35 |
CentOS 8 |
4.18.0-240.el8.x86_64 |
驱动版本
重新安装 OFED，因为官方没有合适版本的驱动，所以是通过增加一些编译选项，在本机上重新编译安装的。
1
|
mlnxofedinstall --skip-distro-check --add-kernel-support --skip-repo
|
查看 OFED 版本。
1
2
|
# ofed_info -s
MLNX_OFED_LINUX-4.9-5.1.0.0
|
查看 mlx5_core 版本。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# modinfo mlx5_core
filename: /lib/modules/4.18.0-240.el8.x86_64/extra/mlnx-ofa_kernel/drivers/net/ethernet/mellanox/mlx5/core/mlx5_core.ko
version: 4.9-5.1.0
license: Dual BSD/GPL
description: Mellanox 5th generation network adapters (ConnectX series) core driver
author: Eli Cohen <eli@mellanox.com>
rhelversion: 8.3
srcversion: 9213CA52CDE951EB4BB0A84
alias: pci:v000015B3d0000A2D6sv*sd*bc*sc*i*
alias: pci:v000015B3d0000A2D3sv*sd*bc*sc*i*
alias: pci:v000015B3d0000A2D2sv*sd*bc*sc*i*
alias: pci:v000015B3d00001021sv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Fsv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Esv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Dsv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Csv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Bsv*sd*bc*sc*i*
alias: pci:v000015B3d0000101Asv*sd*bc*sc*i*
alias: pci:v000015B3d00001019sv*sd*bc*sc*i*
alias: pci:v000015B3d00001018sv*sd*bc*sc*i*
alias: pci:v000015B3d00001017sv*sd*bc*sc*i*
alias: pci:v000015B3d00001016sv*sd*bc*sc*i*
alias: pci:v000015B3d00001015sv*sd*bc*sc*i*
alias: pci:v000015B3d00001014sv*sd*bc*sc*i*
alias: pci:v000015B3d00001013sv*sd*bc*sc*i*
alias: pci:v000015B3d00001012sv*sd*bc*sc*i*
alias: pci:v000015B3d00001011sv*sd*bc*sc*i*
depends: mlx_compat,tls,mlxfw
name: mlx5_core
vermagic: 4.18.0-240.el8.x86_64 SMP mod_unload modversions
parm: num_of_groups:Eswitch offloads number of big groups in FDB table. Valid range 1 - 1024. Default 4 (uint)
parm: out_ifname:string
parm: guids:charp
parm: node_guid:guids configuration. This module parameter will be obsolete!
parm: debug_mask:debug mask: 1 = dump cmd data, 2 = dump cmd exec time, 3 = both. Default=0 (uint)
parm: prof_sel:profile selector. Valid range 0 - 3 (uint)
parm: probe_vf:probe VFs or not, 0 = not probe, 1 = probe. Default = 1 (bool)
|
基础测试
ib_write_bw 测试工具是通过在测试主机之间传输数据的方式来测试网络性能。这个过程中，一个主机将一定数量的数据发送到另一个主机，接收方主机在收到所有数据之后向发送方主机发送一个确认消息。ib_write_bw 测试工具可以使用不同大小的数据块来测试不同的网络负载情况，从而确定网络的带宽和延迟性能。
ib_write_bw 测试工具通常与其他基准测试工具一起使用，例如 iperf、netperf 和 SPEC MPI 等，来全面评估 HPC 系统的网络性能。
参考资料
- MVAPICH: MPI over InfiniBand, Omni-Path, Ethernet/iWARP, RoCE, and Slingshot
- 【RDMA】RDMA通信测试工具|RDMA信息查询工具
警告
本文最后更新于 2023年4月9日，文中内容可能已过时，请谨慎参考。
