ib

一、驱动安装

# 驱动下载链接 https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

./mlnxofedinstall --all --force
# 解压后执行安装

reboot
# 安装完成后重启

二、固件升级失败问题

# 1. 卸载驱动
modprobe -r mlx5_ib
modprobe -r mlx5_fpga_tools
modprobe -r mlx5_core

# 2. 重置pci设备
echo 1 > /sys/bus/pci/devices/0000:d8:00.0/remove
echo 1 > /sys/bus/pci/devices/0000:88:00.0/remove
echo 1 > /sys/bus/pci/rescan

# 3. 重新安装升级固件

三、关于200G网卡测速

# server commands:
taskset -c 18 ib_write_bw -d mlx5_0 -R -p 2000 --run_infinitely --report_gbits &
taskset -c 48 ib_write_bw -d mlx5_1 -R -p 2001 --run_infinitely --report_gbits &

# client command:
taskset -c 36 ib_write_bw -d mlx5_0  -R -F -p 2000 --run_infinitely --report_gbits 10.0.0.203
taskset -c 48 ib_write_bw -d mlx5_1  -R -F -p 2001 --run_infinitely --report_gbits 20.0.0.203

四、关于ufm安装问题

# 安装失败，需要添加证书，以及在配置文件中修改默认ib网卡