rdma centos 7.3安装

1、安装依赖包

yuminstallepel-release-y
yuminstallgccgcc-c++bcopenssl-develautomakencurses-devellibibverbs-y
yuminstalllibibverbs-devellibibverbs-utilslibrdmacmlibrdmacm-devellibrdmacm-utilsperl-Switchelfutils-libelf-devel-y

2、 librxe-dev 和 rxe-dev下载

下载地址

Github:https://github.com/SoftRoCE/rxe-dev.git
Github:https://github.com/SoftRoCE/librxe-dev.git

备注：rxe-dev下载v18版本，即rxe-dev-rxesubmissionv18

3、安装rxe-dev

unziprxe-dev-rxe_submission_v18.zip
cdrxe-dev-rxe_submission_v18/
cp/boot/config-3.10.0-514.el7.x86_64.config

备注：使用root用户，执行以下命令

makemenuconfig

会出现选择界面（如果没出现，需要安装 ncurse-devel）
输入 "/" ，然后输入 rxe，按下 enter，会查找有关 rxe 的选择项。
输入数字 1，就会选择到“Software RDMA over Ethernet (ROCE) driver”的设置，输入 "M" ，选中 RDMA 的配置，如果输不了 M，那就输入空格。
移动到保存按钮，回车，装保存到.config中，退出安装界面（exit）。
然后 vi .config 来确认
CONFIGRDMARXE 为 m
CONFIGINFINIBANDADDRTRANS 和 CONFIGINFINIBANDADDRTRANS_CONFIGFS 为 y

make-j4
makemodules_install，可能执行中途会提示丢失一些module，这个没关系，无关紧要。
makeinstall
makeheaders_installINSTALL_HDR_PATH=/usr

确认新的内核是否在 grub 引导中。查看 /etc/grub.cfg 即可看见。在开机的时候可以选择新内核启动

4、安装 librxe-dev

cdlibrxe-dev
./configure--libdir=/usr/lib64/--prefix=
make
makeinstall

重启操作系统，在开机启动时，选择4.7.0-rc3内核
启动后，查看内核版本

uname-r

5、验证 rdma

[root@aboss~]#rxe_cfgstart
NameLinkDriverSpeedNMTUIPv4_addrRDEVRMTU
ens33yese1000
virbr0nobridge
virbr0-nicnotun
[root@aboss~]#rxe_cfgaddens33
[root@aboss~]#rxe_cfgstatus
NameLinkDriverSpeedNMTUIPv4_addrRDEVRMTU
ens33yese1000rxe01024(3)
virbr0nobridge
virbr0-nicnotun

查看rxe设备
ibvdevices 程序显示该系统中目前所有设备，而 ibvdevinfo 命令会给出每个设备的具体信息

[root@aboss~]#ibv_devices
device	nodeGUID
------	----------------
rxe0	020c29fffe55c818
[root@aboss~]#ibv_devinforxe0
hca_id:	rxe0
	transport:			InfiniBand(0)
	fw_ver:				0.0.0
	node_guid:			020c:29ff:fe55:c818
	sys_image_guid:			0000:0000:0000:0000
	vendor_id:			0x0000
	vendor_part_id:			0
	hw_ver:				0x0
	phys_port_cnt:			1
		port:	1
			state:			PORT_ACTIVE(4)
			max_mtu:		4096(5)
			active_mtu:		1024(3)
			sm_lid:			0
			port_lid:		0
			port_lmc:		0x00
			link_layer:		Ethernet

6、softRoCE连通性测试

服务端

rping-s-a192.168.1.133-v-C10

客户端

rping-c-a192.168.1.133-v-C10

7、关于librdmacm编译说明

gitclonehttps://github.com/ofiwg/librdmacm.git
cdlibrdmacm
yuminstallautoconfautomakegettextgettext-devellibtool-y
./autogen.sh
./configure
make
makeinstall

8、常见问题

(1)如果你克隆虚机，需要解决网卡问题(2)使用rdma，请将防火墙与selinx关闭