Based Environment
[root@node2 ~]# uname -a Linux node2 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux [root@node2 ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@node2 ~]#
Mellanox InfiniBand NIC
[root@node2 ~]# lspci -v | grep Mellanox 02:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] Subsystem: Mellanox Technologies Device 0050 [root@node2 ~]#
Procedure of Installation
[root@node2 ~]# scp root@192.168.100.106:/root/MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso .
root@192.168.100.106's password:
MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso 100% 175MB 11.1MB/s 00:15
[root@node2 ~]# mount -o ro,loop MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso /mnt
[root@node2 ~]# cd /mnt
[root@node2 mnt]# ls
common.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox RPMS_UPSTREAM_LIBS uninstall.sh
create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS src
[root@node2 mnt]# ./mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX.4866.logs
General log file: /tmp/MLNX_OFED_LINUX.4866.logs/general.log
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install tcl gcc-gfortran tk
[root@node2 mnt]# yum install tcl gcc-gfortran tk -y
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
* base: mirrors.huaweicloud.com
* extras: mirrors.aliyun.com
* updates: mirrors.aliyun.com
Resolving Dependencies
--> Running transaction check
---> Package gcc-gfortran.x86_64 0:4.8.5-28.el7_5.1 will be installed
--> Processing Dependency: libquadmath-devel = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: libquadmath = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: libgfortran = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: gcc = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: libmpc.so.3()(64bit) for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: libgfortran.so.3()(64bit) for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64
---> Package tcl.x86_64 1:8.5.13-8.el7 will be installed
---> Package tk.x86_64 1:8.5.13-6.el7 will be installed
--> Running transaction check
---> Package gcc.x86_64 0:4.8.5-28.el7_5.1 will be installed
--> Processing Dependency: libgomp = 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: cpp = 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: libgcc >= 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64
--> Processing Dependency: glibc-devel >= 2.2.90-12 for package: gcc-4.8.5-28.el7_5.1.x86_64
---> Package libgfortran.x86_64 0:4.8.5-28.el7_5.1 will be installed
---> Package libmpc.x86_64 0:1.0.1-3.el7 will be installed
---> Package libquadmath.x86_64 0:4.8.5-28.el7_5.1 will be installed
---> Package libquadmath-devel.x86_64 0:4.8.5-28.el7_5.1 will be installed
--> Running transaction check
---> Package cpp.x86_64 0:4.8.5-28.el7_5.1 will be installed
---> Package glibc-devel.x86_64 0:2.17-222.el7 will be installed
--> Processing Dependency: glibc-headers = 2.17-222.el7 for package: glibc-devel-2.17-222.el7.x86_64
--> Processing Dependency: glibc = 2.17-222.el7 for package: glibc-devel-2.17-222.el7.x86_64
--> Processing Dependency: glibc-headers for package: glibc-devel-2.17-222.el7.x86_64
---> Package libgcc.x86_64 0:4.8.5-16.el7 will be updated
---> Package libgcc.x86_64 0:4.8.5-28.el7_5.1 will be an update
---> Package libgomp.x86_64 0:4.8.5-16.el7 will be updated
---> Package libgomp.x86_64 0:4.8.5-28.el7_5.1 will be an update
--> Running transaction check
---> Package glibc.x86_64 0:2.17-196.el7 will be updated
--> Processing Dependency: glibc = 2.17-196.el7 for package: glibc-common-2.17-196.el7.x86_64
---> Package glibc.x86_64 0:2.17-222.el7 will be an update
---> Package glibc-headers.x86_64 0:2.17-222.el7 will be installed
--> Processing Dependency: kernel-headers >= 2.2.1 for package: glibc-headers-2.17-222.el7.x86_64
--> Processing Dependency: kernel-headers for package: glibc-headers-2.17-222.el7.x86_64
--> Running transaction check
---> Package glibc-common.x86_64 0:2.17-196.el7 will be updated
---> Package glibc-common.x86_64 0:2.17-222.el7 will be an update
---> Package kernel-headers.x86_64 0:3.10.0-862.11.6.el7 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
============================================================================================================================================================================
Package Arch Version Repository Size
============================================================================================================================================================================
Installing:
gcc-gfortran x86_64 4.8.5-28.el7_5.1 updates 6.7 M
tcl x86_64 1:8.5.13-8.el7 base 1.9 M
tk x86_64 1:8.5.13-6.el7 base 1.4 M
Installing for dependencies:
cpp x86_64 4.8.5-28.el7_5.1 updates 5.9 M
gcc x86_64 4.8.5-28.el7_5.1 updates 16 M
glibc-devel x86_64 2.17-222.el7 base 1.1 M
glibc-headers x86_64 2.17-222.el7 base 678 k
kernel-headers x86_64 3.10.0-862.11.6.el7 updates 7.1 M
libgfortran x86_64 4.8.5-28.el7_5.1 updates 299 k
libmpc x86_64 1.0.1-3.el7 base 51 k
libquadmath x86_64 4.8.5-28.el7_5.1 updates 188 k
libquadmath-devel x86_64 4.8.5-28.el7_5.1 updates 51 k
Updating for dependencies:
glibc x86_64 2.17-222.el7 base 3.6 M
glibc-common x86_64 2.17-222.el7 base 11 M
libgcc x86_64 4.8.5-28.el7_5.1 updates 101 k
libgomp x86_64 4.8.5-28.el7_5.1 updates 156 k
Transaction Summary
============================================================================================================================================================================
Install 3 Packages (+9 Dependent packages)
Upgrade ( 4 Dependent packages)
Total size: 57 M
Total download size: 42 M
Downloading packages:
warning: /var/cache/yum/x86_64/7/base/packages/glibc-devel-2.17-222.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY] 0.0 B/s | 811 kB --:--:-- ETA
Public key for glibc-devel-2.17-222.el7.x86_64.rpm is not installed
(1/12): glibc-devel-2.17-222.el7.x86_64.rpm | 1.1 MB 00:00:00
(2/12): glibc-headers-2.17-222.el7.x86_64.rpm | 678 kB 00:00:00
Public key for cpp-4.8.5-28.el7_5.1.x86_64.rpm is not installed 13% [======== ] 3.9 MB/s | 5.8 MB 00:00:09 ETA
(3/12): cpp-4.8.5-28.el7_5.1.x86_64.rpm | 5.9 MB 00:00:01
(4/12): libmpc-1.0.1-3.el7.x86_64.rpm | 51 kB 00:00:00
(5/12): libquadmath-4.8.5-28.el7_5.1.x86_64.rpm | 188 kB 00:00:00
(6/12): libquadmath-devel-4.8.5-28.el7_5.1.x86_64.rpm | 51 kB 00:00:00
(7/12): tcl-8.5.13-8.el7.x86_64.rpm | 1.9 MB 00:00:00
(8/12): tk-8.5.13-6.el7.x86_64.rpm | 1.4 MB 00:00:00
(9/12): kernel-headers-3.10.0-862.11.6.el7.x86_64.rpm | 7.1 MB 00:00:02
(10/12): gcc-4.8.5-28.el7_5.1.x86_64.rpm | 16 MB 00:00:04
(11/12): libgfortran-4.8.5-28.el7_5.1.x86_64.rpm | 299 kB 00:00:04
(12/12): gcc-gfortran-4.8.5-28.el7_5.1.x86_64.rpm | 6.7 MB 00:00:14
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total 2.8 MB/s | 42 MB 00:00:14
Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
Importing GPG key 0xF4A80EB5:
Userid : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>"
Fingerprint: 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5
Package : centos-release-7-4.1708.el7.centos.x86_64 (@anaconda)
From : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Updating : libgcc-4.8.5-28.el7_5.1.x86_64 1/20
Updating : glibc-common-2.17-222.el7.x86_64 2/20
Updating : glibc-2.17-222.el7.x86_64 3/20
Installing : libmpc-1.0.1-3.el7.x86_64 4/20
Installing : libquadmath-4.8.5-28.el7_5.1.x86_64 5/20
Installing : libgfortran-4.8.5-28.el7_5.1.x86_64 6/20
Installing : cpp-4.8.5-28.el7_5.1.x86_64 7/20
Updating : libgomp-4.8.5-28.el7_5.1.x86_64 8/20
Installing : 1:tcl-8.5.13-8.el7.x86_64 9/20
Installing : kernel-headers-3.10.0-862.11.6.el7.x86_64 10/20
Installing : glibc-headers-2.17-222.el7.x86_64 11/20
Installing : glibc-devel-2.17-222.el7.x86_64 12/20
Installing : gcc-4.8.5-28.el7_5.1.x86_64 13/20
Installing : libquadmath-devel-4.8.5-28.el7_5.1.x86_64 14/20
Installing : gcc-gfortran-4.8.5-28.el7_5.1.x86_64 15/20
Installing : 1:tk-8.5.13-6.el7.x86_64 16/20
Cleanup : libgomp-4.8.5-16.el7.x86_64 17/20
Cleanup : glibc-common-2.17-196.el7.x86_64 18/20
Cleanup : glibc-2.17-196.el7.x86_64 19/20
Cleanup : libgcc-4.8.5-16.el7.x86_64 20/20
Verifying : libgomp-4.8.5-28.el7_5.1.x86_64 1/20
Verifying : 1:tcl-8.5.13-8.el7.x86_64 2/20
Verifying : gcc-gfortran-4.8.5-28.el7_5.1.x86_64 3/20
Verifying : libgcc-4.8.5-28.el7_5.1.x86_64 4/20
Verifying : gcc-4.8.5-28.el7_5.1.x86_64 5/20
Verifying : 1:tk-8.5.13-6.el7.x86_64 6/20
Verifying : libquadmath-devel-4.8.5-28.el7_5.1.x86_64 7/20
Verifying : kernel-headers-3.10.0-862.11.6.el7.x86_64 8/20
Verifying : glibc-devel-2.17-222.el7.x86_64 9/20
Verifying : cpp-4.8.5-28.el7_5.1.x86_64 10/20
Verifying : glibc-headers-2.17-222.el7.x86_64 11/20
Verifying : libmpc-1.0.1-3.el7.x86_64 12/20
Verifying : glibc-common-2.17-222.el7.x86_64 13/20
Verifying : libgfortran-4.8.5-28.el7_5.1.x86_64 14/20
Verifying : glibc-2.17-222.el7.x86_64 15/20
Verifying : libquadmath-4.8.5-28.el7_5.1.x86_64 16/20
Verifying : libgcc-4.8.5-16.el7.x86_64 17/20
Verifying : glibc-common-2.17-196.el7.x86_64 18/20
Verifying : glibc-2.17-196.el7.x86_64 19/20
Verifying : libgomp-4.8.5-16.el7.x86_64 20/20
Installed:
gcc-gfortran.x86_64 0:4.8.5-28.el7_5.1 tcl.x86_64 1:8.5.13-8.el7 tk.x86_64 1:8.5.13-6.el7
Dependency Installed:
cpp.x86_64 0:4.8.5-28.el7_5.1 gcc.x86_64 0:4.8.5-28.el7_5.1 glibc-devel.x86_64 0:2.17-222.el7 glibc-headers.x86_64 0:2.17-222.el7
kernel-headers.x86_64 0:3.10.0-862.11.6.el7 libgfortran.x86_64 0:4.8.5-28.el7_5.1 libmpc.x86_64 0:1.0.1-3.el7 libquadmath.x86_64 0:4.8.5-28.el7_5.1
libquadmath-devel.x86_64 0:4.8.5-28.el7_5.1
Dependency Updated:
glibc.x86_64 0:2.17-222.el7 glibc-common.x86_64 0:2.17-222.el7 libgcc.x86_64 0:4.8.5-28.el7_5.1 libgomp.x86_64 0:4.8.5-28.el7_5.1
Complete!
[root@node2 mnt]# ./mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX.6483.logs
General log file: /tmp/MLNX_OFED_LINUX.6483.logs/general.log
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.
Do you want to continue?[y/N]:y
rpm --nosignature -e --allmatches --nodeps libibverbs librdmacm libibverbs librdmacm rdma-core rdma-core
Starting MLNX_OFED_LINUX-4.4-2.0.7.0 installation ...
Installing mlnx-ofa_kernel RPM
Preparing... ########################################
Updating / installing...
mlnx-ofa_kernel-4.4-OFED.4.4.2.0.7.1.g########################################
Configured /etc/security/limits.conf
Installing kmod-mlnx-ofa_kernel 4.4 RPM
Preparing... ########################################
kmod-mlnx-ofa_kernel-4.4-OFED.4.4.2.0.########################################
Installing mlnx-ofa_kernel-devel RPM
Preparing... ########################################
Updating / installing...
mlnx-ofa_kernel-devel-4.4-OFED.4.4.2.0########################################
Installing kmod-kernel-mft-mlnx 4.10.0 RPM
Preparing... ########################################
kmod-kernel-mft-mlnx-4.10.0-1.rhel7u4 ########################################
Installing knem RPM
Preparing... ########################################
Updating / installing...
knem-1.1.3.90mlnx1-OFED.4.3.0.1.4.1.g8########################################
Installing kmod-knem 1.1.3.90mlnx1 RPM
Preparing... ########################################
kmod-knem-1.1.3.90mlnx1-OFED.4.3.0.1.4########################################
Installing kmod-iser 4.0 RPM
Preparing... ########################################
kmod-iser-4.0-OFED.4.4.2.0.7.1.gee7aa0########################################
Installing kmod-srp 4.0 RPM
Preparing... ########################################
kmod-srp-4.0-OFED.4.4.2.0.7.1.gee7aa0e########################################
Installing kmod-isert 4.0 RPM
Preparing... ########################################
kmod-isert-4.0-OFED.4.4.2.0.7.1.gee7aa########################################
Installing mpi-selector RPM
Preparing... ########################################
Updating / installing...
mpi-selector-1.0.3-1.44207 ########################################
Installing user level RPMs:
Preparing... ########################################
ofed-scripts-4.4-OFED.4.4.2.0.7 ########################################
Preparing... ########################################
libibverbs-41mlnx1-OFED.4.4.2.0.1.4420########################################
Preparing... ########################################
libibverbs-devel-41mlnx1-OFED.4.4.2.0.########################################
Preparing... ########################################
libibverbs-devel-static-41mlnx1-OFED.4########################################
Preparing... ########################################
libibverbs-utils-41mlnx1-OFED.4.4.2.0.########################################
Preparing... ########################################
libmlx4-41mlnx1-OFED.4.4.2.0.0.44207 ########################################
Preparing... ########################################
libmlx4-devel-41mlnx1-OFED.4.4.2.0.0.4########################################
Preparing... ########################################
libmlx5-41mlnx1-OFED.4.4.2.0.1.44207 ########################################
Preparing... ########################################
libmlx5-devel-41mlnx1-OFED.4.4.2.0.1.4########################################
Preparing... ########################################
librxe-41mlnx1-OFED.4.1.0.1.7.44207 ########################################
Preparing... ########################################
librxe-devel-static-41mlnx1-OFED.4.1.0########################################
Preparing... ########################################
libibcm-41mlnx1-OFED.4.1.0.1.0.44207 ########################################
Preparing... ########################################
libibcm-devel-41mlnx1-OFED.4.1.0.1.0.4########################################
Preparing... ########################################
libibumad-43.1.1.MLNX20180612.87b4d9b-########################################
Preparing... ########################################
libibumad-devel-43.1.1.MLNX20180612.87########################################
Preparing... ########################################
libibumad-static-43.1.1.MLNX20180612.8########################################
Preparing... ########################################
libibmad-5.0.0.MLNX20180328.afe7c88-0.########################################
Preparing... ########################################
libibmad-devel-5.0.0.MLNX20180328.afe7########################################
Preparing... ########################################
libibmad-static-5.0.0.MLNX20180328.afe########################################
Preparing... ########################################
ibsim-0.6mlnx1-0.9.gdc7d44e.44207 ########################################
Preparing... ########################################
ibacm-41mlnx1-OFED.4.3.3.0.0.44207 ########################################
Preparing... ########################################
librdmacm-41mlnx1-OFED.4.2.0.1.3.44207########################################
Preparing... ########################################
librdmacm-utils-41mlnx1-OFED.4.2.0.1.3########################################
Preparing... ########################################
librdmacm-devel-41mlnx1-OFED.4.2.0.1.3########################################
Preparing... ########################################
opensm-libs-5.2.0.MLNX20180620.a0b90c5########################################
Preparing... ########################################
opensm-5.2.0.MLNX20180620.a0b90c5-0.1.########################################
Preparing... ########################################
opensm-devel-5.2.0.MLNX20180620.a0b90c########################################
Preparing... ########################################
opensm-static-5.2.0.MLNX20180620.a0b90########################################
Preparing... ########################################
dapl-2.1.10mlnx-OFED.3.4.2.1.0.44207 ########################################
Preparing... ########################################
dapl-devel-2.1.10mlnx-OFED.3.4.2.1.0.4########################################
Preparing... ########################################
dapl-devel-static-2.1.10mlnx-OFED.3.4.########################################
Preparing... ########################################
dapl-utils-2.1.10mlnx-OFED.3.4.2.1.0.4########################################
Preparing... ########################################
perftest-4.4-0.2.g4942ab6.44207 ########################################
Preparing... ########################################
multiperf-3.0-0.12.gbb02555.44207 ########################################
Preparing... ########################################
mstflint-4.10.0-2.44207 ########################################
Preparing... ########################################
mft-4.10.0-104 ########################################
Preparing... ########################################
srptools-41mlnx1-5.44207 ########################################
Preparing... ########################################
ibutils2-2.1.1-0.96.MLNX20180627.g53bb########################################
Preparing... ########################################
ibutils-1.5.7.1-0.12.gdcaeae2.44207 ########################################
Preparing... ########################################
cc_mgr-1.0-0.36.g7078b7d.44207 ########################################
Preparing... ########################################
dump_pr-1.0-0.32.g7078b7d.44207 ########################################
Preparing... ########################################
ar_mgr-1.0-0.37.g7078b7d.44207 ########################################
Preparing... ########################################
ibdump-5.0.0-1.44207 ########################################
Preparing... ########################################
infiniband-diags-5.0.0.MLNX20180711.3f########################################
Preparing... ########################################
infiniband-diags-compat-5.0.0.MLNX2018########################################
Preparing... ########################################
qperf-0.4.9-9.44207 ########################################
Preparing... ########################################
mxm-3.7.3111-1.44207 ########################################
Preparing... ########################################
ucx-1.4.0-1.44207 ########################################
Preparing... ########################################
ucx-devel-1.4.0-1.44207 ########################################
Preparing... ########################################
ucx-static-1.4.0-1.44207 ########################################
Preparing... ########################################
sharp-1.7.1.MLNX20180618.7c14dc0-1.442########################################
Preparing... ########################################
hcoll-4.1.2355-1.44207 ########################################
Preparing... ########################################
openmpi-3.1.1rc1-1.44207 ########################################
Preparing... ########################################
libibprof-1.1.44-1.44207 ########################################
Preparing... ########################################
mlnx-ethtool-4.2-1.44207 ########################################
Preparing... ########################################
mlnx-iproute2-4.7.0-1.44207 ########################################
Preparing... ########################################
mlnxofed-docs-4.4-2.0.7.0 ########################################
Preparing... ########################################
mpitests_openmpi-3.2.19-84f02b3.44207 ########################################
Device (02:00.0):
02:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]
Link Width: x8
PCI Link Speed: 8GT/s
Installation finished successfully.
Preparing... ################################# [100%]
Updating / installing...
1:mlnx-fw-updater-4.4-2.0.7.0 ################################# [100%]
Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf
Attempting to perform Firmware update...
Querying Mellanox devices firmware ...
Device #1:
----------
Device Type: ConnectX3
Part Number: MCX354A-FCB_A2-A5
Description: ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6
PSID: MT_1090120019
PCI Device Name: 02:00.0
Port1 GUID: 248a0703005d0841
Port2 GUID: 248a0703005d0842
Versions: Current Available
FW 2.40.7000 2.42.5000
PXE 3.4.0746 3.4.0752
Status: Update required
---------
Found 1 device(s) requiring firmware update...
Device #1: Updating FW ... Done
Restart needed for updates to take effect.
Log File: /tmp/MLNX_OFED_LINUX.6483.logs/fw_update.log
To load the new driver, run:
/etc/init.d/openibd restart
[root@node2 mnt]#
[root@node2 mnt]# /etc/init.d/openibd restart
Please close all isert sessions and unload 'ib_isert' module.
Please make sure module 'rpcrdma' is not in use and unload it.
Please make sure module 'ib_srpt' is not in use and unload it.
Error: Cannot unload the Infiniband driver stack due to the above issue(s)!
To unload the blocking modules, you can run:
# modprobe -rv ib_isert rpcrdma ib_srpt
Once the above issue(s) resolved, run:
# /etc/init.d/openibd restart
[root@node2 mnt]#
[root@node2 mnt]#
[root@node2 mnt]# modprobe -rv ib_isert rpcrdma ib_srpt
rmmod ib_isert
rmmod iscsi_target_mod
rmmod rpcrdma
rmmod ib_srpt
[root@node2 mnt]#
[root@node2 mnt]# /etc/init.d/openibd restart
Unloading HCA driver: [ OK ]
Loading HCA driver and Access Layer: [ OK ]
[root@node2 mnt]#
Reference
InfiniBand/VPI Software Drivers Protocol Software And Tools
分类：RDMA
王明军的博客 