Based Environment
[root@node2 ~]# uname -a Linux node2 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux [root@node2 ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@node2 ~]#
Mellanox InfiniBand NIC
[root@node2 ~]# lspci -v | grep Mellanox 02:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] Subsystem: Mellanox Technologies Device 0050 [root@node2 ~]#
Procedure of Installation
[root@node2 ~]# scp root@192.168.100.106:/root/MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso . root@192.168.100.106's password: MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso 100% 175MB 11.1MB/s 00:15 [root@node2 ~]# mount -o ro,loop MLNX_OFED_LINUX-4.4-2.0.7.0-rhel7.4-x86_64.iso /mnt [root@node2 ~]# cd /mnt [root@node2 mnt]# ls common.pl distro is_kmp_compat.sh mlnx_add_kernel_support.sh RPM-GPG-KEY-Mellanox RPMS_UPSTREAM_LIBS uninstall.sh create_mlnx_ofed_installers.pl docs LICENSE mlnxofedinstall RPMS src [root@node2 mnt]# ./mlnxofedinstall Logs dir: /tmp/MLNX_OFED_LINUX.4866.logs General log file: /tmp/MLNX_OFED_LINUX.4866.logs/general.log Verifying KMP rpms compatibility with target kernel... Error: One or more required packages for installing MLNX_OFED_LINUX are missing. Please install the missing packages using your Linux distribution Package Management tool. Run: yum install tcl gcc-gfortran tk [root@node2 mnt]# yum install tcl gcc-gfortran tk -y Loaded plugins: fastestmirror, langpacks Loading mirror speeds from cached hostfile * base: mirrors.huaweicloud.com * extras: mirrors.aliyun.com * updates: mirrors.aliyun.com Resolving Dependencies --> Running transaction check ---> Package gcc-gfortran.x86_64 0:4.8.5-28.el7_5.1 will be installed --> Processing Dependency: libquadmath-devel = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: libquadmath = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: libgfortran = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: gcc = 4.8.5-28.el7_5.1 for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: libmpc.so.3()(64bit) for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: libgfortran.so.3()(64bit) for package: gcc-gfortran-4.8.5-28.el7_5.1.x86_64 ---> Package tcl.x86_64 1:8.5.13-8.el7 will be installed ---> Package tk.x86_64 1:8.5.13-6.el7 will be installed --> Running transaction check ---> Package gcc.x86_64 0:4.8.5-28.el7_5.1 will be installed --> Processing Dependency: libgomp = 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: cpp = 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: libgcc >= 4.8.5-28.el7_5.1 for package: gcc-4.8.5-28.el7_5.1.x86_64 --> Processing Dependency: glibc-devel >= 2.2.90-12 for package: gcc-4.8.5-28.el7_5.1.x86_64 ---> Package libgfortran.x86_64 0:4.8.5-28.el7_5.1 will be installed ---> Package libmpc.x86_64 0:1.0.1-3.el7 will be installed ---> Package libquadmath.x86_64 0:4.8.5-28.el7_5.1 will be installed ---> Package libquadmath-devel.x86_64 0:4.8.5-28.el7_5.1 will be installed --> Running transaction check ---> Package cpp.x86_64 0:4.8.5-28.el7_5.1 will be installed ---> Package glibc-devel.x86_64 0:2.17-222.el7 will be installed --> Processing Dependency: glibc-headers = 2.17-222.el7 for package: glibc-devel-2.17-222.el7.x86_64 --> Processing Dependency: glibc = 2.17-222.el7 for package: glibc-devel-2.17-222.el7.x86_64 --> Processing Dependency: glibc-headers for package: glibc-devel-2.17-222.el7.x86_64 ---> Package libgcc.x86_64 0:4.8.5-16.el7 will be updated ---> Package libgcc.x86_64 0:4.8.5-28.el7_5.1 will be an update ---> Package libgomp.x86_64 0:4.8.5-16.el7 will be updated ---> Package libgomp.x86_64 0:4.8.5-28.el7_5.1 will be an update --> Running transaction check ---> Package glibc.x86_64 0:2.17-196.el7 will be updated --> Processing Dependency: glibc = 2.17-196.el7 for package: glibc-common-2.17-196.el7.x86_64 ---> Package glibc.x86_64 0:2.17-222.el7 will be an update ---> Package glibc-headers.x86_64 0:2.17-222.el7 will be installed --> Processing Dependency: kernel-headers >= 2.2.1 for package: glibc-headers-2.17-222.el7.x86_64 --> Processing Dependency: kernel-headers for package: glibc-headers-2.17-222.el7.x86_64 --> Running transaction check ---> Package glibc-common.x86_64 0:2.17-196.el7 will be updated ---> Package glibc-common.x86_64 0:2.17-222.el7 will be an update ---> Package kernel-headers.x86_64 0:3.10.0-862.11.6.el7 will be installed --> Finished Dependency Resolution Dependencies Resolved ============================================================================================================================================================================ Package Arch Version Repository Size ============================================================================================================================================================================ Installing: gcc-gfortran x86_64 4.8.5-28.el7_5.1 updates 6.7 M tcl x86_64 1:8.5.13-8.el7 base 1.9 M tk x86_64 1:8.5.13-6.el7 base 1.4 M Installing for dependencies: cpp x86_64 4.8.5-28.el7_5.1 updates 5.9 M gcc x86_64 4.8.5-28.el7_5.1 updates 16 M glibc-devel x86_64 2.17-222.el7 base 1.1 M glibc-headers x86_64 2.17-222.el7 base 678 k kernel-headers x86_64 3.10.0-862.11.6.el7 updates 7.1 M libgfortran x86_64 4.8.5-28.el7_5.1 updates 299 k libmpc x86_64 1.0.1-3.el7 base 51 k libquadmath x86_64 4.8.5-28.el7_5.1 updates 188 k libquadmath-devel x86_64 4.8.5-28.el7_5.1 updates 51 k Updating for dependencies: glibc x86_64 2.17-222.el7 base 3.6 M glibc-common x86_64 2.17-222.el7 base 11 M libgcc x86_64 4.8.5-28.el7_5.1 updates 101 k libgomp x86_64 4.8.5-28.el7_5.1 updates 156 k Transaction Summary ============================================================================================================================================================================ Install 3 Packages (+9 Dependent packages) Upgrade ( 4 Dependent packages) Total size: 57 M Total download size: 42 M Downloading packages: warning: /var/cache/yum/x86_64/7/base/packages/glibc-devel-2.17-222.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY] 0.0 B/s | 811 kB --:--:-- ETA Public key for glibc-devel-2.17-222.el7.x86_64.rpm is not installed (1/12): glibc-devel-2.17-222.el7.x86_64.rpm | 1.1 MB 00:00:00 (2/12): glibc-headers-2.17-222.el7.x86_64.rpm | 678 kB 00:00:00 Public key for cpp-4.8.5-28.el7_5.1.x86_64.rpm is not installed 13% [======== ] 3.9 MB/s | 5.8 MB 00:00:09 ETA (3/12): cpp-4.8.5-28.el7_5.1.x86_64.rpm | 5.9 MB 00:00:01 (4/12): libmpc-1.0.1-3.el7.x86_64.rpm | 51 kB 00:00:00 (5/12): libquadmath-4.8.5-28.el7_5.1.x86_64.rpm | 188 kB 00:00:00 (6/12): libquadmath-devel-4.8.5-28.el7_5.1.x86_64.rpm | 51 kB 00:00:00 (7/12): tcl-8.5.13-8.el7.x86_64.rpm | 1.9 MB 00:00:00 (8/12): tk-8.5.13-6.el7.x86_64.rpm | 1.4 MB 00:00:00 (9/12): kernel-headers-3.10.0-862.11.6.el7.x86_64.rpm | 7.1 MB 00:00:02 (10/12): gcc-4.8.5-28.el7_5.1.x86_64.rpm | 16 MB 00:00:04 (11/12): libgfortran-4.8.5-28.el7_5.1.x86_64.rpm | 299 kB 00:00:04 (12/12): gcc-gfortran-4.8.5-28.el7_5.1.x86_64.rpm | 6.7 MB 00:00:14 ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Total 2.8 MB/s | 42 MB 00:00:14 Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 Importing GPG key 0xF4A80EB5: Userid : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>" Fingerprint: 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5 Package : centos-release-7-4.1708.el7.centos.x86_64 (@anaconda) From : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 Running transaction check Running transaction test Transaction test succeeded Running transaction Updating : libgcc-4.8.5-28.el7_5.1.x86_64 1/20 Updating : glibc-common-2.17-222.el7.x86_64 2/20 Updating : glibc-2.17-222.el7.x86_64 3/20 Installing : libmpc-1.0.1-3.el7.x86_64 4/20 Installing : libquadmath-4.8.5-28.el7_5.1.x86_64 5/20 Installing : libgfortran-4.8.5-28.el7_5.1.x86_64 6/20 Installing : cpp-4.8.5-28.el7_5.1.x86_64 7/20 Updating : libgomp-4.8.5-28.el7_5.1.x86_64 8/20 Installing : 1:tcl-8.5.13-8.el7.x86_64 9/20 Installing : kernel-headers-3.10.0-862.11.6.el7.x86_64 10/20 Installing : glibc-headers-2.17-222.el7.x86_64 11/20 Installing : glibc-devel-2.17-222.el7.x86_64 12/20 Installing : gcc-4.8.5-28.el7_5.1.x86_64 13/20 Installing : libquadmath-devel-4.8.5-28.el7_5.1.x86_64 14/20 Installing : gcc-gfortran-4.8.5-28.el7_5.1.x86_64 15/20 Installing : 1:tk-8.5.13-6.el7.x86_64 16/20 Cleanup : libgomp-4.8.5-16.el7.x86_64 17/20 Cleanup : glibc-common-2.17-196.el7.x86_64 18/20 Cleanup : glibc-2.17-196.el7.x86_64 19/20 Cleanup : libgcc-4.8.5-16.el7.x86_64 20/20 Verifying : libgomp-4.8.5-28.el7_5.1.x86_64 1/20 Verifying : 1:tcl-8.5.13-8.el7.x86_64 2/20 Verifying : gcc-gfortran-4.8.5-28.el7_5.1.x86_64 3/20 Verifying : libgcc-4.8.5-28.el7_5.1.x86_64 4/20 Verifying : gcc-4.8.5-28.el7_5.1.x86_64 5/20 Verifying : 1:tk-8.5.13-6.el7.x86_64 6/20 Verifying : libquadmath-devel-4.8.5-28.el7_5.1.x86_64 7/20 Verifying : kernel-headers-3.10.0-862.11.6.el7.x86_64 8/20 Verifying : glibc-devel-2.17-222.el7.x86_64 9/20 Verifying : cpp-4.8.5-28.el7_5.1.x86_64 10/20 Verifying : glibc-headers-2.17-222.el7.x86_64 11/20 Verifying : libmpc-1.0.1-3.el7.x86_64 12/20 Verifying : glibc-common-2.17-222.el7.x86_64 13/20 Verifying : libgfortran-4.8.5-28.el7_5.1.x86_64 14/20 Verifying : glibc-2.17-222.el7.x86_64 15/20 Verifying : libquadmath-4.8.5-28.el7_5.1.x86_64 16/20 Verifying : libgcc-4.8.5-16.el7.x86_64 17/20 Verifying : glibc-common-2.17-196.el7.x86_64 18/20 Verifying : glibc-2.17-196.el7.x86_64 19/20 Verifying : libgomp-4.8.5-16.el7.x86_64 20/20 Installed: gcc-gfortran.x86_64 0:4.8.5-28.el7_5.1 tcl.x86_64 1:8.5.13-8.el7 tk.x86_64 1:8.5.13-6.el7 Dependency Installed: cpp.x86_64 0:4.8.5-28.el7_5.1 gcc.x86_64 0:4.8.5-28.el7_5.1 glibc-devel.x86_64 0:2.17-222.el7 glibc-headers.x86_64 0:2.17-222.el7 kernel-headers.x86_64 0:3.10.0-862.11.6.el7 libgfortran.x86_64 0:4.8.5-28.el7_5.1 libmpc.x86_64 0:1.0.1-3.el7 libquadmath.x86_64 0:4.8.5-28.el7_5.1 libquadmath-devel.x86_64 0:4.8.5-28.el7_5.1 Dependency Updated: glibc.x86_64 0:2.17-222.el7 glibc-common.x86_64 0:2.17-222.el7 libgcc.x86_64 0:4.8.5-28.el7_5.1 libgomp.x86_64 0:4.8.5-28.el7_5.1 Complete! [root@node2 mnt]# ./mlnxofedinstall Logs dir: /tmp/MLNX_OFED_LINUX.6483.logs General log file: /tmp/MLNX_OFED_LINUX.6483.logs/general.log Verifying KMP rpms compatibility with target kernel... This program will install the MLNX_OFED_LINUX package on your machine. Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed. Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them. Do you want to continue?[y/N]:y rpm --nosignature -e --allmatches --nodeps libibverbs librdmacm libibverbs librdmacm rdma-core rdma-core Starting MLNX_OFED_LINUX-4.4-2.0.7.0 installation ... Installing mlnx-ofa_kernel RPM Preparing... ######################################## Updating / installing... mlnx-ofa_kernel-4.4-OFED.4.4.2.0.7.1.g######################################## Configured /etc/security/limits.conf Installing kmod-mlnx-ofa_kernel 4.4 RPM Preparing... ######################################## kmod-mlnx-ofa_kernel-4.4-OFED.4.4.2.0.######################################## Installing mlnx-ofa_kernel-devel RPM Preparing... ######################################## Updating / installing... mlnx-ofa_kernel-devel-4.4-OFED.4.4.2.0######################################## Installing kmod-kernel-mft-mlnx 4.10.0 RPM Preparing... ######################################## kmod-kernel-mft-mlnx-4.10.0-1.rhel7u4 ######################################## Installing knem RPM Preparing... ######################################## Updating / installing... knem-1.1.3.90mlnx1-OFED.4.3.0.1.4.1.g8######################################## Installing kmod-knem 1.1.3.90mlnx1 RPM Preparing... ######################################## kmod-knem-1.1.3.90mlnx1-OFED.4.3.0.1.4######################################## Installing kmod-iser 4.0 RPM Preparing... ######################################## kmod-iser-4.0-OFED.4.4.2.0.7.1.gee7aa0######################################## Installing kmod-srp 4.0 RPM Preparing... ######################################## kmod-srp-4.0-OFED.4.4.2.0.7.1.gee7aa0e######################################## Installing kmod-isert 4.0 RPM Preparing... ######################################## kmod-isert-4.0-OFED.4.4.2.0.7.1.gee7aa######################################## Installing mpi-selector RPM Preparing... ######################################## Updating / installing... mpi-selector-1.0.3-1.44207 ######################################## Installing user level RPMs: Preparing... ######################################## ofed-scripts-4.4-OFED.4.4.2.0.7 ######################################## Preparing... ######################################## libibverbs-41mlnx1-OFED.4.4.2.0.1.4420######################################## Preparing... ######################################## libibverbs-devel-41mlnx1-OFED.4.4.2.0.######################################## Preparing... ######################################## libibverbs-devel-static-41mlnx1-OFED.4######################################## Preparing... ######################################## libibverbs-utils-41mlnx1-OFED.4.4.2.0.######################################## Preparing... ######################################## libmlx4-41mlnx1-OFED.4.4.2.0.0.44207 ######################################## Preparing... ######################################## libmlx4-devel-41mlnx1-OFED.4.4.2.0.0.4######################################## Preparing... ######################################## libmlx5-41mlnx1-OFED.4.4.2.0.1.44207 ######################################## Preparing... ######################################## libmlx5-devel-41mlnx1-OFED.4.4.2.0.1.4######################################## Preparing... ######################################## librxe-41mlnx1-OFED.4.1.0.1.7.44207 ######################################## Preparing... ######################################## librxe-devel-static-41mlnx1-OFED.4.1.0######################################## Preparing... ######################################## libibcm-41mlnx1-OFED.4.1.0.1.0.44207 ######################################## Preparing... ######################################## libibcm-devel-41mlnx1-OFED.4.1.0.1.0.4######################################## Preparing... ######################################## libibumad-43.1.1.MLNX20180612.87b4d9b-######################################## Preparing... ######################################## libibumad-devel-43.1.1.MLNX20180612.87######################################## Preparing... ######################################## libibumad-static-43.1.1.MLNX20180612.8######################################## Preparing... ######################################## libibmad-5.0.0.MLNX20180328.afe7c88-0.######################################## Preparing... ######################################## libibmad-devel-5.0.0.MLNX20180328.afe7######################################## Preparing... ######################################## libibmad-static-5.0.0.MLNX20180328.afe######################################## Preparing... ######################################## ibsim-0.6mlnx1-0.9.gdc7d44e.44207 ######################################## Preparing... ######################################## ibacm-41mlnx1-OFED.4.3.3.0.0.44207 ######################################## Preparing... ######################################## librdmacm-41mlnx1-OFED.4.2.0.1.3.44207######################################## Preparing... ######################################## librdmacm-utils-41mlnx1-OFED.4.2.0.1.3######################################## Preparing... ######################################## librdmacm-devel-41mlnx1-OFED.4.2.0.1.3######################################## Preparing... ######################################## opensm-libs-5.2.0.MLNX20180620.a0b90c5######################################## Preparing... ######################################## opensm-5.2.0.MLNX20180620.a0b90c5-0.1.######################################## Preparing... ######################################## opensm-devel-5.2.0.MLNX20180620.a0b90c######################################## Preparing... ######################################## opensm-static-5.2.0.MLNX20180620.a0b90######################################## Preparing... ######################################## dapl-2.1.10mlnx-OFED.3.4.2.1.0.44207 ######################################## Preparing... ######################################## dapl-devel-2.1.10mlnx-OFED.3.4.2.1.0.4######################################## Preparing... ######################################## dapl-devel-static-2.1.10mlnx-OFED.3.4.######################################## Preparing... ######################################## dapl-utils-2.1.10mlnx-OFED.3.4.2.1.0.4######################################## Preparing... ######################################## perftest-4.4-0.2.g4942ab6.44207 ######################################## Preparing... ######################################## multiperf-3.0-0.12.gbb02555.44207 ######################################## Preparing... ######################################## mstflint-4.10.0-2.44207 ######################################## Preparing... ######################################## mft-4.10.0-104 ######################################## Preparing... ######################################## srptools-41mlnx1-5.44207 ######################################## Preparing... ######################################## ibutils2-2.1.1-0.96.MLNX20180627.g53bb######################################## Preparing... ######################################## ibutils-1.5.7.1-0.12.gdcaeae2.44207 ######################################## Preparing... ######################################## cc_mgr-1.0-0.36.g7078b7d.44207 ######################################## Preparing... ######################################## dump_pr-1.0-0.32.g7078b7d.44207 ######################################## Preparing... ######################################## ar_mgr-1.0-0.37.g7078b7d.44207 ######################################## Preparing... ######################################## ibdump-5.0.0-1.44207 ######################################## Preparing... ######################################## infiniband-diags-5.0.0.MLNX20180711.3f######################################## Preparing... ######################################## infiniband-diags-compat-5.0.0.MLNX2018######################################## Preparing... ######################################## qperf-0.4.9-9.44207 ######################################## Preparing... ######################################## mxm-3.7.3111-1.44207 ######################################## Preparing... ######################################## ucx-1.4.0-1.44207 ######################################## Preparing... ######################################## ucx-devel-1.4.0-1.44207 ######################################## Preparing... ######################################## ucx-static-1.4.0-1.44207 ######################################## Preparing... ######################################## sharp-1.7.1.MLNX20180618.7c14dc0-1.442######################################## Preparing... ######################################## hcoll-4.1.2355-1.44207 ######################################## Preparing... ######################################## openmpi-3.1.1rc1-1.44207 ######################################## Preparing... ######################################## libibprof-1.1.44-1.44207 ######################################## Preparing... ######################################## mlnx-ethtool-4.2-1.44207 ######################################## Preparing... ######################################## mlnx-iproute2-4.7.0-1.44207 ######################################## Preparing... ######################################## mlnxofed-docs-4.4-2.0.7.0 ######################################## Preparing... ######################################## mpitests_openmpi-3.2.19-84f02b3.44207 ######################################## Device (02:00.0): 02:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3] Link Width: x8 PCI Link Speed: 8GT/s Installation finished successfully. Preparing... ################################# [100%] Updating / installing... 1:mlnx-fw-updater-4.4-2.0.7.0 ################################# [100%] Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf Attempting to perform Firmware update... Querying Mellanox devices firmware ... Device #1: ---------- Device Type: ConnectX3 Part Number: MCX354A-FCB_A2-A5 Description: ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6 PSID: MT_1090120019 PCI Device Name: 02:00.0 Port1 GUID: 248a0703005d0841 Port2 GUID: 248a0703005d0842 Versions: Current Available FW 2.40.7000 2.42.5000 PXE 3.4.0746 3.4.0752 Status: Update required --------- Found 1 device(s) requiring firmware update... Device #1: Updating FW ... Done Restart needed for updates to take effect. Log File: /tmp/MLNX_OFED_LINUX.6483.logs/fw_update.log To load the new driver, run: /etc/init.d/openibd restart [root@node2 mnt]# [root@node2 mnt]# /etc/init.d/openibd restart Please close all isert sessions and unload 'ib_isert' module. Please make sure module 'rpcrdma' is not in use and unload it. Please make sure module 'ib_srpt' is not in use and unload it. Error: Cannot unload the Infiniband driver stack due to the above issue(s)! To unload the blocking modules, you can run: # modprobe -rv ib_isert rpcrdma ib_srpt Once the above issue(s) resolved, run: # /etc/init.d/openibd restart [root@node2 mnt]# [root@node2 mnt]# [root@node2 mnt]# modprobe -rv ib_isert rpcrdma ib_srpt rmmod ib_isert rmmod iscsi_target_mod rmmod rpcrdma rmmod ib_srpt [root@node2 mnt]# [root@node2 mnt]# /etc/init.d/openibd restart Unloading HCA driver: [ OK ] Loading HCA driver and Access Layer: [ OK ] [root@node2 mnt]#
Reference
InfiniBand/VPI Software Drivers Protocol Software And Tools
分类:RDMA