1、环境介绍
|
类别 |
详情 |
|
操作系统 |
CentOS7.2 1151 |
|
GPU |
1 x NVIDIA Tesla P40 |
2、python、tensorflow-gpu、CUDA及cudnn之间的版本对应关系
如下图所示，图中列出了针对GPU驱动版本来说，python版本、CUDA和cudnn之间的对应关系，这只是一个粗略的对应关系，在实际安装的过程中，需要尝试具体的版本对应关系。
3、软件安装包下载
3.1 驱动下载
从NVIDIA官网找到对应系统支持的驱动版本，下载安装即可。
NVIDIA driver下载地址：https://www.nvidia.cn/Download/index.aspx
因为centos和RHEL7都是RedHat的操作系统，只是centos是免费的，但是软件包时通用的，所以我们选择【Linux 64-bit RHEL7】，下载的驱动信息如下
然后点击【SEARCH】，之后下载即可。
3.2 CUDA和cuDNN软件下载
3.2.1 CUDA下载
我们选择的tensorflow-gpu的版本是1.9.0，这两个版本对应的都是CUDA-9和cudnn-7，所以选择下载CUDA-9.0。
CUDA-9.0下载地址：https://developer.nvidia.com/cuda-90-download-archive
找到Linux对应的版本，我们按照下图中红框的选择，一步一步进行选择即可，然后即可下载对应的rpm安装包【cuda-repo-rhel7-9-0-local-9.0.176-1.x86_64.rpm】。
3.2.2 cudnn-7版本下载
登陆cudnn下载网址：https://developer.nvidia.com/rdp/cudnn-archive
选择CUDA-9.0对应的cuDNN v7.1.4，选择linux对应的版本，这里已经找好了对应的下载链接，如下：
cuDNN v7.1.4： https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.4/prod/9.2_20180516/cudnn-9.2-linux-x64-v7.1
cuDNN v7.1.3版本的下载链接如下：
cuDNN v7.1.3：https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.3/prod/9.0_20180414/cudnn-9.0-linux-x64-v7.1
3.3 python版本下载
安装Python3版本，Linux系统运行下面的命令即可安装
yum install -y python3.x86_64
还需要安装Python3的一编程依赖包，例如python3-dev python3-header，使用下面的命令安装。
yum install -y python3-devel.x86_64
4、环境搭建
4.1、安装P40显卡驱动
4.1.1 禁用系统自带的显卡驱动【nouveau】
操作步骤如下：
1、在系统中查看是否存在【/etc/modprobe.d/blacklist.conf】，如果不存在，则创建。
2、在该文件中写入“blacklist nouveau”
3、备份原来的initramfs image file。执行下面的命令
sudo mv /boot/initramfs-( u n a m e − r ) . i m g / b o o t / i n i t r a m f s − (uname -r).img /boot/initramfs-(uname−r).img/boot/initramfs−(uname -r).img.bak
4、重新建立 the initramfs file。执行下面的命令
sudo dracut -v /boot/initramfs-$(uname -r).img
5、reboot系统
至此系统自带显卡驱动禁用完成，等系统启动后，可以执行【lsmod |grep nouveau】来验证。
4.1.2 安装P40显卡驱动
我们安装的P40显卡驱动是【NVIDIA-Linux-x86_64-430.46-grid.run】。执行命令【sh NVIDIA-Linux-x86_64-430.46-grid.run】即可启动安装程序。但是会出现如下错误。
这是因为系统中没有安装kernel对应的devel开发包和header头文件。这里的解决方法有两个：
（1）使用【uname -r】命令查看内核版本，然后从网上下载对应的kernel devel和kernel header包安装上即可。
（2）执行命令【yum install -y kernel.x86_64 kernel-headers.x86_64 kernel-devel.x86_64】命令安装系统支持的最新kernel版本，及kernel devel和kernel header包来解决此问题。
我们选择的解决方法是（2），安装完后需要重启生效。
系统重启后，我们再来运行命令【sh NVIDIA-Linux-x86_64-430.46-grid.run】，进入下面的界面。
点击【回车】，进入下面界面
选择【Yes】，进入下面界面
至此，完成P40的显卡驱动安装，可以执行命令【lsmod | grep nvidia】来验证下，如下图
4.1.3 CUDA-9.0安装
按照下面的步骤来安装CUDA-9.0
（1）执行命令【rpm -ivh cuda-repo-rhel7-9-0-local-9.0.176-1.x86_64.rpm】来安装cuda repo文件。
（2）执行【yum install -y cuda】来在线安装。
命令执行成功后，即完成安装。
4.1.4 cuDNN-7安装
解压cuDNN文件【cudnn-9.2-linux-x64-v7.1.tar】，会解压出一个cuda的文件夹，之后执行cp -rf cuda/lib64/* /usr/local/cuda-9.0/lib64/ cp -rf cuda/include/* /usr/local/cuda-9.0/include/
把cuDNN的文件拷贝到cuda-9.0的相应文件夹中即可。
4.1.5 tensorflow-gpu-1.9.0安装
执行下面的命令即可安装
pip3 install tensorflow-gpu==1.9 -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
5、benchmark相关测试
5.1 下载benchmark程序
登陆https://github.com/tensorflow/benchmarks网址来下载ZIP程序压缩包，也可以使用git clone -b cnn_tf_v1.9_compatible https://github.com/tensorflow/benchmarks.git 下载cnn_tf_v1.9_compatible分支代码。如果没有git，则执行下面命令进行安装。
yum install -y git
5.2 运行tf_cnn_benchmarks.py程序
进入benchmark程序目录【benchmarks/scripts/tf_cnn_benchmarks】中执行程序
python3 tf_cnn_benchmarks.py
如果出现下面的错误：
ImportError: /usr/local/cuda-9.0/targets/x86_64-linux/lib/libcudnn.so.7: file too short
则进入目录【/usr/local/cuda-9.0/lib64】，发现有两个文件libcudnn.so.7和libcudnn.so.7.1.4，而libcudnn.so.7.1.4文件是从cuDNN软件拷贝到cuda-9目录中，所以libcudnn.so.7是libcudnn.so.7.1.4的软连接，可以在【/usr/local/cuda-9.0/lib64】目录执行下面的命令建立软件列
ln -sf libcudnn.so.7.1.4 libcudnn.so.7
此时再执行命令【python3 tf_cnn_benchmarks.py】即可成功运行。程序执行效果如下图。
