问题描述

在升级Linux内核后，用户可能会遇到NVIDIA驱动不可用的问题。这种情况通常表现为以下错误信息：

错误1：执行 nvidia-smi 时出现以下错误：

• 错误信息： Failed to initialize NVML: Driver/library version mismatch
• 说明： 该错误表示NVIDIA驱动和库版本不匹配，通常是因为内核升级后旧版驱动不再适用于新内核。

错误2： 执行 nvidia-smi 时出现以下错误：

• 错误信息： NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver
• 说明： 该错误表示NVIDIA驱动未正确加载或未安装，导致无法与NVIDIA硬件进行通信。

解决方法

1.检查当前内核版本

uname -r

2.查看安装驱动时的内核版本

RedHat系（CentOS）系统执行

find /usr/lib/modules -name nvidia.ko

Debian类（Ubuntu）系统执行

find /lib/modules -name nvidia.ko

如果当前内核版本与安装驱动时的内核版本不一致，则确认为内核升级后导致的驱动不可用。

3.移除现有NVIDIA驱动模块

依次执行以下命令，以确保所有与NVIDIA相关的驱动模块已被移除：

rmmod nvidia_drm
rmmod nvidia_modeset
rmmod nvidia

4.查看GPU信息

执行以下命令以查看当前GPU的状态：

nvidia-smi

5.检查回显结果

• 如果命令输出正常，且能够显示GPU信息，则问题已修复。

• 如果输出仍然报错，请参考以下步骤进行进一步处理。

  • 如果业务依赖于新版本内核，则需要参考官方文档卸载当前驱动，并在该内核下重新安装驱动。
  • 如果不小心升级了内核驱动，而当前的驱动与新版本内核不兼容，可以通过重启云主机并使用旧版本内核登录，从而恢复驱动的正常运行。