辗转查看了很多教程，踩了好多坑，最后终于解决了，参考的相关博客会在后文做引用。

我解决的办法：
1、在root下重启机器，执行：reboot
2、重启以后，执行：cd /usr/src/，然后ls,查看nvidia-xxx,xxx为支持的版本号；
3、安装驱动，执行：
sudo apt-get install dkms
sudo dkms install -m nvidia -v xxx（xxx为刚才记录的nvidia版本号）
4、此时执行nvidia-smi,报错找不到机器，后来在一个博客上看到，gpu重启以后，是默认关闭的，解决方法，在root下执行：
nvidia-smi -pm 1
5、再次执行：nvidia-smi
Persistence-M从Off变成了On，持续模式已打开

参考的博客：

https://www.cnblogs.com/nanmi/p/12617506.html
https://www.cnblogs.com/kaikaikai/p/6907766.html
https://blog.csdn.net/Siyuada/article/details/89423033
https://zhuanlan.zhihu.com/p/94378201
https://blog.csdn.net/weixin_41608328/article/details/105718831（我在这个博客踩雷的，哭唧唧，可能这个教程不适合我的情况）