零基础之Centos7下使用Conda安装Pytorch环境
正所谓万事开头难,想要做算法实验,第一步就是要搭建一个环境,安装所需依赖包,让我们的代码正常的跑起来!这个过程真的是踩了无数的坑,分享出来。一开始我是想在自己的Docker中去跑这个实验的,所以还需要从头安装Anaconda。但是从头装到尾之后,我发现Docker中没有NVIDIA驱动,也就是nvidia-smi这个命令是无效的,试了多种办法安装驱动也没有成功(之后有空可以再做尝试),后来就作罢,
正所谓万事开头难,想要做算法实验,第一步就是要搭建一个环境,安装所需依赖包,让我们的代码正常的跑起来!
这个过程真的是踩了无数的坑,分享出来。
一开始我是想在自己的Docker中去跑这个实验的,所以还需要从头安装Anaconda。但是从头装到尾之后,我发现Docker中没有NVIDIA驱动,也就是nvidia-smi
这个命令是无效的,试了多种办法安装驱动也没有成功(之后有空可以再做尝试),后来就作罢,从服务器中装起。
本着零基础的学习态度,本篇仍旧从安装Anaconda开始。
一、安装Anaconda(Docker中安装)
虽然后面直接在服务器中创了env,但还是记录一下在Docker中安装Conda的过程,在服务器中直接安装也是大同小异。
由于docker镜像可能没有wget命令,首先要apt-get install wget
然后依次执行以下语句,需要下载安装包,并直接bash
安装,而不是pip
或apt-get
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh
bash Anaconda3-5.1.0-Linux-x86_64.sh
安装完成之后,需要使用source ~/.bashrc
命令重启一下环境变量
然后exit
退出docker之后重新进入,正常情况下就可以使用conda了
conda -V #用于检测是否成功安装conda,打印版本号则证明成功
若到这一步仍提示command:conda not found
则需进入.bashrc
重新设置一下环境变量,步骤如下。
vim ~/.bashrc
(没有vim的话,apt-get装一下vim即可)
在.bashrc文件中加入以下这句
export PATH=$PATH:/root/anaconda3/bin
保存退出后
source ~/.bashrc
二、使用conda创建环境
conda create -n lzw-nlp python=3.6
conda activate lzw-nlp
这样就创建了一个名为lzw-nlp
的基于python3.6的conda环境了。
三、在conda环境中安装torch
这个地方坑实在太多了,不一一赘述,放上成功的方式
conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch
- 这里最好是科学上网,使用默认的channels去装,因为使用conda清华源的话,conda install pytorch会直接默认给你下载cpu版本,有gpu的条件下肯定是要使用gpu的。
- 安装之前一定先使用
nvidia-smi
去查一下服务器显卡的cuda版本
然后按照这个cuda版本去pytorch的官网https://pytorch.org/下载对应版本的安装包,尽量使用官网提供的命令,并使用conda install安装
比如此处,我的服务器的cuda是10.1,就去Previous version of PyTorch中搜索对应的版本的安装命令
怎么检查是不是gpu版本,很简单,用conda list
查看一下已经安装上的pytorch这个包的信息即可,如下图:
这些包就都是cpu版本
这种是gpu版本 - 如果你没办法科学上网,且安装了清华源,很不幸的让conda默认给你下载成了cpu版本,就只能将cpu版本卸载之后去离线下载这些包,然后在服务器中安装了。
离线下载地址: Index of /anaconda/cloud/pytorch/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
选择你的电脑系统,然后下载对应版本的torch,torchvision,torchaudio
下载完成后,激活conda 环境, cd 到下载的文件目录,安装他们
# 此处以cuda10.2为例
conda install --offline pytorch-1.10.0-py3.6_cuda10.2_cudnn7.6.5_0.tar.bz2
conda install --offline torchaudio-0.10.0-py36_cu102.tar.bz2
conda install --offline torchvision-0.11.0-py36_cu102.tar.bz2
conda list 再次检查安装包信息及版本
# 输入python
import torch
torch.cuda.is_available()
打印True即为成功安装了gpu版本的torch,False则需继续查找原因……
至此torch安装结束
四、安装transformers
这一步就简单多了,但有一个小坑,就是这里不要用conda install去装,因为版本需求高,conda默认安装2.版本,我们直接pip
pip install transformers==4.15.0
到此,环境搭建工作全部结束。
后记
最搞笑是一开始conda create一直失败,试了无数方法,换了conda国内镜像清华源阿里源都无济于事,和服务器抗争了大半天,最后发现是服务器欠费了。。。就。。。很无语
更多推荐
所有评论(0)