正所谓万事开头难,想要做算法实验,第一步就是要搭建一个环境,安装所需依赖包,让我们的代码正常的跑起来!
这个过程真的是踩了无数的坑,分享出来。
一开始我是想在自己的Docker中去跑这个实验的,所以还需要从头安装Anaconda。但是从头装到尾之后,我发现Docker中没有NVIDIA驱动,也就是nvidia-smi这个命令是无效的,试了多种办法安装驱动也没有成功(之后有空可以再做尝试),后来就作罢,从服务器中装起。
本着零基础的学习态度,本篇仍旧从安装Anaconda开始。

一、安装Anaconda(Docker中安装)

虽然后面直接在服务器中创了env,但还是记录一下在Docker中安装Conda的过程,在服务器中直接安装也是大同小异。
由于docker镜像可能没有wget命令,首先要apt-get install wget
然后依次执行以下语句,需要下载安装包,并直接bash安装,而不是pipapt-get

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Linux-x86_64.sh

bash Anaconda3-5.1.0-Linux-x86_64.sh

安装完成之后,需要使用source ~/.bashrc命令重启一下环境变量
然后exit退出docker之后重新进入,正常情况下就可以使用conda了

conda -V  #用于检测是否成功安装conda,打印版本号则证明成功

若到这一步仍提示command:conda not found则需进入.bashrc重新设置一下环境变量,步骤如下。

vim ~/.bashrc

(没有vim的话,apt-get装一下vim即可)
在.bashrc文件中加入以下这句

export PATH=$PATH:/root/anaconda3/bin

保存退出后

source ~/.bashrc

在这里插入图片描述

二、使用conda创建环境

conda create -n lzw-nlp python=3.6
conda activate lzw-nlp

这样就创建了一个名为lzw-nlp的基于python3.6的conda环境了。

三、在conda环境中安装torch

这个地方坑实在太多了,不一一赘述,放上成功的方式

conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch
  1. 这里最好是科学上网,使用默认的channels去装,因为使用conda清华源的话,conda install pytorch会直接默认给你下载cpu版本,有gpu的条件下肯定是要使用gpu的。
  2. 安装之前一定先使用nvidia-smi去查一下服务器显卡的cuda版本
    在这里插入图片描述
    然后按照这个cuda版本去pytorch的官网https://pytorch.org/下载对应版本的安装包,尽量使用官网提供的命令,并使用conda install安装
    在这里插入图片描述
    比如此处,我的服务器的cuda是10.1,就去Previous version of PyTorch中搜索对应的版本的安装命令
    在这里插入图片描述
    怎么检查是不是gpu版本,很简单,用conda list查看一下已经安装上的pytorch这个包的信息即可,如下图:
    在这里插入图片描述这些包就都是cpu版本
    在这里插入图片描述
    这种是gpu版本
  3. 如果你没办法科学上网,且安装了清华源,很不幸的让conda默认给你下载成了cpu版本,就只能将cpu版本卸载之后去离线下载这些包,然后在服务器中安装了。
    离线下载地址: Index of /anaconda/cloud/pytorch/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
    在这里插入图片描述
    选择你的电脑系统,然后下载对应版本的torch,torchvision,torchaudio

下载完成后,激活conda 环境, cd 到下载的文件目录,安装他们

# 此处以cuda10.2为例
conda install --offline pytorch-1.10.0-py3.6_cuda10.2_cudnn7.6.5_0.tar.bz2
conda install --offline torchaudio-0.10.0-py36_cu102.tar.bz2
conda install --offline torchvision-0.11.0-py36_cu102.tar.bz2
conda list 再次检查安装包信息及版本
# 输入python
import torch
torch.cuda.is_available()

在这里插入图片描述
打印True即为成功安装了gpu版本的torch,False则需继续查找原因……
至此torch安装结束

四、安装transformers

这一步就简单多了,但有一个小坑,就是这里不要用conda install去装,因为版本需求高,conda默认安装2.版本,我们直接pip

pip install transformers==4.15.0

到此,环境搭建工作全部结束。

后记

最搞笑是一开始conda create一直失败,试了无数方法,换了conda国内镜像清华源阿里源都无济于事,和服务器抗争了大半天,最后发现是服务器欠费了。。。就。。。很无语

Logo

权威|前沿|技术|干货|国内首个API全生命周期开发者社区

更多推荐