ubuntu+docker+pycharm环境深度学习远程炼丹使用教程
前面详解介绍了如何搭建ubuntu+docker+pycharm的深度学习远程炼丹环境,接下来我们将以运行paddle邮件过滤为例,介绍如何通过pycharm调用在远程服务器上的docker,运行该深度学习的代码模型。
·
文章目录
- 前言
- 一、docker环境准备
- 1.下载镜像
- 2.运行容器
- 3.给容器安装openssh-server和openssh-client
- 4.vim打开并修改配置文件
- 5.创建docker中root用户的密码:
- 6.重启ssh服务
- 7.确认docker容器内python位置
- 8.生成新的镜像
- 9.导出镜像
- 10.导入镜像
- 二、配置pycharm连接docker容器
- 1.打开File中的setting选择Project Interpretern,再点击右上角的设置,点击add。
- 2.选择SSH Interpreter,然后输入远程服务器的地址、用户名和密码。
- 3.选择python编译器以及本地项目和容器项目映射地址
- 三、docker常用运行代码
- 1.压缩tar文件
- 2.解压tar文件
- 3.将文件夹从宿主机迁移到容器
- 总结
前言
前面详解介绍了如何搭建ubuntu+docker+pycharm的深度学习远程炼丹环境,接下来我们将以运行paddle邮件过滤为例,介绍如何通过pycharm调用在远程服务器上的docker,运行该深度学习的代码模型。
一、docker环境准备
1.下载镜像
首先需要在dockerhub选择合适的paddle镜像,然后拉取镜像:
docker pull paddlepaddle/paddle:2.4.0rc0-gpu-cuda11.2-cudnn8.1-trt8.0
2.运行容器
docker run --gpus all -it -v /opt/workplace:/workplace --name paddlenlp paddlepaddle/paddle -p 8080:22 bitnami/pytorch
3.给容器安装openssh-server和openssh-client
apt-get update
apt-get install openssh-server
apt-get install openssh-client
apt-get install vim
4.vim打开并修改配置文件
vim /etc/ssh/sshd_config
#Authentication:
PermitRootLogin yes
RSAAuthentication yes # 允许root进入
PubkeyAuthentication yes
5.创建docker中root用户的密码:
passwd root
6.重启ssh服务
service ssh restart
7.确认docker容器内python位置
which python
如果需要离线调用docker环境,那么我们只需要在有网络的情况下配置上述的环境,然后将容器生成镜像,再导出镜像,最后在无网的服务器上载入镜像,再执行第六步重启ssh服务。
8.生成新的镜像
docker commit paddlenlp paddlenlp11.2
9.导出镜像
docker save -o paddlenlp11.2.tar paddlenlp11.2
10.导入镜像
docker load --input paddlenlp11.2.tar
二、配置pycharm连接docker容器
1.打开File中的setting选择Project Interpretern,再点击右上角的设置,点击add。
2.选择SSH Interpreter,然后输入远程服务器的地址、用户名和密码。
3.选择python编译器以及本地项目和容器项目映射地址
选择之前whichp ython得到的 /usr/local/bin/python
三、docker常用运行代码
1.压缩tar文件
tar -cvf models.tar
tar -czf - demo | split -b 4G - demo
2.解压tar文件
tar -xvf models.tar
3.将文件夹从宿主机迁移到容器
docker cp /root/.paddlenlp/models[宿主机路径] 04xxxxxxxx[容器id]:/root/.paddlenlp[容器路径]
##4.将文件夹从容器迁移到宿主机
docker cp 04xxxxxxxx[容器id]:/root/.paddlenlp[容器路径] /root/.paddlenlp/models[宿主机路径]
总结
今天详细介绍了如何利用pycharm远程炼丹,有什么问题欢迎在评论区留言。
更多推荐
已为社区贡献1条内容
所有评论(0)