基于pip方式部署飞桨大模型
·
安装PaddlePaddle
step1 查看GPU版本
#执行以下命令确定显卡驱动版本
nvidia-smi
\# GPU 版本,需显卡驱动程序版本 ≥450.80.02(Linux)或 ≥452.39(Windows)
python -m pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
GPU 版本,需显卡驱动程序版本 ≥550.54.14(Linux)或 ≥550.54.14(Windows)
python -m pip install paddlepaddle-gpu==3.0.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/
step2 查看是否安装成功
python -c "import paddle; print(paddle.__version__)"
结果:3.0.0-rc0 说明安装成功
安装PaddleX
需保证PaddlePaddle安装成功才可进行
step3 安装必要依赖
pip install paddlex
step4 制作软连接
sudo ln -s $HOME/.local/bin/paddlex /usr/local/bin/ #将自己安装paddlex的路径链接到/usr/local/bin 使全局生效
step5 安装全部插件
paddlex --install
step6 启动指定产线
使用conda创建虚拟环境,名称自定义
conda create -n paddlex python=3.10.12
#启动一条产品线
paddlex --serve --pipeline 产线名称 --port 端口号 --device gpu: gpu序号
--pipeline:产线名称
--input:待处理的输入图片的本地路径或URL
--device 使用的GPU序号(例如gpu:0表示使用第0号GPU,gpu:1,2表示使用第1、2号GPU),也可选择使用CPU(--device cpu)
更多推荐
所有评论(0)