这个步骤很简单 一步一步来就能部署!

1.新建一个虚拟环境

conda create -n qwen python=3.9

2.将github上的qwen模型代码,下载到服务器。链接:代码地址
3.cd 到Qwen-VL-master文件夹,激活环境。
4.安装项目运行需要的依赖。

pip install -r requirements.txt

5.安装pytorch,从官网安装,我安装的torch版本是2.2.1,cuda是12.1版本的,这个大家可以根据自己的显卡情况安装,用torch官网给的命令安装。

pip3 install torch torchvision torchaudio

torch的官网截图
6.安装demo的依赖。

pip install -r requirements_web_demo.txt

7.运行python web_demo_mm.py,这时会出来一个报错,如下图。
报错提示
8.根据报错信息的最后一行,他说在/root/.cache/modelscope/hub/qwen/Qwen-VL-Chat这个目录下没有找到模型文件,我们需要到huggingface上去下载Qwen-VL-Chat这个模型到报错的目录即可。
9.重新运行python web_demo_mm.py,如果运行成功则会展示下面的界面。
运行成功的界面截图10.因为这是在服务器上部署的所以不能用http://127.0.0.1:8000,这个本地网址访问,我们在运行的时候可以用参数指定服务器的访问端口和设置允许任何 IP 地址访问该服务。python web_demo_mm.py --server-port 7860 --server-name 0.0.0.0,自己部署的时候需要根据自己服务器的情况,设定端口号,我的服务器端口号是7860.
参数解释:–server-port 7860:这是一个命令行参数,用于指定服务器的端口号。
–server-name 0.0.0.0:0.0.0.0 表示服务器将绑定到所有可用的网络接口上,允许从任何 IP 地址访问该服务。
在这里插入图片描述

Logo

分享最新的 NVIDIA AI Software 资源以及活动/会议信息,精选收录AI相关技术内容,欢迎大家加入社区并参与讨论。

更多推荐