vllm部署自己的大模型
·
1、使用AutoDL算力平台租用一台带显卡的服务器,租金相对其他平台比较便宜
2、创建并开机选择conda3 ubuntu22版本

3、创建 models 文件夹安装服务git-lfs
git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B.git 下载之models中
4、进入终端界面用conda create 虚拟环境 需要用到python3.11 以及激活进入环境后安装vllm组件
安装vllm后 进入模型存放目录,执行命令 vllm serve ./DeepSeek-R1-0528-Qwen3-8B --tensor-parallel-size 1 --max-model-len 1000 --served-mode-name DeepSeekR1-8B 启动
5、conda创建open-webui虚拟环境安装open-webui前端组件,open-webui serve 启动服务
6、因autodl算力平台租金便宜不提供ip 需要下载代理 有windows liunx 两种 ,用相对于的ssh密钥登录即可

7、登录open-webui首页完成响应设置,在模型设置外部连接设置对应地址http://127.0.0.1:8000/v1
8 模型就会检索出对应的启动模型deekpseek8B

9、返回即可和deepseek对话

更多推荐



所有评论(0)