目录

文档说明

一、部署前准备

1.1 模型下载

1.2 注册AutoDL

1.3 模型上传

二、云服务器租赁

2.1 算力市场

2.2 配置镜像

2.3 连接服务器

三、模型部署

3.1 文件解压缩（从空间中直接解压缩）

3.2 安装依赖

四、模型启动

4.1 启动vLLM框架

4.2 启动iteLLM网关

4.3 报错调试

五、对话测试

5.1 内网测试

5.2 外网测试

六、模型微调

6.1 先终止所有vLLM进程

6.2 模型微调

6.3 结果测试

---

文档说明

• 适用硬件: 单卡 A800 (80GB 显存)

• 模型: Qwen3.6-27B-FP8 (约 27GB)

• 技术栈: vLLM + LiteLLM + Lora

• 云服务商：AutoDL算力云

---

一、部署前准备

1.1 模型下载

• 文件内已整合vLLM + LiteLLM部署代码，并内置Qwen3.6-27B-FP8模型，共23.56G下载即可

• 百度网盘：https://pan.baidu.com/s/165sCWFFnnN_-sB9QT9Xmgg?pwd=jtb3

1.2 注册AutoDL

• 注册AutoDL算力云账号：AutoDL算力云 | 弹性、好用、省钱，GPU算力零售价格新标杆

1.3 模型上传

• 提前将文件上传至AutoDL云空间（北京B区）

---

二、云服务器租赁

2.1 算力市场

• 选择A800-80GB-NVLink（北京B区）

2.2 配置镜像

• 选择基础镜像 PyTorch / 2.12.1 / 3.12(ubuntu22.04) / 13.0

2.3 连接服务器

• 可以使用Xshell连接服务器终端

---

三、模型部署

3.1 文件解压缩（从空间中直接解压缩）

# 解压缩
unzip /autodl-fs/data/qwen.zip -d /root/autodl-tmp
# 项目目录
cd /root/autodl-tmp/qwen/qwen-deploy

3.2 安装依赖

# 安装依赖
pip install -r requirements.txt
# 添加权限
chmod +x /root/autodl-tmp/qwen/qwen-deploy/start_vllm.sh

---

四、模型启动

4.1 启动vLLM框架

# 启动vllm框架
nohup ./start_vllm.sh >> /root/autodl-tmp/qwen/logs/vllm.log 2>&1 &
# 查看日志
tail -f /root/autodl-tmp/qwen/logs/vllm.log
# 启动需要3分钟左右，看到 Application startup complete. 即正常，然后ctrl + c 退出日志

4.2 启动iteLLM网关

# 启动vllm网关，并将网关绑定6006端口（6006为AutoDL默认开放端口）
nohup litellm --config litellm_config.yaml --port 6006 --host 0.0.0.0 >> /root/autodl-tmp/qwen/logs/litellm.log 2>&1 &
# 查看日志
tail -f /root/autodl-tmp/qwen/logs/litellm.log
# 看到 Uvicorn running on http://0.0.0.0:6006 即正常，最后ctrl + c 退出日志

4.3 报错调试

假如上述步骤出现报错，需要先终止所有vllm进程，释放显存占用，然后再自行调试、重启

# 终止所有 vLLM 进程
pkill -f "vllm serve"
pkill -f "start_vllm.sh"

---

五、对话测试

5.1 内网测试

curl http://localhost:6006/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-your-master-key-here" \
  -d '{
    "model": "qwen3.6-27b-fp8",
    "messages": [{"role": "user", "content": "你好"}]
  }'

5.2 外网测试

点击自定义服务，获取6006端口外网链接

以windows为例，在本地电脑终端cmd发送对话（替换成你的外网连接）

curl -X POST https://u1106052-q0at-efc433dc.bjb1.seetacloud.com:8443/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer sk-your-master-key-here" -d "{\"model\": \"qwen3.6-27b-fp8\", \"messages\": [{\"role\": \"user\", \"content\": \"你好\"}]}"

---

六、模型微调

6.1 先终止所有vLLM进程

pkill -f "vllm serve"
pkill -f "start_vllm.sh"

6.2 模型微调

已内置微调模拟数据 train_data.jsonl

# 微调目录
cd /root/autodl-tmp/qwen/lora
# 开始微调
python train_lora.py

 6.3 结果测试

python test_lora.py

大模型成功输出微调内容