Qwen3.5-9B部署教程：云服务器安全组配置+7860端口公网访问规范

1. 项目概述

Qwen3.5-9B是一款拥有90亿参数的开源大语言模型，具备强大的逻辑推理、代码生成和多轮对话能力。该模型支持多模态理解（图文输入）和长上下文处理（最高可达128K tokens），是当前开源模型中的佼佼者。

2. 环境准备

2.1 基础环境要求

在开始部署前，请确保您的云服务器满足以下基本要求：

• 操作系统：推荐使用Ubuntu 20.04 LTS或更高版本
• GPU配置：至少16GB显存的NVIDIA GPU（如A100、V100或3090）
• 内存：建议64GB以上
• 存储空间：至少50GB可用空间（模型文件约19GB）

2.2 Conda环境配置

# 创建conda环境
conda create -n torch28 python=3.9
conda activate torch28

# 安装基础依赖
pip install torch==2.8.0 transformers>=5.0.0 gradio==6.x huggingface_hub>=1.3.0

3. 安全组配置

3.1 云服务器安全组设置

为了确保Qwen3.5-9B服务的安全访问，需要进行以下安全组配置：

1. 登录云服务器控制台
2. 找到"安全组"配置页面
3. 添加以下入站规则：

协议类型	端口范围	授权对象	描述
TCP	7860	0.0.0.0/0	Qwen3.5-9B WebUI访问
TCP	22	您的IP地址	SSH远程连接（建议限制IP）

3.2 防火墙配置

# 检查防火墙状态
sudo ufw status

# 开放7860端口
sudo ufw allow 7860/tcp

# 启用防火墙
sudo ufw enable

4. 项目部署

4.1 项目结构

/root/qwen3.5-9b/
├── app.py              # 主程序 (Gradio WebUI)
├── start.sh            # 启动脚本
├── service.log         # 运行日志
└── history.json        # 对话历史记录

4.2 启动脚本配置

创建start.sh启动脚本：

#!/bin/bash
source /opt/miniconda3/etc/profile.d/conda.sh
conda activate torch28
python /root/qwen3.5-9b/app.py --model-path /root/ai-models/Qwen/Qwen3.5-9B

赋予执行权限：

chmod +x /root/qwen3.5-9b/start.sh

5. Supervisor进程管理

5.1 Supervisor安装与配置

# 安装Supervisor
sudo apt-get install supervisor -y

创建配置文件/etc/supervisor/conf.d/qwen3.5-9b.conf：

[program:qwen3.5-9b]
command=/bin/bash /root/qwen3.5-9b/start.sh
directory=/root/qwen3.5-9b
environment=HOME="/root",USER="root",LOGNAME="root",SHELL="/bin/bash",PATH="/opt/miniconda3/envs/torch28/bin:/usr/bin:/bin"
user=root
autostart=true
autorestart=true
startsecs=30
startretries=3
redirect_stderr=true
stdout_logfile=/root/qwen3.5-9b/service.log
stopasgroup=true
killasgroup=true

5.2 Supervisor常用命令

# 重新加载配置
sudo supervisorctl reread
sudo supervisorctl update

# 启动服务
sudo supervisorctl start qwen3.5-9b

# 查看状态
sudo supervisorctl status qwen3.5-9b

# 重启服务
sudo supervisorctl restart qwen3.5-9b

6. 访问与测试

6.1 本地访问测试

# 检查端口监听状态
ss -tlnp | grep 7860

# 本地访问测试
curl http://localhost:7860

6.2 公网访问配置

1. 确保安全组和防火墙已正确配置（见第3节）
2. 获取服务器公网IP地址
3. 在浏览器访问：http://<服务器公网IP>:7860

7. 常见问题排查

7.1 端口无法访问

检查步骤：

1. 确认安全组规则已生效
2. 检查防火墙设置
3. 验证服务是否正常运行

# 检查端口监听
ss -tlnp | grep 7860

# 检查防火墙规则
sudo ufw status

7.2 模型加载问题

如果模型加载缓慢或失败，可以尝试：

# 检查GPU是否可用
nvidia-smi

# 查看模型加载日志
tail -f /root/qwen3.5-9b/service.log

7.3 内存不足问题

如果遇到内存不足的情况：

1. 尝试减少max_tokens参数
2. 确保没有其他占用大量内存的进程
3. 考虑升级服务器配置

8. 最佳实践建议

8.1 安全建议

1. 限制访问IP：建议修改安全组规则，仅允许特定IP访问7860端口
2. 启用HTTPS：考虑使用Nginx反向代理并配置SSL证书
3. 定期更新：保持模型和依赖库的最新版本

8.2 性能优化

1. 量化模型：考虑使用4-bit或8-bit量化减小内存占用
2. 批处理请求：对于高并发场景，可以实现请求批处理
3. 缓存机制：对常见查询结果实现缓存

9. 总结

通过本教程，您已经完成了Qwen3.5-9B模型在云服务器上的完整部署，包括：

1. 安全组和防火墙的规范配置
2. Conda环境的正确设置
3. Supervisor进程管理的实现
4. 7860端口的公网访问配置
5. 常见问题的排查方法

现在，您可以通过浏览器访问http://<服务器IP>:7860来使用Qwen3.5-9B的强大功能了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。