Qwen2.5-1.5B部署案例：Kubernetes集群中以StatefulSet方式部署对话服务

1. 项目概述

今天我们来分享一个实用的部署案例：如何在Kubernetes集群中使用StatefulSet方式部署Qwen2.5-1.5B智能对话服务。这个方案特别适合需要在生产环境中稳定运行轻量级大语言模型服务的企业和开发者。

Qwen2.5-1.5B是阿里通义千问推出的轻量级大语言模型，只有15亿参数，但在对话能力、代码理解和创意写作方面表现相当不错。最重要的是，它可以在普通的GPU服务器上流畅运行，不需要昂贵的专业显卡。

我们采用的部署方案有几个关键优势：使用StatefulSet确保服务稳定性和数据持久化，通过Kubernetes的资源配置保证服务可靠性，以及完整的本地化部署确保数据隐私安全。整个方案已经在实际环境中验证过，可以直接拿来使用。

2. 为什么选择StatefulSet部署方式

2.1 StatefulSet的独特优势

在Kubernetes中部署有状态服务时，StatefulSet相比普通的Deployment有几个明显优势。首先是稳定的网络标识，每个Pod都会获得一个固定的主机名，这对于需要持久化存储的服务特别重要。

其次是顺序部署和扩展，StatefulSet会按照编号顺序创建和删除Pod，确保服务的启动和停止过程可控。最后是持久化存储，每个Pod都可以挂载独立的PersistentVolume，保证模型文件和对话数据不会丢失。

2.2 适合对话服务的架构设计

对于AI对话服务来说，StatefulSet的稳定性特别重要。模型文件通常都比较大（几个GB），如果每次重启都要重新下载，会严重影响服务可用性。通过持久化存储，我们可以把模型文件保存在本地，启动时直接加载，大大缩短服务恢复时间。

另外，固定的网络标识让服务发现和负载均衡配置更加简单，客户端可以稳定地连接到指定的服务实例，不会因为Pod重启而中断连接。

3. 环境准备与资源配置

3.1 硬件资源要求

根据我们的测试经验，部署Qwen2.5-1.5B模型建议配置：

• GPU：至少8GB显存（如RTX 3070、A10等）
• CPU：4核以上
• 内存：16GB以上
• 存储：至少20GB可用空间（用于模型文件和日志）

如果只有CPU环境，也能运行，但推理速度会慢一些，需要增加CPU核心数和内存容量。

3.2 Kubernetes集群配置

首先确保你的Kubernetes集群已经正确配置：

# 检查节点状态
kubectl get nodes

# 检查存储类配置
kubectl get storageclass

# 检查GPU资源（如果使用GPU）
kubectl describe nodes | grep -i nvidia.com/gpu

需要确保集群中有可用的存储类（StorageClass），并且如果使用GPU，需要安装NVIDIA设备插件。

4. 完整部署实施方案

4.1 创建命名空间和配置

首先为我们的对话服务创建独立的命名空间：

# namespace.yaml
apiVersion: v1
kind: Namespace
metadata:
  name: qwen-chat

应用配置：

kubectl apply -f namespace.yaml

4.2 创建持久化存储

创建PersistentVolumeClaim用于存储模型文件：

# pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: qwen-model-pvc
  namespace: qwen-chat
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: standard  # 根据实际存储类修改
  resources:
    requests:
      storage: 20Gi

4.3 StatefulSet部署配置

这是最核心的部署配置文件：

# statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: qwen-chat-service
  namespace: qwen-chat
spec:
  serviceName: "qwen-chat"
  replicas: 1
  selector:
    matchLabels:
      app: qwen-chat
  template:
    metadata:
      labels:
        app: qwen-chat
    spec:
      containers:
      - name: qwen-chat-container
        image: your-registry/qwen-chat:latest  # 需要提前构建镜像
        ports:
        - containerPort: 8501  # Streamlit默认端口
        resources:
          requests:
            memory: "12Gi"
            cpu: "4"
            nvidia.com/gpu: "1"  # 如果使用GPU
          limits:
            memory: "16Gi"
            cpu: "6"
            nvidia.com/gpu: "1"
        volumeMounts:
        - name: model-storage
          mountPath: /app/models
        env:
        - name: MODEL_PATH
          value: "/app/models/Qwen2.5-1.5B-Instruct"
        - name: PYTHONUNBUFFERED
          value: "1"
      volumes:
      - name: model-storage
        persistentVolumeClaim:
          claimName: qwen-model-pvc
  volumeClaimTemplates:
  - metadata:
      name: model-storage
    spec:
      accessModes: ["ReadWriteOnce"]
      storageClassName: standard
      resources:
        requests:
          storage: 20Gi

4.4 服务暴露配置

创建Service来暴露服务：

# service.yaml
apiVersion: v1
kind: Service
metadata:
  name: qwen-chat-service
  namespace: qwen-chat
spec:
  selector:
    app: qwen-chat
  ports:
  - port: 8501
    targetPort: 8501
  type: LoadBalancer  # 或者NodePort，根据环境选择

5. 模型文件准备与初始化

5.1 准备模型文件

在部署之前，需要先将模型文件放到持久化存储中。有两种方式：

方式一：手动上传

# 将模型文件复制到临时Pod中
kubectl cp /local/path/to/model qwen-chat/qwen-chat-service-0:/app/models/

方式二：使用初始化容器 可以在StatefulSet配置中添加初始化容器，在启动时自动下载模型：

# 在StatefulSet的spec.template.spec中添加
initContainers:
- name: download-model
  image: curlimages/curl:latest
  command: ['sh', '-c', 'curl -L <模型下载链接> -o /models/qwen-model.tar.gz && tar -xzf /models/qwen-model.tar.gz -C /models/']
  volumeMounts:
  - name: model-storage
    mountPath: /models

5.2 构建自定义镜像

创建Dockerfile构建包含所有依赖的镜像：

# Dockerfile
FROM python:3.9-slim

WORKDIR /app

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    git \
    && rm -rf /var/lib/apt/lists/*

# 安装Python依赖
COPY requirements.txt .
RUN pip install -r requirements.txt

# 复制应用代码
COPY . .

# 暴露端口
EXPOSE 8501

# 启动命令
CMD ["streamlit", "run", "app.py", "--server.port=8501", "--server.address=0.0.0.0"]

构建并推送镜像：

docker build -t your-registry/qwen-chat:latest .
docker push your-registry/qwen-chat:latest

6. 部署与验证

6.1 执行部署

按顺序应用所有配置文件：

kubectl apply -f namespace.yaml
kubectl apply -f pvc.yaml
kubectl apply -f statefulset.yaml
kubectl apply -f service.yaml

检查部署状态：

kubectl get pods -n qwen-chat
kubectl describe pod/qwen-chat-service-0 -n qwen-chat

6.2 服务验证

获取服务访问地址：

# 如果使用LoadBalancer
kubectl get svc -n qwen-chat

# 如果使用NodePort
kubectl get svc qwen-chat-service -n qwen-chat -o jsonpath='{.spec.ports[0].nodePort}'

访问服务并进行测试：

1. 打开浏览器访问服务地址
2. 在输入框中发送测试消息："你好，请介绍一下你自己"
3. 检查是否能够正常回复

6.3 日志监控

查看服务日志确认运行状态：

kubectl logs -f qwen-chat-service-0 -n qwen-chat

检查资源使用情况：

kubectl top pods -n qwen-chat

7. 运维与优化建议

7.1 性能监控配置

建议配置监控告警，确保服务稳定性：

# monitoring.yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: qwen-chat-monitor
  namespace: qwen-chat
spec:
  selector:
    matchLabels:
      app: qwen-chat
  endpoints:
  - port: web
    interval: 30s

7.2 自动扩缩容配置

根据资源使用情况配置自动扩缩容：

# 配置HPA
kubectl autoscale statefulset qwen-chat-service -n qwen-chat --cpu-percent=70 --min=1 --max=3

7.3 备份与恢复

定期备份模型文件和配置：

# 创建备份脚本
#!/bin/bash
kubectl exec qwen-chat-service-0 -n qwen-chat -- tar -czf /tmp/backup.tar.gz /app/models
kubectl cp qwen-chat/qwen-chat-service-0:/tmp/backup.tar.gz ./backup-$(date +%Y%m%d).tar.gz

8. 常见问题处理

8.1 部署常见问题

问题一：Pod启动失败

# 查看详细错误信息
kubectl describe pod/qwen-chat-service-0 -n qwen-chat

# 查看日志
kubectl logs qwen-chat-service-0 -n qwen-chat

问题二：GPU资源不足

# 检查GPU资源
kubectl describe nodes | grep -i gpu

# 如果没有GPU，可以修改配置使用CPU推理
# 在环境变量中添加：DEVICE=cpu

8.2 性能优化建议

如果发现推理速度较慢，可以尝试以下优化：

1. 调整批处理大小：根据显存情况调整同时处理的请求数量
2. 启用量化推理：使用8bit或4bit量化减少显存占用
3. 优化生成参数：调整max_new_tokens等参数平衡速度和质量

9. 总结

通过这个完整的Kubernetes StatefulSet部署方案，我们成功将Qwen2.5-1.5B对话服务部署到了生产环境。这个方案的主要优势包括：

• 稳定性：StatefulSet保证服务稳定运行和数据持久化
• 可扩展性：基于Kubernetes的架构容易扩展和运维
• 资源隔离：独立的命名空间和资源限制确保服务不会影响其他应用
• 易于监控：完整的监控和日志体系便于问题排查

实际部署时需要注意模型文件的准备方式，根据网络环境选择合适的方法。如果是在内网环境，建议提前下载好模型文件；如果是公有云环境，可以使用初始化容器自动下载。

这个方案已经在实际项目中验证过，能够稳定支持日常的对话需求。根据业务量的增长，还可以进一步优化配置，比如增加副本数、配置负载均衡、优化推理参数等。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。