Retinaface+CurricularFace部署案例：Kubernetes集群中水平扩缩容实践

1. 引言：当人脸识别遇上高并发

想象一下，一个智慧园区的人行闸机系统，在上下班高峰期，每分钟需要处理上千张人脸图像的比对请求。单台服务器显然力不从心，响应延迟会急剧上升，用户体验直线下降。这正是许多AI应用从“能用”走向“好用”过程中必须跨越的鸿沟。

今天，我们就来聊聊如何将强大的 Retinaface+CurricularFace 人脸识别模型，从一个独立的AI镜像，部署成一个能在Kubernetes（K8s）集群中弹性伸缩、稳定可靠的生产级服务。我们将聚焦于水平扩缩容（HPA） 的实践，这是应对流量波动的核心手段。

通过本文，你将掌握：

• 如何将预置的AI推理镜像打包成K8s可管理的服务。
• 如何配置水平扩缩容策略，让服务实例数量随负载自动增减。
• 一套完整的、可落地的部署与监控方案。

2. 从镜像到服务：容器化部署第一步

我们的起点是已经准备好的 Retinaface+CurricularFace 人脸识别模型镜像。这个镜像内部已经集成了完整的推理环境，我们首先要做的是让它能在K8s集群中运行起来。

2.1 创建Kubernetes部署（Deployment）

部署（Deployment）是K8s中管理应用副本的核心对象。下面是一个基础的部署配置文件 deployment.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: face-recognition-api
  namespace: default
  labels:
    app: face-recognition
spec:
  replicas: 2  # 初始启动2个副本（Pod）
  selector:
    matchLabels:
      app: face-recognition
  template:
    metadata:
      labels:
        app: face-recognition
    spec:
      containers:
      - name: face-recognition-container
        image: your-registry/retinaface-curricularface:latest  # 替换为你的镜像地址
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 5000  # 假设我们的推理服务运行在5000端口
        resources:
          requests:
            memory: "2Gi"
            cpu: "1000m"
          limits:
            memory: "4Gi"
            cpu: "2000m"
        env:
        - name: PYTHONUNBUFFERED
          value: "1"
        command: ["python"]
        args: ["/root/Retinaface_CurricularFace/inference_server.py"]  # 需要一个封装了HTTP API的服务器脚本

关键点说明：

• replicas: 2：一开始就启动两个Pod，提供基础的服务能力和冗余。
• resources：为容器设置资源请求（requests）和限制（limits）。这是后续实现自动扩缩容的基础，K8s需要知道每个Pod消耗多少资源。
• command 和 args：这里假设我们编写了一个 inference_server.py 脚本，将原来的命令行推理工具封装成一个HTTP API服务（例如使用Flask或FastAPI）。这是将AI模型变为可伸缩服务的关键一步。

2.2 暴露服务（Service）

部署创建了Pod，但我们需要一个稳定的网络端点来访问它们。这就需要创建服务（Service）。

apiVersion: v1
kind: Service
metadata:
  name: face-recognition-service
  namespace: default
spec:
  selector:
    app: face-recognition  # 选择上面Deployment管理的Pod
  ports:
  - port: 80
    targetPort: 5000  # 将Service的80端口映射到Pod的5000端口
  type: ClusterIP  # 集群内部访问，如果需要外部访问可改为NodePort或LoadBalancer

现在，在集群内部，其他应用就可以通过 face-recognition-service.default.svc.cluster.local 这个域名来访问我们的人脸识别服务了。

3. 核心实践：配置水平Pod自动扩缩容（HPA）

水平扩缩容（Horizontal Pod Autoscaler, HPA）是K8s的“自动驾驶”模式。它能根据我们设定的指标（如CPU使用率），自动增加或减少Pod的数量。

3.1 为什么选择CPU作为扩缩容指标？

对于人脸识别这类计算密集型AI推理服务，CPU使用率通常是反映其负载最直接、最稳定的指标。当请求增多时，模型进行前向推理的计算量增大，CPU使用率会随之升高。

3.2 创建HPA资源配置文件

我们需要创建一个 hpa.yaml 文件来定义扩缩容规则。

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: face-recognition-hpa
  namespace: default
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: face-recognition-api  # 指向我们之前创建的Deployment
  minReplicas: 2  # 最小副本数，保证基础服务能力
  maxReplicas: 10 # 最大副本数，控制资源成本上限
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization  # 目标类型为使用率
        averageUtilization: 70  # 目标CPU平均使用率为70%
  behavior: # 扩缩容行为配置，使变化更平滑
    scaleDown:
      stabilizationWindowSeconds: 300  # 缩容冷却窗口300秒，避免频繁波动
      policies:
      - type: Percent
        value: 10
        periodSeconds: 60  # 每分钟最多减少10%的Pod
    scaleUp:
      stabilizationWindowSeconds: 60   # 扩容冷却窗口60秒，快速响应流量增长
      policies:
      - type: Percent
        value: 100
        periodSeconds: 60  # 每分钟最多增加100%的Pod（即翻倍）

配置解读：

• target.averageUtilization: 70：这是核心阈值。HPA会持续监控所有Pod的CPU使用率，并计算平均值。当平均值超过70%时，触发扩容；低于70%时，触发缩容。
• minReplicas 和 maxReplicas：设置了Pod数量的安全边界。实例数永远不会少于2个，也永远不会多于10个。
• behavior：这部分配置让扩缩容更“智能”。例如，scaleDown 设置了300秒的稳定窗口，意味着CPU降下来后，会等待5分钟再开始缩容，防止因短暂的流量低谷导致服务被过度缩减。

3.3 应用配置并观察效果

使用 kubectl 命令应用所有配置：

kubectl apply -f deployment.yaml
kubectl apply -f service.yaml
kubectl apply -f hpa.yaml

然后，我们可以观察HPA的状态：

kubectl get hpa face-recognition-hpa -w

输出会类似这样：

NAME                   REFERENCE                         TARGETS   MINPODS   MAXPODS   REPLICAS   AGE
face-recognition-hpa   Deployment/face-recognition-api   45%/70%   2         10        2          5m

这里 TARGETS 显示当前CPU使用率是45%，低于70%的目标，所以 REPLICAS 保持为2。

4. 模拟流量测试与效果验证

理论配置好了，我们来模拟一下真实场景。

4.1 准备压力测试工具

我们可以使用简单的工具如 hey 或 wrk 来模拟并发请求。假设我们的推理API接口是 /compare，接收两张图片。

# 使用hey进行压力测试，持续30秒，保持50个并发
hey -z 30s -c 50 -m POST -T "application/json" -d '{"image1_url":"...", "image2_url":"..."}' http://face-recognition-service.default.svc.cluster.local/compare

4.2 观察扩缩容过程

在压力测试期间，打开另一个终端窗口，持续观察HPA和Pod的变化：

# 观察HPA指标变化
kubectl get hpa -w

# 观察Pod数量变化
kubectl get pods -l app=face-recognition -w

你会看到类似以下的动态过程：

1. 初始状态：2个Pod，CPU使用率约30%。
2. 压力开始：并发请求涌入，每个Pod的CPU使用率迅速攀升至80%、90%。
3. 触发扩容：HPA检测到平均CPU使用率超过70%的阈值，开始扩容。根据 scaleUp 策略，它可能会快速创建新的Pod（例如，从2个扩到4个）。
4. 负载分摊：新Pod启动后，请求被负载均衡到更多实例上，每个Pod的CPU使用率开始下降。
5. 达到平衡：如果压力持续，HPA会继续扩容，直到平均CPU使用率稳定在70%左右，或者达到 maxReplicas: 10 的上限。
6. 压力停止：测试结束，请求归零，CPU使用率骤降。
7. 触发缩容：经过 scaleDown 配置的300秒稳定窗口后，HPA开始逐步减少Pod数量，最终回归到 minReplicas: 2。

这个过程完全自动化，无需人工干预。

5. 进阶考量与最佳实践

将AI模型部署到生产环境，光有HPA还不够。下面是一些让服务更健壮的进阶建议。

5.1 结合自定义指标

CPU是通用指标，但有时不够精确。例如，我们可能更关心请求队列长度或平均响应时间。这时可以使用 Prometheus Adapter，让HPA基于自定义指标进行扩缩容。

# 示例：基于每秒请求数（QPS）进行扩缩容
metrics:
- type: Pods
  pods:
    metric:
      name: http_requests_per_second
    target:
      type: AverageValue
      averageValue: 100  # 目标：每个Pod平均处理100 QPS

5.2 确保服务发现与负载均衡

K8s Service默认提供轮询的负载均衡。但对于有状态或需要会话保持的服务，可能需要更复杂的策略（如 sessionAffinity）。对于我们无状态的人脸识别API，默认策略即可。

5.3 设置合理的资源限制与探针

• 资源限制（Limits）：防止单个Pod故障时消耗过多资源，影响节点稳定。
• 就绪探针（Readiness Probe）：确保Pod完全启动（如模型加载完成）后再接收流量。
• 存活探针（Liveness Probe）：检查Pod是否健康运行，失败时重启Pod。

在Deployment中添加探针配置：

        livenessProbe:
          httpGet:
            path: /health
            port: 5000
          initialDelaySeconds: 30  # 容器启动30秒后开始检查
          periodSeconds: 10
        readinessProbe:
          httpGet:
            path: /ready
            port: 5000
          initialDelaySeconds: 5
          periodSeconds: 5

5.4 镜像优化与启动加速

AI模型镜像通常很大（几个GB）。优化方法包括：

• 使用多阶段构建，减少镜像层。
• 选择更小的基础镜像（如 python:3.11-slim）。
• 模型文件如果较大，可以考虑使用 Init Container 从对象存储下载，或使用 PVC（持久卷声明） 挂载，避免打包进镜像，加速启动。

6. 总结

通过将 Retinaface+CurricularFace 人脸识别模型与Kubernetes的水平扩缩容能力相结合，我们成功构建了一个能够自动应对流量高峰、高效利用资源、稳定可靠的AI服务。

回顾核心步骤：

1. 容器化与服务化：将推理脚本封装为HTTP API，并定义K8s Deployment和Service。
2. 定义扩缩容策略：基于CPU使用率等指标，创建HPA，设定扩缩容边界和行为规则。
3. 测试与验证：通过模拟流量，观察系统自动扩缩容的全过程。
4. 生产级加固：配置资源限制、健康探针，并考虑自定义指标和镜像优化。

这种模式的价值在于，它让AI应用具备了“弹性”。在业务低谷期，它以最小成本维持服务；当业务高峰来临（如节假日活动、突发事件），它能自动扩容，保障服务的响应速度和可用性。这不仅是技术的升级，更是运维理念向自动化和智能化的迈进。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。