蓝绿发布核心:维护蓝(稳定旧版)、绿(待上线新版)两套独立 Deployment,通过 Service 标签选择器 秒级切换全量流量,回滚仅需切回标签,全程零停机、无用户感知。

一、核心原理与生产架构

1. 核心原理

  • 蓝环境(Blue):当前承载 100% 生产流量的稳定旧版本。
  • 绿环境(Green):部署完成、验证通过的新版本,初始无流量。
  • 流量开关Service selector(标签选择器)——修改即秒级切换 Endpoints。
  • 秒级回滚:切回 Service selector 即可,无需重新部署旧版
  • 资源要求:发布时需 双倍 Pod 资源(发布完成可清理旧版)。

2. 生产标准架构(推荐)

用户 → Ingress/Nginx → 主 Service(prod-svc)
                        ↓(selector 动态切换)
┌─────────────┐         ┌─────────────┐
│ app-blue    │         │ app-green   │
│ Deployment  │         │ Deployment  │
│ (v1.0 稳定)  │         │ (v1.1 新版) │
└─────────────┘         └─────────────┘
  • Ingress:固定指向主 Service(prod-svc),永不修改
  • 主 Service:仅修改 selector,作为唯一流量入口。
  • 双 Deployment:蓝、绿独立,标签区分(version: blue/green)。

二、生产级 YAML 完整配置

1. 蓝环境(旧版)Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-blue
  namespace: production
  labels:
    app: myapp
    version: blue
spec:
  replicas: 3
  # 生产必须:Pod 反亲和(避免同节点)
  affinity:
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
      - labelSelector:
          matchExpressions:
          - key: app
            operator: In
            values:
            - myapp
        topologyKey: kubernetes.io/hostname
  # 生产必须:PDB(高可用,最少2个副本)
  minReadySeconds: 10
  strategy:
    type: Recreate # 蓝绿用 Recreate,不滚动
  selector:
    matchLabels:
      app: myapp
      version: blue
  template:
    metadata:
      labels:
        app: myapp
        version: blue
    spec:
      containers:
      - name: myapp
        image: myapp:v1.0.0
        ports:
        - containerPort: 8080
        # 生产必须:资源限制
        resources:
          requests:
            cpu: 200m
            memory: 512Mi
          limits:
            cpu: 1000m
            memory: 1Gi
        # 生产必须:健康检查(零宕机关键)
        readinessProbe:
          httpGet:
            path: /actuator/health
            port: 8080
          initialDelaySeconds: 10
          periodSeconds: 5
          failureThreshold: 2
        livenessProbe:
          httpGet:
            path: /actuator/health
            port: 8080
          initialDelaySeconds: 30
          periodSeconds: 10
        # 生产必须:优雅退出
        lifecycle:
          preStop:
            exec:
              command: ["/bin/sh","-c","sleep 30 && kill -SIGTERM 1"]
      terminationGracePeriodSeconds: 60

2. 绿环境(新版)Deployment

仅修改 name、version、image,其余与蓝完全一致:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-green
  namespace: production
  labels:
    app: myapp
    version: green
spec:
  replicas: 3
  # 其余与 app-blue 完全相同...
  template:
    metadata:
      labels:
        app: myapp
        version: green
    spec:
      containers:
      - name: myapp
        image: myapp:v1.1.0 # 仅版本不同
        # 其余与蓝一致...

3. 主 Service(流量入口)

apiVersion: v1
kind: Service
metadata:
  name: myapp-prod-svc
  namespace: production
spec:
  selector:
    app: myapp
    version: blue # 初始指向蓝环境
  ports:
  - port: 80
    targetPort: 8080
  type: ClusterIP

4. Ingress(固定指向主 Service)

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: myapp-ingress
  namespace: production
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "30"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "60"
spec:
  rules:
  - host: api.myapp.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: myapp-prod-svc # 固定主Service
            port:
              number: 80

三、生产发布全流程(零宕机标准步骤)

步骤 1:部署绿环境(新版)

# 部署新版(不影响线上)
kubectl apply -f app-green.yaml -n production

# 等待绿环境全量 Ready(必须)
kubectl wait --for=condition=available deployment/app-green -n production --timeout=300s

# 验证绿环境(内部测试,不接流量)
kubectl port-forward svc/myapp-green-svc 8081:80 -n production
curl http://localhost:8081/actuator/health

步骤 2:流量秒级切换(核心)

# 方式1:patch 命令(推荐,秒级)
kubectl patch svc myapp-prod-svc -n production \
  -p '{"spec":{"selector":{"version":"green"}}}'

# 方式2:编辑 Service
kubectl edit svc myapp-prod-svc -n production
# 将 selector.version: blue → green

步骤 3:验证与监控(发布后必做)

# 确认 Service 指向绿环境
kubectl get svc myapp-prod-svc -n production -o jsonpath='{.spec.selector}'

# 查看流量是否进入绿 Pod
kubectl get endpoints myapp-prod-svc -n production
kubectl logs -f app-green-xxx -n production

# 监控指标(生产必备)
# - QPS、错误率、P99延迟
# - CPU/内存、连接数、业务成功率

步骤 4:秒级回滚(异常时)

回滚仅需1条命令,秒级生效

# 切回蓝环境(旧版)
kubectl patch svc myapp-prod-svc -n production \
  -p '{"spec":{"selector":{"version":"blue"}}}'

# 回滚后验证
kubectl get svc myapp-prod-svc -n production -o jsonpath='{.spec.selector}'

步骤 5:清理旧版(稳定后)

# 确认 v1.1 稳定运行 30分钟+,删除蓝环境
kubectl delete deployment app-blue -n production

四、生产关键保障(零宕机/秒回滚核心)

1. 健康检查(必开)

  • readinessProbe:确保 Pod 完全启动才接入流量。
  • livenessProbe:异常 Pod 自动重建,避免僵死实例。
  • 禁止:无探针直接切流 → 直接 502 宕机。

2. 优雅退出(长连接必备)

  • preStop + terminationGracePeriodSeconds
    切流后 等待30~60秒,处理完长连接/请求再销毁。
  • 适配:WebSocket、gRPC、HTTP Keep-Alive 场景。

3. 数据库兼容(最易踩坑)

遵循 expand → migrate → contract 原则:

  1. expand:先加字段、不加非空约束、不删旧字段。
  2. migrate:蓝绿双写兼容,切流后验证。
  3. contract:稳定7天+,再删旧字段/旧逻辑。

4. 高可用保障

  • Pod 反亲和:蓝、绿 Pod 不调度到同节点。
  • PDB(PodDisruptionBudget):保证发布时最少 N 个副本可用。
  • 资源预留:集群 CPU/内存 预留 50%+,支撑双环境运行。

5. 消息/缓存隔离(生产必控)

  • 绿环境验证阶段:关闭 MQ 消费、定时任务、写缓存
  • 避免:未切流就写生产数据、重复消费、脏缓存。

五、常见问题与排错

1. 切流后部分 502/超时

  • 原因:绿 Pod 未 Ready、readinessProbe 失败。
  • 解决:kubectl describe pod app-green-xxx 查探针日志。

2. 回滚不生效/流量仍到新版

  • 原因:kube-proxy 未同步 Endpoints、客户端 DNS 缓存。
  • 解决:
    kubectl rollout restart deployment/kube-proxy -n kube-system
    # Ingress 层刷新
    kubectl exec -n ingress-nginx nginx-ingress-xxx -- nginx -s reload
    

3. 长连接用户仍访问旧版

  • 原因:WebSocket/Keep-Alive 未断开。
  • 解决:
    • 切流后 保留旧版 30~60分钟 再清理。
    • 应用层支持 连接优雅关闭 通知。

4. 资源不足、双环境无法运行

  • 解决:
    • 先缩旧版(如 3→2),再部署新版(3)。
    • 集群开启 HPA、节点自动扩缩容。

六、进阶:自动化与工具链

1. Argo Rollouts(生产推荐)

  • 替代原生 Deployment,支持 蓝绿/金丝雀 可视化、自动验证、自动回滚。
  • 支持:暂停/手动确认、自动切流、失败自动回滚

2. CI/CD 集成(GitLab/Jenkins)

# 发布流水线
1. 构建镜像 → 2. 部署绿环境 → 3. 自动化测试 → 4. 人工确认 → 5. 切流 → 6. 监控 → 7. 清理旧版

3. 可观测(生产必备)

  • 监控:Prometheus + Grafana(按 version 维度)。
  • 日志:ELK/Loki(按 version=blue/green 过滤)。
  • 链路:SkyWalking/Jaeger(追踪版本调用)。

七、蓝绿 vs 滚动 vs 金丝雀

特性 蓝绿发布 滚动更新 金丝雀(灰度)
宕机风险 0(双环境) 极低 极低
回滚速度 秒级(切标签) 分钟级(重部署) 秒级(切流量)
资源占用 双倍 正常 少量额外
适用场景 核心应用、强稳定性 非核心、常规迭代 大版本、风险高
流量控制 全量切换 逐步替换 百分比放量

八、生产最佳实践总结

  1. 固定架构:Ingress → 主 Service → 双 Deployment。
  2. 必开配置:健康检查、优雅退出、反亲和、PDB。
  3. 严格流程:先部署绿环境 → 验证 → 切流 → 监控 → 清理。
  4. 秒级回滚:永远保留旧版至稳定,回滚仅切 Service selector。
  5. 数据安全:数据库兼容优先,消息/缓存严格隔离。

更多推荐