1. 多集群持续交付的挑战与解决方案

在现代云原生环境中，企业通常需要管理多个Kubernetes集群，这些集群可能分布在不同的区域、云服务商或环境中（开发、测试、生产）。传统的手工部署方式在这种场景下会面临诸多挑战：

  • 环境一致性难以保证 ：不同集群的配置差异导致"在我机器上能运行"的问题
  • 部署效率低下 ：需要针对每个集群重复执行相同的部署操作
  • 版本管理复杂 ：难以跟踪应用在各个集群中的版本状态
  • 回滚困难 ：出现问题时难以快速回退到稳定版本

Jenkins与Argo CD的组合为解决这些问题提供了优雅的方案。Jenkins作为强大的CI工具负责构建和测试环节，而Argo CD则专注于CD部分，实现声明式的GitOps部署。这种分工明确的架构带来了几个关键优势：

  1. 职责分离 ：构建与部署过程解耦，各自可以独立演进
  2. 审计追踪 ：所有变更都通过Git提交记录，便于追踪和审查
  3. 自动化程度高 ：从代码提交到生产部署的全流程自动化
  4. 多集群统一管理 ：通过单一控制平面管理所有集群的应用状态

2. 环境准备与工具配置

2.1 基础环境要求

要实现基于Jenkins和Argo CD的多集群持续交付，需要准备以下基础设施：

  • 至少两个Kubernetes集群 ：建议一个作为管理集群（运行Jenkins和Argo CD），另一个或多个作为目标集群
  • KubeSphere平台 （可选但推荐）：它内置了Argo CD和Jenkins的集成支持
  • Git仓库 ：用于存储应用代码、Kubernetes清单和Argo CD配置
  • 容器镜像仓库 ：如Harbor、Docker Hub等

对于集群网络，需要确保：

  • 管理集群能够访问目标集群的API Server
  • Jenkins Pod能够访问Git仓库和镜像仓库
  • Argo CD能够访问所有目标集群

2.2 Jenkins安装与配置

在管理集群上安装Jenkins： 

# 使用Helm安装Jenkins
helm repo add jenkins https://charts.jenkins.io
helm install jenkins jenkins/jenkins \
  --namespace jenkins \
  --create-namespace \
  --set controller.serviceType=NodePort

安装后需要配置的关键插件：

  • Kubernetes插件 ：用于动态创建构建Agent
  • Git插件 ：代码拉取
  • Pipeline插件 ：定义CI/CD流程
  • Docker插件 （可选）：构建容器镜像

提示：建议为Jenkins配置持久化存储，防止数据丢失。在生产环境中应考虑启用HTTPS和认证机制。

2.3 Argo CD安装与多集群配置

使用Helm安装Argo CD： 

helm repo add argo https://argoproj.github.io/argo-helm
helm install argocd argo/argo-cd \
  --namespace argocd \
  --create-namespace \
  --set server.service.type=NodePort

配置多集群支持的关键步骤：

  1. 获取目标集群的kubeconfig： 

    kubectl config view --minify --flatten > target-cluster-config

  2. 在Argo CD中添加目标集群： 

    argocd cluster add target-cluster-context --kubeconfig target-cluster-config

  3. 验证集群连接状态： 

    argocd cluster list

对于KubeSphere用户，可以利用其内置的多集群管理功能，简化Argo CD的配置过程。

3. 基于ApplicationSet的多集群部署策略

3.1 ApplicationSet控制器原理

ApplicationSet是Argo CD的一个控制器，它通过模板化的方式简化多集群应用部署。其核心工作机制：

  1. 生成器(Generators) ：定义从哪里获取集群和应用列表

    • List生成器：静态集群列表
    • Cluster生成器：动态发现已注册集群
    • Git生成器：从Git仓库目录结构生成应用
    • Matrix生成器：多种生成器的组合

  2. 模板(Template) ：定义如何为每个生成的项创建Application资源

    • 支持参数替换，如 {{cluster}} 、 {{url}} 等
    • 可以定义同步策略、目标命名空间等

  3. 同步策略(Sync Policy) ：控制如何将配置同步到集群

    • 自动/手动同步
    • 资源修剪策略
    • 命名空间自动创建

3.2 典型ApplicationSet配置示例

以下是一个使用List生成器的ApplicationSet配置示例： 

apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: myapp-multicluster
spec:
  generators:
  - list:
      elements:
      - cluster: dev
        url: https://dev-cluster.example.com
      - cluster: staging
        url: https://staging-cluster.example.com
  template:
    metadata:
      name: 'myapp-{{cluster}}'
    spec:
      project: default
      source:
        repoURL: 'https://git.example.com/myapp.git'
        targetRevision: HEAD
        path: 'manifests/{{cluster}}'
      destination:
        server: '{{url}}'
        namespace: myapp
      syncPolicy:
        automated:
          prune: true
          selfHeal: true
        syncOptions:
        - CreateNamespace=true

这个配置会：

  1. 为dev和staging两个集群各创建一个Application
  2. 从Git仓库的 manifests/dev 和 manifests/staging 目录获取部署清单
  3. 自动创建命名空间（如果不存在）
  4. 启用自动同步和资源修剪

3.3 高级部署策略

对于更复杂的场景，可以考虑以下策略：

蓝绿部署 ： 

syncPolicy:
  syncOptions:
  - Prune=false
  automated:
    prune: false
    selfHeal: false

金丝雀发布 ： 

spec:
  strategy:
    canary:
      steps:
      - setWeight: 20
      - pause: {}
      - setWeight: 50
      - pause: {duration: 1h}
      - setWeight: 100

集群分组部署 ： 

generators:
- list:
    elements:
    - cluster: canary
      url: https://canary-cluster.example.com
      group: canary
    - cluster: eu-prod
      url: https://eu-prod-cluster.example.com
      group: prod
    - cluster: us-prod
      url: https://us-prod-cluster.example.com
      group: prod

4. Jenkins与Argo CD的集成实践

4.1 设计CI/CD流水线

典型的集成流程分为以下几个阶段：

  1. 代码提交阶段 ：

    • 开发者推送代码到Git仓库
    • 触发Jenkins构建（通过Webhook）

  2. 构建与测试阶段 ：

    • Jenkins拉取代码
    • 运行单元测试和静态分析
    • 构建容器镜像并推送到镜像仓库
    • 运行集成测试（可选）

  3. 部署准备阶段 ：

    • 更新Kubernetes清单中的镜像版本
    • 提交变更到Git仓库的配置目录

  4. 同步触发阶段 ：

    • 通过Argo CD API或CLI触发同步
    • 或者依赖Argo CD的自动同步功能

4.2 Jenkins Pipeline示例

以下是一个完整的Jenkinsfile示例： 

pipeline {
  agent {
    kubernetes {
      label 'jenkins-agent'
      yaml """
        apiVersion: v1
        kind: Pod
        spec:
          containers:
          - name: jnlp
            image: jenkins/inbound-agent:latest
          - name: kubectl
            image: bitnami/kubectl:latest
            command: ['cat']
            tty: true
          - name: argocd
            image: argoproj/argocd-cli:latest
            command: ['cat']
            tty: true
        """
    }
  }
  
  environment {
    IMAGE_REPO = "my-registry.example.com/myapp"
    GIT_CONFIG_REPO = "git@git.example.com:myapp-config.git"
  }
  
  stages {
    stage('Checkout') {
      steps {
        git branch: 'main', url: 'git@git.example.com:myapp.git'
      }
    }
    
    stage('Build') {
      steps {
        container('kubectl') {
          sh 'mvn clean package'
          sh 'docker build -t $IMAGE_REPO:$BUILD_NUMBER .'
          withCredentials([usernamePassword(credentialsId: 'docker-creds', usernameVariable: 'USER', passwordVariable: 'PASS')]) {
            sh 'docker login -u $USER -p $PASS $IMAGE_REPO'
            sh 'docker push $IMAGE_REPO:$BUILD_NUMBER'
          }
        }
      }
    }
    
    stage('Update Config') {
      steps {
        container('kubectl') {
          sh '''
            git clone $GIT_CONFIG_REPO config
            cd config
            sed -i "s|newTag:.*|newTag: $BUILD_NUMBER|g" kustomize/overlays/dev/kustomization.yaml
            git commit -am "Update image to $BUILD_NUMBER"
            git push
          '''
        }
      }
    }
    
    stage('Sync ArgoCD') {
      steps {
        container('argocd') {
          withCredentials([string(credentialsId: 'argocd-token', variable: 'ARGOCD_TOKEN')]) {
            sh '''
              argocd login argocd-server.argocd.svc.cluster.local --grpc-web --insecure --token $ARGOCD_TOKEN
              argocd app sync myapp-dev
            '''
          }
        }
      }
    }
  }
}

4.3 安全集成考虑

在生产环境中，需要注意以下安全实践：

  1. 认证与授权 ：

    • 为Jenkins和Argo CD配置SSO集成（如LDAP/OAuth）
    • 使用RBAC限制不同团队的访问权限
    • 为Argo CD配置只读模式的应用（对于生产环境）

  2. 凭证管理 ：

    • 使用Jenkins的Credentials插件管理敏感信息
    • 为Argo CD配置SSH密钥而非HTTPS密码
    • 定期轮换凭证

  3. 网络隔离 ：

    • 限制Argo CD Server到目标集群的访问
    • 使用网络策略控制Pod间通信
    • 考虑在目标集群部署Argo CD的只读实例

5. 高级主题与最佳实践

5.1 多租户支持策略

在大规模环境中，需要考虑多团队共享同一套基础设施的情况：

命名空间隔离 ： 

apiVersion: argoproj.io/v1alpha1
kind: AppProject
metadata:
  name: team-a
spec:
  destinations:
  - namespace: team-a-*
    server: '*'
  sourceRepos:
  - 'https://git.example.com/team-a/*'

资源配额管理 ： 

apiVersion: argoproj.io/v1alpha1
kind: AppProject
metadata:
  name: team-a
spec:
  clusterResourceWhitelist:
  - group: '*'
    kind: '*'
  namespaceResourceWhitelist:
  - group: '*'
    kind: '*'
  quota:
    cpu: "10"
    memory: 20Gi

5.2 监控与告警配置

完整的监控体系应包括：

  1. Argo CD自身监控 ：

    • 使用内置的Prometheus指标
    • 关键指标：应用同步状态、同步延迟、API请求率

  2. 应用健康监控 ：

    • 通过Argo CD的健康检查集成
    • 自定义健康检查脚本（Lua）

  3. 告警规则示例 ： 

    groups:
- name: argocd
  rules:
  - alert: AppOutOfSync
    expr: argocd_app_info{sync_status="OutOfSync"} == 1
    for: 15m
    labels:
      severity: warning
    annotations:
      summary: "Application {{ $labels.name }} is out of sync"
      description: "Application {{ $labels.name }} has been out of sync for more than 15 minutes"

5.3 灾备与恢复策略

确保系统可靠性的关键措施：

  1. Argo CD配置备份 ： 

    # 备份Applications和AppProjects
kubectl get applications -A -o yaml > applications-backup.yaml
kubectl get appprojects -A -o yaml > projects-backup.yaml

  2. Git仓库保护 ：

    • 启用分支保护
    • 要求PR审查
    • 定期验证仓库完整性

  3. 集群故障转移 ：

    • 使用Cluster生成器动态发现备用集群
    • 配置应用优先级
    • 定期测试故障转移流程

6. 常见问题排查

在实际操作中，可能会遇到以下典型问题：

问题1：同步卡住或无响应

  • 检查Argo CD控制器日志： 
    kubectl logs -n argocd -l app.kubernetes.io/name=argocd-application-controller
  • 验证目标集群API可达性
  • 检查资源配额是否用尽

问题2：资源被意外删除

  • 确认 prune 设置是否符合预期
  • 检查同步策略中的排除规则
  • 验证Git仓库中的资源配置是否完整

问题3：多集群部署不一致

  • 检查各集群的Kubernetes版本差异
  • 验证ApplicationSet模板中的参数替换
  • 查看各集群的定制化配置（如ResourceQuota）

问题4：Jenkins触发失败

  • 检查Webhook配置
  • 验证网络连通性（Jenkins到Git仓库）
  • 查看Jenkins构建日志中的错误信息

经验分享：建议在ApplicationSet中配置 preserveResourcesOnDeletion: false ，这样当删除ApplicationSet时，相关的Application资源也会被清理，避免产生孤儿资源。但在生产环境中变更此设置前，务必在测试环境验证。

Logo
亚马逊云科技技术品牌专区

更多推荐

open-code-review Codex 插件教程：对话式调用评审技能指南

本文是一份面向新手的 **open-code-review Codex 插件教程**，教你在 Codex 中通过对话式方式调用 open-code-review 的 AI 代码评审技能。open-code-review 是阿里巴巴开源的 AI 代码评审工具，采用"确定性流水线 + LLM Agent"混合架构，内置多语言评审规则（NPE、线程安全、XSS、SQL 注入等），可在 Codex 里用一

avatar 亚马逊云科技技术品牌专区

OBS Studio 完整指南：免费开源录屏与直播软件从零上手

想做一场像模像样的直播，或者把屏幕内容录成教程视频，但一想到商用软件的订阅费就有些犹豫？其实你不需要花一分钱。OBS Studio 是一款免费开源的直播与录屏软件，支持 Windows、macOS 和 Linux，采集、混音、编码、推流、录制，一条流水线全包了。## 先搞清楚 OBS Studio 是什么OBS Studio 是一个"场景化"的采集合成工具：你把摄像头、窗口、浏览器、图片、

avatar 亚马逊云科技技术品牌专区

如何用MediaCrawler爬取小红书抖音数据？7大平台爬虫从安装到实战完整指南

MediaCrawler 是一个支持小红书、抖音、快手、B站、微博、百度贴吧、知乎的开源自媒体数据采集工具。它能按关键词、按帖子、按创作者主页三种方式抓取笔记/视频内容、评论甚至二级评论，并把结果存成 JSON、CSV、Excel 或数据库。适合做市场调研、竞品监控、内容选题的运营人员，以及想要现成爬虫框架而不想从零写 JS 逆向的开发者。## 从一次"手动抄数据"说起想象这个场景：你负责

avatar 亚马逊云科技技术品牌专区