k8s中部署jenkins并实现CICD

叱咤少帅（少帅）

1820人浏览 · 2022-06-08 14:28:14

叱咤少帅（少帅） · 2022-06-08 14:28:14 发布

动态生成Slave

之前我们都是在物理机或者虚拟机上部署jenkins，但是这种部署方式会有一些难点，如下：

主 Master 发生单点故障时，整个流程都不可用了
每个 Slave 的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
资源分配不均衡，有的 Slave 要运行的 job 出现排队等待，而有的 Slave 处于空闲状态
资源有浪费，每台 Slave 可能是物理机或者虚拟机，当 Slave 处于空闲状态时，也不会完全释放掉资源。

正因为上面的这些种种痛点，我们渴望一种更高效更可靠的方式来完成这个 CI/CD 流程，而 Docker 虚拟化容器技术能很好的解决这个痛点，又特别是在 Kubernetes 集群环境下面能够更好来解决上面的问题，下图是基于 Kubernetes 搭建 Jenkins 集群的简单示意图：

从图上可以看到 Jenkins Master 和 Jenkins Slave 以 Pod 形式运行在 Kubernetes 集群的 Node 上，Master 运行在其中一个节点，并且将其配置数据存储到一个 Volume 上去，Slave 运行在各个节点上，并且它不是一直处于运行状态，它会按照需求动态的创建并自动删除。

这种方式的工作流程大致为：当 Jenkins Master 接受到 Build 请求时，会根据配置的 Label 动态创建一个运行在 Pod 中的 Jenkins Slave 并注册到 Master 上，当运行完 Job 后，这个 Slave 会被注销并且这个 Pod 也会自动删除，恢复到最初状态。

这种方式部署给我们带来如下好处：

服务高可用，当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master 容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。
动态伸缩，合理使用资源，每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配 Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。
扩展性好，当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个 Kubernetes Node 到集群中，从而实现扩展。

部署

持久化

持久化你可以创建本地目录也可以使用挂nfs服务器进行持久化。

## 安装nfs服务器
yum -y install nfs-utils   

##
systemctl enable rpcbind nfs-server
systemctl start rpcbind nfs-server

##
mkdir /data/k8s/jenkins -p

## 加载配置
exportfs -arv

vim /etc/exports

/data/k8s/jenkins *(rw,sync,all_squash)

创建本地目录用于Jenkins持久化

# 创建持久化文件：
mkdir -p /opt/jenkins/data

# 文件授权：
sudo chown -R 1000:1000 /opt/jenkins/data

# 查看目录权限：
ls -al /opt/jenkins

添加阿里云镜像地址

[root@k8s-node-02 ~]# cat /etc/docker/daemon.json 
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

{
    "registry-mirrors": ["https://mirror.ccs.tencentyun.com"]
}
[root@k8s-node-02 ~]#

如果采用nfs进行持久化存储，配置文件如下: vim jenkins-pvc.yml

创建PV、PVC，为Jenkins提供数据持久化：

---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: jenkins-pv
spec:
  capacity:
    storage: 5Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Delete
  nfs:
    server: 172.16.10.128
    path: /data/k8s/jenkins

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jenkins-pvc
  namespace: devops-system
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 5Gi

创建角色授权： vim jenkins-rbac.yml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins-sa
  namespace: devops-system

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: jenkins-cr
rules:
  - apiGroups: ["extensions", "apps"]
    resources: ["deployments"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
  - apiGroups: [""]
    resources: ["services"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: jenkins-crd
roleRef:
  kind: ClusterRole
  name: jenkins-cr
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: jenkins-sa
  namespace: devops-system

在Kubernetes中部署Jenkins，新建Deployment，jenkins-deploy.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jenkins-deploy         #deployment名称
  namespace: devops-system
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jenkins
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10     #优雅停止pod
      serviceAccount: jenkins-sa            #后面还需要创建服务账户
      containers:
      - name: jenkins
        image: jenkins/jenkins:2.350-jdk8 #镜像版本(2.350默认安装的jdk11版本，如果想安装jdk8可以指定version：2.350-jdk8)
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080                #外部访问端口
          name: web
          protocol: TCP
        - containerPort: 50000              #jenkins save发现端口
          name: agent
          protocol: TCP
        livenessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 30          #容器初始化完成后，等待30秒进行探针检查
          timeoutSeconds: 5
          failureThreshold: 12          #当Pod成功启动且检查失败时，Kubernetes将在放弃之前尝试failureThreshold次。放弃生存检查意味着重新启动Pod。而放弃就绪检查，Pod将被标记为未就绪。默认为3.最小值为1
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 30
          timeoutSeconds: 5
          failureThreshold: 12
        volumeMounts:                       #需要将jenkins_home目录挂载出来
        - name: jenkins-home
          mountPath: /var/jenkins_home
        env:
        - name: LIMITS_MEMORY
          valueFrom:
            resourceFieldRef:
              resource: limits.memory
              divisor: 1Mi
        - name: JAVA_OPTS # -Dhudson.model.DownloadService.noSignatureCheck=true 关闭源配置检查，否则换源后可能无法使用
          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai -Dhudson.model.DownloadService.noSignatureCheck=true -Dhudson.model.UpdateCenter.updateCenterUrl=https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/
      securityContext:
        fsGroup: 1000
      volumes:
      - name: jenkins-home
        hostPath: #此处可自定义本地已存在的路径
          path: /opt/jenkins/data

创建集群访问入口: vim jenkins-svc.yaml

apiVersion: v1
kind: Service
metadata:
  name: jenkins-svc
spec:
  selector:
    app: jenkins
  type: NodePort
  ports:
  - name: web
    port: 8080
    targetPort: web
    nodePort: 32000
  - name: agent
    port: 50000
    targetPort: agent

访问

## 
http://zz.cn:31000/login

获取密码，因（/var/jenkins_home）映射到目录（/opt/jenkins/data），此处替换掉部分路径： cat /opt/jenkins/data/secrets/initialAdminPassword

如果此时的jenkins是离线状态，请在coredns所在的master服务器查看配置:

[root@k8s-master ~]# kubectl get cm coredns -n kube-system -oyaml
apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
           lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
           pods insecure
           fallthrough in-addr.arpa ip6.arpa
           ttl 30
        }
        prometheus :9153
        forward . /etc/resolv.conf {
           max_concurrent 1000
        }
        cache 30
        loop
        reload
        loadbalance
    }
kind: ConfigMap
metadata:
  creationTimestamp: "2022-06-06T15:28:22Z"
  name: coredns
  namespace: kube-system
  resourceVersion: "258"
  uid: 9ee71f20-dfb9-4305-926b-a93cb1bb7a6e
[root@k8s-master ~]#

我们知道是转发到本机的 /etc/resolv.conf，但是我的虚拟机是nat上网，所以需要把nameserver改成公网dns即可。

[root@k8s-master ~]# cat /etc/resolv.conf
# Generated by NetworkManager
#nameserver 172.16.10.2
nameserver 114.114.114.114
[root@k8s-master ~]#

jenknis需要安装的插件

插件列表

如果jenkins是直接部署在k8s之内的，就比较简单，不需要填写证书，直接这样，如图:

K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

kubernetes(k8s)安装教程_安装kubernetes

K8S/Kubernetes

k8s集群部署（sealos）

K8S/Kubernetes

Day97：云上攻防-云原生篇&Kubernetes&K8s安全&API&Kubelet未授权访问&容器执行

K8S/Kubernetes

所有评论(0)

查看更多评论

叱咤少帅（少帅）

@knight_zhou

已为社区贡献5条内容