转载至：https://blog.csdn.net/m0_59430185/article/details/123394853

一、传统Jenkins的Master-Slave方案的缺陷
Master节点发生单点故障时，整个流程都不可用了
每个 Slave节点的配置环境不一样，来完成不同语言的编译打包等操作，但是这些差异化的配置导致管理起来非常不方便，维护起来也是比较费劲
资源分配不均衡，有的 Slave节点要运行的job出现排队等待，而有的Slave节点处于空闲状态
资源浪费，每台 Slave节点可能是实体机或者VM，当Slave节点处于空闲状态时，也不会完全释放掉资源
可以引入Kubernates来解决

二、K8s+Docker+Jenkins持续集成架构

  1. 架构图
    在这里插入图片描述
    在这里插入图片描述
    大致工作流程：手动/自动构建 -> Jenkins 调度 K8S API -＞动态生成 Jenkins Slave pod -＞ Slave pod 拉取 Git 代码／编译／打包镜像 -＞推送到镜像仓库 Harbor -＞ Slave 工作完成，Pod 自动销毁 -＞部署到测试或生产 Kubernetes平台。（完全自动化，无需人工干预）

  2. 持续集成优点
    服务高可用：
    当 Jenkins Master 出现故障时，Kubernetes 会自动创建一个新的 Jenkins Master
    容器，并且将 Volume 分配给新创建的容器，保证数据不丢失，从而达到集群服务高可用。

动态伸缩，合理使用资源：
每次运行 Job 时，会自动创建一个 Jenkins Slave，Job 完成后，Slave 自动注销并删除容器，资源自动释放，而且 Kubernetes 会根据每个资源的使用情况，动态分配Slave 到空闲的节点上创建，降低出现因某节点资源利用率高，还排队等待在该节点的情况。

扩展性好：
当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时，可以很容易的添加一个 Kubernetes Node 到集群中，从而实现扩展。

三、K8S 集群部署

  1. 环境配置
    主机名称 IP地址 安装的软件
    Gitlab服务器 192.168.74.11 Gitlab-12.4.2
    harbor仓库服务器 192.168.74.7 Harbor1.9.2
    master 192.168.74.4 kube-apiserver、kube-controller-manager、kube- scheduler、docker、etcd、calico，NFS
    node1 192.168.74.5 kubelet、kubeproxy、Docker18.06.1-ce
    node2 192.168.74.6 kubelet、kubeproxy、Docker18.06.1-ce
    三台k8s服务器上操作
    安装 Docker：
#环境配置
hostnamectl set-hostname master && su
hostnamectl set-hostname node1 && su 
hostnamectl set-hostname node2 && su

vim /etc/resolv.conf
nameserver 114.114.114.114

#关闭防火墙，selinux，swap
systemctl stop firewalld && systemctl disable firewalld
setenforce 0
#永久关闭
vim /etc/selinux/config
SELINUX=disabled

swapoff -a
#永久关闭需进入配置文件注释掉以下段
vim /etc/fstab 
....
/dev/mapper/cl-swap swap swap defaults 0 0
....

#安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2

#设置阿里云镜像源
cd /etc/yum.repos.d/
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#安装 docker-ce 社区版
yum install -y docker-ce
systemctl start docker
systemctl enable docker

#配置镜像加速，官方网址可参考：https://help.aliyun.com/document_detail/60750.html
mkdir -p /etc/docker
#直接命令行输入以下内容：

sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://wrdun890.mirror.aliyuncs.com"]
}
EOF
#把Harbor地址加入到Docker信任列表（harbor仓库的docker中不需要配）
vim /etc/docker/daemon.json 

{
  "registry-mirrors": ["https://wrdun890.mirror.aliyuncs.com"],
"insecure-registries": ["192.168.74.7:85"]
}

systemctl daemon-reload							
systemctl restart docker						

#网络优化
vim /etc/sysctl.conf
net.ipv4.ip_forward=1

sysctl -p
systemctl restart network
systemctl restart docker
docker version

配置基础环境

cat >> /etc/hosts << EOF
192.168.74.4 master
192.168.74.5 node1
192.168.74.6 node2
EOF

#设置系统参数,加载br_netfilter模块
modprobe br_netfilter

#设置允许路由转发，不对bridge的数据进行处理创建文件
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1 
vm.swappiness = 0
EOF

sysctl -p /etc/sysctl.d/k8s.conf  #执行文件

#kube-proxy开启ipvs的前置条件
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash 

/etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
  1. 安装kubelet、kubeadm、kubectl

kubeadm: 用来初始化集群的指令。
kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。
kubectl: 用来与集群通信的命令行工具。

在三台k8s服务器上配置

#清空yum缓存
yum clean all

#设置yum安装源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#安装
yum install -y kubelet-1.17.0 kubeadm-1.17.0 kubectl-1.17.0

#kubelet设置开机启动（注意：先不启动，现在启动的话会报错）
systemctl enable kubelet

#查看版本
kubelet --version
  1. Master节点上进行配置
#运行初始化命令

kubeadm init --kubernetes-version=1.17.0 \
--apiserver-advertise-address=192.168.74.4 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

#这里需要等待，最后会提示节点安装的命令，需要复制下来后面加入集群的时候使用
#注意：apiserver-advertise-address这个地址必须是master机器的IP

在这里插入图片描述
常见错误如下：

错误① ：
[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver 作为Docker cgroup驱动程序。，Kubernetes推荐的Docker驱动程序是“systemd”

解决方案：

#修改Docker的配置，加入下面的配置，然后重启docker

vim /etc/docker/daemon.json
{
"exec-opts":["native.cgroupdriver=systemd"]
}

错误②：
[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

解决方案：
修改机器的CPU核数，最少二个
在这里插入图片描述
启动kubelet

systemctl restart kubelet

在这里插入图片描述
配置kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config 
sudo chown $(id -u):$(id -g) $HOME/.kube/config
  1. 安装Calico
    master节点
mkdir /root/k8s

cd /root/k8s

#不检查凭证下载calico.yaml文件
wget --no-check-certificate https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml

#地址更改，方便从节点通信
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml

kubectl apply -f calico.yaml

看所有Pod的状态，需要确保所有Pod都是Running状态

kubectl get pod --all-namespaces -o wide

在这里插入图片描述

  1. Slave节点
    使用之前Master节点产生的命令加入集群
kubeadm join 192.168.74.4:6443 --token 22hiwz.xu5n0ekvkcy7lmsd \
    --discovery-token-ca-cert-hash sha256:f4006c9dae8838d1ee151671ad43ec8305d6b4e86b00f3e3206b356767be0958 

#启动kubelet
systemctl start kubelet
  1. 验证部署结果
    回到Master节点查看，如果Status全部为Ready，代表集群环境搭建成功
kubectl get nodes

在这里插入图片描述
四、部署配置 NFS
NFS（Network FileSystem）：

它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。
我们可以利用NFS共享Jenkins运行的配置文件、Maven的仓库依赖文件等

  1. 安装NFS服务
    所有K8S的节点都需要安装
yum install -y nfs-utils
  1. 创建共享目录
mkdir -p /opt/nfs/jenkins

vim /etc/exports			#添加下面的参数
	
/opt/nfs/jenkins *(rw,no_root_squash)
  1. 启动服务
systemctl enable nfs	
systemctl start nfs
  1. 查看NFS共享目录
showmount -e 192.168.74.4

三台服务器都要能访问
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
五、K8S上安装Jenkins-Master

  1. 创建NFS client provisioner

nfs-client-provisioner 是一个Kubernetes的简易 NFS 的外部 provisioner，本身不提供
NFS，需要现有的 NFS 服务器提供存储。

上传 nfs-client-provisioner 构建文件

[root@master ~]# rz -E
rz waiting to receive.
[root@master ~]# unzip nfs-client.zip 
Archive:  nfs-client.zip
   creating: nfs-client/
  inflating: nfs-client/class.yaml   
  inflating: nfs-client/deployment.yaml  
  inflating: nfs-client/rbac.yaml    
[root@master ~]# ls
anaconda-ks.cfg       k8s         nfs-client.zip  模板  图片  下载  桌面
initial-setup-ks.cfg  nfs-client  公共            视频  文档  音乐
[root@master ~]# rm -rf nfs-client.zip 
[root@master ~]# cd nfs-client/
[root@master nfs-client]# ls
class.yaml  deployment.yaml  rbac.yaml

修改deployment.yaml，使用之前配置NFS服务器和目录
在这里插入图片描述
构建nfs-client-provisioner的pod资源

cd nfs-client/
kubectl create -f .				#注意后面有个小数点

在这里插入图片描述
查看pod是否创建成功

kubectl get pods

在这里插入图片描述

# kubernetes # jenkins # ci/cd
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes