基于k8s的CICD实现


在这里插入图片描述
环境准备

主机名masternode1node2
内存最低要求2G2G4G
主机IP192.168.229.187192.168.229.209192.168.229.210
服务k8s、registryk8sk8s、jenkins、gitlab

在master上模拟一个web服务
环境准备好后，在master节点部署registry服务，将自定义镜像的v1版本上传到私有仓库中。其它2台node也需要加入registry服务。
要求：创建一个Deployment资源，replicas:2，镜像使用自定义镜像V1版本，然后创建一个SVC(type:NodePort,nodePort:30034)资源对象和此Deployment资源关联。
(1)在master上用docker容器运行registry私有仓库服务
下载需要的镜像

[root@master ~]# docker pull registry:2

(2)运行私有仓库服务

[root@master ~]# docker run -itd --name registry --restart=always -p 5000:5000 -v /registry:/var/lib/registry registry:2

(3)编辑docker的配置文件，指定私有仓库地址。

[root@master ~]# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd --insecure-registry 192.168.229.187:5000
[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart docker

(4)把制作好的私有镜像传到master主机上

scp Desktop/私有镜像/httpd\:v1.tar root@192.168.229.187:/root

(5)上传私有仓库

[root@master ~]# docker load -i httpd\:v1.tar
[root@master ~]# docker push 192.168.229.187:5000/httpd:v1

(6)创建deployment资源和service资源

[root@master ~]# mkdir /opt/autoweb
[root@master ~]# cd /opt/autoweb/
[root@master autoweb]# vim myapp.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: myapp
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: httpd
    spec:
      containers:
      - name: myapp
        image: 192.168.229.187:5000/httpd:v1
[root@master autoweb]# kubectl apply -f myapp.yaml
[root@master autoweb]# vim mysvc.yaml
kind: Service
apiVersion: v1
metadata:
  name: mysvc
spec:
  selector:
    app: httpd
  type: NodePort
  ports:
  - protocol: TCP
    port: 80
    targetPort: 80
    nodePort: 30034
[root@master autoweb]# kubectl apply -f mysvc.yaml

(7)验证各资源的部署情况

[root@master autoweb]# kubectl get deployments.
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
myapp   2/2     2            2           52s
[root@master autoweb]# kubectl get svc
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1       <none>        443/TCP        49d
mysvc        NodePort    10.97.208.122   <none>        80:30034/TCP   38s
[root@master autoweb]# kubectl describe svc mysvc
...
Selector:                 app=httpd
Type:                     NodePort
IP:                       10.97.208.122
Port:                     <unset>  80/TCP
TargetPort:               80/TCP
NodePort:                 <unset>  30034/TCP
Endpoints:                10.244.1.2:80,10.244.2.2:80
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>
[root@master autoweb]# curl 127.0.0.1:30034
111111

node2上部署JDK
关闭防火墙、selinux。
部署jenkins需要JDK(java环境)。提前准备好压缩包。

[root@node2 ~]# mkdir /opt/autoweb
[root@node2 ~]# cd /opt/autoweb
scp Desktop/AutoWeb.zip root@192.168.229.210:/opt/autoweb/
[root@node2 autoweb]# ls
AutoWeb.zip
[root@node2 autoweb]# unzip AutoWeb.zip
[root@node2 autoweb]# ls
AutoWeb  AutoWeb.zip
[root@node2 autoweb]# cd AutoWeb/
[root@node2 AutoWeb]# ls
apache-tomcat-7.0.54.tar.gz           jenkins-2.172-1.1.noarch.rpm
autoweb.docx                          jenkins-2.179-1.1.noarch.rpm
deployment-nginx.yaml                 jenkins.war
gitlab-ce-11.9.8-ce.0.el6.x86_64.rpm  nginx-rc.yaml
gitlab-hook.hpi                       nginx-svc.yaml
gitlab-oauth.hpi                      plugins.tar.gz
gitlab-plugin.hpi                     ruby-runtime.hpi
jdk-8u131-linux-x64.tar.gz            service-nginx.yaml
jdk-8u231-linux-x64.tar.gz            自动触发脚本.txt
[root@node2 AutoWeb]# tar zxf jdk-8u231-linux-x64.tar.gz
[root@node2 AutoWeb]# mv jdk1.8.0_231 /usr/java
[root@node2 AutoWeb]# vim /etc/profile
末尾添加:
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
[root@master AutoWeb]# source /etc/profile
[root@master AutoWeb]# java -version
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)

node2上部署Jenkins
这里使用rpm包安装部署jenkins，当然也有其他的部署方式。

[root@node2 AutoWeb]# rpm -ivh jenkins-2.222-1.1.noarch.rpm
[root@node2 AutoWeb]# rpm -ql jenkins
/etc/init.d/jenkins
/etc/logrotate.d/jenkins
/etc/sysconfig/jenkins
/usr/lib/jenkins
/usr/lib/jenkins/jenkins.war
/usr/sbin/rcjenkins
/var/cache/jenkins
/var/lib/jenkins
/var/log/jenkins
[root@node2 AutoWeb]# rpm -qc jenkins
/etc/init.d/jenkins
/etc/logrotate.d/jenkins
/etc/sysconfig/jenkins

添加jenkins启动依赖的JDK路径

[root@node2 AutoWeb]# vim /etc/init.d/jenkins
...
 83 /usr/bin/java
 84 /usr/java/bin/java
 85 "
...

重新加载配置文件，启动jenkins或者用:service jenkins start

[root@node2 AutoWeb]# systemctl daemon-reload
[root@node2 AutoWeb]# systemctl start jenkins
[root@node2 AutoWeb]# systemctl status jenkins
● jenkins.service - LSB: Jenkins Automation Server
   Loaded: loaded (/etc/rc.d/init.d/jenkins; bad; vendor preset: disabled)
   Active: active (running) since 日 2020-11-15 03:29:26 EST; 6s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 33281 ExecStart=/etc/rc.d/init.d/jenkins start (code=exited, status=0/SUCCESS)
...

验证开启端口，然后去浏览器确认服务的运行

[root@node2 AutoWeb]# ss -lnt | grep 8080
LISTEN     0      50        [::]:8080                  [::]:*

查看对应的管理员密码

[root@node2 AutoWeb]# cat /var/lib/jenkins/secrets/initialAdminPassword
daee7a8b9ae14edf835f11d71dd5cd2a

在这里插入图片描述
选择插件安装,考虑到安装速度的原因，选择全部不安装。
在这里插入图片描述
创建用户后选择保存并完成
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以设置一下jenkins用户和国内插件源，这里选择清华大学的。

[root@node2 AutoWeb]# cd /var/lib/jenkins/
[root@node2 jenkins]# vim /etc/sysconfig/jenkins
...
JENKINS_USER="root"
...
[root@node2 jenkins]# vim hudson.model.UpdateCenter.xml
[root@node2 AutoWeb]#
<?xml version='1.1' encoding='UTF-8'?>
<sites>
  <site>
    <id>default</id>
    <url>https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json</url>
  </site>
</sites>

jenkins启动完成之后，就本实验来说，除了支持中文的语言包之外，还需要和gitlab联动。需要支持Gitlab的三个包。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里插件已经准备好了，直接解压即可

[root@node2 jenkins]# pwd
/var/lib/jenkins
[root@node2 jenkins]# mv plugins plugins.bak
[root@node2 jenkins]# mv /opt/autoweb/AutoWeb/plugins.tar.gz .
[root@node2 jenkins]# tar zxf plugins.tar.gz

重启服务，浏览器验证

[root@node2 jenkins]# service jenkins restart
Restarting jenkins (via systemctl):                        [  OK  ]

在这里插入图片描述
部署gitlab
rpm包已经准备好，安装完依赖直接导入安装即可。

[root@node2 jenkins]# cd /opt/autoweb/AutoWeb
[root@node2 AutoWeb]# yum -y install curl policycoreutils openssh-server openssh-clients postfix git
[root@node2 AutoWeb]# systemctl start postfix
[root@node2 AutoWeb]# systemctl enable postfix
[root@node2 AutoWeb]# rpm -ivh gitlab-ce-11.9.8-ce.0.el6.x86_64.rpm

安装完成之后,需要将gitlab的默认端口进行更改，因为它的默认端口也是8080，和jenkins冲突。

[root@node2 AutoWeb]# vim /etc/gitlab/gitlab.rb
...
13  external_url 'http://192.168.229.210:90'
678 unicorn['listen'] = '127.0.0.1'
679 unicorn['port'] = 8088
 ...

启动gitlab服务，浏览器验证服务。

[root@node2 AutoWeb]# gitlab-ctl reconfigure
[root@node2 AutoWeb]# ss -lnt
...
LISTEN     0      511          *:90                       *:*
...

在这里插入图片描述
配置jenkins和gitlab平台的联动
部署这两个服务的联动，需要经过ssh验证。
首先需要在gitlab上绑定jenkins服务器的ssh公钥，因为在同一台服务器上，所以自己给自己绑定，这里使用的是root用户的公私钥，切记生产环境是不允许随便用root的。

[root@node2 ~]# ssh-keygen -t rsa
[root@node2 ~]# cat ~/.ssh/id_rsa.pub

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
添加公钥后，在gitlab中创建一个项目。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以使用git命令，在本地将项目clone下来验证查看

[root@node2 ~]# git clone http://192.168.229.210:90/root/test.git
[root@node2 ~]# ls
anaconda-ks.cfg  images  test
[root@node2 ~]# cat test/index.html
print "hello k8s!"[root@node2 ~]#

服务验证没有问题，在jenkins上操作。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
此时如果直接添加会报错。添加完成后提示本地连接不了，因为gitlab默认设置不允许向自己发送web hook。
在这里插入图片描述
往下要修改gitlab&jenkins的设置。
在这里插入图片描述
在这里插入图片描述
开启jenkins的匿名访问功能,否则会报403。
在这里插入图片描述
在这里插入图片描述
现在再重新添加和jenkins的联动
在这里插入图片描述
测试和jenkins的连通性
在这里插入图片描述
在这里插入图片描述
报200正常。
当执行测试，其实就是手动触发了一下部署的shell脚本，这时shell脚本是不正确的，但这次测试可以帮助我们看到脚本运行结果。
在这里插入图片描述
可以根据输出结果优化脚本。
这里最后需要做的一个ssh是关于jenkins，注意，这里是从node2向master节点做免密登录。

[root@node2 ~]# ssh-copy-id root@192.168.229.187

最终脚本

#!/bin/bash
backupcode="/data/backcode/$JOB_NAME/$BUILD_NUMBER"
mkdir -p $backupcode
chmod 644 "$JENKINS_HOME"/workspace/"$JOB_NAME"/*
rsync -acP "$JENKINS_HOME"/workspace/"$JOB_NAME"/* $backupcode
echo From 192.168.229.187:5000/httpd:v1 > "$JENKINS_HOME"/workspace/Dockerfile
echo COPY ./"$JOB_NAME"/* /usr/local/apache2/htdocs/ >> "$JENKINS_HOME"/workspace/Dockerfile
docker rmi 192.168.229.187:5000/httpd:v1
docker build -t 192.168.229.187:5000/httpd:v1 /"$JENKINS_HOME"/workspace/.
docker push 192.168.229.187:5000/httpd:v1
ssh root@192.168.229.187 kubectl delete deployment myapp
ssh root@192.168.229.187 kubectl apply -f /root/autoweb/myapp.yaml

根据镜像的默认下载策略判断，刚开始部署的Deployment资源，它使用的镜像标签为v1，所以他的默认下载策略为：IfNotPresent，所以要想使镜像实时更新，需要将myapp.yaml这个文件内的镜像下载策略改为：Always。

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: myapp
spec:
  replicas: 2
  template:
    metadata:
      labels:
        app: httpd
    spec:
      containers:
      - name: myapp
        image: 192.168.229.187:5000/httpd:v1
        imagePullPolicy: Always

在gitlab上执行push测试。

# docker # kubernetes # jenkins # gitlab # ci/cd
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes