总结:整理不易,如果对你有帮助,可否点赞关注一下?

更多详细内容请参考:企业级K8s集群运维实战


一、部署背景

由于业务系统的特殊性,我们需要针对不同的客户环境部署基于containerd容器版 K8S 1.26.15集群,由于大都数用户都是专网环境,无法使用外网,为了更便捷,高效的部署,针对业务系统的特性,我这边编写了一键离线部署容器版K8S集群自动化工具。

说明:如果有兴趣,可以从工具下载中获取下载链接,此工具可帮助你快速了解一个自动化部署工具是如何编写的?


二、工具下载

基于Kylin V10+ARM64架构CPU+containerd一键离线部署容器版K8S1.26.15高可用集群工具


三、工具介绍

实现功能如下:

1、当前一键部署工具仅支持 ARM64架构 Kylin Linux Advanced Server V10操作系统。
2、支持 单机、一主多从、三主多从等部署架构 K8S 1.26.15容器版(containerd)离线集群,且 证书有效期为99年
3、支持一键部署、集群检查、集群移除等功能。
4、支持一主多从、三主多从部署架构的worker节点 一键扩容和移除。

说明:如果想要当前此工具支持其它操作系统,只需要修改basic-env/init_env.sh脚本,根据当当前操作系统修改成符合当前操作系统的命令。其它的containerd、kubeadm、kubectl、kubelet、nginx都是采用二进制安装方式,是通用的。


四、工具使用

说明:由于篇幅有限,这里以三主多从架构为例,像大家介绍K8S1.26.15高可用集群部署步骤!

4.1、部署前

1、更新libseccomp(部署前)

说明:以下操作所有K8S集群主机都需执行。

方法一:

[root@ecs-c391-0003 kubernete-tools]# rpm -qa | grep libseccomp
libseccomp-2.4.1-3.ky10.aarch64
[root@ecs-c391-0003 kubernete-tools]# rpm -e `rpm -qa | grep libseccomp` --nodeps
[root@ecs-c391-0003 kubernete-tools]# cp libseccomp.so.2 /usr/lib64/

部署包包含libseccomp.so.2文件,你也可在安装containerd容器引擎中手动编译安装,如下图所示:
在这里插入图片描述

方法二:

rpm -e `rpm -qa | grep libseccomp` --nodeps
yum install gperf -y
wget https://github.com/seccomp/libseccomp/releases/download/v2.5.4/libseccomp-2.5.4.tar.gz
tar axf libseccomp-2.5.4.tar.gz && cd libseccomp-2.5.4
./configure && make && make install
ln -s /usr/local/lib/libseccomp.so.2 /usr/lib64/libseccomp.so.2

总结: 经过多次试验,安装k8s1.26.15版本时,如果libseccomp版本为2.4.1,则会报错unable to retrieve OCI runtime error。


2、查看帮助命令

如下图所示:
在这里插入图片描述

部署命令可参考如下:

a、单机部署

 ./kubernetes_tools.sh deploy single-node

b、一主多从部署

# 1、master节点部署
./kubernetes_tools.sh deploy master

# 2、worker节点部署
./kubernetes_tools.sh deploy node --join-as-worker

c、三主多从部署

# 1、master节点部署
./kubernetes_tools.sh deploy master
./kubernetes_tools.sh deploy node --join-as-master
./kubernetes_tools.sh deploy node --join-as-master

# 2、worker节点部署
./kubernetes_tools.sh deploy node --join-as-worker

4.2、部署中

2、编辑变量文件

[root@ecs-c391-0003 kubernete-tools]# cp cluster.conf.tpl cluster.conf
[root@ecs-c391-0003 kubernete-tools]# vim cluster.conf

如下图所示:

# 适用模式:支持一主多从集群模式和三主多从集群模式
#   1.一主多从: API_SERVER_HOST_01、API_SERVER_HOST_02、API_SERVER_HOST_03 填写相同的IP地址
#   2.三主多从: API_SERVER_HOST_01、API_SERVER_HOST_02、API_SERVER_HOST_03 填写不同的IP地址
#   3.安装顺序为:API_SERVER_HOST_01节点 > API_SERVER_HOST_02节点 > API_SERVER_HOST_03节点
# 三台API SERVER主机IP地址
export API_SERVER_HOST_01="192.168.1.156"
export API_SERVER_HOST_02="192.168.1.171"
export API_SERVER_HOST_03="192.168.1.238"

# Nginx代理IP地址和代理端口,端口不冲突情况下,建议不修改
export API_SERVER_PROXY_HOST="${API_SERVER_HOST_01}"
export API_SERVER_PROXY_PORT="8443"

# 建议填写为当前磁盘最大存储空间目录,如果系统盘空间最大,建议填写为/data,如果挂在盘空间最大,建议填写为挂载目录
export BASE_DIR="/data"

# containerd数据目录,默认不修改
export CONTAINERD_STORAGE_DIR="${BASE_DIR}/basic-data/containerd"

# kubernetes version,默认不修改
export KUBERNETES_VERSION="v1.26.15"

# 当前机器的节点名称,一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中,此参数会作为主机名,只能由小写字母、数字、.和-组成,且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-156"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.156"

# 镜像仓库地址,默认不修改
export IMAGE_REPOSITORY="registry.cn-hangzhou.aliyuncs.com/google_containers"

# 集群Pod网段,可根据实际情况修改
export POD_NETWORK_CIDR="10.48.0.0/16"

# 集群Service网段,可根据实际情况修改
export SERVICE_CIDR="10.96.0.0/16"

# kubernetes node port range,默认不修改
export SERVICE_NODE_POD_RANGE="30000-36000"

3、部署 第一个 master节点

[root@ecs-c391-0003 kubernete-tools]# ./kubernetes_tools.sh deploy master

4、第一个master节点部署完成后的部署包分别拷贝到其它master节点和worker节点。

[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.171:/data/pkgs
[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.238:/data/pkgs
[root@k8s-master-156 pkgs]# scp -r kubernete-tools/ root@172.18.1.66:/data/pkgs

5、部署第二个master节点

说明:第二个节点的部署只需要修改当前节点的名称,也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0001 kubernete-tools]# vim cluster.conf 
# 当前机器的节点名称,一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中,此参数会作为主机名,只能由小写字母、数字、.和-组成,且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-171"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.171"

# 2、以master角色加入kubernetes集群
[root@ecs-c391-0001 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-master

6、部署 第三个 master节点

说明:第三个节点的部署只需要修改当前节点的名称,也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0004 kubernete-tools]# vim cluster.conf
# 当前机器的节点名称,一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中,此参数会作为主机名,只能由小写字母、数字、.和-组成,且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-master-238" 

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.238"

# 2、以master角色加入kubernetes集群
[root@ecs-c391-0004 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-master

7、部署 worker节点

说明:依次类推,其它节点的部署只需要修改当前节点的名称,也就是主机名。

# 1、编辑cluster.conf文件
[root@ecs-c391-0002 kubernete-tools]# vim cluster.conf 
# 当前机器的节点名称,一般为 xxx-cluster-master-01、xx-cluster-node-01
# 部署过程中,此参数会作为主机名,只能由小写字母、数字、.和-组成,且只能以小写字母/数字开头或结尾
export NODE_NAME="k8s-worker-66"

# 填写本机地址即可
export APISERVER_ADVERTISE_ADDRESS="192.168.1.66"

# 2、以worker角色加入kubernetes集群
[root@ecs-c391-0002 kubernete-tools]# ./kubernetes_tools.sh deploy node --join-as-worker

8、重启k8s主机

说明:集群部署完后,无论是master节点还是worker节点均需重启。

reboot

4.2、部署后

1、检查集群状态

[root@k8s-master-156 kubernete-tools]# ./kubernetes_tools.sh check

如下图所示:
在这里插入图片描述


2、检查证书有效时间

[root@k8s-master-156 kubernete-tools]# kubeadm certs  check-expiration

如下图所示:
在这里插入图片描述


3、集群DNS测试

[root@k8s-master-156 kubernete-tools]# cd test/busybox/
[root@k8s-master-156 busybox]# ./test.sh 

如下图所示:
在这里插入图片描述


4、集群功能测试

[root@k8s-master-156 kubernete-tools]# cd test/nginx/
[root@k8s-master-156 nginx]# kubectl apply -f nginx.yaml 

如下图所示:
在这里插入图片描述

在浏览器上访问Nginx,如下所示:
在这里插入图片描述


总结:整理不易,如果对你有帮助,可否点赞关注一下?

更多详细内容请参考:企业级K8s集群运维实战


Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐