在CentOS 7上搭建Kubernetes集群

kubeadm官方文档
https://blog.51cto.com/zhangxueliang/4952945

前置步骤（所有结点）

• CentOS 7.9 物理机或虚拟机三台，CPU 内核数量大于等于 2，且内存大于等于 4G
• hostname 不是 localhost，且不包含下划线、小数点、大写字母
• 任意节点都有固定的内网 IP 地址(集群机器统一内网)
• 任意节点上 IP 地址 可互通（无需 NAT 映射即可相互访问），且没有防火墙、安全组隔离
• 任意节点不会直接使用 docker run 或 docker-compose 运行容器和Pod

关闭防火墙，或者阿里云开通安全组端口访问

$ sudo systemctl stop firewalld & sudo systemctl disable firewalld

关闭selinux

$ sed -i 's/enforcing/disabled/' /etc/selinux/config
$ setenforce 0

永久关闭swap

$ swapoff -a
$ sed -ri 's/.*swap.*/#&/' /etc/fstab

将桥接的 IPv4 流量传递到 iptables 的链。修改/etc/sysctl.conf

net.ipv4.ip_forward=1
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1
net.ipv6.conf.all.forwarding=1

执行命令以应用

$ sudo sysctl -p

安装容器运行时（所有结点）

下面的过程安装了docker v23.0, containerd v1.6.18, nerdctl v1.2.1。

按照docker官方文档 即可。

为了规避问题1 以及问题2 需要修改所有结点上的containerd配置（参考这里）：

$ cat <<EOF | sudo tee /etc/containerd/config.toml
version = 2
[plugins]
[plugins."io.containerd.grpc.v1.cri"]
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
EOF
$ sudo systemctl restart containerd
$ sudo containerd config dump|grep sand
   sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"

安装nerdctl

$ wget https://github.com/containerd/nerdctl/releases/download/v1.2.1/nerdctl-1.2.1-linux-amd64.tar.gz
$ tar xzvf nerdctl-1.2.1-linux-amd64.tar.gz
$ sudo cp nerdctl /usr/local/bin/
$ sudo nerdctl namespace ls

安装Kubernetes（所有结点）

卸载旧版本

$ sudo yum remove -y kubelet kubeadm kubectl

配置k8s源。准备文件/etc/yum.repos.d/kubernetes.repo

[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

安装kubelet、kubeadm、kubectl

$ sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

启动kubelet。注意，如果此时查看kubelet的状态，他会无限重启，等待接收集群命令，和初始化。这个是正常的。

$ sudo systemctl enable kubelet && systemctl start kubelet

国外镜像下载问题

因谷歌网络限制问题，国内的K8ser大多数在学习Kubernetes过程中因为镜像下载失败问题间接地产生些许失落感，笔者也因此脑壳疼，故翻阅资料得到以下解决方式：
在应用yaml文件创建资源时，将文件中镜像地址进行内容替换即可：

• k8s.gcr.io 地址替换为registry.aliyuncs.com/google_containers
• quay.io 地址替换为quay.mirrors.ustc.edu.cn或者quay-mirror.qiniu.com
• gcr.io地址替换为registry.aliyuncs.com

kubeadm依赖的所有镜像可以用如下脚本下载：

$ echo <<EOF | tee kubeadm-images.sh
#!/bin/bash
images=$(kubeadm config images list)
for image in ${images[@]} ; do
   imageMirror="registry.aliyuncs.com/google_containers/"$(echo $image | awk -F '/' '{print $NF}')
   echo $image "->" $imageMirror
   docker pull $imageMirror
   docker tag $imageMirror $image
   docker rmi $imageMirror
done
EOF
$ sudo bash kubeadm-images.sh

新版本的kubeadm不再需要上述trick，选项--image-repository指向国内mirror即可。

初始化master结点（单个master结点）

初始化master，成功将输出“初始化worker结点”的命令

$ sudo kubeadm init --image-repository=registry.aliyuncs.com/google_containers
[init] Using Kubernetes version: v1.26.1
......

如果init失败，可以"kubeadm reset --force"后再次尝试。

配置kubectl

$ export KUBECONFIG=/etc/kubernetes/admin.conf

nerdctl文档指出：containerd中的container和image都有namespace属性。默认default，kubernetes用的是k8s.io。
按namespace统计容器和image数量

$ sudo nerdctl namespace ls
NAME      CONTAINERS    IMAGES    VOLUMES    LABELS
k8s.io    21            36        0              
moby      0             0         0              

列出所有kubernetes本地容器

$ sudo nerdctl -n k8s.io ps

初始化worker结点（多个worker结点）

使用刚才master打印的令牌命令加入。如果下面命令失败，可从上一节"初始化master结点"从头再来。

$ sudo kubeadm join 192.168.110.48:6443 --token dna6ti.7hu4gx3r43rid67w --discovery-token-ca-cert-hash sha256:d68e1e0398dadac6d7196faac56bc9447a499203f30a1e46daf874d59aaf493d

如果超过2小时忘记了令牌，可在master上执行如下命令再次打印令牌

$ sudo kubeadm token create --print-join-command

在master结点观察worker结点状态

$ kubectl get nodes  
NAME   STATUS   ROLES           AGE    VERSION  
vm48   Ready    control-plane   85m    v1.26.1  
vm49   Ready    <none>          8m1s   v1.26.1  
vm50   Ready    <none>          41s    v1.26.1

配置pod网络插件calico

注意：官方文档已指出，在安装pod网络插件之前，coredns不会启动。
Calico在Cilium之后添加了基于eBPF的数据面 ，用户可在iptables和eBPF之间选择，默认是iptables。

部署calico

$ curl -o calico-v3.25.yaml https://raw.githubusercontent.com/projectcalico/calico/release-v3.25/manifests/calico.yaml
$ kubectl apply -f calico-v3.25.yaml

查看状态，等待calico和coredns相关pod就绪。注意，coredns仅在部署pod网络插件后启动

$ watch kubectl get pod -n kube-system -o wide

冒烟测试：部署nginx服务，测试dns解析服务名

$ cat <<EOF | sudo tee nginx.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
        - name: nginx
          image: nginx
          ports:
          - containerPort: 80
            hostPort: 80
            protocol: TCP
          - containerPort: 443
            hostPort: 443
            protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-srv
spec:
  clusterIP: None
  ports:
  - port: 80
    name: http
  - port: 443
    name: https
  selector:
    app: nginx
EOF
$ kubectl apply -f nginx.yaml
$ kubectl run -it busybox --image=busybox --restart=Never
/ # ping nginx-srv
PING nginx-srv (172.16.33.196): 56 data bytes  
64 bytes from 172.16.33.196: seq=0 ttl=62 time=1.146 ms  
64 bytes from 172.16.33.196: seq=1 ttl=62 time=0.703 ms  
^C