一、部署说明

k8s架构：

Kubernetes 主要的核心组件包括：

1. etcd: 作为分布式存储系统，它用于持久化存储集群的状态信息，确保所有节点能够同步并共享对集群状态的理解。
2. kube-apiserver: 它是整个系统的中心点，提供了 API 接口供客户端使用，包括创建、读取、更新和删除 Kubernetes 对象。此外，它还负责身份验证、授权、访问控制和资源管理功能。
3. kube-controller-manager: 这个组件监控集群的健康状况，执行各种自动化任务，如自动伸缩、故障恢复和滚动更新，以保持集群的稳定性和可用性。
4. kube-scheduler: 根据预定义的调度策略，决定将 Pod 分配到哪个节点上，优化资源利用率。
5. kubelet: 每个工作节点上的 kubelet 实现了与容器运行时(CRI)的交互，管理容器实例和卷（Volume）、网络连接。
6. Container runtime (Docker或其他): 负责镜像管理和实际运行 Pod 中的容器，它是 Kubernetes 与底层操作系统交互的关键环节。
7. kube-proxy: 提供内网服务发现和负载均衡，使得集群内的服务可以无缝地通过域名访问。

---

二、环境准备

2.1 服务器要求

• 一台或多台安装linux服务器，此处使用vmware17 pro安装虚拟服务器
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多【注意master需要两核】,开启cpu虚拟化
• 需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点

2.2 k8s集群架构

2.3 集群规划

CentOS	7.9
Docker	26.1.4
K8S	1.30.3

master	192.168.187.10
node1	192.168.187.20
node2	192.168.187.30

2.3 服务器环境准备(所有节点)

1.主机名配置

# 根据规划设置主机名【master节点上操作】
hostnamectl set-hostname master

# 根据规划设置主机名【node1节点上操作】
hostnamectl set-hostname node1

# 根据规划设置主机名【node2节点上操作】
hostnamectl set-hostname node2

2.IP配置

查看各个系统的静态IP设置

3.主机名与IP解析

cat >> /etc/hosts << EOF
192.168.184.10 master
192.168.184.20 node1
192.168.184.30 node2
EOF

4.关闭防火墙与SELINUX

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0

5.关闭swap分区

swapoff -a 
sed -ri 's/.*swap.*/#&/' /etc/fstab

6.时间同步配置

yum install chrony -y
systemctl enable --now chronyd && chronyc sources
date

7.配置内核路由转发及网桥过滤

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward=1
vm.swappiness=0
EOF
sysctl --system

# 加载br_netfilter模块
modprobe  br_netfilter && lsmod |grep  br_netfilter

8.配置ipvs转发

yum -y install ipset ipvsadm

# 配置ipvsadm模块加载方式
# 添加需要加载的模块
mkdir -p /etc/sysconfig/ipvsadm
cat > /etc/sysconfig/ipvsadm/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

# 授权、运行、检查是否加载
chmod 755 /etc/sysconfig/ipvsadm/ipvs.modules && bash /etc/sysconfig/ipvsadm/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack

---

三、安装docker、ci-dockerd、kubelet、kubeadm、kubectl（所有节点）

3.0 说明（与安装无关）

（1）关于容器运行时接口（CRI）

官方文档：https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/#install-and-configure-prerequisites

早期k8s使用docker-shim调用docker容器引擎，但docker-shim不符合CRI标准，每次k8s升级，都要重新适配，极其麻烦，Kubernetes v1.24移除docker-shim的支持，使用CRI shim。containerd是一个主流的容器引擎，内置CRI shim，与Docker相兼容，相比Docker轻量很多，目前较为成熟。

参考资料：https://kubernetes.io/zh/docs/setup/production-environment/container-runtimes/#containerd

k8s（v1.24版本以前）使用docker-shim调用流程：kubelet(客户端) -> docker shim -> dockerd -> containerd -> containerd-shim -> runc

k8s（v1.24版本以后）使用CRI shim调用流程：kubelet(客户端) ->CRI shim(被contained内置) -> containerd -> containerd-shim -> runc

为什么要安装docker和ci-dockerd?

Kubernetes v1.24移除docker-shim的支持，而Docker Engine默认又不支持CRI标准，因此二者默认无法再直接集成。为此，Mirantis和Docker联合创建了cri-dockerd项目，用于为Docker Engine提供一个能够支持到CRI规范的桥梁，从而能够让Docker作为Kubernetes容器引擎。

3.1 安装docker

参考：

docker安装：https://developer.aliyun.com/mirror/docker-ce

cgroup驱动：https://kubernetes.io/zh-cn/docs/setup/production-environment/container-runtimes/#cgroup-drivers

curl https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker.repo

yum -y install docker-ce

# 配置cgroup驱动及镜像下载加速器
cat > /etc/docker/daemon.json << EOF
{
        "registry-mirrors": [
          "https://docker.fxxk.dedyn.io",
          "https://ox288s4f.mirror.aliyuncs.com",
          "https://registry.docker-cn.com",
          "http://hub-mirror.c.163.com",
          "https://mirror.ccs.tencentyun.com"
], 
        "max-concurrent-downloads": 10,
        "log-driver": "json-file",
        "log-level": "warn",
        "data-root": "/var/lib/docker",
        "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

#启动Docker并开机自启
systemctl enable --now docker.service

3.2 安装cri-dockerd

参考：https://github.com/Mirantis/cri-dockerd

说明：Pause镜像和Pause容器

每个Pod里运行着一个特殊的被称之为Pause的容器，其他容器则为业务容器，这些业务容器共享Pause容器的网络栈和Volume挂载卷，因此他们之间通信和数据交换更为高效，在设计时我们可以充分利用这一特性将一组密切相关的服务进程放入同一个Pod中。同一个Pod里的容器之间仅需通过localhost就能互相通信。

kubernetes中的pause容器主要为每个业务容器提供以下功能：

• PID命名空间：Pod中的不同应用程序可以看到其他应用程序的进程ID。
• 网络命名空间：Pod中的多个容器能够访问同一个IP和端口范围。
• IPC命名空间：Pod中的多个容器能够使用SystemV IPC或POSIX消息队列进行通信。
• UTS命名空间：Pod中的多个容器共享一个主机名；Volumes（共享存储卷）：
• Pod中的各个容器可以访问在Pod级别定义的Volum

# 下载安装最新版的cri-dockerd
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.8/cri-dockerd-0.3.8.amd64.tgz
tar xf cri-dockerd-0.3.8.amd64.tgz 
cp cri-dockerd/cri-dockerd  /usr/bin/
rm -rf  cri-dockerd  cri-dockerd-0.3.8.amd64.tgz

# 配置启动项
cat > /etc/systemd/system/cri-docker.service<<EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket
[Service]
Type=notify
# ExecStart=/usr/bin/cri-dockerd --container-runtime-endpoint fd://
# 指定用作 Pod 的基础容器的容器镜像（“pause 镜像”）
ExecStart=/usr/bin/cri-dockerd --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9 --container-runtime-endpoint fd:// 
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF
# 说明：--pod-infra-container-image根据kubeadm config images list列出的配置镜像pause镜像配置。

cat > /etc/systemd/system/cri-docker.socket <<EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service
[Socket]
ListenStream=%t/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker
[Install]
WantedBy=sockets.target
EOF

systemctl daemon-reload 
systemctl enable --now cri-docker && systemctl status cri-docker

3.3 安装kubelet、kubeadm、kubectl

# 此操作会覆盖 /etc/yum.repos.d/kubernetes.repo 中现存的所有配置
cat <<EOF | tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes-new/core/stable/v1.30/rpm/repodata/repomd.xml.key
EOF


yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes


# 配置 cgroup 驱动与docker一致
cp /etc/sysconfig/kubelet{,.bak}
cat > /etc/sysconfig/kubelet <<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
EOF
systemctl enable kubelet

# 安装自动补全工具(可选)
yum install bash-completion -y 
source /usr/share/bash-completion/bash_completion
echo "source <(kubectl completion bash)" >> ~/.bashrc
source  ~/.bashrc

偷懒小技巧：如果是用vmware，操作完以上步骤，做个快照，以后想添加节点直接克隆虚拟机，就不需要每台都操作，直接修改主机名和IP可以作master或node节点，hhhhhh

---

---

四、部署k8s master（仅在master节点）

# 初始化集群
kubeadm init \
--apiserver-advertise-address 192.168.184.10  \
--kubernetes-version v1.30.0 \
--pod-network-cidr=10.10.1.0/24 \
--image-repository registry.aliyuncs.com/google_containers \
--cri-socket=unix:///var/run/cri-dockerd.sock \
--ignore-preflight-errors=all

说明：
--apiserver-advertise-address 集群通告地址，node节点连接master的地址，如果是高可用，需要配置VIP的地址。这里是单master架构，默认master地址即可。
--kubernetes-version K8s版本，与上面安装的一致
--pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致
--cri-socket 指定cri-dockerd接口，如果是containerd则使用–cri-socket unix:///run/containerd/containerd.sock
如果初始化一直超时，请检查/etc/systemd/system/cri-docker.service文件pause镜像是否与docker images的镜像一致。

# 创建配置目录
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 默认初始化生成token有效期是24小时，所以我们用自己的生成不过期的token，node节点加入需要用到
kubeadm token create --ttl 0  --print-join-command
# 生成结果如下：
kubeadm join 192.168.184.10:6443 --token nifrbs.4xgsi6hj7w9eo5ay --discovery-token-ca-cert-hash sha256:f319d713de13c9f25646929a5e82549ad348406d7ffec9fbbc19b27d6f2cc674

相关token命令知识（与安装无关）

1、查看token
# kubeadm token list
TOKEN                     TTL         EXPIRES                USAGES                   DESCRIPTION                                                EXTRA GROUPS
329cg8.hytv2w4x8l7qjf4o   23h         2024-08-02T06:06:40Z   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token
nifrbs.4xgsi6hj7w9eo5ay   <forever>   <never>   authentication,signing   <none>                                                     system:bootstrappers:kubeadm:default-node-token


2、重新生成token
# 默认初始化生成token有效期是24小时，所以我们用自己的生成不过期的token，node节点加入需要用到
kubeadm token create --ttl 0  --print-join-command

3、使用已经生成的token

# 查找需要的toekn
# kubeadm token list

# 获取公钥的hash值
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

# 拼接加入命令
kubeadm join 192.168.184.10:6443  --token [已经生成的token]     --discovery-token-ca-cert-hash sha256:[获取到的公钥hash值]  --cri-socket=unix:///var/run/cri-dockerd.sock

---

---

五、部署k8s （node节点）

说明：node节点操作都一样。

kubeadm join 192.168.184.10:6443 --token 329cg8.hytv2w4x8l7qjf4o \
 --discovery-token-ca-cert-hash sha256:f319d713de13c9f25646929a5e82549ad348406d7ffec9fbbc19b27d6f2cc674 --cri-socket=unix:///var/run/cri-dockerd.sock

说明：这命令在master节点使用kubeadm token create --ttl 0 --print-join-command生成的，添加节点需要指定cri-dockerd接口–cri-socket ，这里是使用cri-dockerd，如果是containerd则使用–cri-socket unix:///run/containerd/containerd.sock

在master节点上检查

kubectl get node

---

六、部署容器网络（CNI）（master节点）

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。

下载地址：https://github.com/projectcalico/calico

wget https://raw.githubusercontent.com/projectcalico/calico/master/manifests/calico.yaml

下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的 --pod-network-cidr指定的一样。

修改完后文件后，部署：

kubectl apply -f calico.yaml
kubectl get pods -n kube-system


kubectl get node
NAME     STATUS   ROLES           AGE   VERSION
master   Ready    control-plane   23m   v1.30.3
node1    Ready    <none>          11m   v1.30.3
node2    Ready    <none>          11m   v1.30.3

等Calico Pod都Running，节点也会准备就绪。

注：以后所有yaml文件都只在Master节点执行。

安装目录：/etc/kubernetes/

组件配置文件目录：/etc/kubernetes/manifests/

参考资料：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network

七、测试k8s集群

创建一份nginx的yaml文件，指定node2运行
vim nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
      - name: nginx
        image: nginx
      nodeSelector:
        kubernetes.io/hostname: node2
应用yaml文件
kubectl apply -f nginx.yaml

查看pods
# kubectl get pods
NAME                   READY   STATUS    RESTARTS   AGE
web-7bd69c9bb9-m96m6   1/1     Running   0          44s


# kubectl get deployments
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
web    1/1     1            1           80m


确认映射端口
# kubectl get svc
NAME         TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP        125m
web          NodePort    10.102.207.151   <none>        80:30889/TCP   85m
30889端口是容器80映射到主机的端口


查看pod详细信息
# kubectl get pod -o wide
NAME                   READY   STATUS    RESTARTS   AGE   IP          NODE    NOMINATED NODE   READINESS GATES
web-7bd69c9bb9-m96m6   1/1     Running   0          87m   10.10.1.4   node2   <none>           <none>

nginx pod部署完了，访问： 192.168.184.30:30889