K8S集群搭建详细教程

😀 本文介绍两种常用的Kubernetes（K8S）集群部署方法：kubeadm搭建K8S和二进制方式搭建K8S。kubeadm提供了简化的部署工具，适合快速搭建测试环境或小型生产环境。二进制方式更灵活，适用于需要定制化配置和深度控制的复杂部署场景。本文将提供详细步骤和截图指导，帮助大家成功搭建可靠高效的Kubernetes集群，为应用提供强大的容器化支持。

---

本文首发并存储于Notion个人博客：https://www.yimeifengyuliusu.love/

---

目录

零、速览指南

K8S（Kubenetes）介绍

在生产部署K8S集群时常用的有两种方法：kubeadm搭建和二进制方式搭建：

• 一是Kubeadm搭建：Kubeadm是一个简化K8S集群部署过程的工具，提供 kubeadm init 和 kubeadm join，用于快速部署 Kubernetes 集群。 官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
• 二是进制包搭建：从GitHub下载发行版的二进制包，手动部署、配置和连接每个组件，从而组成Kubernetes集群。采用Kubeadm部署虽然降低了部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署 Kubernetes 集群，虽然手动部署麻烦点，但搭建期间还可以学习很多工作原理，加深我们对K8S的各个组件及其功能的理解和认识，也利于后期维护。

比较这两种搭建方式，Kubeadm提供了一种简化的方法，适合快速搭建测试环境或小型生产环境。而二进制方式则更加灵活，适用于需要定制化配置和深度控制的复杂部署场景。

官方文档参考链接：https://kubernetes.io/docs/home/

Kubeadm搭建步骤（简明）

1. 安装三台虚拟机并安装操作系统Centos7.x
2. 对三台虚拟机进行初始化操作
3. 在三个节点安装docker、kebelet、kubeadm、kubectl
4. master节点执行kubeadm init初始化
5. node节点执行kubeadm join加入集群
6. 配置网络插件
7. K8S集群测试

二进制搭建步骤（简明）

1. 创建多台虚拟机，安装Linux操作系统
2. 操作系统初始化
3. 设置自签证书
4. 部署etcd集群
5. 安装Docker
6. 部署master组件（apiserver、controller-manager、scheduler）
7. 部署node组件（docker、kubelet、kube-proxy）
8. 部署集群CNI网络
9. K8S集群测试

二进制方式搭建详细教程参考文章：二进制方式搭建K8S详细教程

一、Kubeadm方式搭建

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个 kubernetes 集群的部署：

第一、创建一个 Master 节点 kubeadm init
第二， 将 Node 节点加入到当前集群中 kubeadm join <Master 节点的 IP 和端口 >

1.0 前提条件：

1. 安装三台虚拟机Centos7
2. 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多
3. 集群中所有机器之间网络互通
4. 可以访问外网，需要拉取镜像
5. 禁止 swap 分区

1.1 最终目标

• 在所有节点上安装 Docker 和 kubeadm
• 部署 Kubernetes Master
• 部署容器网络插件
• 部署 Kubernetes Node，将节点加入 Kubernetes 集群中
• 部署 Dashboard Web 页面，可视化查看 Kubernetes 资源

1.2 节点规划

角色	IP
master	192.168.31.200
node01	192.168.31.210
node02	192.168.31.220

1.3 所有节点执行系统初始化

在三个节点都执行以下代码：

# 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 关闭selinux
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
sudo setenforce 0  # 临时

# 关闭swap
sudo swapoff -a  # 临时
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根据规划设置主机名（以下两个命令都可以）
sudo hostnamectl set-hostname master # master节点执行
sudo hostnamectl set-hostname node01 # node01节点执行
sudo hostnamectl set-hostname node02 # node02节点执行
hostname # 查看主机名看是否修改成功

# 在master添加hosts(root用户)
cat >> /etc/hosts << EOF
192.168.31.100 master
192.168.31.101 node01
192.168.31.102 node02
EOF

# 将桥接的IPv4流量传递到iptables的链(root用户)
cat >/etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 使得桥接配置生效

# 时间同步(root用户)
yum install ntpdate -y
ntpdate time.windows.com

• 关闭防火墙、seLinux、swap

  

• 根据规划设置主机名：master、node01、node02（其他两个节点操作类似）

  

• 在master添加hosts(root用户)

  

• 将桥接的IPv4流量传递到iptables的链(root用户)

  

• 时间同步(root用户)

  yum install ntpdate -y
  ntpdate time.windows.com

1.4 所有节点安装Docker/Kubeadm/Kubelet

Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker，本小节的内容需要在三个节点都执行。

• 第一步，卸载旧版Docker

  假如你的虚拟机曾经安装过Docker或者你不清楚是否安装过，可以执行

  # 查看是否安装了Docker
  systemctl status docker
  
  # 停止正在运行的docker
  systemctl stop docker
  
  # 卸载Docker Engine、CLI、Containerd和Docker合成包
  sudo yum remove docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin docker-ce-rootless-extras
  
  # 手动删除所有镜像、容器和卷
  sudo rm -rf /var/lib/docker
  sudo rm -rf /var/lib/containerd
  
  

• 第二步、安装docker

  接下来正式安装Docker（安装指定的18.06.1-ce版本，如果使用其他版本可能会出现跟其他组件不匹配的问题）：

  # 下载docker配置文件
  wget <https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo> -O /etc/yum.repos.d/docker-ce.repo
  
  # 安装docker
  yum -y install docker-ce-18.06.1.ce-3.el7
  
  # 设置docker开机自启动
  systemctl enable docker
  # 启动docker
  systemctl start docker
  
  # 查看docker版本信息
  docker --version
  输出结果：Docker version 18.06.1-ce, build e68fc7a
  
  # 修改docker仓库源为阿里云仓库
  cat > /etc/docker/daemon.json << EOF
  {
    "registry-mirrors": ["<https://b9pmyelo.mirror.aliyuncs.com>"]
  }
  EOF
  # 重启docker使仓库源修改生效
  systemctl restart docker
  
  

• 第三步，添加阿里云yum软件源

  cat > /etc/yum.repos.d/kubernetes.repo << EOF
  [kubernetes]
  name=Kubernetes
  baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
  enabled=1
  gpgcheck=0
  repo_gpgcheck=0
  gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg <https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg>
  EOF
  
  

• 第四步，安装kubeadm、kubelet、kubectl

  （由于版本更新频繁，这里指定版本号1.18.0部署）

  yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
  systemctl enable kubelet
  
  

1.5 master节点部署Kubenetes Master

以下命令仅在master节点执行命令对kubenetes进行初始化，由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址：

kubeadm init \\
  --apiserver-advertise-address=192.168.31.200 \\
  --image-repository registry.aliyuncs.com/google_containers \\
  --kubernetes-version v1.18.0 \\
  --service-cidr=10.96.0.0/12 \\
  --pod-network-cidr=10.244.0.0/16

注：上面的3个IP地址中，第二行apiserver的IP为master节点的IP；
第五行、第六行的IP为任意IP，只要不跟当前的IP冲突即可。

初始化成功后可以看到：

所以，根据官方指引，接下来我们依次执行：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.6 另外两个节点加入Kubenetes Node

根据2.1.5中的官方指引，可以得到node01、node02节点接入kubenetes的命令如下：

所以去node01、node02节点分别执行加入kubenetes集群的命令，在master节点执行查看命令：

# 加入前查看kubenetes节点情况（master执行）
kubectl get nodes

# 分别在node01和node02节点执行下面的命令（该命令直接从2.1.5小节复制而来）
kubeadm join 192.168.31.200:6443 --token 87cex7.jq4kmo24mjbfydiv \\
    --discovery-token-ca-cert-hash sha256:ce95c1fc1b6774130256d50e88046c75ed27706599be44abdb51d4cad5aec750

# 加入后查看kubenetes节点情况（master执行）
kubectl get nodes

执行结果如下图：

注意：初始化时discovery-token-ca-cert-hash参数的默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，命令如下：kubeadm token create --print-join-command

1.7 master节点安装Pod网络插件

在master节点执行以下命令：

# 安装Pod网络插件
kubectl apply -f <https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml>

# 查看运行pods
kubectl get pods -n kube-system
# 查看节点状态
kubectl get nodes

因为是国外的网站，所以如果出现下图这样安装失败的话，去域名解析网站查询域名raw.githubusercontent.com对应的解析地址，如下图，我选择**185.199.111.133这个IP地址：**

然后将该IP解析添加到hosts文件中，再次执行命令即可：

检查Kubenetes是否启动运行成功：

用kubectl get pods -n kube-system命令可以看到罗列的组件都显示Running，用kubectl get nodes也能看到所有节点都是Ready。

1.8 master节点测试Kubenetes集群

master节点执行以下命令，在Kubernetes集群中创建一个pod，验证是否正常运行：

# 创建pod
kubectl create deployment nginx --image=nginx
# 查看nginx运行成功
kubectl get pod

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看暴露的端口号
kubectl get pod,svc

截图如下：

去浏览器输入节点的IP加上端口号，例如我的是192.168.31.200:32148，可以看到成功启动nginx容器：

至此，Kubeadm方式搭建Kubenetes顺利完结撒花！

1.9 后续加入节点及其报错问题

1.9.1 添加新节点

后续需要再次添加新节点时，采用以下命令生成token：

# 生成新token
[root@k8s-master ~]# kubeadm token create --print-join-command
W1128 09:16:56.241468   17814 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd

# 新节点加入k8s集群
[root@k8s-node03 ~]# kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
W1128 09:21:37.324146    4946 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
[preflight] Running pre-flight checks
        [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.18" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Starting the kubelet
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

# 查看加入的节点
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   Ready      master   16h   v1.18.0
k8s-node01   Ready      <none>   16h   v1.18.0
k8s-node02   Ready      <none>   16h   v1.18.0
k8s-node03   NotReady   <none>   10s   v1.18.0

1.9.2 误删节点后重新添加

• 报错场景：

  在不小心删除后重新添加节点；或者删除节点后设置新的节点名（主机名）再次添加时出现的报错：

  [root@k8s-node01 ~]# kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
  W1128 09:17:20.562774    3478 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
  [preflight] Running pre-flight checks
          [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
  error execution phase preflight: [preflight] Some fatal errors occurred:
          [ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
          [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
  [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
  To see the stack trace of this error execute with --v=5 or higher
  

• 解决方法：

  使用kubeadm reset命令重置后再重新加入节点：

  # 重置节点（清除kubeadm信息）
  kubeadm reset
  
  # 二次加入k8s集群
  kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
  

  

二、二进制方式搭建

二进制方式搭建详细教程参考文章：二进制方式搭建K8S详细教程