K8S集群搭建详细教程

😀 本文介绍两种常用的Kubernetes(K8S)集群部署方法:kubeadm搭建K8S和二进制方式搭建K8S。kubeadm提供了简化的部署工具,适合快速搭建测试环境或小型生产环境。二进制方式更灵活,适用于需要定制化配置和深度控制的复杂部署场景。本文将提供详细步骤和截图指导,帮助大家成功搭建可靠高效的Kubernetes集群,为应用提供强大的容器化支持。


本文首发并存储于Notion个人博客:https://www.yimeifengyuliusu.love/


目录

零、速览指南

K8S(Kubenetes)介绍

在生产部署K8S集群时常用的有两种方法:kubeadm搭建和二进制方式搭建:

  • 一是Kubeadm搭建:Kubeadm是一个简化K8S集群部署过程的工具,提供 kubeadm init 和 kubeadm join,用于快速部署 Kubernetes 集群。 官方地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
  • 二是进制包搭建:从GitHub下载发行版的二进制包,手动部署、配置和连接每个组件,从而组成Kubernetes集群。采用Kubeadm部署虽然降低了部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可控,推荐使用二进制包部署 Kubernetes 集群,虽然手动部署麻烦点,但搭建期间还可以学习很多工作原理,加深我们对K8S的各个组件及其功能的理解和认识,也利于后期维护。

比较这两种搭建方式,Kubeadm提供了一种简化的方法,适合快速搭建测试环境或小型生产环境。而二进制方式则更加灵活,适用于需要定制化配置和深度控制的复杂部署场景。

官方文档参考链接:https://kubernetes.io/docs/home/

Kubeadm搭建步骤(简明)

  1. 安装三台虚拟机并安装操作系统Centos7.x
  2. 对三台虚拟机进行初始化操作
  3. 在三个节点安装docker、kebelet、kubeadm、kubectl
  4. master节点执行kubeadm init初始化
  5. node节点执行kubeadm join加入集群
  6. 配置网络插件
  7. K8S集群测试

二进制搭建步骤(简明)

  1. 创建多台虚拟机,安装Linux操作系统
  2. 操作系统初始化
  3. 设置自签证书
  4. 部署etcd集群
  5. 安装Docker
  6. 部署master组件(apiserver、controller-manager、scheduler)
  7. 部署node组件(docker、kubelet、kube-proxy)
  8. 部署集群CNI网络
  9. K8S集群测试

二进制方式搭建详细教程参考文章:二进制方式搭建K8S详细教程

一、Kubeadm方式搭建

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具,这个工具能通过两条指令完成一个 kubernetes 集群的部署:

第一、创建一个 Master 节点 kubeadm init
第二, 将 Node 节点加入到当前集群中 kubeadm join <Master 节点的 IP 和端口 >

1.0 前提条件:

  1. 安装三台虚拟机Centos7
  2. 硬件配置:2GB 或更多 RAM,2 个 CPU 或更多 CPU,硬盘 30GB 或更多
  3. 集群中所有机器之间网络互通
  4. 可以访问外网,需要拉取镜像
  5. 禁止 swap 分区

1.1 最终目标

  • 在所有节点上安装 Docker 和 kubeadm
  • 部署 Kubernetes Master
  • 部署容器网络插件
  • 部署 Kubernetes Node,将节点加入 Kubernetes 集群中
  • 部署 Dashboard Web 页面,可视化查看 Kubernetes 资源

1.2 节点规划

角色IP
master192.168.31.200
node01192.168.31.210
node02192.168.31.220

1.3 所有节点执行系统初始化

在三个节点都执行以下代码:

# 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld

# 关闭selinux
sudo sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
sudo setenforce 0  # 临时

# 关闭swap
sudo swapoff -a  # 临时
sudo sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根据规划设置主机名(以下两个命令都可以)
sudo hostnamectl set-hostname master # master节点执行
sudo hostnamectl set-hostname node01 # node01节点执行
sudo hostnamectl set-hostname node02 # node02节点执行
hostname # 查看主机名看是否修改成功

# 在master添加hosts(root用户)
cat >> /etc/hosts << EOF
192.168.31.100 master
192.168.31.101 node01
192.168.31.102 node02
EOF

# 将桥接的IPv4流量传递到iptables的链(root用户)
cat >/etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 使得桥接配置生效

# 时间同步(root用户)
yum install ntpdate -y
ntpdate time.windows.com

  • 关闭防火墙、seLinux、swap

    K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled.png

  • 根据规划设置主机名:master、node01、node02(其他两个节点操作类似)

    K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%201.png

  • 在master添加hosts(root用户)

    K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%202.png

  • 将桥接的IPv4流量传递到iptables的链(root用户)

    K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%203.png

  • 时间同步(root用户)

    yum install ntpdate -y
    ntpdate time.windows.com

1.4 所有节点安装Docker/Kubeadm/Kubelet

Kubernetes默认CRI(容器运行时)为Docker,因此先安装Docker,本小节的内容需要在三个节点都执行。

  • 第一步,卸载旧版Docker

    假如你的虚拟机曾经安装过Docker或者你不清楚是否安装过,可以执行

    # 查看是否安装了Docker
    systemctl status docker
    
    # 停止正在运行的docker
    systemctl stop docker
    
    # 卸载Docker Engine、CLI、Containerd和Docker合成包
    sudo yum remove docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin docker-ce-rootless-extras
    
    # 手动删除所有镜像、容器和卷
    sudo rm -rf /var/lib/docker
    sudo rm -rf /var/lib/containerd
    
    
  • 第二步、安装docker

    接下来正式安装Docker(安装指定的18.06.1-ce版本,如果使用其他版本可能会出现跟其他组件不匹配的问题):

    # 下载docker配置文件
    wget <https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo> -O /etc/yum.repos.d/docker-ce.repo
    
    # 安装docker
    yum -y install docker-ce-18.06.1.ce-3.el7
    
    # 设置docker开机自启动
    systemctl enable docker
    # 启动docker
    systemctl start docker
    
    # 查看docker版本信息
    docker --version
    输出结果:Docker version 18.06.1-ce, build e68fc7a
    
    # 修改docker仓库源为阿里云仓库
    cat > /etc/docker/daemon.json << EOF
    {
      "registry-mirrors": ["<https://b9pmyelo.mirror.aliyuncs.com>"]
    }
    EOF
    # 重启docker使仓库源修改生效
    systemctl restart docker
    
    
  • 第三步,添加阿里云yum软件源

    cat > /etc/yum.repos.d/kubernetes.repo << EOF
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
    enabled=1
    gpgcheck=0
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg <https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg>
    EOF
    
    
  • 第四步,安装kubeadm、kubelet、kubectl

    (由于版本更新频繁,这里指定版本号1.18.0部署)

    yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
    systemctl enable kubelet
    
    

1.5 master节点部署Kubenetes Master

以下命令仅在master节点执行命令对kubenetes进行初始化,由于默认拉取镜像地址k8s.gcr.io国内无法访问,这里指定阿里云镜像仓库地址:

kubeadm init \\
  --apiserver-advertise-address=192.168.31.200 \\
  --image-repository registry.aliyuncs.com/google_containers \\
  --kubernetes-version v1.18.0 \\
  --service-cidr=10.96.0.0/12 \\
  --pod-network-cidr=10.244.0.0/16

注:上面的3个IP地址中,第二行apiserver的IP为master节点的IP;
第五行、第六行的IP为任意IP,只要不跟当前的IP冲突即可。

初始化成功后可以看到:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%204.png

所以,根据官方指引,接下来我们依次执行:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.6 另外两个节点加入Kubenetes Node

根据2.1.5中的官方指引,可以得到node01、node02节点接入kubenetes的命令如下:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%205.png

所以去node01、node02节点分别执行加入kubenetes集群的命令,在master节点执行查看命令:

# 加入前查看kubenetes节点情况(master执行)
kubectl get nodes

# 分别在node01和node02节点执行下面的命令(该命令直接从2.1.5小节复制而来)
kubeadm join 192.168.31.200:6443 --token 87cex7.jq4kmo24mjbfydiv \\
    --discovery-token-ca-cert-hash sha256:ce95c1fc1b6774130256d50e88046c75ed27706599be44abdb51d4cad5aec750

# 加入后查看kubenetes节点情况(master执行)
kubectl get nodes

执行结果如下图:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%206.png

注意:初始化时discovery-token-ca-cert-hash参数的默认token有效期为24小时,当过期之后,该token就不可用了。这时就需要重新创建token,命令如下:kubeadm token create --print-join-command

1.7 master节点安装Pod网络插件

在master节点执行以下命令:

# 安装Pod网络插件
kubectl apply -f <https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml>

# 查看运行pods
kubectl get pods -n kube-system
# 查看节点状态
kubectl get nodes

因为是国外的网站,所以如果出现下图这样安装失败的话,去域名解析网站查询域名raw.githubusercontent.com对应的解析地址,如下图,我选择**185.199.111.133这个IP地址:**

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%207.png

然后将该IP解析添加到hosts文件中,再次执行命令即可:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%208.png

检查Kubenetes是否启动运行成功:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%209.png

kubectl get pods -n kube-system命令可以看到罗列的组件都显示Running,用kubectl get nodes也能看到所有节点都是Ready

1.8 master节点测试Kubenetes集群

master节点执行以下命令,在Kubernetes集群中创建一个pod,验证是否正常运行:

# 创建pod
kubectl create deployment nginx --image=nginx
# 查看nginx运行成功
kubectl get pod

# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看暴露的端口号
kubectl get pod,svc

截图如下:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%2010.png

去浏览器输入节点的IP加上端口号,例如我的是192.168.31.200:32148,可以看到成功启动nginx容器:

K8S%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA%E8%AF%A6%E7%BB%86%E6%95%99%E7%A8%8B%20471e4d059dfe4b0bbf14476e2c080f8a/Untitled%2011.png

至此,Kubeadm方式搭建Kubenetes顺利完结撒花!

1.9 后续加入节点及其报错问题

1.9.1 添加新节点

后续需要再次添加新节点时,采用以下命令生成token:

# 生成新token
[root@k8s-master ~]# kubeadm token create --print-join-command
W1128 09:16:56.241468   17814 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd

# 新节点加入k8s集群
[root@k8s-node03 ~]# kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
W1128 09:21:37.324146    4946 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
[preflight] Running pre-flight checks
        [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Reading configuration from the cluster...
[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet-start] Downloading configuration for the kubelet from the "kubelet-config-1.18" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Starting the kubelet
[kubelet-start] Waiting for the kubelet to perform the TLS Bootstrap...

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the control-plane to see this node join the cluster.

# 查看加入的节点
[root@k8s-master ~]# kubectl get nodes
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   Ready      master   16h   v1.18.0
k8s-node01   Ready      <none>   16h   v1.18.0
k8s-node02   Ready      <none>   16h   v1.18.0
k8s-node03   NotReady   <none>   10s   v1.18.0

1.9.2 误删节点后重新添加

  • 报错场景

    在不小心删除后重新添加节点;或者删除节点后设置新的节点名(主机名)再次添加时出现的报错:

    [root@k8s-node01 ~]# kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
    W1128 09:17:20.562774    3478 join.go:346] [preflight] WARNING: JoinControlPane.controlPlane settings will be ignored when control-plane flag is not set.
    [preflight] Running pre-flight checks
            [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
    error execution phase preflight: [preflight] Some fatal errors occurred:
            [ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
            [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists
    [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
    To see the stack trace of this error execute with --v=5 or higher
    
  • 解决方法

    使用kubeadm reset命令重置后再重新加入节点:

    # 重置节点(清除kubeadm信息)
    kubeadm reset
    
    # 二次加入k8s集群
    kubeadm join 192.168.31.10:6443 --token 06cnrw.mp6n0k52mzu5ekl7     --discovery-token-ca-cert-hash sha256:73a485e968c616a356e45638ad917a6cac0055be532f8f7b37ef426ef7bf0fdd
    

    Untitled

二、二进制方式搭建

二进制方式搭建详细教程参考文章:二进制方式搭建K8S详细教程

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐