kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。

这个工具能通过两条指令完成一个kubernetes集群的部署：

# 创建一个 Master 节点
$ kubeadm init

# 将一个 Node 节点加入到当前集群中
$ kubeadm join <Master节点的IP和端口 >

1. 安装要求

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

• 一台或多台机器，操作系统 CentOS7.x-86_x64
• 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
• 可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点
• 禁止swap分区

2. 准备环境

角色	IP
master	172.23.173.126
node1	172.23.173.127
node2	172.23.173.128

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久
setenforce 0  # 临时

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

# 根据规划设置主机名
hostnamectl set-hostname <hostname>

#master(172.23.173.126)
hostnamectl set-hostname master

#node1(172.23.173.127)
hostnamectl set-hostname node1

#node2(172.23.173.128)
hostnamectl set-hostname node2

# 在master添加hosts
cat >> /etc/hosts << EOF
172.23.173.126 master
172.23.173.127 node1
172.23.173.128 node2
EOF

# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  # 生效

# 时间同步
yum install ntpdate -y
ntpdate time.windows.com

3. 所有节点安装Docker/kubeadm/kubelet

Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。

3.1 安装Docker

#Xshell使用发送键到所有会话

 wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

 yum -y install docker-ce-18.06.1.ce-3.el7

 systemctl enable docker && systemctl start docker

 docker --version

 Docker version 18.06.1-ce, build e68fc7a

# 经过多次测试 docker的版本不建议使用最新的 最新的会报错

# 配置阿里云镜像

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

 systemctl daemon-reload
 systemctl restart docker

3.2 添加阿里云YUM软件源

# 添加源
$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#[] 中括号中的是repository id，唯一，用来标识不同仓库
#name 仓库名称，自定义
#baseurl 仓库地址
#enable 是否启用该仓库，默认为1表示启用
#gpgcheck 是否验证从该仓库获得程序包的合法性，1为验证
#repo_gpgcheck 是否验证元数据的合法性 元数据就是程序包列表，1为验证
#gpgkey=URL 数字签名的公钥文件所在位置，如果gpgcheck值为1，此处就需要指定gpgkey文件的位置，如果gpgcheck值为0就不需要此项了

3.3 安装kubeadm，kubelet和kubectl

# 1.版本查看
  yum list kubelet --showduplicates | sort -r 
# 安装kubelet、kubeadm、kubectl	由于版本更新频繁，这里指定版本号部署：
 yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
# 查看是否安装成功
yum list installed | grep kubeadm
#查看版本
 	 kubelet --version
 # 设置为开机自启
systemctl enable kubelet && systemctl start kubelet
#kubelet 运行在集群所有节点上，用于启动Pod和容器等对象的工具
#kubeadm 用于初始化集群，启动集群的命令工具
#kubectl 用于和集群通信的命令行，通过kubectl可以部署和管理应用，查看各种资源，创建、删除和更新各种组件

4. 部署Kubernetes Master

在172.23.173.126（Master）执行。

kubeadm init  --apiserver-advertise-address=172.23.173.126  --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.22.0 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16 
  
#使用日志查看报错
journalctl -u kubelet.service

执行命令之后，会发现它去拉去镜像

可以再打开一个窗口使用命令docker images查看

出现这条打印语句就说明我们添加master成功了

由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。

使用kubectl工具：

  # 执行成功之后会有这段命令 然后执行一下
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

5. 加入Kubernetes Node

在 172.23.173.126（Node）执行。将上面命令复制到126服务器上。

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

kubeadm join 172.23.173.126:6443 --token rmqk36.wsivuy9lqae5lfy1 \
    --discovery-token-ca-cert-hash sha256:1bd4872df88827c49c5692ee27ab3879fbc11c9d6ebbaa5addfd3779f7f88f85 

默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，操作如下：

kubeadm token create --print-join-command

6. 部署CNI网络插件

#使用命令kubectl get nodes 访问 他们的转态都是NotReady 此时需要部署CNI的网络插件

默认镜像地址无法访问，sed命令修改为docker hub镜像仓库。（较慢，需要等一下）

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

kubectl get pods -n kube-system

kubectl get nodes
# 发现现在STATUS的状态全部变为Ready 说明配置成功

7. 测试kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常运行：

 kubectl create deployment nginx --image=nginx
 kubectl expose deployment nginx --port=80 --type=NodePort
 kubectl get pod,svc

访问地址：http://NodeIP:Port 可以访问成功

8 k8s命令自动补全

使用tab键就可以进行自动补全了

[root@ecs-431f-0002 ~]# yum install -y bash-completion
[root@ecs-431f-0002 ~]# source /usr/share/bash-completion/bash_completion
[root@ecs-431f-0002 ~]# source <(kubectl completion bash)
[root@ecs-431f-0002 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@ecs-431f-0002 ~]# kubectl r  
replace  rollout  run    

9 卸载kubeadm

#停止服务
systemctl stop kubelet 
# 卸载（在卸载K8s组件前，先执行kubeadm reset命令，清空K8s集群设置）
kubeadm reset -f
#卸载管理组件
yum erase -y kubelet kubectl kubeadm kubernetes-cni
# 删除镜像
docker rmi -f $(docker images -aq)
# 删除kubectl工具（一定删除，否则下次会出错）
rm -rf $HOME/.kube

---

1.24版本安装

4)将 sandbox_image 镜像源设置为阿里云google_containers镜像源（所有节点）

# 导出默认配置，config.toml这个文件默认是不存在的
containerd config default > /etc/containerd/config.toml
grep sandbox_image  /etc/containerd/config.toml
sed -i "s#registry.k8s.io/pause#registry.aliyuncs.com/google_containers/pause#g" /etc/containerd/config.toml
grep sandbox_image  /etc/containerd/config.toml

5）配置containerd cgroup 驱动程序systemd（所有节点）

kubernets自ｖ1.24.0后，就不再使用docker.shim，替换采用containerd作为容器运行时端点。因此需要安装containerd（在docker的基础下安装），上面安装docker的时候就自动安装了containerd了。这里的docker只是作为客户端而已。容器引擎还是containerd。

grep SystemdCgroup  /etc/containerd/config.toml
sed -i 's#SystemdCgroup = false#SystemdCgroup = true#g' /etc/containerd/config.toml
# 应用所有更改后,重新启动containerd
systemctl restart containerd

6）开始安装kubeadm，kubelet和kubectl（master节点）

# 不指定版本就是最新版本，当前最新版就是1.24.1
yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes
# disableexcludes=kubernetes：禁掉除了这个kubernetes之外的别的仓库
# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务
systemctl enable --now kubelet

# 查看状态，这里需要等待一段时间再查看服务状态，启动会有点慢
systemctl status kubelet

开始安装

安装完成后查看版本号

7）使用 kubeadm 初始化集群（master节点）

• 集群初始化

kubeadm init \
  --apiserver-advertise-address=192.168.2.60 \
  --image-repository registry.aliyuncs.com/google_containers \
  --control-plane-endpoint=cluster-endpoint \
  --kubernetes-version v1.24.1 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16 \
  --v=5
# –image-repository string：    这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers
# –kubernetes-version string：  指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（v1.22.1）来跳过网络请求。
# –apiserver-advertise-address  指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。这里的ip为master节点ip，记得更换。
# –pod-network-cidr             指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  –pod-network-cidr有自己的要求，这里设置为10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。
# --control-plane-endpoint     cluster-endpoint 是映射到该 IP 的自定义 DNS 名称，这里配置hosts映射：192.168.0.113   cluster-endpoint。 这将允许你将 --control-plane-endpoint=cluster-endpoint 传递给 kubeadm init，并将相同的 DNS 名称传递给 kubeadm join。 稍后你可以修改 cluster-endpoint 以指向高可用性方案中的负载均衡器的地址。

• 添加ip映射

# 使用 sudo 提权执行（非 root 用户需有 sudo 权限）
echo "192.168.2.60 cluster-endpoint" | sudo tee -a /etc/hosts

• 重置再初始化

kubeadm reset
rm -fr ~/.kube/  /etc/kubernetes/* var/lib/etcd/*
kubeadm init \
  --apiserver-advertise-address=192.168.0.113  \
  --image-repository registry.aliyuncs.com/google_containers \
  --control-plane-endpoint=cluster-endpoint \
  --kubernetes-version v1.24.1 \
  --service-cidr=10.1.0.0/16 \
  --pod-network-cidr=10.244.0.0/16 \
  --v=5

遇到的错误：

执行 journalctl -xeu kubelet | grep error 定位问题 cluster-endpoint 解析失败，需要在/etc/hosts 配置映射

添加ip映射

出现该界面部署成功，执行下面的命令即可

• 配置环境变量

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

# 临时生效（退出当前窗口重连环境变量失效）
export KUBECONFIG=/etc/kubernetes/admin.conf
# 永久生效（推荐）
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source  ~/.bash_profile

执行kubectl get nodes 当前节点已经部署完成

先安装kubelet

yum install -y kubelet-1.24.1  kubeadm-1.24.1  kubectl-1.24.1 --disableexcludes=kubernetes
# 设置为开机自启并现在立刻启动服务 --now：立刻启动服务
systemctl enable --now kubelet
systemctl status kubelet

发现下面报错，不要担心，通过 kubeadm join 让节点加入集群，kubeadm 会自动生成配置文件

如果执行kubeadm init时没有记录下加入集群的命令，可以通过以下命令重新创建（推荐）一般不用上面的分别获取token和ca-cert-hash方式，需要在master节点执行：

kubeadm token create --print-join-command
#kubeadm join cluster-endpoint:6443 --token yftfrk.t1z3n6sdu3gmnzbc --discovery-token-ca-cert-hash sha256:f2772fbc1c0cac4a5fbe3382f6729ac51070f9d3225acc1e6a2d188bf274873d 

在node节点执行后等待安装完成，

执行 systemctl status kubelet.service 当前已经激活。

执行 kubectl get nodes 发现所有节点状态已经为Ready。截止目前为止已经部署完成。

参考：https://www.cnblogs.com/liugp/p/16614645.html