注意事项：
为保证能顺利部署，这里使用的是CentOS 7，K8S版本为 1.21.0。
切记不要用不同的系统版本或K8S版本部署，期间会有不可预料的错误。

总体流程：

1. 所有节点安装Docker/kubeadm/kubelet
2. 部署K8S Master
3. 加入K8S Node
4. 部署CNI插件
5. 测试K8S集群

常见K8S安装部署方式有3种：

1. Minikube：单节点微型K8S（仅供学习、预览使用）
2. 二进制安装部署（生产首选，新手推荐）
3. 使用kubeadmin进行部署，K8S的部署工具，跑在K8S里（相对简单，熟手推荐）
   由于Minikube会在后期的学习使用中有各种限制，且不便于观测多集群的部署效果。二进制部署的方式过程麻烦，且需要对证书签发、etcd的部署需要有一定理解，增加了初次尝试Kuberntes的复杂度。所以这里选择用 kubeadmin 进行部署，首先从简单的部署方式讲解，便于之后快速熟悉 K8S 的使用和相关概念。待有一定熟悉后，在进阶使用二进制方式手动安装。

准备工作

首先准备了3台虚拟机，IP自行规划即可，只要这些机器在同网段内能互访、以及访问外网即可。

• 3台机器，192.168.44.144（node2），44.145（node1），44.146（master）。
• 硬件2GB，2C，可访问外网拉去镜像。
• 禁止swap分区。

系统初始化

• 关闭防火墙：systemctl stop firewalld，systemctl disable firewalld。
• 关闭selinux：sed -i ‘s/enforcing/disabled/’ /etc/selinux/config #永久，setenforce 0 #临时。
• 关闭swap：swapoff -a #临时，vim /etc/fstab #永久–> sed -ri ‘s/.swap./#&/’ /etc/fstab。
• 设置主机名：hostnamectl set-hostname 。
• 在master添加hosts（仅需在master上执行）：
  $ cat >> /etc/hosts << EOF
  192.168.44.141 k8smaster
  192.168.44.142 k8snode1
  192.168.44.143 k8snode2
  EOF
• 将桥接的IPv4流量传递到iptables的链（要在每个机器上执行）
  $ cat > /etc/sysctl.d/k8s.conf << EOF
  net.bridge.bridge-nf-call-ip6tables = 1
  net.bridge.bridge-nf-call-iptables = 1
  EOF
  $ sysctl --system #生效
• 时间同步：ntpdate time.windows.com。
• 所有机器安装Docker。K8S默认CRI（容器运行时）为Docker，因此要先安装Docker。
  $ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  $ yum -y install docker-ce-18.06.1.ce-3.el7
  $ systemctl enable docker && systemctl start docker #设置为开机启动，并启动docker。
  $ docker --version
  $ cat > /etc/docker/daemon.json << EOF #改变docker仓库
  {
  “registry-mirrors”:[“https://b9pmyelo.mirror.aliyuncs.com”],
  “exec-opts”:[“native.cgroupdriver=systemd”]
  }
  EOF
  $ systemctl restart docker #改完后需重启docker

注意，docker默认Cgroup Driver为cgroup，但是在k8S 1.14之后的版本推荐使用systemd，否则kubectl无法启动。所以这里指定了docker的cgroup驱动。

安装

所有节点（上面的三台机器）上安装：kubeadm、kubelet、kubectl。

添加阿里云 K8S YUM软件源：

    $ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
    [kubernetes]
    name=Kubernetes
    baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
    enabled=1
    gpgcheck=1
    repo_gpgcheck=0
    gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
    EOF

由于官网未开放同步方式, 可能会有索引gpg检查失败的情况, 这时请用 yum install -y --nogpgcheck kubelet kubeadm kubectl 安装

安装kubeadm、kubelet 和 kubectl（由于版本更新频繁，这里指定版本号）：

    $ yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0
    $ systemctl enable kubelet

1. 将Node节点加入到当前集群中 kubeadm join <master的IP:PORT>。

接下来的步骤是：
部署Kubernetes Master。
部署容器网络插件。
部署Kubernetes Node，将节点加入集群。
部署Dashboard Web页面，可视化查看K8S资源。

部署K8S Master

只在master节点上执行 kubeadm init：

    $ kubeadm init \
    --apiserver-advertise-address=192.168.44.146 \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version v1.23.0 \
    --service-cidr=10.96.0.0/12 \
    --pod-network-cidr=10.244.0.0/16

参数解释：

• –apiserver-advertise-address：API 服务器所公布的其正在监听的 IP 地址。如果未设置，则使用默认网络接口。指明用 Master 的哪个网络 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定。
• –image-repository：容器镜像仓库。由于默认拉取镜像地址是k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址。
• –pod-network-cidr：指明 pod 网络可以使用的 IP 地址段。Kubernetes 支持多种网络方案，而且不同网络方案对 --pod-network-cidr 有自己的要求，这里设置为 10.244.0.0/16 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。
• –kubernetes-version：默认值：“stable-1”。为控制平面选择一个特定的 Kubernetes 版本。这里关闭了版本探测，因为它的默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们通过指定版本来跳过网络请求。
• –service-cidr：默认值：“10.96.0.0/12”。为服务的虚拟 IP 地址指定 IP 地址段。

在上面命令执行过程中，可通过 docker images 命令查看 kubeadm 拉取的镜像有：kube-apiserver、kube-controller-manager、kube-proxy、kube-scheduler、pause、coredns、etcd。

当出现 Your Kubernetes control-plane has initialized successfully! 表示安装成功。接着按照下面的文字提示继续操作：

    Your Kubernetes control-plane has initialized successfully!
    
    To start using your cluster, you need to run the following as a regular user:
    
      mkdir -p $HOME/.kube
      sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
      sudo chown $(id -u):$(id -g) $HOME/.kube/config
    
    Alternatively, if you are the root user, you can run:
    
      export KUBECONFIG=/etc/kubernetes/admin.conf
    
    You should now deploy a pod network to the cluster.
    Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
      https://kubernetes.io/docs/concepts/cluster-administration/addons/
    
    Then you can join any number of worker nodes by running the following on each as root:
    
    kubeadm join 192.168.247.134:6443 --token wc5ntv.wwrsfggdp4mfs9y1 \
    	--discovery-token-ca-cert-hash sha256:4fab41aec22ce5ead7d493445a7226077ce9f56ce8164fafdecf08e3aa09ea8a

执行：echo “export KUBECONFIG=/etc/kubernetes/admin.conf” >> ~/.bash_profile，source ~/.bash_profile。

使用 kubectl 查看集群节点：

$ kubectl get nodes

加入Node节点

在Node中执行在kubeadm init 输出的 join 命令：

 $ kubeadm join 192.168.247.134:6443 --token wc5ntv.wwrsfggdp4mfs9y1 \
	--discovery-token-ca-cert-hash sha256:4fab41aec22ce5ead7d493445a7226077ce9f56ce8164fafdecf08e3aa09ea8a

默认token有效期为24小时，当过期之后，该token就不可用了，这时需要重新创建token：

$ kubeadm token create --print-join-command

部署CNI网络插件

在master节点上执行以下操作：

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

因为网站被墙了，建议在/etc/hosts文件添加一条 199.232.68.133 raw.githubusercontent.com。

默认镜像地址无法访问，sed命令修改为docker hub镜像仓库。

通过kubectl get pods -n kube-system 查看是否所有的组件都为Running，只有都Running后，才能看到 kubectl get nodes 状态为Ready。

测试K8S集群

在K8S集群中创建一个pod，验证是否正常运行：

$ kubectl create deployment nginx --image=nginx
$ kubectl expose deployment ngxin --port=80 --type=NodePort
$ kubectl get pod,svc

使用 kubectl get deployment查看状态。

查看集群信息：kubectl cluster-info。