一、Kubernetes整体架构

集群类型

• Kubernetes集群大致分为两类：一主多从和多主多从。
• 一主多从：一个Master节点和多台Node节点，搭建简单，但是有单机故障风险，适合用于测试环境。
• 多主多从：多台Master和多台Node节点，搭建麻烦，安全性高，适合用于生产环境。
  

Master
k8s集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求；
Master Node 由 API Server、Scheduler、ClusterState Store（ETCD 数据库）和 Controller MangerServer所组成；

Nodes
集群工作节点，运行用户业务应用容器；
Nodes节点也叫Worker Node，包含kubelet、kube proxy和 Pod（Container Runtime）；

二、Kubernetes环境搭建方式

kubernetes有多种部署方式，目前主流的方式有kubeadm、minikube、二进制包。

2.1 minikube

minikube可以在本地运行Kubernetes的工具，minikube可以在个人计算机（包括Windows，macOS和Linux PC）上运行一个单节点Kubernetes集群，以便您可以试用Kubernetes或进行日常开发工作；
https://kubernetes.io/docs/tutorials/hello-minikube/

2.2 kind

Kind和minikube类似的工具，让你在本地计算机上运行Kubernetes，此工具需要安装并配置Docker；
https://kind.sigs.k8s.io/

2.3 kubeadm

Kubeadm是一个K8s部署工具，提供kubeadm init 和 kubeadm join两个操作命令，可以快速部署一个Kubernetes集群；

2.4 二进制包

从Github下载发行版的二进制包，手动部署安装每个组件，组成Kubernetes集群，步骤比较繁琐，但是能让你对各个组件有更清晰的认识；

2.5 yum安装

通过yum安装Kubernetes的每个组件，组成Kubernetes集群，不过yum源里面的k8s版本已经比较老了，所以这种方式用得也比较少了；

2.6 第三方工具

有一些大神封装了一些工具，利用这些工具进行k8s环境的安装；

2.7 花钱购买

直接购买类似阿里云这样的公有云平台k8s，一键搞定；

三、Kubeadm部署Kubernetes

kubeadm是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署；
具能通过两条指令完成一个kubernetes集群的部署；
1、创建一个Master节点：

kubeadm init

2、将Node节点加入到Master集群中：

kubeadm join <Master节点的IP和端口>

四、Kubernetes部署环境要求

（1）一台或多台机器，操作系统CentOS 7.x-86_x64
（2）硬件配置：内存2GB或2G+，CPU 2核或CPU 2核+；
（3）集群内各个机器之间能相互通信；
（4）集群内各个机器可以访问外网，需要拉取镜像；
（5）禁止swap分区；

如果环境不满足要求，会报错，比如：

五、Kubernetes部署环境准备

5.1 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

5.2 关闭selinux

sed -i 's/enforcing/disabled/' /etc/selinux/config  #永久
setenforce 0  #临时

5.3 关闭swap（k8s禁止虚拟内存以提高性能）

sed -ri 's/.*swap.*/#&/' /etc/fstab #永久
swapoff -a #临时

5.4 在master添加hosts，企业中推荐使用内部DNS服务器

cat >> /etc/hosts << EOF
192.168.1.131 k8smaster
192.168.1.132 k8snode
EOF

5.5 设置网桥参数

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system  #生效

5.6 时间同步

yum install ntpdate -y
ntpdate time.windows.com

六、Kubernetes安装具体步骤

所有服务器节点安装 Docker/kubeadm/kubelet/kubectl
Kubernetes 默认容器运行环境是Docker，因此首先需要安装Docker；

6.1 安装 Docker

更新docker的yum源

yum install wget -y
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

安装指定版本的docker：

yum install docker-ce-19.03.13 -y
yum install docker -y （这个安装的Docker版本偏旧） 1.13.x

配置加速器加速下载 （https://cr.console.aliyun.com/）

/etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
https://gg3gwnry.mirror.aliyuncs.com
#然后执行：
systemctl enable docker.service
#不然会提示警告；

那么接下来需要搭建：kubeadm、kubelet、kubectl

6.2 添加k8s的阿里云YUM源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

到时候下载k8s的相关组件才能找到下载源；

6.3 安装 kubeadm，kubelet 和 kubectl

yum install kubelet-1.19.4 kubeadm-1.19.4 kubectl-1.19.4 -y
#然后执行：
systemctl enable kubelet.service
#不然会提示警告；

查看有没有安装：

yum list installed | grep kubelet
yum list installed | grep kubeadm
yum list installed | grep kubectl

查看安装的版本： kubelet --version
Kubelet：运行在cluster所有节点上，负责启动POD和容器；
Kubeadm：用于初始化cluster的一个工具；
Kubectl：kubectl是kubenetes命令行工具，通过kubectl可以部署和管理应用,查看各种资源，创建，删除和更新组件；

以上配置完最后重启下机器，让相关配置生效

6.4 部署Kubernetes Master主节点

kubeadm init --apiserver-advertise-address=192.168.1.131 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.19.4 --service-cidr=10.96.0.0/12 --pod-network-cidr=10.244.0.0/16
# 此命令在master机器上执行；

说明：

service-cidr的选取不能和PodCIDR及本机网络有重叠或者冲突，一般可以选择一个本机网络和PodCIDR都没有用到的私网地址段，比如PODCIDR使用10.244.0.0/16, 那么service cidr可以选择10.96.0.0/12，网络无重叠冲突即可；

执行报错

解决：重启一下机器，然后再执行上面的 kubeadm init 命令；

如上图初始化成功！

接下来在master机器上执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl get nodes

接下来把 node节点 加入 Kubernetes master 中，在Node机器上执行；
向集群添加新节点，执行的命令就是kubeadm init最后输出的kubeadm join命令：

kubeadm join 192.168.1.131:6443 --token q6rowr.8v218gkucf1d36un \
    --discovery-token-ca-cert-hash sha256:1d858b80fe90e17e329eaf1774d63fac1fcbd645f3e0e62aea61816ef6ffbbd8 

如下图，node节点加入集群成功！

查看节点状态:NotReady 需要配置网络插件

七、部署网络插件

下载kube-flannel.yml文件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

已下载好的文件

应用kube-flannel.yml文件得到运行时容器

kubectl apply -f kube-flannel.yml  #在master机器上执行

然后再查看节点状态：kubectl get nodes （在master机器上执行）

状态变为就绪！~

至此我们的k8s环境就搭建好了

kubernetes： 修改node 角色
新安装的kubernetes环境有时候node节点的 roles会缺失，我们可以手动添加上去

[root@k8smaster ~]# kubectl get nodes
NAME        STATUS   ROLES    AGE   VERSION
k8smaster   Ready    master   40m   v1.19.4
k8snode     Ready    worker   28m   v1.19.4

我们只需要给对应的节点打上合适的标签即可

# kubectl label node k8snode node-role.kubernetes.io/worker=worker

[root@k8smaster ~]# kubectl label node k8snode node-role.kubernetes.io/worker=worker
node/k8snode labeled
[root@k8smaster ~]# kubectl get nodes
NAME        STATUS   ROLES    AGE   VERSION
k8smaster   Ready    master   40m   v1.19.4
k8snode     Ready    worker   28m   v1.19.4

删除标签操作

# kubectl label node k8snode node-role.kubernetes.io/worker-

如果需要将node标签加回去，则要执行：

# kubectl label node k8snode node-role.kubernetes.io/worker=
node/k8snode labeled

简单理解就是： 减号就是删除roles，等号就是增加roles

---

查看运行时容器pod （一个pod里面运行了多个docker容器）

# kubectl get pods -n kube-system
NAME                                READY   STATUS    RESTARTS   AGE
coredns-6d56c8448f-8r6fk            1/1     Running   0          61m
coredns-6d56c8448f-btdqp            1/1     Running   0          61m
etcd-k8smaster                      1/1     Running   0          61m
kube-apiserver-k8smaster            1/1     Running   0          61m
kube-controller-manager-k8smaster   1/1     Running   0          61m
kube-flannel-ds-8k5s7               1/1     Running   0          30m
kube-flannel-ds-cls97               1/1     Running   0          30m
kube-proxy-cdqvw                    1/1     Running   0          49m
kube-proxy-nsxm6                    1/1     Running   0          61m
kube-scheduler-k8smaster            1/1     Running   0          61m

参考：文章