1、K8S 是什么？

K8S 的全称为 Kubernetes 

作用：
用于自动部署、扩展和管理“容器化（containerized）应用程序”的开源系统。
可以理解成 K8S 是负责自动化运维管理多个容器化程序（比如 Docker）的集群，是一个生态极其丰富的容器编排框架工具。

由来：
K8S由google的Borg系统(博格系统，google内部使用的大规模容器编排工具)作为原型，后经GO语言延用Borg的思路重写并捐献给CNCF基金会开源。

含义：
词根源于希腊语的 舵手、飞行员

官网：
https://kubernetes.io

k8s的版本有 1.12 1.15 1.17 1.18 1.20   1.22       

1.24  抛弃了docker   可以用需要安装第三方插件

GitHub官网：
https://github.com/kubernetes/kubernetes

2、为什么要用 K8S?

K8S是一个开源的容器编排和管理工具，它可以帮助你简化和自动化容器化应用程序的部署、扩展和管理。以下是一些使用 Kubernetes 的主要原因：

1. 自动化和简化：Kubernetes 提供了丰富的功能来自动化和简化容器化应用程序的部署、扩展和管理。它可以处理复杂的任务，如负载均衡、自动扩展、故障恢复等，减轻了运维人员的负担。

2. 弹性和可伸缩性：Kubernetes 允许你根据负载情况自动扩展应用程序，确保应用程序始终具有足够的资源来满足需求。它还支持水平扩展，可以轻松地添加或删除副本以适应流量的变化。

3. 故障容错和自愈能力：Kubernetes 具有故障恢复和自愈能力，能够检测和替换出现故障的容器实例，确保应用程序的高可用性。

4. 多云和混合云支持：Kubernetes 可以在多个云提供商之间进行无缝迁移，同时也支持混合云环境，使你能够更灵活地选择和管理你的基础设施。

5. 声明式配置和版本控制：Kubernetes 使用声明式配置来定义应用程序的状态，这意味着你只需描述应用程序所需的状态，而无需关心如何达到该状态。此外，Kubernetes 还支持版本控制，可以轻松地回滚或升级应用程序。

6. 社区支持和生态系统：Kubernetes 拥有庞大的开源社区和丰富的生态系统，你可以从中获得大量的文档、教程、工具和插件，以及与其他技术和平台的集成。

总的来说，使用 Kubernetes 可以提高应用程序的可靠性、可用性和可扩展性，同时简化了应用程序的部署和管理过程。它是现代化的云原生应用程序开发和运维的重要工具之一。

3、K8S的特性

●弹性伸缩
使用命令、UI或者基于CPU使用情况自动快速扩容和缩容应用程序实例，保证应用业务高峰并发时的高可用性；业务低峰时回收资源，以最小成本运行服务。

●自我修复
在节点故障时重新启动失败的容器，替换和重新部署，保证预期的副本数量；杀死健康检査失败的容器，并且在未准备好之前不会处理客户端请求，确保线上服务不中断。

●服务发现和负载均衡
K8S为多个容器提供一个统一访问入口(内部IP地址和一个DNS名称)，并且负载均衡关联的所有容器，使得用户无需考虑容器IP问题。

●自动发布（默认滚动发布模式）和回滚
K8S采用滚动更新策略更新应用，一次更新一个或者部分Pod，而不是同时删除所有Pod，如果更新过程中出现问题，将回滚更改，确保升级不影响业务。

●集中化配置管理和密钥管理
管理机密数据和应用程序配置，而不需要把敏感数据暴露在镜像里，提高敏感数据安全性。并可以将一些常用的配置存储在K8S中，方便应用程序使用。

●存储编排，支持外挂存储并对外挂存储资源进行编排
挂载外部存储系统，无论是来自本地存储，公有云（如AWS），还是网络存储（如NFS、Glusterfs、Ceph）都作为集群资源的一部分使用，极大提高存储使用灵活性。

●任务批处理运行
提供一次性任务，定时任务；满足批量数据处理和分析的场景。
 

4、K8S的集群架构与核心组件

Master 组件

●Kube-apiserver
用于暴露 Kubernetes API，任何资源请求或调用操作都是通过 kube-apiserver 提供的接口进行。以 HTTP Restful API 提供接口服务，所有对象资源的增删改查和监听操作都交给 API Server 处理后再提交给 Etcd 存储。

可以理解成 API Server 是 K8S 的请求入口服务。API Server 负责接收 K8S 所有请求（来自 UI 界面或者 CLI 命令行工具）， 然后根据用户的具体请求，去通知其他组件干活。可以说 API Server 是 K8S 集群架构的大脑。

●Kube-controller-manager
运行管理控制器，是 K8S 集群中处理常规任务的后台线程，是 K8S 集群里所有资源对象的自动化控制中心。
在 K8S 集群中，一个资源对应一个控制器，而 Controller manager 就是负责管理这些控制器的。

由一系列控制器组成，通过 API Server 监控整个集群的状态，并确保集群处于预期的工作状态，比如当某个 Node 意外宕机时，Controller Manager 会及时发现并执行自动化修复流程，确保集群始终处于预期的工作状态。

这些控制器主要包括：
•Node Controller（节点控制器）：负责在节点出现故障时发现和响应。
•Replication Controller（副本控制器）：负责保证集群中一个 RC（资源对象 Replication Controller）所关联的 Pod 副本数始终保持预设值。可以理解成确保集群中有且仅有 N 个 Pod 实例，N 是 RC 中定义的 Pod 副本数量。
•Endpoints Controller（端点控制器）：填充端点对象（即连接 Services 和 Pods），负责监听 Service 和对应的 Pod 副本的变化。 可以理解端点是一个服务暴露出来的访问点，如果需要访问一个服务，则必须知道它的 endpoint。
•Service Account & Token Controllers（服务帐户和令牌控制器）：为新的命名空间创建默认帐户和 API 访问令牌。
•ResourceQuota Controller（资源配额控制器）：确保指定的资源对象在任何时候都不会超量占用系统物理资源。
•Namespace Controller（命名空间控制器）：管理 namespace 的生命周期。
•Service Controller（服务控制器）：属于 K8S 集群与外部的云平台之间的一个接口控制器。

●Kube-scheduler
是负责资源调度的进程，根据调度算法为新创建的 Pod 选择一个合适的 Node 节点。  62种

可以理解成 K8S 所有 Node 节点的调度器。当用户要部署服务时，Scheduler 会根据调度算法选择最合适的 Node 节点来部署 Pod。
•预选策略（predicate）
•优选策略（priorities）

API Server 接收到请求创建一批 Pod ，API Server 会让 Controller-manager 按照所预设的模板去创建 Pod，Controller-manager 会通过 API Server 去找 Scheduler 为新创建的 Pod 选择最适合的 Node 节点。比如运行这个 Pod 需要 2C4G 的资源，Scheduler 会通过预选策略过滤掉不满足策略的 Node 节点。Node 节点中还剩多少资源是通过汇报给 API Server 存储在 etcd 里，API Server 会调用一个方法找到 etcd 里所有 Node 节点的剩余资源，再对比 Pod 所需要的资源，如果某个 Node 节点的资源不足或者不满足 预选策略的条件则无法通过预选。预选阶段筛选出的节点，在优选阶段会根据优先策略为通过预选的 Node 节点进行打分排名， 选择得分最高的 Node。例如，资源越富裕、负载越小的 Node 可能具有越高的排名。

 配置存储中心

●etcd
K8S 的存储服务。etcd 是分布式键值存储系统，存储了 K8S 的关键配置和用户配置，K8S 中仅 API Server 才具备读写权限，其他组件必须通过 API Server 的接口才能读写数据。

 Node 组件 

●Kubelet
Node 节点的监视器，以及与 Master 节点的通讯器。Kubelet 是 Master 节点安插在 Node 节点上的“眼线”，它会定时向 API Server 汇报自己 Node 节点上运行的服务的状态，并接受来自 Master 节点的指示采取调整措施。

从 Master 节点获取自己节点上 Pod 的期望状态（比如运行什么容器、运行的副本数量、网络或者存储如何配置等）， 直接跟容器引擎交互实现容器的生命周期管理，如果自己节点上 Pod 的状态与期望状态不一致，则调用对应的容器平台接口（即 docker 的接口）达到这个状态。

管理镜像和容器的清理工作，保证节点上镜像不会占满磁盘空间，退出的容器不会占用太多资源。

●Kube-Proxy
在每个 Node 节点上实现 Pod 网络代理，是 Kubernetes Service 资源的载体，负责维护网络规则和四层负载均衡工作。 负责写入规则至iptables、ipvs实现服务映射访问的。

Kube-Proxy 本身不是直接给 Pod 提供网络，Pod 的网络是由 Kubelet 提供的，Kube-Proxy 实际上维护的是虚拟的 Pod 集群网络。
Kube-apiserver 通过监控 Kube-Proxy 进行对 Kubernetes Service 的更新和端点的维护。

在 K8S 集群中微服务的负载均衡是由 Kube-proxy 实现的。Kube-proxy 是 K8S 集群内部的负载均衡器。它是一个分布式代理服务器，在 K8S 的每个节点上都会运行一个 Kube-proxy 组件。

4、K8S部署（etcd）

二进制搭建 Kubernetes v1.20   

k8s集群master01：192.168.88.10    kube-apiserver kube-controller-manager kube-scheduler etcd
k8s集群master02：192.168.88.11

k8s集群node01：192.168.88.12    kubelet kube-proxy docker 
k8s集群node02：192.168.88.13

etcd集群节点1：192.168.88.10    etcd
etcd集群节点2：192.168.88.12    etcd
etcd集群节点3：192.168.88.13    etcd

负载均衡nginx+keepalive01（master）：192.168.88.14
负载均衡nginx+keepalive02（backup）：192.168.88.15

VIP 192.168.88.100

------------------------------ 操作系统初始化配置 ------------------------------
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

#关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab 

#根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

#在master添加hosts
cat >> /etc/hosts << EOF
192.168.88.10 master01
192.168.88.11 master02
192.168.88.12 node01
192.168.88.13 node02
EOF

#调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

sysctl --system

#时间同步
yum install ntpdate -y
ntpdate time.windows.com

------------------------------ 部署 docker引擎 ------------------------------
//所有 node 节点部署docker引擎
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

systemctl start docker.service
systemctl enable docker.service 

------------------------------ 部署 etcd 集群 ------------------------------
etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库。etcd内部采用raft协议作为一致性算法，etcd是go语言编写的。

etcd 作为服务发现系统，有以下的特点：
简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
安全：支持SSL证书验证
快速：单实例支持每秒2k+读操作
可靠：采用raft算法，实现分布式系统数据的可用性和一致性

etcd 目前默认使用2379端口提供HTTP API服务， 2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。 即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台。

---------- 准备签发证书环境 ----------
CFSSL 是 CloudFlare 公司开源的一款 PKI/TLS 工具。 CFSSL 包含一个命令行工具和一个用于签名、验证和捆绑 TLS 证书的 HTTP API 服务。使用Go语言编写。
CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
CFSSL 用来为 etcd 提供 TLS 证书，它支持签三种类型的证书：
1、client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 etcd；
2、server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 etcd 对外提供服务；
3、peer 证书，相互之间连接时使用的证书，如 etcd 节点之间进行验证和通信。
这里全部都使用同一套证书认证。

//在 master01 节点上操作                     

#准备cfssl证书生成工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo

chmod +x /usr/local/bin/cfssl*
------------------------------------------------------------------------------------------
cfssl：证书签发的工具命令
cfssljson：将 cfssl 生成的证书（json格式）变为文件承载式证书
cfssl-certinfo：验证证书的信息
cfssl-certinfo -cert <证书名称>            #查看证书的信息
------------------------------------------------------------------------------------------

### 生成Etcd证书 ###
mkdir /opt/k8s
cd /opt/k8s/

#上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中
chmod +x etcd-cert.sh etcd.sh

#创建用于生成CA证书、etcd 服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh            #生成CA证书、etcd 服务器证书以及私钥

ls
ca-config.json  ca-csr.json  ca.pem        server.csr       server-key.pem
ca.csr          ca-key.pem   etcd-cert.sh  server-csr.json  server.pem

#上传 etcd-v3.4.9-linux-amd64.tar.gz 到 /opt/k8s 目录中，启动etcd服务
https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

cd /opt/k8s/
tar zxvf etcd-v3.4.9-linux-amd64.tar.gz
ls etcd-v3.4.9-linux-amd64
Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md
------------------------------------------------------------------------------------------
etcd就是etcd 服务的启动命令，后面可跟各种启动参数
etcdctl主要为etcd 服务提供了命令行操作
------------------------------------------------------------------------------------------

#创建用于存放 etcd 配置文件，命令文件，证书的目录
mkdir -p /opt/etcd/{cfg,bin,ssl}

cd /opt/k8s/etcd-v3.4.9-linux-amd64/
mv etcd etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

cd /opt/k8s/
./etcd.sh etcd01 192.168.88.10 etcd02=https://192.168.88.12:2380,etcd03=https://192.168.88.13:2380
#进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况

#可另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd

#把etcd相关证书文件、命令文件和服务管理文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.88.12:/opt/
scp -r /opt/etcd/ root@192.168.88.13:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.88.12:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.88.13:/usr/lib/systemd/system/

//在 node01 节点上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"                                            #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.88.12:2380"            #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.88.12:2379"        #修改

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.88.12:2380"        #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.88.12:2379"                #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.88.10:2380,etcd02=https://192.168.88.12:2380,etcd03=https://192.168.88.13:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#启动etcd服务
systemctl start etcd
systemctl enable etcd     ##systemctl enable --now etcd
systemctl在enable、disable、mask子命令里面增加了--now选项，可以激活同时启动服务，激活同时停止服务等。

systemctl status etcd

//在 node02 节点上操作
vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"                                            #修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.88.13:2380"            #修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.88.13:2379"        #修改

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.88.13:2380"        #修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.88.13:2379"                #修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.88.10:2380,etcd02=https://192.168.88.12:2380,etcd03=https://192.168.88.13:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#启动etcd服务
systemctl start etcd
systemctl enable etcd
systemctl status etcd

#检查etcd群集状态
ETCDCTL_API=3   /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.88.10:2379,https://192.168.88.12:2379,https://192.168.88.13:2379" endpoint health --write-out=table

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.88.10:2379,https://192.168.88.12:2379,https://192.168.88.13:2379" endpoint status --write-out=table

------------------------------------------------------------------------------------------
--cert-file：识别HTTPS端使用SSL证书文件
--key-file：使用此SSL密钥文件标识HTTPS客户端
--ca-file：使用此CA证书验证启用https的服务器的证书
--endpoints：集群中以逗号分隔的机器地址列表
cluster-health：检查etcd集群的运行状况
------------------------------------------------------------------------------------------

#查看etcd集群成员列表
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.88.10:2379,https://192.168.88.12:2379,https://192.168.88.13:2379" --write-out=table member list