前言

随着业务体量与并发数量的增加，单台docker容器应用已经无法满足业务需求，此时急需一个容器编排与调度系统，k8s就诞生了。
以下是k8s这款产品的主要功能：

• 服务发现和负载均衡
  Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。
• 存储编排
  Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。
• 自动部署和回滚
  你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态 更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。
• 自动完成装箱计算
  Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。 当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。
• 自我修复
  Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的 运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。
• 密钥与配置管理
  Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。

k8s集群总架构

k8s集群=N master Node+N worker Node

这里引用网络上一张图

Control Plane Components

kube-apiserver

API 服务器是 Kubernetes 控制面的组件， 该组件公开了 Kubernetes API，类似于server的view层，任何指令都会经过kube-apiserver进行分配

etcd

etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。
您的 Kubernetes 集群的 etcd 数据库通常需要有个备份计划。
要了解 etcd 更深层次的信息，请参考 etcd 文档。

kube-scheduler

kube-scheduler负责监视新创建的、未指定运行节点（node）的 Pods，选择节点让 Pod 在上面运行。
调度决策考虑的因素包括单个 Pod 和 Pod 集合的资源需求、硬件/软件/策略约束、亲和性和反亲和性规范、数据位置、工作负载间的干扰和最后时限。

kube-controller-manager

进行控制器管理，这些控制器包括:

• 节点控制器（Node Controller）: 负责在节点出现故障时进行通知和响应
• 任务控制器（Job controller）: 监测代表一次性任务的 Job 对象，然后创建 Pods 来运行这些任务直至完成
• 端点控制器（Endpoints Controller）: 填充端点(Endpoints)对象(即加入 Service 与 Pod)
• 服务帐户和令牌控制器（Service Account & Token Controllers）: 为新的命名空间创建默认帐户和 API 访问令牌

cloud-controller-manager

云控制器管理器是指嵌入特定云的控制逻辑的 控制平面组件。 云控制器管理器允许您链接集群到云提供商的应用编程接口中， 并把和该云平台交互的组件与只和您的集群交互的组件分离开。
cloud-controller-manager 仅运行特定于云平台的控制回路。 如果你在自己的环境中运行 Kubernetes，或者在本地计算机中运行学习环境， 所部署的环境中不需要云控制器管理器。
与 kube-controller-manager 类似，cloud-controller-manager 将若干逻辑上独立的 控制回路组合到同一个可执行文件中，供你以同一进程的方式运行。 你可以对其执行水平扩容（运行不止一个副本）以提升性能或者增强容错能力。

Node Components

节点组件在每个节点上运行，维护运行的 Pod 并提供 Kubernetes 运行环境。

kubelet

一个在集群中每个节点（node）上运行的代理。 它保证容器（containers）都 运行在 Pod 中。
kubelet 接收一组通过各类机制提供给它的 PodSpecs，确保这些 PodSpecs 中描述的容器处于运行状态且健康。 kubelet 不会管理不是由 Kubernetes 创建的容器。

kube-proxy

kube-proxy 是集群中每个节点上运行的网络代理， 实现 Kubernetes 服务（Service） 概念的一部分。
kube-proxy 维护节点上的网络规则。这些网络规则允许从集群内部或外部的网络会话与 Pod 进行网络通信。

k8s集群搭建实战

首先，搭建k8s集群需要n台服务器，安装了centos操作系统。挑选其中1台作为master，安装Control Plane Components，其余服务器作为worker。
下面介绍linux中k8s工具：

• kubeadm是一个构建k8s集群的工具。它提供的kubeadm init和kubeadm join两个命令是快速构建k8s集群的最佳实践。 其次，kubeadm工具只为构建最小可用集群，它只关心集群中最基础的组件，至于其他的插件（比如dashboard、CNI等）则不会涉及。
• kubelet：
  1. k8s进行交互，获取pod相关的数据，监控当前的Pod变化的事件。
  2. kubelet操作当前宿主机的资源信息，并启动Pod。
• kubectl：kubectl 是 Kubernetes 的命令行工具（CLI），是 Kubernetes 用户和管理员必备的管理工具。kubectl 提供了大量的子命令，方便管理 Kubernetes 集群中的各种功能。

准备机器

我这边使用vmware模拟3个服务器

vmware安装centos：https://www.runoob.com/w3cnote/vmware-install-centos7.html
vmware中让CentOS利用桥接上网的方法教程：https://www.jb51.net/article/105110.htm

安装启动docker

yum -y install docker

service docker start

#	启动&开机启动docker
systemctl enable docker --now

# docker加速配置
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

初始依赖创建

1. 初始化域名

# 主节点
hostnamectl set-hostname k8s-master
# 子节点1
hostnamectl set-hostname k8s-worker1
# 子节点2
hostnamectl set-hostname k8s-worker2

在各个节点/etc/hosts文件增加k8s节点主机IP和主机名的解析

vim /etc/hosts
# 增加：
192.168.124.46 k8s-master
192.168.124.47 k8s-worker1
192.168.124.48 k8s-worker2

2. 初始化环境

# 将 SELinux 设置为 permissive 模式（相当于将其禁用）
sudo setenforce 0
sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

#关闭swap
swapoff -a  
sed -ri 's/.*swap.*/#&/' /etc/fstab

#关闭防火墙（生产环境慎用），或者开启6443端口即可
systemctl disable firewalld --now

#允许 iptables 检查桥接流量
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sudo sysctl --system

2. 安装kubelet、kubeadm、kubectl

cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl
EOF


sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

sudo systemctl enable --now kubelet

3. 下载各个机器需要的镜像

sudo tee ./images.sh <<-'EOF'
#!/bin/bash
images=(
kube-apiserver:v1.20.9
kube-proxy:v1.20.9
kube-controller-manager:v1.20.9
kube-scheduler:v1.20.9
coredns:1.7.0
etcd:3.4.13-0
pause:3.2
)
for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageName
done
EOF
   
chmod +x ./images.sh && ./images.sh

设置主节点

1. 初始化主节点

kubeadm reset -f

kubeadm init \
--apiserver-advertise-address=192.168.124.46 \
--control-plane-endpoint=k8s-master \
--image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \
--kubernetes-version v1.20.9 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

• –apiserver-advertise-address 填写主节点ip地址.
• –control-plane-endpoint 填写主节点域名，kubectl连接要用
• –control-plane-endpoint 如果打算升级单个控制面板kubeadm集群为高可用版(high availability)，应该为kubeadm init指定–control-plane-endpoint参数选项以便为所有控制面板结点设置共享endpont。该endpont可以是DNS名称或者本地负载均衡IP地址
• –node-name string 指定当前节点的名称。
• –pod-network-cidr string 通过这个值来设定pod网络的IP地址网段；设置了这个值以后，控制平面会自动给每个节点设置CIDRs（无类别域间路由，Classless Inter-Domain Routing）。
• –service-cidr string Default: “10.96.0.0/12” 设置service的CIDRs，默认为 10.96.0.0/12。

2. 设置.kube/config

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

export KUBECONFIG=/etc/kubernetes/admin.conf

3. 查看节点状态

kubectl get nodes

4. 安装网络组件

calico: https://projectcalico.docs.tigera.io/getting-started/kubernetes/self-managed-onprem/onpremises#install-calico-with-kubernetes-api-datastore-more-than-50-nodes

curl https://docs.projectcalico.org/archive/v3.20/manifests/calico.yaml -O
kubectl apply -f calico.yaml

6. 获取永久密钥

kubeadm token create --ttl 0 --print-join-command

子节点加入control-plane

使用标准输出流的kubeadm join命令运行，将主节点加入control-plane

kubeadm join cluster-endpoint:6443 --token hums8f.vyx71prsg74ofce7 \
    --discovery-token-ca-cert-hash sha256:a394d059dd51d68bb007a532a037d0a477131480ae95f75840c461e85e2c6ae3

k8s常用功能与命令

常用云原生应用架构

Namespace

名称空间，用来对集群资源进行隔离划分。默认只隔离资源，不隔离网络。后面也可以进行网络策略配置来达到网络隔离的效果。
主要起到分类的作用

# 获取所有名臣空间
kubectl get ns

# 删除名称空间
kubectl delete ns 名称空间名字

# 创建名称空间
kubectl create ns 名称空间名字

Pod

定义：运行中的一组容器，Pod是kubernetes中应用的最小单位。
本质上1个pod就是1个docker应用在k8s上的封装

# 启动一个pod
kubectl run pod名字 --image=镜像名

# 删除
kubectl delete pod pod名字

# 查看default名称空间的Pod
kubectl get pods

# 查看pod运行过程信息
kubectl describe pod pod名字

kubectl get pod 常用参数

• -A ：显示所有pod
• -n 命名空间：查看指定命名空间的pod
• –watch：持续监控pod状态

工作负载

控制Pod，使Pod拥有多副本，自愈，扩缩容等能力
工作负载有5种类型：

• Deployment：无状态应用部署，一般服务的选择
• StatefulSet：有状态应用部署，redis等服务选择
• DaemonSet：确保所有Node运行同一个Pod
• Job：一次性任务
• CronJob：定时任务

Deployment

# 多副本
kubectl create deployment deployment名 --image=镜像名 --replicas=pod数量

# 扩缩容
kubectl scale --replicas=5 deployment名

# 将abc的所有容器镜像更新为“nginx：1.9.1”
kubectl set image abc *=nginx:1.16.1

# 查看更新状态
kubectl rollout status abc

#历史记录
kubectl rollout history deployment名


#查看某个历史详情
kubectl rollout history deployment名 --revision=2

#回滚(回到上次)
kubectl rollout undo deployment名

#回滚(回到指定版本)
kubectl rollout undo deployment名 --to-revision=2

Service

将一组 Pods 公开为网络服务的抽象方法。

#暴露Deploy
kubectl expose deployment my-dep --port=8000 --target-port=80

#使用标签检索Pod
kubectl get pod -l app=my-dep

KubeSphere

KubeSphere 是国内一家青云（QingCloud）公司在 Kubernetes 之上构建的面向云原生应用的容器混合云，支持多云与多集群管理，提供全栈的 IT 自动化运维的能力，简化企业的 DevOps 工作流。KubeSphere 旨在解决 Kubernetes 在构建、部署、管理和可观测性等方面的痛点，提供全面的服务和自动化的应用供应、伸缩和管理，让研发更专注于代码编写。

参考资料

https://www.yuque.com/leifengyang/oncloud/ghnb83
http://docs.kubernetes.org.cn/251.html