目录

1.Kubernetes介绍

1.1应用部署方式演变

1.2 kubernetes简介

1.3 kubernetes组件

1.4 kubernetes概念

2. Kubernetes集群环境搭建

2.1 前置知识点

2.2 kubeadm 部署方式介绍

2.3 安装要求

2.4 最终目标

2.5 准备环境

2.6 环境初始化

2.6.1 检查操作系统的版本

2.6.2 主机名解析

2.6.3 时间同步

2.6.4 关闭防火墙

2.6.5 关闭selinux

2.6.6 禁用swap分区

2.6.7 修改linux的内核参数

2.6.8 安装docker

2.6.9 安装Kubernetes组件

2.6.10 集群初始化

2.6.11部署CNI网络插件

2.7 集群测试

2.7.1 创建一个nginx服务

2.7.2 暴露端口

2.7.3 查看服务

2.7.4 查看pod

1.Kubernetes介绍

1.1应用部署方式演变

在部署应用程序的方式上，主要经历了三个时代：

• 传统部署：互联网早期，会直接将应用程序部署在物理机上

优点：简单，不需要其它技术的参与

缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响

• 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境

  优点：程序环境不会相互产生影响，提供了一定程度的安全性

  缺点：增加了操作系统，浪费了部分资源

• 容器化部署：与虚拟化类似，但是共享了操作系统

优点：

可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等

运行应用程序所需要的资源都被容器包装，并和底层基础架构解耦

容器化的应用程序可以跨云服务商、跨Linux操作系统发行版进行部署

容器化部署方式给带来很多的便利，但是也会出现一些问题，比如说：

• 一个容器故障停机了，怎么样让另外一个容器立刻启动去替补停机的容器        
• 当并发访问量变大的时候，怎么样做到横向扩展容器数量

这些容器管理的问题统称为容器编排问题，为了解决这些容器编排问题，就产生了一些容器编排的软件：

• Swarm：Docker自己的容器编排工具
• Kubernetes：Google开源的的容器编排工具
• Mesos：Apache的一个资源统一管控的工具，需要和Marathon结合使用

1.2 kubernetes简介

kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。目的是实现资源管理的自动化，主要提供了如下的主要功能：

• 自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器
• 存储编排：可以根据容器自身的需求自动创建存储卷
• 版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本
• 负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡
• 服务发现：服务可以通过自动发现的形式找到它所依赖的服务
• 弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整

1.3 kubernetes组件

一个kubernetes集群主要是由控制节点(master)、**工作节点(node)**构成，每个节点上都会安装不同的组件。

master：集群的控制平面，负责集群的决策 ( 管理 )

• ApiServer : 资源操作的唯一入口，接收用户输入的命令，提供认证、授权、API注册和发现等机制
• Etcd ：负责存储集群中各种资源对象的信息
• ControllerManager : 负责维护集群的状态，比如程序部署安排、故障检测、自动扩展、滚动更新等
• Scheduler : 负责集群资源调度，按照预定的调度策略将Pod调度到相应的node节点上

node：集群的数据平面，负责为容器提供运行环境 ( 干活 )

• Kubelet : 负责维护容器的生命周期，即通过控制docker，来创建、更新、销毁容器
• Docker : 负责节点上容器的各种操作
• KubeProxy : 负责提供集群内部的服务发现和负载均衡

下面，以部署一个nginx服务来说明kubernetes系统各个组件调用关系：

• 首先要明确，一旦kubernetes环境启动之后，master和node都会将自身的信息存储到etcd数据库中
• 一个nginx服务就运行了，如果需要访问nginx，就需要通过kube-proxy来对pod产生访问的代理
• kubelet接收到指令后，会通知docker，然后由docker来启动一个nginx的podpod是kubernetes的最小操作单元，容器必须跑在pod中至此，
• apiServer调用controller-manager去调度Node节点安装nginx服务
• apiServer组件会调用scheduler组件来决定到底应该把这个服务安装到哪个node节点上在此时，它会从etcd中读取各个node节点的信息，然后按照一定的算法进行选择，并将结果告知apiServer
• 一个nginx服务的安装请求会首先被发送到master节点的apiServer组件

这样，外界用户就可以访问集群中的nginx服务了

1.4 kubernetes概念

• Master：集群控制节点，每个集群需要至少一个master节点负责集群的管控
• NameSpace：命名空间，用来隔离pod的运行环境
• Label：标签，用于对pod进行分类，同一类pod会拥有相同的标签
• Service：pod对外服务的统一入口，下面可以维护者同一类的多个pod
• Controller：控制器，通过它来实现对pod的管理，比如启动pod、停止pod、伸缩pod的数量等等
• Pod：kubernetes的最小控制单元，容器都是运行在pod中的，一个pod中可以有1个或者多个容器
• Node：工作负载节点，由master分配容器到这些node工作节点上，然后node节点上的docker负责容器的运行

2. Kubernetes集群环境搭建

2.1 前置知识点

目前生产部署Kubernetes 集群主要有两种方式：

kubeadm

Kubeadm 是一个K8s 部署工具，提供kubeadm init 和kubeadm join，用于快速部署Kubernetes 集群。 官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

二进制包

从github 下载发行版的二进制包，手动部署每个组件，组成Kubernetes 集群。 Kubeadm 降低部署门槛，但屏蔽了很多细节，遇到问题很难排查。如果想更容易可控，推荐使用二进制包部署Kubernetes 集群，虽然手动部署麻烦点，期间可以学习很多工作原理，也利于后期维护。

2.2 kubeadm 部署方式介绍

kubeadm 是官方社区推出的一个用于快速部署kubernetes 集群的工具，这个工具能通过两条指令完成一个kubernetes 集群的部署：

• 创建一个Master 节点kubeadm init
• 将Node 节点加入到当前集群中$ kubeadm join

2.3 安装要求

在开始之前，部署Kubernetes 集群机器需要满足以下几个条件：

• 一台或多台机器，操作系统CentOS7.x-86_x64
• 禁止swap 分区
• 可以访问外网，需要拉取镜像
• 集群中所有机器之间网络互通
• 硬件配置：2GB 或更多RAM，2 个CPU 或更多CPU，硬盘30GB 或更多

2.4 最终目标

• 在所有节点上安装Docker 和kubeadm
• 部署Dashboard Web 页面，可视化查看Kubernetes 资源
• 部署Kubernetes Node，将节点加入Kubernetes 集群中
• 部署容器网络插件
• 部署Kubernetes Master

2.5 准备环境

角色	IP地址	组件
my-master01	192.168.10.130	docker，kubectl，kubeadm，kubelet
my-node1	192.168.10.131	docker，kubectl，kubeadm，kubelet
my-node2	192.168.10.132	docker，kubectl，kubeadm，kubelet

2.6 环境初始化

2.6.1 检查操作系统的版本

# 此方式下安装kubernetes集群要求Centos版本要在7.5或之上

cat /etc/redhat-release

2.6.2 主机名解析

为了方便集群节点间的直接调用，在这个配置一下主机名解析，企业中推荐使用内部DNS服务器

# 主机名成解析 编辑三台服务器的/etc/hosts文件，添加下面内容

cat >> /etc/hosts << EOF

192.168.10.130 my-master1

192.168.10.131 my-node1

192.168.10.132 my-node2

EOF

2.6.3 时间同步

kubernetes要求集群中的节点时间必须精确一直

企业中建议配置内部的会见同步服务器

# 时间同步

yum install ntpdate -y

ntpdate time.windows.com

2.6.4 关闭防火墙

# 关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

2.6.5 关闭selinux

# 关闭

selinux sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久

setenforce 0 # 临时

2.6.6 禁用swap分区

swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

第一种：

# 关闭swap

swapoff -a # 临时

sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久

# 关闭完swap后，一定要重启一下虚拟机！！！

第二种：

# 编辑分区配置文件/etc/fstab，注释掉swap分区一行

# 注意修改完毕之后需要重启linux服务

vim /etc/fstab

注释掉 /dev/mapper/centos-swap swap

# /dev/mapper/centos-swap swap

2.6.7 修改linux的内核参数

# 修改linux的内核采纳数，添加网桥过滤和地址转发功能

# 编辑/etc/sysctl.d/k8s.conf文件，

添加如下配置：

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

命令：

cat > /etc/sysctl.d/k8s.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv4.ip_forward = 1

EOF

2.6.8 安装docker（点击）

基于文档中的安装 Docker 文件进行安装

# 配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json，

加入以下内容

"exec-opts": ["native.cgroupdriver=systemd"]

# 重启 docker

systemctl daemon-reload

systemctl restart docker

2.6.9 安装Kubernetes组件

# 1、由于kubernetes的镜像在国外，速度比较慢，这里切换成国内的镜像源

# 2、编辑/etc/yum.repos.d/kubernetes.repo,

添加下面的配置

cat > /etc/yum.repos.d/kubernetes.repo << EOF

[kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

# 3、安装kubeadm、kubelet和kubectl

yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6

# 4、设置kubelet开机自启

systemctl enable kubelet

2.6.10 集群初始化

下面的操作只需要在master节点上执行即可

kubeadm init \

            --apiserver-advertise-address=192.168.10.130 \

            --image-repository registry.aliyuncs.com/google_containers \

            --kubernetes-version v1.23.6 \

            --service-cidr=10.96.0.0/12 \

             --pod-network-cidr=10.244.0.0/16

返回参数： kubeadm join 192.168.10.130:6443 --token 697vj7.0mjbgkupjomaaqzi \

--discovery-token-ca-cert-hash sha256:041ab8b8a1f95b9e6e98289e3a0eb8488a2a5df3fcfb5caf598fe9c280d37a9e

# 创建必要文件

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

下面的操作只需要在node节点上执行即可

kubeadm join 192.168.10.130:6443 --token 697vj7.0mjbgkupjomaaqzi --discovery-token-ca-cert-hash sha256:041ab8b8a1f95b9e6e98289e3a0eb8488a2a5df3fcfb5caf598fe9c280d37a9e

分别在 my-node1 和 my-node2 执行

# 下方命令可以在 my-master1 控制台初始化成功后复制 join 命令

kubeadm join 192.168.10.130:6443 --token 697vj7.0mjbgkupjomaaqzi --discovery-token-ca-cert-hash sha256:041ab8b8a1f95b9e6e98289e3a0eb8488a2a5df3fcfb5caf598fe9c280d37a9e

# 如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请

# 如果 token 已经过期，就重新申请

kubeadm token create

# token 没有过期可以通过如下命令获取

kubeadm token list

# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \ openssl dgst -sha256 -hex | sed 's/^.* //'

在master上查看节点信息(此时应该是NotReady)

原因是没下载全镜像

kubectl get pods -n kube-system

此时有一些镜像是pending

2.6.11部署CNI网络插件

# 在 master 节点上执行

# 下载 calico 配置文件，

可能会网络超时 curl https://docs.projectcalico.org/manifests/calico.yaml -O

# 修改 calico.yaml 文件中的 CALICO_IPV4POOL_CIDR 配置，修改为与初始化的 cidr 相同

# 修改 IP_AUTODETECTION_METHOD 下的网卡名称

# 删除镜像 docker.io/ 前缀，避免下载过慢导致失败

sed -i 's#docker.io/##g' calico.yaml

使用配置文件启动

calico.yaml kubectl apply -f calico.yaml

等待它安装完毕 发现已经是 集群的状态已经是Ready

2.7 集群测试

2.7.1 创建一个nginx服务

kubectl create deployment nginx --image=nginx:1.14-alpine

2.7.2 暴露端口

kubectl expose deploy nginx --port=80 --target-port=80 --type=NodePort

2.7.3 查看服务

kubectl get pod,svc

2.7.4 查看pod

浏览器测试结果：