概述：

Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。

Kubernetes集群包含所有节点代理kubelet和Master组件（APIs、scheduler、etc），一切都基于分布式的存储系统.

Master为管理节点主要负责K8S集群管理，集群中各节点间的信息交互、任务调度，还负责容器、Pod、NameSpaces、PV等生命周期的管理。

Node 节点是真正运行应用容器的工作节点，在每个 Node 节点上都会运行一个 Kubelet 代理，控制该节点上的容器、镜像和存储卷等。

Kubernetes主要由以下几个核心组件组成：

etcd：保存了整个集群的状态；
apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；
controller manager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；
scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；
kubelet：负责维护容器的生命周期，同时也负责Volume（CVI）和网络（CNI）的管理；
Container runtime：负责镜像管理以及Pod和容器的真正运行（CRI）；
kube-proxy：负责为Service提供cluster内部的服务发现和负载均衡，负责将访问到某个服务的请求具体分配给工作节点上的 Pod。

pod

一个pod就是一个或一组共享网络/存储的容器。
在一个 Pod 中同时运行多个容器。一个 Pod 中也可以同时封装几个需要紧密耦合互相协作的容器，它们之间共享资源。这些在同一个 Pod 中的容器可以互相协作成为一个 service 单位 —— 一个容器共享文件，另一个 “sidecar” 容器来更新这些文件。Pod 将这些容器的存储资源作为一个实体来管理。

pod的状态

pending（等待中）：Pod 已被 Kubernetes 系统接受，但有一个或者多个容器尚未创建亦未运行。此阶段包括等待 Pod 被调度的时间和通过网络下载镜像的时间。

running（运行中）：Pod 已经绑定到了某个节点，Pod 中所有的容器都已被创建。至少有一个容器仍在运行，或者正处于启动或重启状态。

succeeded （正常终止）：Pod 中的所有容器都已成功终止，并且不会再重启。

failed （异常停止）：Pod 中的所有容器都已终止，并且至少有一个容器是因为失败终止。也就是说，容器以非 0 状态退出或者被系统终止。

unknown（为止状态）：因为某些原因无法取得 Pod 的状态。这种情况通常是因为与 Pod 所在主机通信失败。

pod详细状态描述

状态	描述
CrashLoopBackOff	容器退出，kubelet正在将它重启
InvalidImageName	无法解析镜像名称
ImageInspectError	无法校验镜像
ErrImageNeverPull	策略禁止拉取镜像
ImagePullBackOff	正在重试拉取
RegistryUnavailable	连接不到镜像中心
ErrImagePull	通用的拉取镜像出错
CreateContainerConfigError	不能创建kubelet使用的容器配置
CreateContainerError	创建容器失败
m.internalLifecycle.PreStartContainer	执行hook报错
RunContainerError	启动容器失败
PostStartHookError	执行hook报错
ContainersNotInitialized	容器没有初始化完毕
ContainersNotRead	容器没有准备完毕
ContainerCreating	容器创建中
PodInitializing	pod 初始化中
DockerDaemonNotReady	docker还没有完全启动
NetworkPluginNotReady	网络插件还没有完全启动

kubeadm部署k8s集群v1.14.1

一、前提条件

部署kubernetes集群机器需要满足的条件:

> 一台或多台机器，操作系统 CentOS7.x-86_x64（`centos7以上的系统`）。
> 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多。
> 可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点。
> 必须禁止swap分区。

二、准备环境

ip	主机名
192.168.200.66	master（主节点/管理节点）
192.168.200.67	node1 （工作节点）
192.168.200.68	node2（工作节点）

（一）所有节点关闭防火墙

systemctl stop firewalld && systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

（二）更改主机名

hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2

（三）所有节点关闭swap交换空间

关闭的交换空间的原因：是为了性能考虑，如果一个 pod 开了交换空间，可能被认为有很多剩余资源，从而被分配较多的实例。

swapoff -a   #临时关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab     #永久关闭

（三）所有节点添加hosts

cat >> /etc/hosts << EOF
192.168.200.66 master
192.168.200.67 node1
192.168.200.68 node2
EOF

（四）所有节点配置内核参数

 cat << EOF | tee /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

modprobe br_netfilter  #加载 br_netfilter 模块到内核
sysctl -p /etc/sysctl.d/k8s.conf   #生效配置文件

（四）所有节点配置IPVS

 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
lsmod | grep -e ip_vs -e nf_conntrack_ipv4   #查看是否已经正确加载所需的内核模块

所有节点安装ipset软件包

yum install ipset ipvsadm -y

三、所有节点安装docker

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
yum install docker-ce-18.09.6 docker-ce-cli-18.09.6 containerd.io -y
systemctl enable docker && systemctl start docker

cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
   "exec-opts": ["native.cgroupdriver=systemd"]
#配置cgroup driver,对于使用systemd作为init system的Linux的发行版，使用systemd作为docker的cgroup driver可以确保服务器节点在资源紧张的情况更加稳定.
}
EOF


systemctl daemon-reload
systemctl restart docker
systemctl enable docker

uname -a：查看系统名、节点名称、操作系统的发行版号、操作系统版本
overlay2是运行 Linux 内核版本 4.0 或更高版本，或使用版本 3.10.0-514及更高版本的 RHEL 或CentOS 的系统的首选存储驱动程序。

四、部署集群

（一）所有节点配置yum源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

（二）所有节点安装kubeadm，kubelet和kubectl

Kubelet负责与其他节点集群通信，并进行本节点Pod和容器生命周期的管理。
Kubeadm是Kubernetes的自动化部署工具，降低了部署难度，提高效率。
Kubectl是Kubernetes集群管理工具

yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1 
systemctl start kubelet && systemctl enable kubelet

（三）master 节点初始化Kubernetes集群

kubeadm init --apiserver-advertise-address 192.168.200.66 --kubernetes-version="v1.14.1"  --pod-network-cidr=10.244.0.0/16   --service-cidr=10.96.0.0/12 --image-repository=registry.aliyuncs.com/google_containers

参数解释：

--image-repository:指定要使用的镜像仓库；
--apiserver-advertise-address: apiserver 引用给其他组件的IP地址，一般应该是主节点的用于0内部通信的IP地址，0.0.0.0表示节点上可用地址；
--kubernetes-version：kubernetes程序组件的版本号，应该与kubelet的版本号相同
–-pod-network-cidr:Pod网络的地址范围，其值为CIDR格式的网络地址，flannel网络插件的默认为10.244.0.0/16，callco插件的默认值为192.168.0.0/16；根据kube-flannel.yml文件写入。
--service-cidr: Service的网咯地址范围，其值为CIDR格式的网络地址，默认为10.96.0.0/12;

[root@master ~]# kubeadm init --apiserver-advertise-address 192.168.200.66 --kubernetes-version="v1.14.1"  --pod-network-cidr=10.244.0.0/16   --service-cidr=10.96.0.0/12 --image-repository=registry.aliyuncs.com/google_containers
W0611 02:16:26.422410   95252 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.14.1
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [master kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.200.66]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [master localhost] and IPs [192.168.200.66 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [master localhost] and IPs [192.168.200.66 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
W0611 02:16:30.265215   95252 manifests.go:225] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
[control-plane] Creating static Pod manifest for "kube-scheduler"
W0611 02:16:30.266754   95252 manifests.go:225] the default kube-apiserver authorization-mode is "Node,RBAC"; using "Node,RBAC"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 17.004509 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.18" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node master as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node master as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: ta9t9x.pvoj1vs3f9asae1c
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.200.66:6443 --token ta9t9x.pvoj1vs3f9asae1c \
    --discovery-token-ca-cert-hash sha256:21697a2daaae041da45cb2b587a3a078fc81752b20a40e3dfc9f233187dd5fd7 

[init]：指定版本进行初始化操作。

[preflight]：初始化前的检查和下载所需要的Docker镜像文。

[kubelet-start]：生成Kubelet的配置文件/var/lib/kubelet/config.yaml，没有这个文件Kubelet无法启动，所以初始化之前的Kubelet实际上启动失败。

[certificates]：生成Kubernetes使用的证书，存放在/etc/kubernetes/pki目录中。

[kubeconfig]：生成KubeConfig文件，存放在/etc/kubernetes目录中，组件之间通信需要使用对应文件。

[control-plane]：使用/etc/kubernetes/manifest目录下的YAML文件，安装Master组件。

[etcd]：使用/etc/kubernetes/manifest/etcd.yaml安装Etcd服务。

[wait-control-plane]：等待control-plan部署的Master组件启动。

[apiclient]：检查Master组件服务状态。

[uploadconfig]：更新配置。

[kubelet]：使用configMap配置Kubelet。

[patchnode]：更新CNI信息到Node上，通过注释的方式记录。

[mark-control-plane]：为当前节点打标签，打了角色Master，和不可调度标签，这样默认就不会使用Master节点来运行Pod。

[bootstrap-token]：生成的Token需要记录下来，后面使用kubeadm join命令往集群中添加节点时会用到。

[addons]：安装附加组件CoreDNS和kube-proxy。

（1）master节点配置kubectl工具

[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

（2）node节点（工作节点）加入到集群

默认token有效期为24小时，使用下面命令重新生成token。

[root@master ~]#kubeadm token create --print-join-command   

五、查看集群状态

(一)kubectl get cs #查看K8s集群状态

[root@master ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   

(二)kubectl get node #查看节点状态

[root@master ~]# kubectl get node
NAME     STATUS   ROLES    AGE   VERSION
master   NotReady     master   39m   v1.14.1
node1    NotReady     <none>   37m   v1.14.1

状态是 NotReady 是因为网络还没配置

六、k8s集群安装flannel网络插件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

[root@master ~]# kubectl apply -f kube-flannel.yml 
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created

[root@master ~]# kubectl get node
NAME     STATUS   ROLES    AGE   VERSION
master   Ready     master   39m   v1.14.1
node1    Ready     <none>   37m   v1.14.1

查看pods状态

[root@master ~]# kubectl get pods -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-7ff77c879f-sdrgc         1/1     Running   0          21m
coredns-7ff77c879f-zg8v2         1/1     Running   0          21m
etcd-master                      1/1     Running   0          22m
kube-apiserver-master            1/1     Running   0          22m
kube-controller-manager-master   1/1     Running   0          22m
kube-flannel-ds-rqndx            1/1     Running   0          85s
kube-flannel-ds-x7ktt            1/1     Running   0          85s
kube-proxy-5q2ps                 1/1     Running   0          21m
kube-proxy-dxwx5                 1/1     Running   0          9m54s
kube-scheduler-master            1/1     Running   0          22m

查看指定命名空间的pods的信息

[root@master ~]# kubectl get pods -n kube-system -o wide
NAME                             READY   STATUS    RESTARTS   AGE     IP               NODE     NOMINATED NODE   READINESS GATES
coredns-7ff77c879f-sdrgc         1/1     Running   0          23m     10.244.1.2       node1    <none>           <none>
coredns-7ff77c879f-zg8v2         1/1     Running   0          23m     10.244.1.3       node1    <none>           <none>
etcd-master                      1/1     Running   0          23m     192.168.200.66   master   <none>           <none>
kube-apiserver-master            1/1     Running   0          23m     192.168.200.66   master   <none>           <none>
kube-controller-manager-master   1/1     Running   0          23m     192.168.200.66   master   <none>           <none>
kube-flannel-ds-rqndx            1/1     Running   0          2m53s   192.168.200.67   node1    <none>           <none>
kube-flannel-ds-x7ktt            1/1     Running   0          2m53s   192.168.200.66   master   <none>           <none>
kube-proxy-5q2ps                 1/1     Running   0          23m     192.168.200.66   master   <none>           <none>
kube-proxy-dxwx5                 1/1     Running   0          11m     192.168.200.67   node1    <none>           <none>
kube-scheduler-master            1/1     Running   0          23m     192.168.200.66   master   <none>           <none>

出现的问题和解决的方法

`检查错误常用的命令

journalctl -xefu kubelet          #查看kubelet服务日志
systemctl status kubelet          #查看kubelet服务状态         
kubectl get cs                    #查看组件状态
kubectl get nodes                 #获取集群状态
kubectl get pods -n kube-system   #查看kube-system namespace下的pod状态
kubeadm token create --print-join-command   #token超时后，重新创建token

问题一、

[ERROR FileContent–proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1

解决

echo "1" > /proc/sys/net/ipv4/ip_forward

问题二、

node节点

解决

kubeadm reset -f               #重置节点
kubeadm join   ip --token      #重新加入集群

问题三、

解决：

在/etc/sysconfig/kubelet中添加--feature-gates SupportPodPidsLimit=false --feature-gates SupportNodePidsLimit=false
[root@master ~]# vi /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS=--feature-gates SupportPodPidsLimit=false --feature-gates SupportNodePidsLimit=false



systemctl daemon-reload
systemctl restart kubelet