k8s是用来管理docker的，是来自google的论文，用于在k8s上进行，对容器控制，包含资源分配，启动控制，监控。docker移动非常方便，但由于docker内部的封闭环境，当docker数量较多时，不方便管理。k8s帮助了企业，更好的压缩成本，更好的利用资源。

环境准备

centos7一定要是7.9，否则你要手动升级linux内核。k8s对内核有要求。

由于是管理docker的，首先得需要安装docker

安装docker

查看是否存在docker

rpm -qa|grep docker

存在，则卸载旧版本docker

sudo yum remove docker*

下载docker相关的依赖

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

#配置docker的yum下载地址

sudo yum-config-manager \ --add-repo \ http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#生成缓存

sudo yum makecache

#查看docker版本

yum list docker-ce --showduplicates | sort -r

#安装指定版本docker

sudo yum install -y docker-ce-19.03.9-3.el7 docker-ce-cli-19.03.9-3.el7 containerd.io

#启动docker

sudo systemctl start docker

#输入docker version，【此时能看到，client和server代表安装成功】

K8S搭建

网上说主机名称不能为localhost

hostnamectl set-hostname 主机名称

关闭swap分区（防止内存自动交换）

swapoff -a

安装kubelet、kubeadm、kubectl

所有机器配置k8s的yum源地址及安装并启动kubelet。

#配置k8s的yum源地址
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#安装 kubelet，kubeadm，kubectl
sudo yum install -y kubelet-1.13.1 kubeadm-1.13.1 kubectl-1.13.1

#设置开机启动
sudo systemctl enable --now kubelet

由于国内为发展国内互联网经济的同时，也产生了弊端，那就是无法访问一些外网（k8s是google的）。

下面获取国内镜像源，比如阿里，网易

先设置版本

K8S_VERSION=v1.13.1
ETCD_VERSION=3.2.24
DASHBOARD_VERSION=v1.8.3
FLANNEL_VERSION=v0.10.0-amd64
DNS_VERSION=1.2.0
PAUSE_VERSION=3.1

组件拉取（一个一个安装，目前测试阿里的失效了，所以用他的）

docker pull mirrorgooglecontainers/kube-apiserver-amd64:$K8S_VERSION
docker pull mirrorgooglecontainers/kube-controller-manager-amd64:$K8S_VERSION
docker pull mirrorgooglecontainers/kube-scheduler-amd64:$K8S_VERSION
docker pull mirrorgooglecontainers/kube-proxy-amd64:$K8S_VERSION
docker pull mirrorgooglecontainers/etcd-amd64:$ETCD_VERSION
docker pull mirrorgooglecontainers/pause:$PAUSE_VERSION
docker pull coredns/coredns:$DNS_VERSION

修改tag标签，让他认为是从官网下的

docker tag mirrorgooglecontainers/kube-proxy-amd64:v1.13.1 k8s.gcr.io/kube-proxy-amd64:v1.13.1

docker tag mirrorgooglecontainers/kube-apiserver-amd64:v1.13.1 k8s.gcr.io/kube-apiserver-amd64:v1.13.1

docker tag mirrorgooglecontainers/kube-scheduler-amd64:v1.13.1 k8s.gcr.io/kube-scheduler-amd64:v1.13.1

docker tag mirrorgooglecontainers/kube-controller-manager-amd64:v1.13.1 k8s.gcr.io/kube-controller-manager-amd64:v1.13.1

docker tag mirrorgooglecontainers/etcd-amd64:3.2.24 k8s.gcr.io/etcd-amd64:3.2.24

docker tag coredns/coredns:1.2.0 k8s.gcr.io/coredns:1.2.0

docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1

初始化k8s可能遇到的问题

kubeadm init

报错

[ERROR SystemVerification]: missing required cgroups: pids
 To see the stack trace of this error execute with --v=5 or higher喊你升级呢

输入下面指令查看，是否存在pid，如果没有pid，则必须升级内核为centos7.9-2009版本的

cat /boot/config-`uname -r` | grep CGROUP

 rvirtual machine - Kubernetes: kubeadm init - CGROUPS_PIDS: missing - tack Overflow

k8s missing required cgroups: pids_胖胖胖胖胖虎的博客-CSDN博客

升级内核方法

https://blog.csdn.net/wulinpingailxr/article/details/96480526

升级内核，会影响很多东西。最好是能装7.9。升级会可能会遇到，开机失败。

警告：升级内核非常危险，很容易搞崩，而且可能影响其他已经安装的组件

K8S新方法

最好是能使用centos7.9，我们的系统有特殊原因不能升级，所以才采用的是centos7.3

由于我是centos7.3-1611，这是最低能支持k8s的centos版本。

docker的版本，centos7的版本，k8s的版本，必须保持兼容，否则安装失败。

1.10.1

下载地址，所需文件百度盘连接
链接：https://pan.baidu.com/s/1iQJpKZ9PdFjhz9yTgl0Wjg 密码：gwmh

分别设置主机名为master1 node1 ... 时区

timedatectl set-timezone Asia/Shanghai  #都要执行
hostnamectl set-hostname master1   #master1执行
hostnamectl set-hostname node1    #node1执行

在所有节点/etc/hosts中添加解析,master1,node1

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.181 matser1
192.168.1.182 node1

关闭所有节点的seliux以及firewalld

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
systemctl disable firewalld
systemctl stop firewalld

2. 安装docker

使用文件docker-packages.tar，每个节点都要安装。

tar -xvf docker-packages.tar
cd docker-packages
rpm -Uvh * 或者 yum install local *.rpm  进行安装
docker version        #安装完成查看版本

启动docker，并设置为开机自启

systemctl start docker && systemctl enable docker

输入

docker info

==记录Cgroup Driver==
Cgroup Driver: cgroupfs
docker和kubelet的cgroup driver需要一致，如果docker不是cgroupfs，则执行

cat << EOF > /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=cgroupfs"]
}
EOF
systemctl daemon-reload && systemctl restart docker

2. 安装kubeadm，kubectl，kubelet

使用文件kube-packages-1.10.1.tar，每个节点都要安装
kubeadm是集群部署工具
kubectl是集群管理工具，通过command来管理集群
kubelet的k8s集群每个节点的docker管理服务

tar -xvf kube-packages-1.10.1.tar
cd kube-packages-1.10.1
rpm -Uvh * 或者 yum install local *.rpm  进行安装

在所有kubernetes节点上设置kubelet使用cgroupfs，与dockerd保持一致，否则kubelet会启动报错

默认kubelet使用的cgroup-driver=systemd，改为cgroup-driver=cgroupfs
sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

重设kubelet服务，并重启kubelet服务
systemctl daemon-reload && systemctl restart kubelet

关闭swap，及修改iptables，不然后面kubeadm会报错

swapoff -a

vi /etc/fstab   #swap一行注释

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

3. 导入镜像

使用文件k8s-images-1.10.tar.gz，每个节点都要执行
节点较少，就不搭建镜像仓库服务了，后续要用的应用镜像，每个节点都要导入

docker load -i k8s-images-1.10.tar.gz 
一共11个镜像，分别是
k8s.gcr.io/etcd-amd64:3.1.12 
k8s.gcr.io/kube-apiserver-amd64:v1.10.1 
k8s.gcr.io/kube-controller-manager-amd64:v1.10.1 
k8s.gcr.io/kube-proxy-amd64:v1.10.1 
k8s.gcr.io/kube-scheduler-amd64:v1.10.1 
k8s.gcr.io/pause-amd64:3.1 
k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.8  
k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.8 
k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.8 
k8s.gcr.io/kubernetes-dashboard-amd64:v1.8.3 
quay.io/coreos/flannel:v0.9.1-amd64 

4. kubeadm init 部署master节点

只在master执行。此处选用最简单快捷的部署方案。etcd、api、controller-manager、 scheduler服务都会以容器的方式运行在master。etcd 为单点，不带证书。etcd的数据会挂载到master节点/var/lib/etcd
init部署是支持etcd 集群和证书模式的，配置方法见https://www.cnblogs.com/felixzh/p/9726199.html，此处略过。

init命令注意要指定版本，和pod范围

kubeadm init --kubernetes-version=v1.10.1 --pod-network-cidr=10.244.0.0/16

记下join的命令，后续node节点加入的时候要用到，下图红色的为join命令,开头为kubeadm join ...

执行提示的命令，保存kubeconfig

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时执行kubectl get node 已经可以看到master节点，notready是因为还未部署网络插件

kubectl get node

 查看所有的pod，kubectl get pod --all-namespaces
kubedns也依赖于容器网络，此时pending是正常的

kubectl get pod --all-namespaces

配置KUBECONFIG变量

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
source /etc/profile
echo $KUBECONFIG    #应该返回/etc/kubernetes/admin.conf

5. 部署flannel网络

k8s支持多种网络方案，flannel，calico，openvswitch
此处选择flannel。 在熟悉了k8s部署后，可以尝试其他网络方案，我另外一篇1.9部署中有介绍flannel和calico的方案，以及切换时需要的动作。

kubectl apply -f kube-flannel.yml

网络就绪后，节点的状态会变为ready

如果要新增节点，则输入刚刚的join命令

kubeadm join 192.168.1.181:6443 --token wct45y.tq23fogetd7rp3ck --discovery-token-ca-cert-hash sha256:c267e2423dba21fdf6fc9c07e3b3fa17884c4f24f0c03f2283a230c70b07772f

在通过下面的命令查看节点

kubectl get node

.如果忘了join命令，加入节点方法

若node已经成功加入，忽略这一步。

使用场景：忘了保存上面kubeadm init生产的join命令，可按照下面的方法加入node节点。
首先master节点获取token，如果token list内容为空，则kubeadm token create创建一个，记录下token数据

kubeadm token list

node节点执行如下，把token部分进行替换

kubeadm join --token wct45y.tq23fogetd7rp3ck 192.168.1.181:6443 --discovery-token-unsafe-skip-ca-verification

部署k8s ui界面，dashboard

dashboard是官方的k8s 管理界面，可以查看应用信息及发布应用。dashboard的语言是根据浏览器的语言自己识别的
官方默认的dashboard为https方式，如果用chrome访问会拒绝。本次部署做了修改，方便使用，使用了http方式，用chrome访问正常。
一共需要导入3个yaml文件

kubectl apply -f kubernetes-dashboard-http.yaml
kubectl apply -f admin-role.yaml
kubectl apply -f kubernetes-dashboard-admin.rbac.yaml

创建完成后，通过 http://任意节点的IP:31000即可访问ui

 结束！

说明

K8s不能在master节点上进行reset，这样所有节点都会挂

reset后必须通过初始化

kubeadm init --kubernetes-version=v1.10.1 --pod-network-cidr=10.244.0.0/16

如何从集群中移除Node

如果需要从集群中移除node2这个Node执行下面的命令：

在master节点上执行：

kubectl drain node2 --delete-local-data --force --ignore-daemonsets
kubectl delete node node2

在node2上执行：

kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

在node1上执行：

kubectl delete node node2

参考大神:

centos7.3 kubernetes/k8s 1.10 离线安装 --已验证 - L1ZM - 博客园