自己动手安装k8s是为了能对其有更深的理解，方便自己渗透工作。
一、环境

1. centos7，内核：3.10.0-514.26.2.el7.x86_64
2. kubelet、kubeadm、 kubectl和docker版本最好完全一致，本次均为1.19版本

二、master和node节点准备工作

1. 关闭防火墙

systemctl disable firewalld.service 
systemctl stop firewalld.service

2. 禁用SELINUX

setenforce 0
vi /etc/selinux/config
SELINUX=disabled

3. 关闭 swap
   swapoff -a
4. 设置时区

timedatectl set-timezone Asia/Shanghai
systemctl restart rsyslog

5. 设置 iptables 可以看到 bridged traffic
   modprobe br_netfilter

三、master安装

1. 初始化k8s集群
   （1）使用阿里云镜像安装kubelet、kubeadm、 kubectl

cat>>/etc/yum.repos.d/kubrenetes.repo<<EOF
[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
EOF
yum install -y kubelet-1.19.3  kubeadm-1.19.3  kubectl-1.19.3 --disableexcludes=kubernetes

（2）下载阿里云镜像并重新打tag，运行以下脚本，改成自己要的版本：

#!/bin/bash
url=registry.cn-hangzhou.aliyuncs.com/google_containers
version=v1.19.3
images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
for imagename in ${images[@]} ; do
  docker pull $url/$imagename
  docker tag $url/$imagename k8s.gcr.io/$imagename
  docker rmi -f $url/$imagename
done
docker pull registry.cn-shenzhen.aliyuncs.com/cp_m/flannel:v0.10.0-amd64
docker tag registry.cn-shenzhen.aliyuncs.com/cp_m/flannel:v0.10.0-amd64 quay.io/coreos/flannel:v0.10.0-amd64

（3）初始化k8s集群
–apiserver-advertise-address为本机ip
kubeadm init --kubernetes-version=v1.19.3 --apiserver-advertise-address 10.34.xx.xx --pod-network-cidr=192.168.0.0/16

2. 配置 kubectl

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
source /etc/profile 
echo $KUBECONFIG

配置完后输入kubectl get node，可看到master节点主要组件都跑起来了，除了coredns，配置好pod网络后，coredns相关pod即可运行

kubectl get node也能看到master未就绪

3. 安装Pod网络
安装Pod网络是 Pod之间进行通信的必要条件，k8s支持众多网络方案，这里我们依然选用经典的 flannel方案
（1）首先设置系统参数：
sysctl net.bridge.bridge-nf-call-iptables=1
（2）初始化flannel网络
其中Network的值与
（3）初始化kube-flannel.yaml配置文件，将配置文件中的net-conf.json->Network地址改为和以上命令中–pod-network-cidr=值相同
kube-flannel.yaml配置文件参考：https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
四、添加node节点

1. 将节点添加到集群需要：
   （1）token：默认token有效期为24小时，可通过kubeadm token create(–ttl 0创建永不过期token)和kubeadm token list创建及列出token
   
   （2）Master节点的ca证书 sha256编码hash值：master机器上：openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
2. 完成master安装中的"（2）下载阿里云镜像并重新打tag"
3. Slave节点上执行如下命令来让其加入Master上已经就绪了的 k8s集群：
   （1）kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
   e.g：kubeadm join 10.34.xx.xx:6443 --token 799204.6xxxkaxxxxxxxxdz --discovery-token-ca-cert-hash sha256:d1df573exxxxe77766eb2fb5c37e490d5bc18309192dac42f43b98cbb96xxxxx
   
   （2）journalctl -f -u kubelet.service发现存在类似"no networks found in /etc/cni/net.d"错误，将master节点中/etc/cni/net.d/下所有文件复制至node节点即可
   
   （3）将master机器上/run/flannel/subnet.env文件，复制到每个slave节点下机器，否则新建pod时无法新建网络
   
   （4）kubectl create -f pod_nginx.yaml创建pod
   
   （5）部分pod启动后，容器内无常驻进程，导致容器退出后反复启动，需要更改创建文件如下(command: ["/bin/bash", "-ce", "tail -f /dev/null"])：

apiVersion: v1
kind: Pod
metadata:
  name: centos7
spec:
  containers:
  - image: centos:7
    command: ["/bin/bash", "-ce", "tail -f /dev/null"]
    name: container
    volumeMounts:
    - mountPath: /mnt
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /