实验环境的设置：
k8s资料包
master:14.0.0.10
node1:14.0.0.11 （有dokcer环境）
node2:14.0.0.13 （有dokcer环境）
iptables -F
setenforce 0

实验步骤：
在master:14.0.0.10上：
mkdir k8s
cd k8s
从k8s资料包中，将etcd-cert.sh(创建证书的脚本) etcd.sh(创建服务的脚本)拖进来到k8s下

mkdir etcd-cert（证书群）
cd etcd-cert
从k8s资料包中，将文件夹etcd-cert里面的cfssl、cfssljson、cfssl-certinfo直接拖进来！！
mv * /usr/local/bin/
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo
1、定义ca证书：
cat > ca-config.json <<EOF
{
“signing”: {
“default”: {
“expiry”: “87600h”
},
“profiles”: {
“www”: {
“expiry”: “87600h”,
“usages”: [
“signing”,
“key encipherment”,
“server auth”,
“client auth”
]
}
}
}
}
EOF

2、实现证书签名：
cat > ca-csr.json <<EOF
{
“CN”: “etcd CA”,
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “Beijing”,
“ST”: “Beijing”
}
]
}
EOF

cfssl gencert -initca ca-csr.json | cfssljson -bare ca - “生成ca-key.pem ca.pem证书！！！”
注意： ls etcd-cert >>> 有5个文件： 1、ca-config.json 、 2、ca.csr(生成证书的中间件) 、3、ca-csr.json 、4、ca-key.pem 、5、ca.pem

3、指定etcd三个节点之间的通信验证：
cat > server-csr.json <<EOF
{
“CN”: “etcd”,
“hosts”: [
“14.0.0.10”,
“14.0.0.11”,
“14.0.0.13”
],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”
}
]
}
EOF

4、生成ETCD证书 server-key.pem server.pem
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
注意：此时下面应该有9个文件

cd k8s >>
将kubernetes-server-linux-amd64.tar.gz 、etcd-v3.3.10-linux-amd64.tar.gz 拖进来 ，此时目录下有：etcd-cert.sh、etcd.sh、etcd-cert和两个压缩包
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
mkdir /opt/etcd/{cfg,bin,ssl} -p //cfg:配置文件，bin:命令文件，ssl:证书
mv etcd-v3.3.10-linux-amd64/etcd etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
cp etcd-cert/*.pem /opt/etcd/ssl/
bash etcd.sh etcd01 14.0.0.10 etcd02=https://14.0.0.11:2380,etcd03=https://14.0.0.13:2380 宣告群集名称
vim /opt/etcd/cfg/etcd ???
scp -r /opt/etcd/ root@14.0.0.11:/opt/
scp -r /opt/etcd/ root@14.0.0.13:/opt/
scp -r /usr/lib/systemd/system/etcd.service root@14.0.0.11:/usr/lib/systemd/system/
scp -r /usr/lib/systemd/system/etcd.service root@14.0.0.13:/usr/lib/systemd/system/
在node节点上：
ls /opt/etcd 有三个文件夹：bin(etcd、etcdctl)、cfg(etcd)、ssl(4.pem)

在node01、02节点上：
vim /opt/etcd/cfg/etcd 修改IP地址！！！

#[Member]
ETCD_NAME=“etcd02” ******etcd03
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS=“https://14.0.0.11:2380” ******14.0.0.13
ETCD_LISTEN_CLIENT_URLS=“https://14.0.0.11:2379” ******14.0.0.13

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS=“https://14.0.0.11:2380” ******14.0.0.13
ETCD_ADVERTISE_CLIENT_URLS=“https://14.0.0.11:2379” ******14.0.0.13
ETCD_INITIAL_CLUSTER=“etcd01=https://14.0.0.10:2380,etcd02=https://14.0.0.11:2380,etcd03=https://14.0.0.13:2380”
ETCD_INITIAL_CLUSTER_TOKEN=“etcd-cluster”
ETCD_INITIAL_CLUSTER_STATE=“new”

systemctl start etcd
systemctl status etcd
检查：systemctl status etcd “running” 既是成功！！
注意：在主节点的etcd-cert目录下检查群集状态！！！
[root@localhost etcd-cert]#/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints=“https://14.0.0.10:2379,https://14.0.0.11:2379,https://14.00.13:2379” cluster-health
显示“cluster is healthy！“既是成功！！！

在主节点etcd-cert目录下做flannel网络配置：
/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints=“https://14.0.0.10:2379,https://14.0.0.11:2379,https://14.0.0.13:2379” set /coreos.com/network/config ‘{ “Network”: “172.17.0.0/16”, “Backend”: {“Type”: “vxlan”}}’
在子节点cd /opt/etcd/ssl目录下检查：
/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints=“https://14.0.0.10:2379,https://14.0.0.11:2379,https://14.0.0.13:2379” get /coreos.com/network/config
两次都有{ “Network”: “172.17.0.0/16”, “Backend”: {“Type”: “vxlan”}}显示，说明成功！！

在两个node节点上：
将资料包中的flannel-v0.10.0-linux-amd64.tar.gz拖进来！！
tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 有3个文件出来！！
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/

将资料包里面的 flannel.sh 拖进来！！！启动flannel
bash flannel.sh https://14.0.0.10:2379,https://14.0.0.11:2379,https://14.0.0.13:2379

配置docker连接flannel
vim /usr/lib/systemd/system/docker.service
13# for containers run by docker
14 EnvironmentFile=/run/flannel/subnet.env 添加
15 ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock

cat /run/flannel/subnet.env //说明：容器的网卡的号码

systemctl daemon-reload
systemctl restart docker
ifconfig >> 会有一个”flannel.1: “网卡！！ docker0 对接 flannel.1

创建容器检查ip地址的正确性：
docker run -it centos:7 /bin/bash
yum install net-tools -y
ifconfig
在查出来的IP地址相互ping,看是否能够通？？

------------------------------------部署master组件-----------------------------
1、生成api-server证书。在master节点的k8s目录下：
将master.zip拖进来
unzip master.zip
mkdir /opt/kubernetes/{cfg,bin,ssl} -p
mkdir k8s-cert
cd k8s-cert/ >>将k8s-cert.sh 拖进来
注意修改cat > server-csr.json <>里面的部分代码：IP地址群：2个master、1个飘逸地址、2个nginx反向代理master地址(负载均衡器)
bash k8s-cert.sh
ls .pem >>会有8个、4组的证书：2个admin、2个ca、2个kube-proxy、2个server
cp capem server*pem /opt/kubernetes/ssl/

cd … >>在k8s目录下将kubernetes-server-linux-amd64.tar.gz拖进来！！！
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd /root/k8s/kubernetes/server/bin
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/

head -c 16 /dev/urandom | od -An -t x | tr -d ’ ’ >>生成的码字xxxxxxxxx
vim /opt/kubernetes/cfg/token.csv >>添加下面的字段！！！！ 3200edb5769b3a64cd4f93b679652457
xxxxxxxxxxxxxxxxxxx,kubelet-bootstrap,10001,“system:kubelet-bootstrap”

cd /root/k8s/
bash apiserver.sh 14.0.0.10 https://14.0.0.10,https://14.0.0.11:2379,https://14.0.0.13:2379
cat /opt/kubernetes/cfg/kube-apiserver >>检查相关参数是否正常？？？
netstat -ntap | grep 6443 https >>>这里就是一个坎，必须正确才能往后做
netstat -ntap | grep 8080 http
./scheduler.sh 127.0.0.1
chmod +x controller-manager.sh
./controller-manager.sh 127.0.0.1
/opt/kubernetes/bin/kubectl get cs >>查看master节点状态：必须都是健康状态！！！

------------------------------------node节点部署------------------------------------------
在master的bin目录下 cd /root/k8s/kubernetes/server/bin：
scp kubelet kube-proxy root@14.0.0.11:/opt/kubernetes/bin/
scp kubelet kube-proxy root@14.0.0.13:/opt/kubernetes/bin/

在两个node的~下：将node.zip拖进来
unzip node.zip

在master的k8s目录下：
mkdir kubeconfig
cd kubeconfig/ >> 将包里面的kubeconfig.sh拖进来！！
mv kubeconfig.sh kubeconfig
vim kubeconfig

删除前面8行,在17行修改： --token=6351d652249951f79c33acdab329e4c4 \ （前面生成的随机码）
vim /etc/profile
在末尾添加 export PATH=$PATH:/opt/kubernetes/bin/
source /etc/profile
kubectl get cs >>检查群集的健康状态！！！
bash kubeconfig 14.0.0.10 /root/k8s/k8s-cert/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@14.0.0.11:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@14.0.0.13:/opt/kubernetes/cfg/
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

在node1的~下：
bash kubelet.sh 14.0.0.11
ps aux | grep kube

在master的kubeconfig目录下：
kubectl get csr >>检查到node的请求，有个识别码用于下面！！
kubectl certificate approve +XXXXXXXXXXXXXXXX >>给予建立的权限
kubectl get csr >>Approved,Issued 既是成功！！
kubectl get node >>有一个节点出现并是Ready状态！！

在node1上面：
bash proxy.sh 14.0.0.11
systemctl status kube-proxy.service >>running既是成功！！！
scp -r /opt/kubernetes/ root@14.0.0.13:/opt/
scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@14.0.0.13:/usr/lib/systemd/system/

在node2的~下：
cd /opt/kubernetes/ssl/
rm -rf *
cd …/cfg
vim kubelet
–hostname-override=14.0.0.13
vim kubelet.config
address: 14.0.0.13
vim kube-proxy
–hostname-override=14.0.0.13
systemctl start kubelet.service
systemctl enable kubelet.service
systemctl start kube-proxy.service
systemctl enable kube-proxy.service

在master上：
kubectl get csr 》》生成授权码
kubectl certificate approve +xxxxxxxxxxx（上面生成的授权码）
kubectl get nodes
全集里面的所有节点都是ready既是成功！！！！

在master1上：
scp -r /opt/kubernetes/ root@14.0.0.14:/opt
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@14.0.0.14:/usr/lib/systemd/system/
scp -r /opt/etcd/ root@14.0.0.14:/opt/
在master2上：
vim /opt/kubernetes/cfg/kube-apiserver 修改
systemctl start kube-apiserver.service >>第5、7行做修改（改成自己的IP地址）！！
systemctl start kube-controller-manager.service
systemctl start kube-scheduler.service
vim /etc/profile >> 添加 export PATH=$PATH:/opt/kubernetes/bin/
source /etc/profile
kubectl get node

在两台反向代理的服务器上都做：
vim /etc/yum.repos.d/nginx.repo
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0

yum install nginx -y
vim /etc/nginx/nginx.conf
在events {
worker_connections 1024;
}
添加***************
stream {

log_format main ‘$remote_addr $upstrea{m}_{a}ddr-[$time_local] $status $upstream_bytes_sent’;
access_log /var/log/nginx/k8s-access.log main;

upstream k8s-apiserver {
    server 14.0.0.10:6443;
    server 14.0.0.14:6443;
}
server {
            listen 6443;
            proxy_pass k8s-apiserver;
}
}

---

systemctl start nginx
将脚本拖进来！！
cp keepalived.conf /etc/keepalived/keepalived.conf
vim /etc/keepalived/keepalived.conf >>修改相关参数
vim /etc/nginx/check_nginx.sh
count=$(ps-ef|grepnginx|egrep-cv"grep|$$")if["$count" -eq 0 ];then
systemctl stop keepalived
fi
chmod +x /etc/nginx/check_nginx.sh
systemctl start keepalived
ip a >>查看是否存在虚拟的IP地址，在master上pkill nginx是否存在地址飘逸！！！

在两个node 节点上：
[root@localhost cfg]# vim /opt/kubernetes/cfg/bootstrap.kubeconfig
[root@localhost cfg]# vim /opt/kubernetes/cfg/kubelet.kubeconfig
[root@localhost cfg]# vim /opt/kubernetes/cfg/kube-proxy.kubeconfig
修改：server: https://14.0.0.100:6443

在nginx反向代理服务器上：
tail /var/log/nginx/k8s-access.log >>是否存在两个node 节点地址和两个master的地址

在matser01上：
kubectl run nginx --image=nginx
kubectl get pods >> ContainerCreating > Running
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous
kubectl logs +xxxxxxxxxxx (kubectl get pods里面的序列码)
kubectl get pods -o wide
在分配的节点上：curl 172.17.31.3 （NODE下面的序列号）