Kubernetes云平台部署

注意事项：
1、Linux系统CentOS_7.5.1804系统，并保持网络通畅
2、docker的版本是Docker 18.09
3、硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
4、注重细节，命令不要用错了
准备：
两个节点，一个做 master 节点（我的是10.30.59.248），一个做 node节点（10.30.59.188）
还有两个压缩包K8S.tar.gz和Docker.tar.gz 两个压缩包大小都在1G以上
开始安装：
一、修改主机名，并做好主机映射
master节点：

[root@master ~]# hostnamectl set-hostname master
[root@master ~]# bash

node节点

[root@node ~]# hostnamectl set-hostname node
[root@node ~]# bash

两节点都要添加主机映射

[root@master ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localh
ost4.localdomain4
::1         localhost localhost.localdomain localhost6 localh
ost6.localdomain6
10.30.59.248 master
10.30.59.249 node

二、所有节点配置防火墙及SELinux
master节点和node节点

[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld
[root@master ~]# setenforce 0
setenforce: SELinux is disabled
[root@master ~]# iptables -F
[root@master ~]# iptables -X
[root@master ~]# iptables -Z
[root@master ~]# iptables-save
# Generated by iptables-save v1.4.21 on Tue Jun  8 19:23:34 2021
*nat
:PREROUTING ACCEPT [39:6713]
:INPUT ACCEPT [37:6529]
:OUTPUT ACCEPT [61:3958]
:POSTROUTING ACCEPT [61:3958]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
COMMIT
# Completed on Tue Jun  8 19:23:34 2021
# Generated by iptables-save v1.4.21 on Tue Jun  8 19:23:34 2021
*filter
:INPUT ACCEPT [20:1320]
:FORWARD DROP [0:0]
:OUTPUT ACCEPT [11:1028]
COMMIT
# Completed on Tue Jun  8 19:23:34 2021
[root@master ~]#

三、配好yum源使用刚刚上传的K8S.tar.gz和Docker.tar.gz做yum源

1、把两个压缩包解压到/opt/下
master节点：

[root@master ~]# ls
anaconda-ks.cfg  K8S.tar.gz
Docker.tar.gz    nginx-1.9.6.tar.gz
[root@master ~]# tar -zxvf Docker.tar.gz -C /opt/
[root@master ~]# tar -zxvf K8S.tar.gz -C /opt/

确保每个解压后再/opt/下有这个目录，并且目录下有repodata这个目录才是我们想要的yum源目录。

2、两个压缩包都解压后，把它写入yum源
master节点：

[root@master ~]# vim /etc/yum.repos.d/local.repo 
[docker]
name=docker
baseurl=file:///opt/Docker/
gpgcheck=0
enabled=1
[k8s]
name=k8s
baseurl=file:///opt/Kubernetes/
gpgcheck=0
enabled=1

3、清除缓存，重新加载看一下有没有这两个源
master节点：

[root@master ~]# yum clean all
[root@master ~]# yum repolist
已加载插件：fastestmirror
Determining fastest mirrors
 * base: mirrors.163.com
 * extras: mirrors.163.com
 * updates: mirrors.163.com
base                                  | 3.6 kB     00:00     
docker                                | 2.9 kB     00:00     
extras                                | 2.9 kB     00:00     
k8s                                   | 2.9 kB     00:00     
updates                               | 2.9 kB     00:00     
(1/6): docker/primary_db                | 851 kB   00:00     
(2/6): k8s/primary_db                   | 851 kB   00:00     
(3/6): extras/7/x86_64/primary_db       | 236 kB   00:00     
(4/6): base/7/x86_64/group_gz           | 153 kB   00:01     
(5/6): base/7/x86_64/primary_db         | 6.1 MB   00:03     
(6/6): updates/7/x86_64/primary_db      | 8.0 MB   00:06     
源标识                    源名称                       状态
base/7/x86_64             CentOS-7 - Base              10,072
docker                    docker                          463
extras/7/x86_64           CentOS-7 - Extras               476
k8s                       k8s                             463
updates/7/x86_64          CentOS-7 - Updates            2,189
repolist: 13,663

可以看到有了docker 和 k8s
4、安装ftp，使得两个节点能共用一个资源，然后开启并设置开机自启
master节点：

[root@master ~]# yum install vsftpd -y
[root@master ~]# vim /etc/vsftpd/vsftpd.conf
## 添加
anon_root=/opt/
[root@master ~]# systemctl start vsftpd
[root@master ~]# systemctl enable vsftpd

5、配置node节点也能够使用这个节点，配置node节点yum源
node节点：

[root@node ~]# vim /etc/yum.repos.d/local.repo 
[docker]
name=docker
baseurl=ftp://10.30.59.248/Docker/
gpgcheck=0
enabled=1
[k8s]
name=k8s
baseurl=ftp://10.30.59.248/Kubernetes/
gpgcheck=0
enabled=1
~
~
~
~
~
~
<yum.repos.d/local.repo" 10L, 152C written
[root@node ~]# yum clean all
[root@node ~]# yum repolist
Loaded plugins: fastestmirror
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.163.com
base                                  | 3.6 kB     00:00     
docker                                | 2.9 kB     00:00     
extras                                | 2.9 kB     00:00     
k8s                                   | 2.9 kB     00:00     
updates                               | 2.9 kB     00:00     
(1/6): docker/primary_db                | 851 kB   00:00     
(2/6): k8s/primary_db                   | 851 kB   00:00     
(3/6): base/7/x86_64/primary_db         | 6.1 MB   00:00     
(4/6): updates/7/x86_64/primary_db      | 8.0 MB   00:00     
(5/6): extras/7/x86_64/primary_db       | 242 kB   00:00     
(6/6): base/7/x86_64/group_gz           | 153 kB   00:02     
repo id                   repo name                    status
base/7/x86_64             CentOS-7 - Base              10,072
docker                    docker                          463
extras/7/x86_64           CentOS-7 - Extras               498
k8s                       k8s                             463
updates/7/x86_64          CentOS-7 - Updates            2,189
repolist: 13,685

四、所有节点升级系统内核

[root@master ~]# yum upgrade -y

然后重启

[root@master ~]# reboot

五、所有节点关闭Swap
Kubernetes的想法是将实例紧密包装到尽可能接近100%。所有的部署应该与CPU和内存限制固定在一起。 所以如果调度程序发送一个Pod到一台机器，它不应该使用交换。设计者不想交换，因为它会减慢速度。所以关闭Swap主要是为了性能考虑。

[root@master ~]# swapoff -a 
[root@master ~]# sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab

六、配置时间同步
1、所有节点安装chrony服务

[root@master ~]# yum install -y chrony

2、master节点修改/etc/chrony.conf文件，注释默认NTP服务器，指定上游公共NTP服务器，并允许其他节点同步时间。
master节点重启chronyd服务并设为开机启动，开启网络时间同步功能。

[root@master ~]# sed -i 's/^server/#&/' /etc/chrony.conf
[root@master ~]# cat >> /etc/chrony.conf << EOF
> local stratum 10
> server master iburst
> allow all
> EOF
[root@master ~]# systemctl enable chronyd && systemctl restart chronyd
[root@master ~]# timedatectl set-ntp true

3、node节点修改/etc/chrony.conf文件，指定内网master节点为上游NTP服务器，重启服务并设为开机启动。

[root@node ~]# sed -i 's/^server/#&/' /etc/chrony.conf
[root@node ~]# echo server 10.30.59.248 iburst >> /etc/chrony.conf    
[root@node ~]# systemctl enable chronyd && systemctl restart chronyd

4、所有节点执行chronyc sources命令，查询结果中如果存在以“^*”开头的行，即说明已经同步成功。

[root@node ~]# chronyc sources
210 Number of sources = 1
MS Name/IP address   Stratum     Poll     Reach     LastRx      Last       sample  ==============================================================================
^* master          3       6     17      40      -5130ns[  -73us] +/-   43ms

七、配置路由转发
由于IPVS已经加入到了内核的主干，所以为kube-proxy开启IPVS的前提需要加载以下的内核模块
所有节点都执行以下操作

[root@master ~]# cat << EOF | tee /etc/sysctl.d/k8s.conf
> net.ipv4.ip_forward = 1
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@master ~]# modprobe br_netfilter
[root@master ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

八、配置IPVS
由于IPVS已经加入到了内核的主干，所以为kube-proxy开启IPVS的前提需要加载以下的内核模块。
在所有节点执行以下操作

[root@master ~]#  cat > /etc/sysconfig/modules/ipvs.modules <<EOF
> #!/bin/bash
> modprobe -- ip_vs
> modprobe -- ip_vs_rr
> modprobe -- ip_vs_wrr
> modprobe -- ip_vs_sh
> modprobe -- nf_conntrack_ipv4
> EOF
[root@master ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
ip_vs_sh               12688  0 
ip_vs_wrr              12697  0 
ip_vs_rr               12600  0 
ip_vs                 145458  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack_ipv4      15053  2 
nf_defrag_ipv4         12729  1 nf_conntrack_ipv4
nf_conntrack          139264  7 ip_vs,nf_nat,nf_nat_ipv4,xt_conntrack,nf_nat_masquerade_ipv4,nf_conntrack_netlink,nf_conntrack_ipv4
libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack

上面脚本创建了/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块。使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块。
所有节点安装ipset软件包。

[root@master ~]# yum install ipset ipvsadm -y

八、安装docker
Kubernetes默认的容器运行时仍然是Docker，使用的是Kubelet中内置dockershim CRI实现。需要注意的是，由于在Kubernetes1.14的版本中，支持的版本有 1.13.1、 17.03、17.06、17.09、18.06和 18.09，所以这里统一使用Docker 18.09。
所有节点配置Docker Yum源并安装Docker，启动Docker引擎并设置开机自启。
前面我们已经配置了Docker Yum源，之间安装即可

所有节点都执行以下操作:

1、安装docker

[root@master ~]# yum install docker-ce -y

2、开启并设置开机自启

[root@master ~]# systemctl start docker && systemctl enable docker
Created symlink from /etc/systemd/system/multi-user.target.wants/docker.service to /etc/systemd/system/docker.service.

3、查看版本和docker的基本信息

[root@master ~]# docker info
Containers: 0
 Running: 0
 Paused: 0
 Stopped: 0
Images: 0
Server Version: 18.09.6

4、配置docker

[root@master ~]# tee /etc/docker/daemon.json <<-'EOF'
> {
>   "exec-opts": ["native.cgroupdriver=systemd"]
> }
> EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}
[root@master ~]#  systemctl daemon-reload
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker

5、执行kubernetes的脚本

[root@master ~]# cd /opt/
[root@master opt]# ls
containerd  images    jdk         kubernetes_base.sh
Docker      image.sh  Kubernetes  yaml
[root@master opt]# ./kubernetes_base.sh
[root@master opt]# docker info |grep Cgroup
Cgroup Driver: systemd

九、安装Kubernetes集群
如果想使用网络源可以配置网络yum源，如果不像使用，直接跳过即可，我们之前配置的本地k8s的源也可以用。

[root@master ~]# vi /etc/yum.repos.d/kubernetes.repo 
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

1、安装工具
Kubelet负责与其他节点集群通信，并进行本节点Pod和容器生命周期的管理。Kubeadm是Kubernetes的自动化部署工具，降低了部署难度，提高效率。Kubectl是Kubernetes集群管理工具。
所有节点安装Kubernetes工具并启动Kubelet。

[root@master opt]#  yum install -y kubelet-1.14.1 kubeadm-1.14.1 kubectl-1.14.1
[root@master opt]#  systemctl enable kubelet && systemctl start kubelet
Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service.

2、初始化Kubernetes集群
登录master节点，初始化Kubernetes集群。
看清楚！只有master节点初始化

[root@master opt]# kubeadm init --apiserver-advertise-address 10.30.59.248 --kubernetes-version="v1.14.1" --pod-network-cidr=10.16.0.0/16  --image-repository=registry.aliyuncs.com/google_containers
[init] Using Kubernetes version: v1.14.1
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
......
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.30.59.248:6443 --token 74b6kp.otq90uvs81tdqy7w \
    --discovery-token-ca-cert-hash sha256:fc61b647bde3cde7ac2030cb91ddce4f88a94ce95fe369396bb355f7c8810387 

初始化操作主要经历了下面15个步骤，每个阶段均输出均使用[步骤名称]作为开头：
① [init]：指定版本进行初始化操作。
② [preflight]：初始化前的检查和下载所需要的Docker镜像文。。
③ [kubelet-start]：生成Kubelet的配置文件/var/lib/kubelet/config.yaml，没有这个文件Kubelet无法启动，所以初始化之前的Kubelet实际上启动失败。
④ [certificates]：生成Kubernetes使用的证书，存放在/etc/kubernetes/pki目录中。
⑤ [kubeconfig]：生成KubeConfig文件，存放在/etc/kubernetes目录中，组件之间通信需要使用对应文件。
⑥ [control-plane]：使用/etc/kubernetes/manifest目录下的YAML文件，安装Master组件。
⑦ [etcd]：使用/etc/kubernetes/manifest/etcd.yaml安装Etcd服务。
⑧ [wait-control-plane]：等待control-plan部署的Master组件启动。
⑨ [apiclient]：检查Master组件服务状态。
⑩ [uploadconfig]：更新配置。
○11 [kubelet]：使用configMap配置Kubelet。
○12 [patchnode]：更新CNI信息到Node上，通过注释的方式记录。
○13 [mark-control-plane]：为当前节点打标签，打了角色Master，和不可调度标签，这样默认就不会使用Master节点来运行Pod。
○14 [bootstrap-token]：生成的Token需要记录下来，后面使用kubeadm join命令往集群中添加节点时会用到。
○15 [addons]：安装附加组件CoreDNS和kube-proxy。
Kubectl默认会在执行的用户home目录下面的.kube目录下寻找config文件，配置kubectl工具。
○12 [patchnode]：更新CNI信息到Node上，通过注释的方式记录。
○13 [mark-control-plane]：为当前节点打标签，打了角色Master，和不可调度标签，这样默认就不会使用Master节点来运行Pod。
○14 [bootstrap-token]：生成的Token需要记录下来，后面使用kubeadm join命令往集群中添加节点时会用到。
○15 [addons]：安装附加组件CoreDNS和kube-proxy。

3、如图，Kubectl默认会在执行的用户home目录下面的.kube目录下寻找config文件，配置kubectl工具
所以要执行①框里的命令，而②框里，–token后面的都要在别的节点加入集群的时候使用。

master节点执行执行①框里的命令

[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]#  sudo chown $(id -u):$(id -g) $HOME/.kube/config

4、查看集群状态

[root@master ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
controller-manager   Healthy   ok                  
scheduler            Healthy   ok                  
etcd-0               Healthy   {"health":"true"} 

可以看到都是健康的
5、配置Kubernetes网络
登录Master节点，将提供的kube-flannel.yml文件上传至Master节点root目录，使用kubectl apply命令安装网络。
在原先解压的压缩包里，有这个文件，所有在/opt/yaml/下可以找到

[root@master yaml]# ls
dashboard-adminuser.yaml   kubia.yaml
kube-flannel.yaml          kuboard.yaml
kubernetes-dashboard.yaml

[root@master yaml]# kubectl apply -f kube-flannel.yaml
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created
[root@master yaml]# kubectl get pods -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-8686dcc4fd-64s94         0/1     Pending   0          6m42s
coredns-8686dcc4fd-rwt2p         0/1     Pending   0          6m42s
etcd-master                      1/1     Running   0          5m59s
kube-apiserver-master            1/1     Running   0          5m48s
kube-controller-manager-master   1/1     Running   0          5m37s
kube-flannel-ds-amd64-k49cz      1/1     Running   0          12s
kube-proxy-jpfj2                 1/1     Running   0          6m42s
kube-scheduler-master            1/1     Running   0          5m38s

6、Node节点加入集群
登录Node节点，使用kubeadm join命令将Node节点加入集群
–token 和后面的是我们master初始化是的令牌，IP地址是master的

[root@node opt]# kubeadm join 10.30.59.248:6443 --token 74b6kp.otq90uvs81tdqy7w --discovery-token-ca-cert-hash  sha256:fc61b647bde3cde7ac2030cb91ddce4f88a94ce95fe369396bb355f7c8810387 

登录Master节点，检查各节点状态

[root@master yaml]# kubectl get nodes
NAME     STATUS   ROLES    AGE   VERSION
master   Ready    master   11m   v1.14.1
node     Ready    <none>   94s   v1.14.1

7、安装Dashboard
将提供的kubernetes-dashboard.yaml和dashboard-adminuser.yaml文件上传至Master节点root目录，使用kubectl apply命令安装Dashboard

[root@master yaml]# ls
dashboard-adminuser.yaml   kubia.yaml
kube-flannel.yaml          kuboard.yaml
kubernetes-dashboard.yaml
[root@master yaml]#  kubectl apply -f kubernetes-dashboard.yaml 
secret/kubernetes-dashboard-certs created
serviceaccount/kubernetes-dashboard created
role.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created
deployment.apps/kubernetes-dashboard created
service/kubernetes-dashboard created
[root@master yaml]#  kubectl create -f dashboard-adminuser.yaml 
serviceaccount/kubernetes-dashboard-admin created
clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard-admin created

检查所有Pod状态

[root@master yaml]#  kubectl get pods --all-namespaces  -o wide
NAMESPACE     NAME                                    READY   STATUS    RESTARTS   AGE     IP             NODE     NOMINATED NODE   READINESS GATES
kube-system   coredns-8686dcc4fd-64s94                1/1     Running   0          13m     10.16.0.3      master   <none>           <none>
kube-system   coredns-8686dcc4fd-rwt2p                1/1     Running   0          13m     10.16.0.2      master   <none>           <none>
kube-system   etcd-master                             1/1     Running   0          13m     10.30.59.248   master   <none>           <none>
kube-system   kube-apiserver-master                   1/1     Running   0          13m     10.30.59.248   master   <none>           <none>
kube-system   kube-controller-manager-master          1/1     Running   0          12m     10.30.59.248   master   <none>           <none>
kube-system   kube-flannel-ds-amd64-9np9n             1/1     Running   0          4m11s   10.30.59.188   node     <none>           <none>
kube-system   kube-flannel-ds-amd64-k49cz             1/1     Running   0          7m29s   10.30.59.248   master   <none>           <none>
kube-system   kube-proxy-jpfj2                        1/1     Running   0          13m     10.30.59.248   master   <none>           <none>
kube-system   kube-proxy-xstzj                        1/1     Running   0          4m11s   10.30.59.188   node     <none>           <none>
kube-system   kube-scheduler-master                   1/1     Running   0          12m     10.30.59.248   master   <none>           <none>
kube-system   kubernetes-dashboard-5f7b999d65-nb2s6   1/1     Running   0          78s     10.16.1.2      node     <none>           <none>

8、浏览器访问
通过命令检查到kubernetes-dashboard被调度到Node节点运行，通过Firefox浏览器中输入Node节点地址（Master也可以访问）https://10.30.59.188:30000，即可访问Kubernetes Dashboard，如图所示。

单击“高级”→“接受风险并继续”按钮，即可进入Kubernetes Dasboard认证界面，如图所示

登录Kubernetes Dasboard需要输入令牌，通过以下命令获取访问Dashboard的认证令牌

[root@master yaml]#  kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep kubernetes-dashboard-admin-token | awk '{print $1}')
Name:         kubernetes-dashboard-admin-token-8rssw
Namespace:    kube-system
Labels:       <none>
Annotations:  kubernetes.io/service-account.name: kubernetes-dashboard-admin
              kubernetes.io/service-account.uid: 2e676ee8-c894-11eb-9d4f-005056a0b70c

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1025 bytes
namespace:  11 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC1hZG1pbi10b2tlbi04cnNzdyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC1hZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjJlNjc2ZWU4LWM4OTQtMTFlYi05ZDRmLTAwNTA1NmEwYjcwYyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVzLWRhc2hib2FyZC1hZG1pbiJ9.l-54-mczoAwzILCY8MO0swl-rc8zjZaSNIP3423MdF2qOC4CFRRkqkxhjkXzNah-j790AW1NGRNz9QC-GRTRQfZhvtFjNSMKWrdMEet-SF6TWZMOlT46JVHdvKLLmPNZYJRC2eRRbK2NcD_zyi9IWH2j9ydLixzerTWb2c-owLWp04TZZ_bGsr0_w2xfREjQwxNRPh0nl0esJNz-NHd1WaHCXO1X7DZ7lJZk9yor4YQpiZHt5DISAA8uwK1ffGxSSYR4oLAik5RxQlyIfQ5GD4v2rQnoMyW1qjSU24yuAI3oFT78tXHcN1S2xuD_MG7P9rxhoYCYbWqEs3WmkUqzJg

输入令牌后

我的输入令牌进入后，有很多黄色的感叹号
master节点执行以下命令就可以了

[root@master yaml]# kubectl create clusterrolebinding test:anonymous --clusterrole=cluster-admin --user=system:anonymous
clusterrolebinding.rbac.authorization.k8s.io/test:anonymous created

9、配置Kuboard
Kuboard是一款免费的Kubernetes图形化管理工具，其力图帮助用户快速在Kubernetes上落地微服务。登录Master节点，使用kuboard.yaml文件部署Kuboard

[root@master yaml]# ls
dashboard-adminuser.yaml   kubia.yaml
kube-flannel.yaml          kuboard.yaml
kubernetes-dashboard.yaml
[root@master yaml]# kubectl create -f kuboard.yaml 
deployment.apps/kuboard created
service/kuboard created
serviceaccount/kuboard-user created
clusterrolebinding.rbac.authorization.k8s.io/kuboard-user created
serviceaccount/kuboard-viewer created
clusterrolebinding.rbac.authorization.k8s.io/kuboard-viewer created
clusterrolebinding.rbac.authorization.k8s.io/kuboard-viewer-node created
clusterrolebinding.rbac.authorization.k8s.io/kuboard-viewer-pvp created
ingress.extensions/kuboard created

在浏览器输入地址http://10.30.59.188:31000，即可进入Kuboard的认证界面，在Token文本框中输入令牌后可进入Kuboard控制台


在Kuboard控制台中可以查看到集群概览，至此Kubernetes容器云平台就部署完成了。