一、Kubernetes简介

Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。

K8S集群中有管理节点与工作节点两种类型。管理节点主要负责K8S集群管理，集群中各节点间的信息交互、任务调度，还负责容器、Pod、NameSpaces、PV等生命周期的管理。工作节点主要为容器和Pod提供计算资源，Pod及容器全部运行在工作节点上，工作节点通过kubelet服务与管理节点通信以管理容器的生命周期，并与集群其他节点进行通信。

二、环境准备

虚拟机配置：
桥接上网，可ping通外网。
单节点的话16G及以上内存
60G硬盘，CentOS Linux release 7.6(Core)，需有java-1.8.0-openjdk.x86_64、yum源用的阿里云的。
yum -y install java-1.8.0-openjdk*即可。

1、host、hostname、IP等设置

cat /etc/hosts
192.168.1.10  master

设置各虚拟机的主机名，方式如：

hostnamectl --static set-hostname master

cat /etc/sysconfig/network-scripts/ifcfg-ens32 
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
NAME="ens32"
DEVICE="ens32"
ONBOOT="yes"
IPADDR="192.168.1.200"
PREFIX="24"
DNS1=8.8.8.8
DNS2=8.8.4.4
GATEWAY=192.168.1.1

2、禁用防火墙：

systemctl stop firewalld
systemctl disable firewalld
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

3、关闭swap

setenforce 0
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab

4、开启ip4的转发：

cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

5、配置国内yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

配置国内Kubernetes源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

配置 docker 源

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

6、重启虚拟机，保存快照。

三、kubeadm配置单节点k8s集群

注：在所有节点上进行如下操作

1.安装docker

yum install -y docker-ce-18.06.1.ce-3.el7
systemctl enable docker && systemctl start docker
docker  version
Docker version 18.06.1-ce, build e68fc7a

2.安装kubeadm、kubelet、kubectl

yum install -y kubelet kubeadm kubectl
systemctl enable kubelet

Kubelet负责与其他节点集群通信，并进行本节点Pod和容器生命周期的管理。Kubeadm是Kubernetes的自动化部署工具，降低了部署难度，提高效率。Kubectl是Kubernetes集群管理工具。
tips:
A 修改docker挂载路径
简单执行为：

sytemctl disable docker && system enable docker 查看docker.service的文件位置
mkdir  -p /data/docker
vim  /usr/lib/systemd/system/docker.service

在ExecStart=/usr/bin/docker** 后面加上–graph /data/docker ，注意要保留该行最后原有的反斜杠符号“\”。
-修改后mount |grep docker 查看是否挂载到了/data/docker上。

systemctl daemon-reload
systemctl restart docker
systemctl enable docker

B 修改kubelete可以指定的端口范围
为了修改指定的端口范围，在apiserver的启动命令里面添加如下参数：

vim /etc/kubernetes/manifests/kube-apiserver.yaml

在spec.containers.command下面添加如下内容：

 - --service-node-port-range=1-65535

重启systemctl restart kubelet。

四、部署master 节点

注：在master节点上进行如下操作

1.在master进行Kubernetes集群初始化。

kubeadm init --kubernetes-version=1.15.1 \
--apiserver-advertise-address=192.168.1.10 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

定义POD的网段为: 10.244.0.0/16， api server地址就是master本机IP地址。

这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址，很多新手初次部署都卡在此环节无法进行后续配置。

如需重新配置：

kubeadm reset

集群初始化成功后返回如下信息：

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.1.10:6443 --token qht32v.9couh3f1ul0zdq0e \
    --discovery-token-ca-cert-hash sha256:0988598ffaf5d7add243c33b2c4bd95bc4a6e8746ae1ead577a60cb16de96f02

记录生成的最后部分内容，此内容需要在其它节点加入Kubernetes集群时执行。

kubeadm join 192.168.1.10:6443 --token qht32v.9couh3f1ul0zdq0e \
    --discovery-token-ca-cert-hash sha256:0988598ffaf5d7add243c33b2c4bd95bc4a6e8746ae1ead577a60cb16de96f02

2.配置kubectl工具

mkdir -p /root/.kube
cp /etc/kubernetes/admin.conf /root/.kube/config
kubectl get nodes
kubectl get cs

3.部署flannel网络

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

五、部署node节点

注：在所有node节点上进行如下操作

执行如下命令，使所有node节点加入Kubernetes集群

kubeadm join 192.168.1.10:6443 --token qht32v.9couh3f1ul0zdq0e \
    --discovery-token-ca-cert-hash sha256:0988598ffaf5d7add243c33b2c4bd95bc4a6e8746ae1ead577a60cb16de96f02

此命令为集群初始化时（kubeadm init）返回结果中的内容。
这里有两个值：一个是token值一个是hash值；

如何从集群中移除Node

如果需要从集群中移除node2这个Node执行下面的命令：

在master节点上执行：

kubectl drain node2 --delete-local-data --force --ignore-daemonsets
kubectl delete node node2

在node2上执行：

kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/

在node1上执行：

kubectl delete node node2

六、集群状态检测

注：在master节点上进行如下操作

1.在master节点输入命令检查集群状态，返回如下结果则集群状态正常。

kubectl get nodes

NAME     STATUS   ROLES    AGE     VERSION

master   Ready    master   26m     v1.15.1

node1    Ready    <none>   3m10s   v1.15.1

node2    Ready    <none>   3m      v1.15.1

重点查看STATUS内容为Ready时，则说明集群状态正常。

2.创建Pod以验证集群是否正常。
单节点需要做些设置，使用kubeadm初始化的集群，将master节点做了taint（污点），使得默认情况下Pod不会被调度到master上。
可以使用下面的命令去掉master的taint，使master参与工作负载：

kubectl taint nodes --all node-role.kubernetes.io/master-

输出为：node/master untainted
假如之后想改回默认禁止master部署pod:

kubectl taint nodes k8s node-role.kubernetes.io/master=true:NoSchedule

创建pod验证

kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pod,svc

七、部署Dashboard

注：在master节点上进行如下操作

wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
sed -i 's/k8s.gcr.io/loveone/g' kubernetes-dashboard.yaml
sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30001\n\ \ type: NodePort' kubernetes-dashboard.yaml

2.部署Dashboard

kubectl create -f kubernetes-dashboard.yaml

3.创建完成后，检查相关服务运行状态

kubectl get deployment kubernetes-dashboard -n kube-system
kubectl get pods -n kube-system -o wide
kubectl get services -n kube-system
netstat -ntlp|grep 30001

4.在Firefox浏览器输入Dashboard访问地址：https://10.10.10.10:30001

5.查看访问Dashboard的认证令牌

kubectl create serviceaccount  dashboard-admin -n kube-system
kubectl create clusterrolebinding  dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

结果如下

[root@master ~]# kubectl create serviceaccount  dashboard-admin -n kube-system
serviceaccount/dashboard-admin created
[root@master ~]# kubectl create clusterrolebinding  dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
clusterrolebinding.rbac.authorization.k8s.io/dashboard-admin created
[root@master ~]# kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
Name:         dashboard-admin-token-mtw2n
Namespace:    kube-system
Labels:       <none>
Annotations:  kubernetes.io/service-account.name: dashboard-admin
              kubernetes.io/service-account.uid: 487d45d8-b54a-4781-ad8b-ed6b7b276033

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1025 bytes
namespace:  11 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tbXR3Mm4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiNDg3ZDQ1ZDgtYjU0YS00NzgxLWFkOGItZWQ2YjdiMjc2MDMzIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.genbtKIzPeyO0KCfH7ui87dtEUwegp-58auuJVAoH2HQNZk9uhMSg8esqmrHiVY6UJUP_vwiDBGac0QN4J2XurqUrhXw6Qo4N-llyhARbHJ2vbEBV-04gwIG6gm5frg1MiuaxbEC-T9mUMKEnlCjTY4xW0TkW0GQWZsNTP-t_d2BzDY3nozLQrQ4Bn0_-m9O231NvOigeIUGIkgwLWmh8uOn0mjT5-88l4HD_vFsqLQyvUf77h3Cgat3eiMLQsED9hTcV1k3uISi9AZinXZSNSha7uYp1kw9zvjCRvnAyYltbpedd3uqJg2M64oCMyLR0qx69POjKgn5kldY-nfang

最终用token登录即可