---

整体概述

提示：安装之前参考很多好文章，写此文章作为永久免费开放，同时增加自己安装k8s记忆和理解

节点信息：

节点名称	节点IP
master	192.168.30.100
slave1	192.168.30.101
slave2	192.168.30.102

其他软件信息

软件名	版本信息	说明
VMware Workstation	17 Pro	虚拟化软件(在win11平台安装)
Windterm	2.6.0	linux连接工具(类似于xshell,但比它更强大,不用设置字体色彩更丰富)
linux	centos7	必须是centos7或以上版本，否则低centos版本k8s不支持
k8s	v1.16.0	容器(如docker)编排框架。主要用于管理Docker容器
docker	18.09.9	容器
flannel		Flannel是一个重要的网络插件。它的主要作用是为集群中的每个节点提供覆盖网络，从而实现跨主机Pod之间的相互通信
dashboard	v2.0.3	k8s web图表展示
win11	win11	win11虚拟化liunx安装k8s

---

一、准备工作

1.linux等软件安装

安装Vmare,安装Wndterm,安装CentOS7(版本)，这里不再介绍(安装centOS很简单)。

具体安装centOS请看我的另一篇文章(包含centos快速免费下载与安装):linux安装

2.环境准备

• linux网络(静态IP)
  
• 3个节点(每个节点2核4G内存。一主两从)
  
• 3个节点网络配置

###以主机端为例。IP设置为192.168.30.100。其他节点改为:192.168.30.101,192.168.30.102
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 
[root@localhost ~]# service network restart
[root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=25fb49af-232e-47cf-a854-7309219ba1bd
DEVICE=ens33
ONBOOT=yes

IPADDR=192.168.30.100
NETMASK=255.255.255.0
GATEWAY=192.168.30.2
DNS1=114.114.114.114
DNS2=223.5.5.5

• 3个节点设置主机名

修改主机名永久生效:
[root@localhost ~]#hostnamectl set-hostname  master
[root@localhost ~]#hostnamectl set-hostname  slave1
[root@localhost ~]#hostnamectl set-hostname  slave2

• 网络验证:

[root@master ~]# ping www.baidu.com

• 3个节点配置无密码互信(其他节点也要操作.下面以master节点举例):

生成密钥对(后面都按回车)
[root@master ~]# ssh-keygen -t rsa
再将刚刚生成的密钥发送到其他两个节点
[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2
将自己的节点都添加一下(其他节点也添加)
[root@master ~]# vim /etc/hosts
验证互信(即3个节点互不需要密码使用主机名登录其他节点)
[root@master ~]# ssh slave1

二、安装docker-ce 18.09.9（所有机器）

• 所有安装k8s的机器都需要安装docker，命令如下：

# 安装docker所需的工具
yum install -y yum-utils device-mapper-persistent-data lvm2
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 指定安装这个版本的docker-ce
yum install -y docker-ce-18.09.9-3.el7
# 启动docker
systemctl enable docker && systemctl start docker

• 安装docker节点验证（随机节点查看，如果没有安装成功则会报错）

docker version

三、设置k8s环境准备条件（所有机器）

• 所有安装k8s的机器都需要这一步操作。

# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld

# 关闭selinux
# 临时禁用selinux
setenforce 0
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config

# 禁用交换分区
swapoff -a
# 永久禁用，打开/etc/fstab注释掉swap那一行。
sed -i 's/.*swap.*/#&/' /etc/fstab

# 修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

四、安装k8s v1.16.0 master管理节点

如果还没安装docker，请参照本文步骤二安装docker-ce 18.09.9（所有机器）安装。如果没设置k8s环境准备条件，请参照本文步骤三设置k8s环境准备条件（所有机器）执行。以上步骤检查完毕之后，继续以下步骤。

• 1.安装kubeadm、kubelet、kubectl

由于官方k8s源在google，国内无法访问，这里使用阿里云yum源

# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装kubeadm、kubectl、kubelet
yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0

# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet

• 2.初始化k8s

以下这个命令开始安装k8s需要用到的docker镜像，因为无法访问到国外网站，所以这条命令使用的是国内的阿里云的源(http://registry.aliyuncs.com/google_containers)。另一个非常重要的是：这里的–apiserver-advertise-address使用的是master和node间能互相ping通的ip，我这里是192.168.30.100，刚开始在这里被坑了一个晚上，你请自己修改下ip执行。这条命令执行时会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull，大概需要2分钟，请耐心等待。

   # 下载管理节点中用到的6个docker镜像，你可以使用docker images查看到           
   # 这里需要大概两分钟等待，会卡在[preflight] You can also perform this action            
    in beforehand using ''kubeadm config images pull           
   
   #直接执行下面命令(主节点) 
    
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 192.168.99.104 --pod-network-cidr=10.244.0.0/16 --token-ttl 0

• 上面安装完后，会提示你输入如下命令，复制粘贴过来，执行即可。

# 上面安装完成后，k8s会提示你输入如下命令，执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

• 3.记住node加入集群的命令

上面kubeadm init执行成功后会返回给你node节点加入集群的命令，等会要在node节点上执行，需要保存下来，如果忘记了，可以使用如下命令获取。

[root@master ~]# kubeadm token create --print-join-command

以上，安装master节点完毕。可以使用kubectl get nodes查看一下，此时master处于NotReady状态，暂时不用管。

五、安装k8s v1.16.0 node工作节点

如果还没安装docker，请参照本文步骤二安装docker-ce
18.09.9（所有机器）安装。如果没设置k8s环境准备条件，请参照本文步骤三设置k8s环境准备条件（所有机器）执行。以上两个步骤检查完毕之后，继续以下步骤。

• 1.安装kubeadm、kubelet

# 执行配置k8s阿里云源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装kubeadm、kubectl、kubelet
yum install -y  kubeadm-1.16.0-0 kubelet-1.16.0-0

# 启动kubelet服务
systemctl enable kubelet && systemctl start kubelet

• 2.加入集群
  这里加入集群的命令每个人都不一样，可以登录master节点，使用kubeadm token create --print-join-command来获取。获取后执行如下。

# 获取主节点token信息
[root@master ~]# kubeadm token create --print-join-command
# 下面是根据上面的命令打印的信息
kubeadm join 192.168.30.100:6443 
--token 76dfm9.39v5atxr8um8y6c4  
--discovery-token-ca-cert-hash sha256:4b1546002405c4bc2bbd8b79256edd9c149b5d34e3d7aa0f230e3a5f0ab2f950

加入成功后，可以在master节点上使用kubectl get nodes命令查看到加入的节点还是NotReady状态。

六、安装flannel（安装flannel遇到很多问题）

以上步骤安装完后，但状态还是NotReady状态，如上图，master机器需要安装flannel。

• 1.下载fannel配置文件(主节点)
  不建议从其他博客中粘贴，会有看到不的字符或格式问题(我这边遇到过，很麻烦)，直接在下面下载简单快捷。
  kube-flannel.yml免费下载地址(提取码:000a)网盘
• 2.安装fannel

将下载的kube-flannel.yml文件上传到主节点/root目录下
[root@master ~]# pwd
/root
[root@master ~]# ls
anaconda-ks.cfg dashboard-adminuser.yaml kube-flannel.yml
开始安装(主节点执行)
[root@master ~]#kubectl apply -f kube-flannel.yml

• 安装完成后。在主节点查看状态命令:kubectl get node

发现节点一直处于NotReady状态
通过命令在该节点查看相关kubectl日志提示如下错误信息(片段)：
主节点输入这个命令:[root@master ~]# journalctl -f -u kubelet
[failed to find plugin “flannel” in path [/opt/cni/bin]]

查看很多资料发现是: /opt/cni/bin 缺少 flannel

• 解决方式：CNI Plugins免费下载地址(提取码:000b):下载地址

需要下载CNI插件：
CNI plugins v0.8.6github下载地址：
https://github.com/containernetworking/plugins/releases/tag/v0.8.6
(在1.0.0版本后CNI Plugins中没有flannel)
上传到主节点这个位置：
[root@master bin]# pwd /opt/cni/bin
开始解压软件
[root@master bin]# tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz
在主节点解压完成后再次查看节点状态:
[root@master bin]# kubectl get nodes

此时只有主节点的状态为ready.

• 其他从节点也是同样操作(相同目录)

在其他从节点也是上传此文件并解压(从节点也需要)。cni-plugins-linux-amd64-v0.8.6.tgz
从节点解压完成后在主节点查看所有节点状态都是ready
[root@master bin]# kubectl get nodes

至此，k8s集群搭建完成，如上图节点都已为Ready状态，大功告成。

七、k8s安装Dashboard(主节点安装)

• 下载yaml文件手动修改service部分

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

• yaml文件会下载到当前路径下(我这边是下载到主节点的/root目录下)

# 修改yaml文件
[root@master ~]#vim recommended.yaml
# 修改Service部分
-----------------------------------------------
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30443
  selector:
    k8s-app: kubernetes-dashboard
 ----------------------------------------------
# 更新配置
[root@master ~]kubectl apply -f recommended.yaml

• 登录dashboard

# 浏览器访问dashboard：
# https://<any_node_ip>:30443
# 我这边主节点IP是192.168.30.100则我的访问地址就是:
https://192.168.30.100:30443/

Dashboard 支持 Kubeconfig 和 Token 两种认证方式，我们这里选择Token认证方式登录。

• 创建dashboard-adminuser.yaml：

[root@master ~]# cat > dashboard-adminuser.yaml << EOF
 apiVersion: v1
 kind: ServiceAccount
 metadata:
   name: admin-user
   namespace: kubernetes-dashboard
 
 ---
 apiVersion: rbac.authorization.k8s.io/v1
 kind: ClusterRoleBinding
 metadata:
   name: admin-user
 roleRef:
   apiGroup: rbac.authorization.k8s.io
   kind: ClusterRole
   name: cluster-admin
 subjects:
 - kind: ServiceAccount
   name: admin-user
   namespace: kubernetes-dashboard
> EOF

• 创建登录用户

[root@master ~]# kubectl apply -f dashboard-adminuser.yaml
serviceaccount/admin-user created
clusterrolebinding.rbac.authorization.k8s.io/admin-user created

说明：上面创建了一个叫admin-user的服务账号，并放在kubernetes-dashboard 命名空间下，并将cluster-admin角色绑定到admin-user账户，这样admin-user账户就有了管理员的权限。默认情况下，kubeadm创建集群时已经创建了cluster-admin角色，我们直接绑定即可。

• 查看admin-user账户的token

[root@master ~]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin-user | awk '{print $1}')
Name:         default-token-2gnk8
Namespace:    kubernetes-dashboard
Labels:       <none>
Annotations:  kubernetes.io/service-account.name: default
              kubernetes.io/service-account.uid: 7e66657e-49df-48cb-8be9-ae26e7c00ae7

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1025 bytes
namespace:  20 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6Ino4aEQ1UFg5Ui1BOVIwZW9PT0dKRmROblZnbHcxMXlDcnVrZ0VkUklkRlUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia5ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0Z

把获取到的Token复制到登录界面的Token输入框中，登陆成功。

八、命令汇总

# 网络重启
[root@localhost ~]# service network restart

# 启动docker(所有)
systemctl enable docker && systemctl start docker

# 启动kubelet服务(master节点)
systemctl enable kubelet && systemctl start kubelet

# 启动kubelet服务(从节点)
systemctl enable kubelet && systemctl start kubelet

# pod是否正常运行
[root@master ~]# kubectl get pods -n kube-system
NAME                             READY   STATUS    RESTARTS   AGE
coredns-58cc8c89f4-4qhst         0/1     Running   50         14d
coredns-58cc8c89f4-58mj7         0/1     Running   50         14d
etcd-master                      1/1     Running   2          14d
kube-apiserver-master            1/1     Running   2          14d
kube-controller-manager-master   1/1     Running   2          14d
kube-flannel-ds-amd64-dh4hm      1/1     Running   0          25h
kube-flannel-ds-amd64-kz5tm      1/1     Running   0          25h
kube-flannel-ds-amd64-w5c4t      1/1     Running   0          25h
kube-flannel-ds-ksqvs            1/1     Running   11         13d
kube-flannel-ds-rxcc7            1/1     Running   0          13d
kube-flannel-ds-vqf6g            1/1     Running   0          13d
kube-proxy-w7cc8                 1/1     Running   2          14d
kube-proxy-x5jkf                 1/1     Running   2          14d
kube-proxy-x8gsv                 1/1     Running   2          14d
kube-scheduler-master            1/1     Running   2          14d

# 服务的端口暴露情况
kubectl get svc -n kube-system

# 这对于监控Kubernetes节点的状态、排查问题或了解kubelet的行为非常有帮助
journalctl -f -u kubelet 

# 查看k8s节点状态
kubectl get nodes

验证docker 是否启动成功
[root@slave2 ~]# docker version

九、其他

• 安装k8s时遇到最多问题是安装fannel。每次安装完成后查看3个节点状态都是NotReady状态
• 安装时遇到很多问题，但对主要的问题我这边写了一个安装问题:k8s问题整理
• 安装k8s借鉴学习很多优秀文章，如下:

https://blog.csdn.net/wenyichuan/article/details/107934267
https://zhuanlan.zhihu.com/p/266068973
https://blog.csdn.net/zhazhagu/article/details/109560199
https://segmentfault.com/a/1190000037682150#item-6
https://blog.csdn.net/lvjie13450/article/details/109290732