【Kubernetes部署】Kurbernetes集群高可用架构（二进制部署多Master节点）
多Master节点（二进制部署K8s高可用方案）
·
一、基本架构
1.1 为什么要有多个Master节点？
1.1.1 Master节点单点故障问题
单机master中，仅仅只有一台master作为节点服务器的调度指挥。
一旦宕机，就意味着整个集群的瘫痪，所以成熟的k8s的集群一定要考虑到master的高可用。
企业的运用一般至少存在两台master及其以上的部署，本次将根据前面的部署，再添加一台master（三个master或者更多，也可以根据本次添加步骤重复添加）。
添加master后，我们会将借助keepalived+nginx的架构，来实现高可用的master【也可以使用haproxy+keepalived或则是keepalived+lvs（不推荐，步骤过于复杂）】
1.1.2 选举算法的要求
Kurbernetes的一致性算法RAFT，要求集群需要数量大于(n/2)的正常主节点才能提供服务（n为主节点数）。
一般是三个Master节点，三个主节点有1个节点的容错率，而四个主节点也只有1个节点的容错率，在不影响容错率的情况下，防止资源的浪费。
1.2 基本架构
| Server | IP | Compoments |
|---|---|---|
| Master01+Etcd01 | 192.168.2.100 | kube-apiserver kube-controller-manager kube-schedular etcd |
| Master02 | 192.168.2.106 | kube-apiserver kube-controller-manager kube-schedular |
| Node01+Etcd02 | 192.168.2.102 | kubelet kube-proxy docker flannel |
| Node02+Etcd03 | 192.168.2.103 | kubelet kube-proxy docker flannel |
| Nginx01节点 | 192.168.2.104 | nginx keepalived |
| Nginx02节点 | 192.168.2.105 | nginx keepalived** |
二、新Master节点的部署
基于单Master节点继续部署，部署过程详见我的上一篇博客。
2.1 系统初始化操作
Step1 关闭防火墙、selinux和swap分区
#关闭防火墙
systemctl disable firewalld --now
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
#关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config
#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
Step2 修改主机名，添加域名映射
#根据规划设置主机名
hostnamectl set-hostname master02
su
#在master添加hosts(添加到整个k8s集群的主机上，保证其他主机均有该映射)
cat >> /etc/hosts << EOF
192.168.2.100 master01
192.168.2.106 master02
192.168.2.102 node01
192.168.2.103 node02
EOF
Step3 修改内核参数
#调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
sysctl --system
Step4 时间同步
#时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com
#将时间同步的操作添加到计划性任务，确保所有节点保证时间的同步
crontab -e
*/30 * * * * /usr/sbin/ntpdate ntp.aliyun.com
crontab -l
2.2 从master01节点拷贝相关文件
拷贝证书文件、各master组件的配置文件和服务管理文件
#拷贝证书文件
scp -r /opt/etcd/ root@192.168.2.106:/opt/
#拷贝master组件的配置文件
scp -r /opt/kubernetes/ root@192.168.2.106:/opt
#拷贝服务管理文件
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.2.106:/usr/lib/systemd/system/
2.3 修改配置文件kube-apiserver中的IP
vim /opt/kubernetes/cfg/kube-apiserver
KUBE_APISERVER_OPTS="--logtostderr=true \
--v=4 \
--etcd-servers=https://192.168.2.100:2379,https://192.168.2.102:2379,https://192.168.2.103:2379 \
--bind-address=192.168.2.106 \ #修改
--secure-port=6443 \
--advertise-address=192.168.2.106 \ #修改
......
2.4 在 master02 节点上启动各服务并设置开机自启
#启动apiserver
systemctl enable kube-apiserver.service --now
#启动controller-manager
systemctl enable kube-controller-manager.service --now
#启动scheduler
systemctl enable kube-scheduler.service --now
2.5 apiserver的相关配置
2.5.1 编写配置生成脚本
vim /opt/admin.sh
#!/bin/bash
mkdir /root/.kube
KUBE_CONFIG="/root/.kube/config"
KUBE_APISERVER="https://192.168.2.106:6443"
#切换到k8s证书目录操作
cd /opt/k8s/k8s-cert/
#配置kubernetes集群参数
kubectl config set-cluster kubernetes \
--certificate-authority=/opt/kubernetes/ssl/ca.pem \
--embed-certs=true \
--server=${KUBE_APISERVER} \
--kubeconfig=${KUBE_CONFIG}
#配置客户端认证参数
kubectl config set-credentials admin \
--client-certificate=./admin.pem \
--client-key=./admin-key.pem \
--embed-certs=true \
--kubeconfig=${KUBE_CONFIG}
#设置设置一个环境项，配置上下文参数
kubectl config set-context default \
--cluster=kubernetes \
--user=admin \
--kubeconfig=${KUBE_CONFIG}
#设置默认环境上下文
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}
#生成的 kubeconfig 被保存到 /root/.kube/config 文件
#########################################################
#集群参数
#本段设置了所需要访问的集群的信息。使用set-cluster设置了需要访问的集群，如上为kubernetes，这只是个名称，实际为--server指向的apiserver；--certificate-authority设置了该集群的公钥；--embed-certs为true表示将--certificate-authority证书写入到kubeconfig中；--server则表示该集群的kube-apiserver地址
#用户参数
#本段主要设置用户的相关信息，主要是用户证书。如上的用户名为admin，证书为：/opt/kubernetes/ssl/admin.pem，私钥为：/opt/kubernetes/ssl/admin-key.pem。注意客户端的证书首先要经过集群CA的签署，否则不会被集群认可。此处使用的是ca认证方式，也可以使用token认证，如kubelet的 TLS Boostrap 机制下的 bootstrapping 使用的就是token认证方式。上述kubectl使用的是ca认证，不需要token字段
#上下文参数
#集群参数和用户参数可以同时设置多对，在上下文参数中将集群参数和用户参数关联起来。上面的上下文名称为default，集群为kubenetes，用户为admin，表示使用admin的用户凭证来访问kubenetes集群的default命名空间，也可以增加--namspace来指定访问的命名空间。
#最后使用 kubectl config use-context default 来使用名为 default 的环境项来作为配置。 如果配置了多个环境项，可以通过切换不同的环境项名字来访问到不同的集群环境。
#########################################################
2.5.2 执行脚本，生成配置
#拷贝证书
mkdir -p /opt/k8s/k8s-cert -p
scp 192.168.2.100:/opt/k8s/k8s-cert/admin.pem admin-key.pem /opt/k8s/k8s-cert
./admin .sh
ls -A /root/.kube
2.5 查看node节点状态
ln -s /opt/kubernetes/bin/* /usr/local/bin/
kubectl get nodes
kubectl get nodes -o wide
#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名
此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接。
因此需要使用一个VIP把node节点与master节点都关联起来
三、部署nginx实现负载均衡
以nginx01节点的部署为例，nginx02节点的过程相同。
3.1 安装nginx
通过yum安装
#配置nginx的官方在线yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF
yum install nginx -y
3.2 修改nginx的配置文件
配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
#修改nginx配置文件，
vim /etc/nginx/nginx.conf
events {
worker_connections 1024;
}
#添加
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
server 192.168.2.100:6443;
server 192.168.2.106:6443;
}
server {
listen 6443;
proxy_pass k8s-apiserver;
}
}
http {
......
#语法检查
nginx -t
3.3 启动nginx
#启动nginx服务，查看已监听6443端口
systemctl enable nginx --now
ss -natp | grep nginx
四、部署Keepalived实现双机热备
4.1 安装keepalived
yum install keepalived -y
4.2 修改配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
# 接收邮件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 邮件发送地址
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER #lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
}
#添加一个周期性执行的脚本
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh" #指定检查nginx存活的脚本路径
}
vrrp_instance VI_1 {
state MASTER #lb01节点的为 MASTER，lb02节点的为 BACKUP
interface ens33 #指定网卡名称 ens33
virtual_router_id 51 #指定vrid，两个节点要一致
priority 100 #lb01节点的为 100，lb02节点的为 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.2.200/24 #指定 VIP
}
track_script {
check_nginx #指定vrrp_script配置的脚本
}
}
4.3 编写nginx状态检查脚本
vim /etc/nginx/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")
if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
chmod +x /etc/nginx/check_nginx.sh
4.4 启动keepalived服务
一定要先启动nginx服务,再启动keepalived服务
#启动keepalived
systemctl enable keepalived --now
ip a #查看VIP是否生成
4.5 修改node节点的配置文件
修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig
server: https://192.168.2.200:6443
vim kubelet.kubeconfig
server: https://192.168.2.200:6443
vim kube-proxy.kubeconfig
server: https://192.168.2.200:6443
#重启kubelet和kube-proxy服务
systemctl restart kubelet.service
systemctl restart kube-proxy.service
#切换到VIP所在的节点
#查看nginx 和 node 、 master 节点的连接状态
ss -natp | grep nginx
五、测试
5.1 在master01节点创建测试pod
#测试创建pod
kubectl run nginx --image=nginx
#查看Pod的状态信息
kubectl get pods
5.2 获取Pod的Cluster IP 地址
在 Kubernetes 中，每个 Pod 都会被分配一个 Cluster IP 地址，用于在集群内部网络中进行通信。
kubectl get pods -o wide
可以看到Pod的cluster ip 为10.244.1.3
5.3 访问测试
#Pod属于node02节点，切换到node02访问
firefox http://10.244.1.3
六、基于Web的Kubernetes用户界面
部署 Dashboard
6.1 编写配置文件（master01节点）
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
ports:
- port: 443
targetPort: 8443
nodePort: 30001 #添加
type: NodePort #添加
selector:
k8s-app: kubernetes-dashboard
6.2 创建Kubernetes Dashboard
kubectl apply -f recommended.yaml
6.2 登录Dashboard
6.2.1 授予dashboard-admin 集群管理员权限
#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
6.2.2 获取登录Token
#获取 kube-system 命名空间中 dashboard-admin 相关的 Secret 的详细信息
#生成用于在 Kubernetes 仪表板中登录的 token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
#这是用于身份验证的 Secret
#其中包含了一个用于在 Kubernetes 仪表板中登录的 token
#ca.crt：Kubernetes 证书颁发机构（CA）的证书。
#namespace：ServiceAccount 所属的命名空间。
#token：用于身份验证的 token。
6.2.3 登录，进入Dashboard登录引导界面
#使用输出的token登录Dashboard
#https://NodeIP:30001
#以node02为例
https://192.168.2.103:30001
eyJhbGciOiJSUzI1NiIsImtpZCI6IlVmM2dMc2lZdUlHNmJTSE5wNVZYcXBUTzM4Yi1haHVPd2ZibFNGbFVMMlEifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4tNzRicDQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiMDFjNmZmYzAtMDQyYy00NGNhLWJjMmMtNDg2OWM2NTc2Zjk1Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.AQPXMQMZmPaCqCB8FQrpDG2NXzMDu90FENg461Z4nfmjiIQ4UAJHtR4AKsux46UxT17Y0st0Y50XQgtJXhJk4KbUUOa2X7JKZdti-f_bWNoXh2slCJWRSGpm1_xkjTbE6IL9JXKJdpS3hY7yhDN0EW7rc4MJvLN2NguVbpebZ5VdkUTmk3ZCrtOPKhap--lLg7UIkU7DyDavwZr7dmAY6TmO80avTE3_JULQPT06iJJuz6MJeyruPyQC0qiGBnRALzV4QlyDK2bsNQkulXLQdqhio3O1SjtBM-ob176emCa-dxey8c-vK_9d_L8ljcDr3Magac6r3aGaDT_f_fv_tw
6.2.3 进入仪表盘，查看集群相关信息
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
1
0- 0
已为社区贡献4条内容
所有评论(0)