K8S集群实践之十:虚拟机部署阶段性总结
K8s的集群鲁棒性相对比较脆弱,断电或不正常重启都极可能造成集群服务不能启动(6443 api不能访问之类的),所以ceph等要求安稳性高的服务就尽量不要部署在上面了,另需做好快照准备,以便及时恢复。
目录
2.1 每个节点设置双网卡,一卡做网桥(外部访问),一卡做NAT(集群内网访问)
3. 由于虚拟机崩溃(停电,宿主机自更),所导致的K8s集群不能启动问题处理
1. 说明:
经过了之前的捣鼓,觉得还是有必要再写一篇总结经验,以后少走弯路。
曾经实践过的方案:
集群方案 | 遇到的主要问题 | 建议 |
香橙派+树莓派搭建集群 | - 性能问题,网络稳定性问题,尤其是wifi环境下 - 软件对ARM64的支持 - 由于缺少附加原硬盘,CEPH难以安装 | 简单的K8S应用 |
基于VirtualBox7.x 虚拟机搭建的集群 | - 性能问题,虚拟网卡 PING连耗时比VMWare多一个数量级 - 资源消耗大 - CEPH安装后表现极不稳定 | 令人失望,好处是可以导出标准化版本的虚拟机格式 |
基于VMWare WorkStation Pro 虚拟机搭建的集群 | - 只能以快照形式存在,不能导出标准化虚拟机格式 | 性能卓越,相对稳定 |
2. 安装准备
2.1 每个节点设置双网卡,一卡做网桥(外部访问),一卡做NAT(集群内网访问)
Name | 网桥网卡 (esp03-VirtualBox/ ens33-VMWare) | Nat 网卡 (esp04-VirtualBox /ens34-VMWare) 编辑 |
---|---|---|
master0.c0.k8s.ia | 192.168.0.160 | 10.0.2.10 |
worker0.c0.k8s.ia | 192.168.0.161 | 10.0.2.11 |
worker1.c0.k8s.ia | 192.168.0.162 | 10.0.2.12 |
注意使用VMWare时
- NAT网卡指定IP范围,从 10.0.2.0开始,然后在虚拟机内指定IP
# cat /etc/netplan/00-installer-config.yaml
network:
ethernets:
ens33:
dhcp4: true
ens34:
dhcp4: false
addresses: [10.0.2.10/24]
version: 2
- 网桥网卡需指定桥接的物理网卡,不然启动后会拿不到具体IPV4 address,如图: 虚拟网络编辑器
2.2 准备一个可用的代理服务器
# 编辑 /etc/hosts
定义 proxy-server0
# 添加容器代理配置 (/lib/systemd/system/containerd.service)
[Service]
ExecStartPre=-/sbin/modprobe overlay
ExecStart=/usr/bin/containerd
Environment="HTTP_PROXY=http://proxy-server0:1081"
Environment="HTTPS_PROXY=http://proxy-server0:1081"
Environment="NO_PROXY=*.k8s.ia,*.aliyun.com,*.aliyuncs.com,*.huaweicloud.com,localhost,127.0.0.1,0.0.0.0,10.0.0.0/8,172.17.0.0/12,192.168.0.0/16"
# 添加当前用户代理配置 (~/.profile)
export http_proxy=http://proxy-server0:1081
export https_proxy=http://proxy-server0:1081
export no_proxy=*.k8s.ia,*.aliyun.com,*.aliyuncs.com,*.huaweicloud.com,localhost,127.0.0.1,0.0.0.0,10.0.0.0/8,172.17.0.0/12,192.168.0.0/16
重启服务,测试下 curl www.google.com
3. 由于虚拟机崩溃(停电,宿主机自更),所导致的K8s集群不能启动问题处理
出错:The connection to the server apiserver.k8s:6443 was refused - did you specify the right host or port
目前没找到合适的完全恢复方法,下面的命令只能在丢失一些etcd数据的情况下恢复kubelet服务:
mv /var/lib/etcd/member/* /opt
systemctl restart kubelet
4. 关于KubeSphere
安装方式 | 评论 |
All in one 一键式安装 | 不靠谱,错误很多 |
基于已装好的K8S集群上安装 | 靠谱 |
- 解决Error: failed calling webhook "users.iam.kubesphere.io"
set ks-controller-manage hostNetwork: true
kubectl delete validatingwebhookconfigurations.admissionregistration.k8s.io users.iam.kubesphere.io
5. 总结几点
- K8s的集群鲁棒性相对比较脆弱,断电或不正常重启都极可能造成集群服务不能启动(6443 api不能访问之类的),所以ceph等要求安稳性高的服务就尽量不要部署在上面了,另需做好快照准备,以便及时恢复。
更多推荐
所有评论(0)