记机器重启后k8s集群瘫痪,Pod卡在Pending或ContainerCreating
集群系统:ubuntu1804docker版本:19.03.8k8s版本:1.18.3情景:k8s集群机器关机进行快照更新,重新生成快照后重启,对k8s集群进行例行检查1.查看k8s节点状态(各节点状态正常)kubectl get node2.查看集群各命名空间下的pod是否正常启动kubectl get pod --all-namespaces3.发现只有部分Pod是Running状态,其他的卡
集群系统:ubuntu1804
docker版本:19.03.8
k8s版本:1.18.3
情景:k8s集群机器关机进行快照更新,重新生成快照后重启,对k8s集群进行例行检查
1.查看k8s节点状态(各节点状态正常)
kubectl get node
2.查看集群各命名空间下的pod是否正常启动
kubectl get pod --all-namespaces
3.发现只有部分Pod是Running状态,其他的卡在Pending或者ContainerCreating不动,等待几分钟后仍是如此
4.单独随机抽查一个pod的状态以及日志,发现并无异常
kubectl describe pod -n xxx [pod-name]
kubectl logs -n xxx [pod-name]
5.尝试过再次重启服务器,出现一部分pod正常Running,但是还有部分pod状态卡住
6.由于k8s底层还是调用的docker,所以尝试查看docker 容器状态,没有收获。最终在联想到状态卡住不动可能是资源不足的原因,查看服务器的磁盘空间,是足够的。最终在每台服务器执行
docker system prune -a清除docker 无效资源,等待几分钟以后发现k8s集群恢复正常
(也不确定是不是由此导致的,本文章只是为了做一下记录)
更多推荐
所有评论(0)