集群系统:ubuntu1804

docker版本:19.03.8

k8s版本:1.18.3

情景:k8s集群机器关机进行快照更新,重新生成快照后重启,对k8s集群进行例行检查

1.查看k8s节点状态(各节点状态正常)

kubectl get node

 2.查看集群各命名空间下的pod是否正常启动

kubectl get pod --all-namespaces 

3.发现只有部分Pod是Running状态,其他的卡在Pending或者ContainerCreating不动,等待几分钟后仍是如此

4.单独随机抽查一个pod的状态以及日志,发现并无异常

kubectl describe pod -n xxx [pod-name]

kubectl logs -n xxx [pod-name]

5.尝试过再次重启服务器,出现一部分pod正常Running,但是还有部分pod状态卡住

6.由于k8s底层还是调用的docker,所以尝试查看docker 容器状态,没有收获。最终在联想到状态卡住不动可能是资源不足的原因,查看服务器的磁盘空间,是足够的。最终在每台服务器执行

docker system prune -a清除docker 无效资源,等待几分钟以后发现k8s集群恢复正常

(也不确定是不是由此导致的,本文章只是为了做一下记录)

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐