k8s大量pod状态ContainerStatusUnknown

k8s大量pod状态异常

杰哥爱运维

1119人浏览 · 2024-01-04 19:54:53

杰哥爱运维 · 2024-01-04 19:54:53 发布

大量pod状态为ContainerStatusUnknown

事发背景
- 解决方案：

事发背景

域名访问gitlab请求超时，查看ingress-controller命名空间发现出现大量异常pod，并且pod和deploy事件都为空。
在这里插入图片描述
进一步查看发现异常pod集中于某节点，于是断定是节点的问题

查看节点事件信息，报错信息尝试回收image失败

查看盘使用率超过85%，kubelet检测到磁盘使用率达到阀值，就会自动清理过期的image，释放空间，但是所有的image都在使用，所以kubelet会拒绝容器创建。
在这里插入图片描述

解决方案：

首先进行硬盘垃圾清理工作，删除不必要的文件，使业务恢复正常，后续可以增加硬盘

K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 | 韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。长夜有穷，真水无香。领略过了 K8s“身在江

K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub