记一次k8s节点异常排查
在master 操作kubectl get nodes看到那个节点处于noready的状态kubectl describe nodesxxx标记不可调度kubectl cordonxxx驱逐节点kubectldrain xxx会提示ds的一个参数查看事件 docker 的sock访问失败登陆节点systemctl status docker 发现启动状态为filedsystemctl start
·
在master 操作
kubectl get nodes
看到那个节点处于noready的状态
kubectl describe nodes xxx
标记不可调度
kubectl cordon xxx
驱逐节点
kubectl drain xxx 会提示ds的一个参数
查看事件 docker 的sock访问失败
登陆节点
systemctl status docker 发现启动状态为filed
systemctl start docker
启动docker之后抛出异常reading from a closed fifo
cd /var/run/docker/containerd
删除/var/run/docker/containerd 下面的临时信息
然后restart docker
这个时候查看docker的日志 发现k8s master节点查看pod处于删除状态 在node上容器还在并且一直刷新日志xxx 目录不存在 这个xxx刚好跟docker 容器的id对应 以及k8smaster的pod对应
kubectl delete pod xxx --force --grace-period=0
一方面master强制删除pod
一方面我们需要在node节点删除对应的容器
docker rm -f xxx
更多推荐
已为社区贡献44条内容
所有评论(0)