etcd清理db大小
注意:修复会导致所有节点Not Ready,需重启各个节点的kubelet(官方有清理过程,可自行官方搜索)k8s集群所有节点notready,查看etcd状态报错no space且三个etcd unhealthy。经过一段时候后,如果发现所有节点都是Not Ready状态,只需要将每个节点的kubelet重启即可。此步骤最好将endpoints列表中的节点拆开依次执行,否则容易引起集群震荡。9、
·
#问题描述
k8s集群所有节点notready,查看etcd状态报错no space且三个etcd unhealthy
解决方案:
注意:修复会导致所有节点Not Ready,需重启各个节点的kubelet(官方有清理过程,可自行官方搜索)
参考文档:
https://www.cnblogs.com/ltzhang/p/14316009.html
1、将API版本调整为3
$ export ETCDCTL_API=3
2、备份etcd
$ etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} \
snapshot save /var/lib/etcd/my-snapshot.db
3、获取当前版本
$ rev=$(etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9]*')
4、压缩掉所有旧版本
$ etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} compact $rev
5、整理多余的空间
$ etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} defrag
此步骤最好将endpoints列表中的节点拆开依次执行,否则容易引起集群震荡
6、解除告警
$ etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} alarm disarm
此命令可能需执行两次,确保etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} alarm list
再无输出
7、重启kubelet
经过一段时候后,如果发现所有节点都是Not Ready状态,只需要将每个节点的kubelet重启即可
9、观察一段时间的DB SIZE,确保无大幅度增长
$ etcdctl --endpoints=${ETCD_ENDPOINT} --cert=${ETCD_CERTFILE} --key=${ETCD_KEYFILE} --cacert=${ETCD_CAFILE} endpoints status
更多推荐
已为社区贡献1条内容
所有评论(0)