最近K8s集群有一台master服务器损坏,需要剔除该节点并新增一台新服务器为master以维持3主。在处置过程中,部署K8s服务没啥问题,但etcd集群的处置费了点劲,在此记录一笔。

etcd集群更新节点处置方法

  1. 查看集群成员
[root]# etcdctl  --endpoints=http://10.1.1.10:6666 member list
12f6b86f1ef61557: name=c-etcd0 peerURLs=http://10.1.1.10:6667 clientURLs=http://10.1.1.10:6666 isLeader=true
1a6bc1efd618ab2a: name=c-etcd1 peerURLs=http://10.1.1.11:6667 clientURLs=http://10.1.1.11:6666 isLeader=false
54935869283e606f: name=c-etcd2 peerURLs=http://10.1.1.12:6667 clientURLs=http://10.1.1.12:6666 isLeader=false
  1. 剔除故障节点,比如剔除 10.1.1.11
[root]# etcdctl  --endpoints=http://10.1.1.10:6666 member remove 1a6bc1efd618ab2a
  1. 添加新节点
[root]# etcdctl  --endpoints=http://10.1.1.20:6666 member add c-etcd1 http://10.1.1.20:6667
  1. 启动新节点etcd服务。注意:将配置文件中 --initial-cluster-state 配置为 existing

稍等片刻,新etcd节点将添加到集群。

踩过的坑

我在处置过程中,在旧节点剔除后(剩余2节点),由于我的操作不慎导致集群异常,etcd日志报错

2020-07-25 08:58:47.805983 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)
2020-07-25 08:58:47.907224 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)
2020-07-25 08:58:47.907244 E | rafthttp: request cluster ID mismatch (got f3b64a4eba6883b2 want 5cf6f380114e0b47)

解决方法:
将其中的非主节点也剔除(此时是2节点集群),然后此节点作为新节点重新加回来(同上述新节点添加方法和步骤)。但在该节点加回来后,etcdctl访问集群失败了(一阵紧张),查看etcd日志,报集群节点个数不对(因为配置中写的是3个节点,而此时是2个节点),于是将前面删除的etcd1的配置删去,重启服务,2节点集群恢复正常。然后再添加第三节点,3节点正常后,将配置写回3节点。

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐