解决kubernetes集群中服务之间通过svc无法访问问题

项目场景:

应用上云,服务都是通过kubernetes集群上进行发布,集群内的服务之间都是通过svc ip 进行连接

问题描述:

通过租户反应,他们部署到kubernetes集群上个别服务突然通过svc无法进行连接了

原因分析:

首先进入后台查看无法正常连接的服务是否正常,get po 看了下,发现无法访问的pod的状态也是没有问题的,get svc 也都是没问题的,检查了下pod的label也都是正常的,这个时候就只能看下endpoint了,正常情况下服务的endpoint,应该如下图红框中圈出来的一样:
在这里插入图片描述但是我检查租户提到的那个服务所在的endpoint是没有的,那就有可能是kube-proxy在转发的时候出现问题了,因为kube-proxy会获取每个svc的endpoint并通过iptables的防火墙规则进行转发

解决方案:

ssh到不正常的那台pod的节点上,执行如下命令:
iptables -P FORWARD ACCEPT
systemctl restart kubelet && systemctl restart kube-proxy
然后回到k8s管理节点,k -n xx get ep 发现服务的endpoint已经添加上了,curl下服务的svc ip:port 已经可以访问了

Logo

开源、云原生的融合云平台

更多推荐