k8s在pod内无法ping通servicename和ClusterIP

需要使用 ipvs 替换iptables，操作是在所有节点上1：开启内核支持1234567cat >> /etc/sysctl.conf << EOFnet.ipv4.ip_forward = 1net.bridge.bridge-nf-call-iptables = 1net.bridge.bridge-nf-call-ip6tables = 1

zhangjunli

4163人浏览 · 2022-02-19 14:27:15

zhangjunli · 2022-02-19 14:27:15 发布

需要使用 ipvs 替换iptables，操作是在所有节点上

1：开启内核支持

cat >> /etc/sysctl.conf << EOF

net.ipv4.ip_forward = 1

net.bridge.bridge-nf-call-iptables = 1

net.bridge.bridge-nf-call-ip6tables = 1

EOF

sysctl -p

2：开启ipvs支持

yum -y install ipvsadm ipset

# 临时生效

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

# 永久生效

cat > /etc/sysconfig/modules/ipvs.modules <<EOF

modprobe -- ip_vs

modprobe -- ip_vs_rr

modprobe -- ip_vs_wrr

modprobe -- ip_vs_sh

modprobe -- nf_conntrack_ipv4

EOF

3：配置kube-proxy，在master上操作，因使用kubeadmin安装，所以操作方式如下

[root@master] # kubectl edit cm kube-proxy -n kube-system

configmap/kube-proxy edited

#修改如下

kind: MasterConfiguration

apiVersion: kubeadm.k8s.io/v1alpha1

...

ipvs:

excludeCIDRs: null

minSyncPeriod: 0s

scheduler: ""

syncPeriod: 30s

kind: KubeProxyConfiguration

metricsBindAddress: 127.0.0.1:10249

mode: "ipvs" #修改

4：在master重启kube-proxy

1	`kubectl` `get` `pod -n kube-system \| grep kube-proxy \| awk` `'{print $1}'` `\| xargs kubectl delete pod -n kube-system`

5：验证ipvs是否开启

[root@k8s-m mytest]# kubectl logs kube-proxy-cvzb4 -n kube-system

I0409 03:37:29.194391 1 server_others.go:170] Using ipvs Proxier.

W0409 03:37:29.194779 1 proxier.go:401] IPVS scheduler not specified, use rr by default

I0409 03:37:29.194981 1 server.go:534] Version: v1.15.3

I0409 03:37:29.214255 1 conntrack.go:52] Setting nf_conntrack_max to 524288

I0409 03:37:29.216744 1 config.go:96] Starting endpoints config controller

I0409 03:37:29.216812 1 controller_utils.go:1029] Waiting for caches to sync for endpoints config controller

I0409 03:37:29.217445 1 config.go:187] Starting service config controller

I0409 03:37:29.218320 1 controller_utils.go:1029] Waiting for caches to sync for service config controller

I0409 03:37:29.318218 1 controller_utils.go:1036] Caches are synced for endpoints config controller

I0409 03:37:29.318564 1 controller_utils.go:1036] Caches are synced for service config controller

6：进入pod内，现在可以ping通servicename了，使用iptables时，发现ping的时候出现了如下错误，执行完上述操作，一切正常

root@xxxxxx-cb4c9cb8c-hpzdl:/opt# ping xxxxxx

PING xxxxxx.xxxxx.svc.cluster.local (172.16.140.78) 56(84) bytes of data.

From 172.16.8.1 (172.16.8.1) icmp_seq=1 Time to live exceeded

From 172.16.8.1 (172.16.8.1) icmp_seq=2 Time to live exceeded

K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 | 韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。长夜有穷，真水无香。领略过了 K8s“身在江

K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub