k8s POD上RDMA网卡VF不生效问题
·
1、配置
multus、sriov-device-plugin、whereabouts都来自https://github.com/k8snetworkplumbingwg/
有的环境总是看不到POD内的RDMA接口,有的环境node重启后再启动的pod看不到
现象为pod内执行ifconfig看不到接口,或者kubectl describe pod pod-1中没有:

2、查看sriov-device-plugin和multus
2.1 sriov-device-plugin
pod启动后,可以看到sriov分配了RDMA网卡:
cat /var/log/sriovdp/sriovdp.INFO
......
[server.go:159] AllocateResponse send: &AllocateResponNOX_COM_MLNX_SRIOV_RDMA0: 0000:27:00.1,
如果这里看到没有找到RDMA网卡,需要确认下sriov-device-plugin启动时VF有没有创建,
2.2 multus
kubectl logs kube-multus-ds-amd64-h59ln -n kube-system

可以看到生成了配置文件,根据pod的描述/host/etc/cni/net.d/映射到了/etc/cni/net.d/
但是对应目录没有这个文件,只有00-multus.conf.cilium_bak
这是被cilium改掉了
3 修改
kubectl edit cm cilium-config -n kube-system
将cni-exclusive: "true"修改为cni-exclusive: “false”
注:cni-exclusive设置为true会把其他cni的conf文件都覆盖掉
如果cilium的conf已经存在,也可以把cni-uninstall: "false"和custom-cni-conf: "false"都修改了
cni-uninstall:cilium退出时是否删除cilium的conf文件
custom-cni-conf:是否需要cilium生成conf文件
然后重启cilium:
kubectl rollout restart daemonset/cilium -n kube-system
其他方法
修改multus的conf目录没有生效

更多推荐


所有评论(0)