【kubernetes/k8s概念】kube-ovn-controller 源码分析之一
kube-ovn-controller 逻辑职责是翻译 kubernetes 网络概念到 OVN,可以理解为 kube-ovn 的控制面功能,通过 kube-apiserver watch 所有网络相关事件,包括 Pod creation/deletion, Service/Endpoint modification, Networkpolicy changes 等等。然后翻译转为 OVN 逻辑网
kube-ovn-controller 逻辑职责是翻译 kubernetes 网络概念到 OVN,可以理解为 kube-ovn 的控制面功能,通过 kube-apiserver watch 所有网络相关事件,包括 Pod creation/deletion, Service/Endpoint modification, Networkpolicy changes 等等。然后翻译转为 OVN 逻辑网络的修改。也 watch kube-ovn 添加的 CRD,比如 VPC Subnet Vlan IP 等
启动脚本为 start-controller.sh,实质是获取南向数据库和北向数据库地址,kube-ovn-controler 启动命令为:
kube-ovn-controller
--ovn-nb-addr=tcp:[172.16.236.238]:6641
--ovn-sb-addr=tcp:[172.16.236.238]:6642
--default-cidr=10.16.0.0/16
--default-gateway=10.16.0.1
--default-exclude-ips=
--node-switch-cidr=100.64.0.0/16
--network-type=geneve
--default-interface-name=
--default-vlan-id=100
--pod-nic-type=veth-pair
1. CmdMain 函数
分析命令行,实例化 Configuration 结构体,文件为 pkg/controller/config.go
config, err := controller.ParseFlags()
if err != nil {
klog.Fatalf("parse config failed %v", err)
}
1.1 NewController 实例化 Controller 结构体
定义为 pkg/controller/controller.go 文件,关注的资源包括,vpc vpc-nat-gateway subnet ips vlans provider-networks pod namespace node service endpoint networkpolicy config
ctl := controller.NewController(config)
1.2 Run 方法
1.2.1 InitDefaultVpc 方法初始化 ovn-cluster vpc,这个对应逻辑网络 router,更新状态信息
status:
default: true
defaultLogicalSwitch: ovn-default
router: ovn-cluster
standby: true
subnets:
- join
- ovn-default
tcpLoadBalancer: cluster-tcp-loadbalancer
tcpSessionLoadBalancer: cluster-tcp-session-loadbalancer
udpLoadBalancer: cluster-udp-loadbalancer
udpSessionLoadBalancer: cluster-udp-session-loadbalancer
1.2.2 InitOVN 方法
initClusterRouter 调用北向数据接口命令 "ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical_router",如果不存在 ovn-cluster logical_router,在创建 “ovn-nbctl --may-exist lr-add ovn-cluster -- set Logical_router ovn-cluster external_ids:vendor=kube-ovn”
initLoadBalancer 初始化默认的 tcp 和 upd loadbalancer,调用命令查找 ovn-nbctl --data=bare --no-heading --columns=_uuid find load_balancer name=cluster-tcp-loadbalancer,如果不存在则创建,还包括 cluster-tcp-session-loadbalancer cluster-udp-loadbalancer cluster-udp-session-loadbalancer
initDefaultVlan 函数如果网络类型不是 vlan 不处理,initDefaultProviderNetwork 创建默认的 provider ProviderNetwork 资源,vlan ID 范围 0 < vlanID < 4096
apiVersion: kubeovn.io/v1
kind: ProviderNetwork
metadata:
creationTimestamp: "2021-07-28T06:45:00Z"
generation: 4
name: provider
resourceVersion: "765904"
uid: 449c48b1-1421-4b4b-b36f-56e50f311e11
spec:
defaultInterface: eth0
initNodeSwitch 函数查 subnet join,如果不存在则创建,这个主要是打通 pods 由 node 网络通信
spec:
cidrBlock: 100.64.0.0/16
default: false
disableInterConnection: true
excludeIps:
- 100.64.0.1
gateway: 100.64.0.1
gatewayNode: ""
gatewayType: distributed
natOutgoing: false
private: false
protocol: IPv4
provider: ovn
underlayGateway: false
vpc: ovn-cluster
initDefaultLogicalSwitch 函数查 ovn-default 子网,如果不存在则创建,如果未指定子网,默认创建的 pod 网络属于该子网
spec:
cidrBlock: 10.16.0.0/16
default: true
disableInterConnection: false
excludeIps:
- 10.16.0.1
gateway: 10.16.0.1
gatewayNode: ""
gatewayType: distributed
natOutgoing: true
private: false
protocol: IPv4
provider: ovn
underlayGateway: false
vpc: ovn-cluster
1.2.3 InitIPAM 函数遍历所有子网,更新 ipam map,对 alive pod 注解地址处理,node 注解处理,先不详细分析
1.2.4 主要逻辑在 startWorkers,异步处理各种资源
2. VPC 处理
2.1 函数 runAddVpcWorker
主要逻辑函数是 handleAddOrUpdateVpc 添加或者更新 VPC,对应逻辑网络 router
createVpcRouter 调用命令 “ovn-nbctl --format=csv --data=bare --no-heading --columns=name find logical_router" 查询已存在的 routers,ovnClient.CreateLogicalRouter 创建逻辑 router
如果不是默认 ovn-cluster router 的处理,可以配置静态路由,调用 ovn-nbclt lr-router-list xxx。
ovn-nbctl lr-route-del router cide 删除路由,ovn-nbctl lr-route-add router cidr gw 添加路由
switch a07eb43f-fc52-4874-8b0e-840eb2493d7b (join)
port node-node1
addresses: ["00:00:00:FB:59:C5 100.64.0.2"]
port join-ovn-cluster
type: router
addresses: ["00:00:00:BF:CD:B0"]
router-port: ovn-cluster-join
router ca02f48e-4459-4db5-8cae-9ef125ed0ee1 (test-vpc-2)
router a7cb924e-300e-4183-a1c9-4676cbfc3765 (test-vpc-1)
3. Node 处理
包括 runAddNodeWorker,runUpdateNodeWorker,runDeleteNodeWorker
3.1 handleAddNode
对 node 删除注解 Chassis,如果设置注解,则调用 ipam.GetStaticAddress 处理,subnet 更新 map MacToPod 和 PodToMac
subnet IP 处理,先从 subnet.V4ReservedIPList,subnet.V4FreeIPList 重新更新,更新 V4PodToIP V4IPToPod
如果未指定注解,则调用 ipam.GetRandomAddress 从 freeList 取,有其他逻辑处理
ovnClient.CreatePort 在 join 逻辑 switch 创建 logical_switch_port
ovnClient.AddStaticRoute 在 ovn-cluster router 创建静态路由
更新 node 注解,添加 IPS
4. Namespace 处理
4.1 runAddNamespaceWorker 函数
从所有子网 subnet.spec.namespaces 是否包含该 namespace,如果不包含,则在从所有 vpc.spec.namespaces 是否包含该 namespace,如果不包含则使用默认 vpc ovn-cluster,更新 namespace 配置注解
metadata:
annotations:
ovn.kubernetes.io/cidr: 30.0.1.0/24
ovn.kubernetes.io/exclude_ips: 30.0.1.1
ovn.kubernetes.io/logical_switch: net1
5. Pod 处理
包括 runAddPodWorker,runDeletePodWorker,runUpdatePodWorker
5.1 handleAddPod 函数
如果 pods 注解则调用 ValidatePodNetwork 进行合法性检查
acquireAddress 可以是调用 ipam.GetRandomAddress 随机分配,调用 acquireStaticAddress 静态配置,还有 ip_pool 地址池分配。对于 地址池 ip_pool 分配分为 statefulset 和无状态的,对于无状态的则调用 ipam.IsIPAssignedToPod 查找子网 subnet 的 map V4IPToPod,不存在则调用acquireStaticAddress 将 subnet 的 map 占用上
onvClient.CreatePort 调用 ovn-nbtcl --may-exist lsp-add ${switch} ${port} -- lsp-set-addresses ${port} ${mac} ${ip} 创建 logical switch port
switch e80b5a4f-9a8a-4ca6-88f4-581d9e6f793c (net2)
port net2-test-vpc-2
type: router
addresses: ["00:00:00:8E:D9:0A"]
router-port: test-vpc-2-net2
port starter-backend-6f6dfcb8d6-5t9ph.ns2
addresses: ["00:00:00:5F:84:16 10.0.1.3"]
port starter-backend-6f6dfcb8d6-hl7nv.ns2
addresses: ["00:00:00:93:5D:95 10.0.1.2"]
总结:
subnet 对应 logical switch,默认的 subnet 为 ovn-default,node 设置为 join
pod 创建时会创建对应的 logical switch port
router 对应 kube-ovn 里的 vpc,默认的 vpc 为 ovn-cluster
更多推荐
所有评论(0)