k8s

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。

CNI插件存放位置：/etc/cni/net.d/10-flannel.conflist

插件使用的解决方案如下：
虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

（1）容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现

（2）pod之间的通信

• 同一节点的pod之间通过cni网桥转发数据包
  查看pod的信息：kubectl get pod -o wide

• 查看server3的cni0的ip地址: ip addr

• 不同节点的pod之间的通信需要网络插件支持

flannel支持多种后端：

Vxlan
vxlan			//报文封装，默认
Directrouting		//直接路由，跨网段使用vxlan，同网段使用host-gw模式。
host-gw：		//主机网关，性能好，但只能在二层网络中，不支持跨网络，				如果有成千上万的Pod，容易产生广播风暴，不推荐
UDP：			//性能差，不推荐

1 VXLAN模式

1.1 什么是VXLAN？

• VXLAN，即Virtual Extensible
  LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay
  Network）

1.2 VXLAN的设计思想

• 在现有的三层网络之上，“覆盖”一层虚拟的、由内核VXLAN模块负责维护的二层网络，使得连接在这个VXLAN二层网络上的“主机”（虚拟机或容器都可以），可以像在同一个局域网（LAN）里那样自由通信。

  为了能够在二nfcu网络上打通“隧道”，VXLAN会在宿主机上设置一个特殊的网络设备作为“隧道”的两端，叫VTEP：VXLAN Tunnel End Point（虚拟隧道端点）
  VTEP设备之间通过二层数据桢进行通信。源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个导去数据桢，发送给目的VTEP设备（获取 MAC地址需要通过三层IP地址查询，这是ARP表的功能）

• 跨主机通信：src：10.244.1.72（server3）——> dest：10.244.2.51（server4）

• VTEP：VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因
• Cni0: 网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）
• Flannel.1: TUN设备(虚拟网卡)，用来进行 vxlan报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端
• Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

[root@server2 ~]# cat /run/flannel/subnet.env 
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
[root@server3 ~]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.1.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
[root@server4 ~]# cat /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.2.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true

[root@server2 ~]# ip n
172.25.12.4 dev eth0 lladdr 52:54:00:22:7c:e4 REACHABLE
172.25.12.12 dev eth0  FAILED
172.25.12.3 dev eth0 lladdr 52:54:00:a4:e5:8b REACHABLE
10.244.0.5 dev cni0 lladdr 86:b5:46:0a:27:34 REACHABLE
10.244.1.0 dev flannel.1 lladdr 36:79:d5:d3:b1:93 PERMANENT
10.244.0.4 dev cni0 lladdr 8e:de:a4:d2:6e:77 REACHABLE
172.25.12.250 dev eth0 lladdr 34:17:eb:86:7b:bb REACHABLE
172.25.12.1 dev eth0 lladdr 52:54:00:f5:79:62 STALE
10.244.2.0 dev flannel.1 lladdr 6e:6f:18:32:65:7a PERMANENT

1.3 VXLAN模式跨主机通信的实验

src：10.244.1.72（server3） ——>dest:10.244.2.51（server4）

（1）当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。

（2）VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。

• server3通过缓存获取server4 flannel.1的mac地址：ip n

• server4：ip dddr查看server4的flannel.1的mac地址

（3）内部数据桢并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输

Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。

flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护

• bridge fdb：获取目的flannel.1的mac地址对应的eth0的ip地址

linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取

• 获取server4的eth0对应ip地址的mac地址

• 查看server4的etho的ip地址对应的mac地址

（4）此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器

• server4:ip addr

不同节点的pod之间的通信

• 抓包：tcpdump -i eth0 -nn host 172.25.12.4

2 host-gw

2.1 工作原理

howt-gw模式的工作原理，就是将每个Flannel子网的下一跳，设置成了该子网对应的宿主机的IP地址，也就是说，宿主机（host）充当了这条容器通信路径的“网关”（Gateway），这正是host-gw的含义所有的子网和主机的信息，都保存在Etcd中，flanneld只需要watch这些数据的变化 ，实时更新路由表就行了。

核心是IP包在封装成桢的时候，使用路由表的“下一跳”设置上的MAC地址，这样可以经过二层网络到达目的宿主机

2.2 实验

• 配置flannel：kubectl -n kube-system edit cm kube-flannel-cfg

• 查看 kube-system中pod的信息：kubectl -n kube-system get pod
• 更新kube-flannel pod：

kubectl get pod -n kube-system |grep kube-flannel| awk '{system("kubectl delete pod "$1" -n kube-system")}'

• 查看网关：route -n，自动为创建的服务在节点上添加网关

[root@server2 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.25.12.250   0.0.0.0         UG    100    0        0 eth0
10.244.0.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.244.1.0      172.25.12.3     255.255.255.0   UG    0      0        0 eth0
10.244.2.0      172.25.12.4     255.255.255.0   UG    0      0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.25.12.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0

3 直接路由

跨网段使用vxlan，同网段使用host-gw模式

（1）更改flannel插件的配置：kubectl -n kube-system edit cm kube-flannel-cfg

（2）使更改的配置生效：kubectl get pod -n kube-system |grep kube-flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'

（3）测试：

• 在容器内测试：kubectl attach demo -c demo -it

ping 10.244.1.72

抓包：tcpdump -i eth0 -nn icmp，跨网段使用vxlan