一.k8s通信概述

k8s通过CNI接口接入其他插件来实现网络通讯。目前比较流行的插件有flannel，calico等。
CNI插件存放位置：# cat /etc/cni/net.d/10-flannel.conflist

插件使用的解决方案如下：

• 虚拟网桥，虚拟网卡，多个容器共用一个虚拟网卡进行通信。
• 多路复用：MacVLAN，多个容器共用一个物理网卡进行通信。
• 硬件交换：SR-LOV，一个物理网卡可以虚拟出多个接口，这个性能最好。

容器间通信：同一个pod内的多个容器间的通信，通过lo即可实现；

pod之间的通信：

• 同一节点的pod之间通过cni网桥转发数据包。
• 不同节点的pod之间的通信需要网络插件支持。

pod和service通信: 通过iptables或ipvs实现通信，ipvs取代不了iptables，因为ipvs只能做负载均衡，而做不了nat转换。

pod和外网通信：iptables的MASQUERADE。

Service与集群外部客户端的通信；（ingress、nodeport、loadbalancer）

二.flannel网络

1.flannel网络简介

• Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

• 在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

• Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

• Flannel实质上是一种“覆盖网络(overlaynetwork)”，也就是将TCP数据包装在另一种网络包里面进行路由转发和通信，目前已经支持udp、vxlan、host-gw、aws-vpc、gce和alloc路由等数据转发方式，默认的节点间数据通信方式是UDP转发

2.flannel组件

• VXLAN，即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）。

• VTEP：VXLAN Tunnel End Point（虚拟隧道端点），在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因。

• Cni0: 网桥设备，每创建一个pod都会创建一对 veth pair。其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）。

• Flannel.1: TUN设备(虚拟网卡)，用来进行 vxlan 报文的处理（封包和解包）。不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。

• Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

3.flannel vxlan模式跨主机通信原理

• 当容器发送IP包，通过veth pair 发往cni网桥，再路由到本机的flannel.1设备进行处理。
• VTEP设备之间通过二层数据帧进行通信，源VTEP设备收到原始IP包后，在上面加上一个目的MAC地址，封装成一个内部数据帧，发送给目的VTEP设备。
• 内部数据桢，并不能在宿主机的二层网络传输，Linux内核还需要把它进一步封装成为宿主机的一个普通的数据帧，承载着内部数据帧通过宿主机的eth0进行传输。
• Linux会在内部数据帧前面，加上一个VXLAN头，VXLAN头里有一个重要的标志叫VNI，它是VTEP识别某个数据桢是不是应该归自己处理的重要标识。
• flannel.1设备只知道另一端flannel.1设备的MAC地址，却不知道对应的宿主机地址是什么。在linux内核里面，网络设备进行转发的依据，来自FDB的转发数据库，这个flannel.1网桥对应的FDB信息，是由flanneld进程维护的。
• linux内核在IP包前面再加上二层数据帧头，把目标节点的MAC地址填进去，MAC地址从宿主机的ARP表获取。
• 此时flannel.1设备就可以把这个数据帧从eth0发出去，再经过宿主机网络来到目标节点的eth0设备。目标主机内核网络栈会发现这个数据帧有VXLAN Header，并且VNI为1，Linux内核会对它进行拆包，拿到内部数据帧，根据VNI的值，交给本机flannel.1设备处理,flannel.1拆包，根据路由表发往cni网桥，最后到达目标容器。

4.vxlan与host-gw模式

Vxlan
vxlan			//报文封装，默认
Directrouting		//直接路由，跨网段使用vxlan，同网段使用host-gw模式。

host-gw：		//主机网关，性能好，但只能在二层网络中，不支持跨网络，				如果有成千上万的Pod，容易产生广播风暴，不推荐

UDP：			//性能差，不推荐

vxlan模式

[root@server1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.25.3.250    0.0.0.0         UG    0      0        0 eth0
10.244.0.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.244.1.0      10.244.1.0      255.255.255.0   UG    0      0        0 flannel.1
10.244.2.0      10.244.2.0      255.255.255.0   UG    0      0        0 flannel.1
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.25.3.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
[root@server1 ~]# arp -an
? (10.244.0.13) at 9a:c6:75:77:3e:db [ether] on cni0
? (172.25.3.4) at 52:54:00:51:4f:1c [ether] on eth0
? (10.244.2.0) at 12:86:d5:47:2e:30 [ether] PERM on flannel.1
? (172.25.3.250) at fe:54:00:51:4f:1c [ether] on eth0
? (172.25.3.2) at 52:54:00:bb:a8:65 [ether] on eth0
? (169.254.169.254) at <incomplete> on eth0
? (10.244.1.0) at aa:be:be:58:7f:32 [ether] PERM on flannel.1
? (172.25.3.3) at 52:54:00:ee:94:4b [ether] on eth0
? (10.244.0.12) at 4e:a5:05:19:d7:53 [ether] on cni0

host-gw模式

更改为host-gw模式，重启pod

[root@server1 ~]# kubectl -n kube-system get cm
NAME                                 DATA   AGE
coredns                              1      3d20h
extension-apiserver-authentication   6      3d20h
kube-flannel-cfg                     2      3d20h
kube-proxy                           2      3d20h
kube-root-ca.crt                     1      3d20h
kubeadm-config                       2      3d20h
kubelet-config-1.21                  1      3d20h
[root@server1 ~]# kubectl  -n kube-system  edit  kube-flannel-cfg
error: the server doesn't have a resource type "kube-flannel-cfg"
[root@server1 ~]# kubectl  -n kube-system  edit  kube-flannel-cfg 
error: the server doesn't have a resource type "kube-flannel-cfg"
[root@server1 ~]# kubectl  -n kube-system  edit  cm kube-flannel-cfg 
configmap/kube-flannel-cfg edited
[root@server1 ~]# kubectl get pod -n kube-system |grep kube-flannel |awk '{system("kubectl delete pod "$1" -n kube-system")}'
pod "kube-flannel-ds-5wp7g" deleted
pod "kube-flannel-ds-6hnhq" deleted
pod "kube-flannel-ds-amd64-dfk9s" deleted
pod "kube-flannel-ds-amd64-nb69x" deleted
pod "kube-flannel-ds-amd64-t4pzt" deleted
pod "kube-flannel-ds-jpsfr" deleted

查看route
10.244.0.0 0.0.0.0 255.255.255.0 U 0 0 0 cni0 本机
10.244.1.0 172.25.3.2 255.255.255.0 UG 0 0 0 eth0 同vlan（172.25.3.0/24）下主机,网关直接为主机ip

[root@server1 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         172.25.3.250    0.0.0.0         UG    0      0        0 eth0
10.244.0.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.244.1.0      172.25.3.2      255.255.255.0   UG    0      0        0 eth0
10.244.2.0      172.25.3.4      255.255.255.0   UG    0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
172.25.3.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0

补充：flannel组件删除

删除flannel，直接delete配置文件方式

[root@server1 calico]# vim calico.yaml 
[root@server1 calico]# 
[root@server1 calico]# kubectl   get pod -n kube-system 
NAME                              READY   STATUS    RESTARTS   AGE
coredns-7777df944c-brss6          1/1     Running   5          3d21h
coredns-7777df944c-mzblw          1/1     Running   5          3d21h
etcd-server1                      1/1     Running   5          3d21h
kube-apiserver-server1            1/1     Running   5          3d21h
kube-controller-manager-server1   1/1     Running   8          3d21h
kube-flannel-ds-4927t             1/1     Running   0          8m42s
kube-flannel-ds-amd64-4dr56       1/1     Running   0          8m28s
kube-flannel-ds-amd64-b7dg9       1/1     Running   0          8m32s
kube-flannel-ds-amd64-ts7nh       1/1     Running   0          8m30s
kube-flannel-ds-dmw7x             1/1     Running   0          8m40s
kube-flannel-ds-zjsz7             1/1     Running   0          8m26s
kube-proxy-kmtdm                  1/1     Running   0          4h44m
kube-proxy-rsz9d                  1/1     Running   0          4h45m
kube-proxy-xdsgf                  1/1     Running   0          4h44m
kube-scheduler-server1            1/1     Running   8          3d21h
[root@server1 calico]# cd
[root@server1 ~]# kubectl  delete  -f kube-flannel.yml 
Warning: policy/v1beta1 PodSecurityPolicy is deprecated in v1.21+, unavailable in v1.25+
podsecuritypolicy.policy "psp.flannel.unprivileged" deleted
clusterrole.rbac.authorization.k8s.io "flannel" deleted
clusterrolebinding.rbac.authorization.k8s.io "flannel" deleted
serviceaccount "flannel" deleted
configmap "kube-flannel-cfg" deleted
daemonset.apps "kube-flannel-ds" deleted

如果发现删不掉，进行手动删除

[root@server1 ~]# kubectl -n kube-system get pod
NAME                              READY   STATUS    RESTARTS   AGE
coredns-7777df944c-brss6          1/1     Running   5          3d21h
coredns-7777df944c-mzblw          1/1     Running   5          3d21h
etcd-server1                      1/1     Running   5          3d21h
kube-apiserver-server1            1/1     Running   5          3d21h
kube-controller-manager-server1   1/1     Running   8          3d21h
kube-flannel-ds-amd64-4dr56       1/1     Running   0          13m
kube-flannel-ds-amd64-b7dg9       1/1     Running   0          13m
kube-flannel-ds-amd64-ts7nh       1/1     Running   0          13m
kube-proxy-kmtdm                  1/1     Running   0          4h49m
kube-proxy-rsz9d                  1/1     Running   0          4h49m
kube-proxy-xdsgf                  1/1     Running   0          4h49m
kube-scheduler-server1            1/1     Running   8          3d21h

查找daemonsets.apps

[root@server1 ~]# kubectl -n kube-system get all
NAME                                  READY   STATUS    RESTARTS   AGE
pod/coredns-7777df944c-brss6          1/1     Running   5          3d21h
pod/coredns-7777df944c-mzblw          1/1     Running   5          3d21h
pod/etcd-server1                      1/1     Running   5          3d21h
pod/kube-apiserver-server1            1/1     Running   5          3d21h
pod/kube-controller-manager-server1   1/1     Running   8          3d21h
pod/kube-flannel-ds-amd64-4dr56       1/1     Running   0          13m
pod/kube-flannel-ds-amd64-b7dg9       1/1     Running   0          13m
pod/kube-flannel-ds-amd64-ts7nh       1/1     Running   0          13m
pod/kube-proxy-kmtdm                  1/1     Running   0          4h49m
pod/kube-proxy-rsz9d                  1/1     Running   0          4h49m
pod/kube-proxy-xdsgf                  1/1     Running   0          4h49m
pod/kube-scheduler-server1            1/1     Running   8          3d21h

NAME               TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)                  AGE
service/kube-dns   ClusterIP   10.96.0.10   <none>        53/UDP,53/TCP,9153/TCP   3d21h

NAME                                     DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
daemonset.apps/kube-flannel-ds-amd64     3         3         3       3            3           <none>                   3d21h
daemonset.apps/kube-flannel-ds-arm       0         0         0       0            0           <none>                   3d21h
daemonset.apps/kube-flannel-ds-arm64     0         0         0       0            0           <none>                   3d21h
daemonset.apps/kube-flannel-ds-ppc64le   0         0         0       0            0           <none>                   3d21h
daemonset.apps/kube-flannel-ds-s390x     0         0         0       0            0           <none>                   3d21h
daemonset.apps/kube-proxy                3         3         3       3            3           kubernetes.io/os=linux   3d21h

NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/coredns   2/2     2            2           3d21h

NAME                                 DESIRED   CURRENT   READY   AGE
replicaset.apps/coredns-7777df944c   2         2         2       3d21h

逐个删除

[root@server1 ~]# kubectl -n kube-system delete daemonsets.apps kube-flannel-ds-amd64 
daemonset.apps "kube-flannel-ds-amd64" deleted
[root@server1 ~]# kubectl -n kube-system delete daemonsets.apps kube-flannel-ds-arm
daemonset.apps "kube-flannel-ds-arm" deleted
[root@server1 ~]# kubectl -n kube-system delete daemonsets.apps kube-flannel-ds-arm64 
daemonset.apps "kube-flannel-ds-arm64" deleted
[root@server1 ~]# kubectl -n kube-system delete daemonsets.apps kube-flannel-ds-ppc64le 
daemonset.apps "kube-flannel-ds-ppc64le" deleted
[root@server1 ~]# kubectl -n kube-system delete daemonsets.apps kube-flannel-ds-s390x 
daemonset.apps "kube-flannel-ds-s390x" deleted

查看pod，已删除

[root@server1 net.d]# kubectl -n kube-system get pod
NAME                              READY   STATUS    RESTARTS   AGE
coredns-7777df944c-brss6          1/1     Running   5          3d22h
coredns-7777df944c-mzblw          1/1     Running   5          3d22h
etcd-server1                      1/1     Running   5          3d22h
kube-apiserver-server1            1/1     Running   5          3d22h
kube-controller-manager-server1   1/1     Running   8          3d22h
kube-proxy-kmtdm                  1/1     Running   0          4h52m
kube-proxy-rsz9d                  1/1     Running   0          4h52m
kube-proxy-xdsgf                  1/1     Running   0          4h52m
kube-scheduler-server1            1/1     Running   8          3d22h

最后转移配置文件，避免其影响其他网络组件的使用

[root@server1 ~]# cd /etc/cni/net.d/
[root@server1 net.d]# ls
10-flannel.conflist
[root@server1 net.d]# mv 10-flannel.conflist  /mnt/

三.calico网络

1.calico简介

calico简介：

• flannel实现的是网络通信，calico的特性是在pod之间的隔离。
• 通过BGP路由，但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
• 纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
• Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

• Felix：监听ECTD中心的存储获取事件，用户创建pod后，Felix负责将其网卡、IP、MAC都设置好，然后在内核的路由表里面写一条，注明这个IP应该到这张网卡。同样如果用户制定了隔离策略，Felix同样会将该策略创建到ACL中，以实现隔离。

• BIRD：一个标准的路由程序，它会从内核里面获取哪一些IP的路由发生了变化，然后通过标准BGP的路由协议扩散到整个其他的宿主机上，让外界都知道这个IP在这里，路由的时候到这里来。

IPIP工作模式：适用于互相访问的pod不在同一个网段中，跨网段访问的场景。

BGP工作模式：适用于互相访问的pod在同一个网段，适用于大型网络。

2.calico组件安装

上传镜像至harbor仓库

执行安装脚本

[root@server1 ~]# cd calico/
[root@server1 calico]# ls
calico.yaml
[root@server1 calico]# kubectl  apply -f   calico.yaml  
configmap/calico-config created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/kubecontrollersconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrole.rbac.authorization.k8s.io/calico-node created
clusterrolebinding.rbac.authorization.k8s.io/calico-node created
daemonset.apps/calico-node created
serviceaccount/calico-node created
deployment.apps/calico-kube-controllers created
serviceaccount/calico-kube-controllers created
Warning: policy/v1beta1 PodDisruptionBudget is deprecated in v1.21+, unavailable in v1.25+; use policy/v1 PodDisruptionBudget
poddisruptionbudget.policy/calico-kube-controllers created

[root@server1 calico]# kubectl -n kube-system get pod
NAME                                      READY   STATUS    RESTARTS   AGE
calico-kube-controllers-784b4f4c9-v6hdd   1/1     Running   0          21s
calico-node-2fmlt                         1/1     Running   0          22s
calico-node-g2wkc                         1/1     Running   0          22s
calico-node-xmf6w                         1/1     Running   0          22s
coredns-7777df944c-brss6                  1/1     Running   5          3d22h
coredns-7777df944c-mzblw                  1/1     Running   5          3d22h
etcd-server1                              1/1     Running   5          3d22h
kube-apiserver-server1                    1/1     Running   5          3d22h
kube-controller-manager-server1           1/1     Running   8          3d22h
kube-proxy-kmtdm                          1/1     Running   0          4h53m
kube-proxy-rsz9d                          1/1     Running   0          4h53m
kube-proxy-xdsgf                          1/1     Running   0          4h53m
kube-scheduler-server1                    1/1     Running   8          3d22h

3.calico网络策略

官网：https://kubernetes.io/zh/docs/concepts/services-networking/network-policies/

限制访问指定服务

vim nginx-policy.yml
 
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx

允许指定pod访问服务

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx
  ingress:
  - from:
      - podSelector:
          matchLabels:
            app: demo

禁止 namespace 中所有 Pod 之间的相互访问

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector: {}

禁止其他 namespace 访问服务

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: deny-namespace
spec:
  podSelector:
    matchLabels:
  ingress:
  - from:
    - podSelector: {}

只允许指定namespace访问服务

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-namespace
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          role: prod

允许外网访问服务

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: web
  ingress:
  - ports:
    - port: 80
    from: []