---

一、Flannel简介

1、当一个k8s集群创建好后一般会存在三种IP，分别是：Pod IP、Node IP、Cluster IP

Cluster IP之下包含多个Node IP，而一个Node IP之下又包含多个Pod IP，同一个Pod包含多个容器（这些容器的网络都在同一个命名空间，因此可以自由的通信），同一个Node包含多个Pod，这些Pod又通过veth pair技术与同一个cni网桥进行连接，通常这个cni网桥就是我们熟知的docker0网卡，这个是在你安装docker后就会创建在宿主机上的一个虚拟网卡，因此相同Node节点下的Pod又可以通过cni网桥进行通信。
但是不同Node节点下的Pod又是如何进行通信的，尤其是在成千上万个容器的情况下进行通信，就这需要用到flannel网络插件来解决这个问题。

2、Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址。

3、在默认的Docker配置中，每个节点上的Docker服务会分别负责所在节点容器的IP分配。这样导致的一个问题是，不同节点上容器可能获得相同的内外IP地址。并使这些容器之间能够之间通过IP地址相互找到，也就是相互ping通。

4、Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得同属一个内网且不重复的IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

二、Flannel网络概述

Overlay Network：
覆盖网络，在基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路连接起来
类似VPN隧道，原理为在物理网络上实现的逻辑网络

VXLAN：
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层包头进行封装，然后在以太网上传输，到达目的地后由隧道断电解封并将数据发给目标地址

Flannel：
是Overlay网络的一种，也是将源数据包封装在另一种网络包中进行路由转发和通信，目前已支持UDP、VXLAN、AWS VPN和GCE路由等数据转发方式

flannel原理简介：
容器10.1.15.2/24访问10.0.20.3/24，经过所在主机的docker0，也就相当于这个容器的网关，转发到flannel0虚拟网卡，经过flanneld进行处理，将源容器的ip和目的容器的ip封装成内部ip，将源物理网卡的网关和目的物理网卡的网关封装成外部ip，并同时封装其MAC地址，源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后进入目的节点flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，传递到对应ip的容器

三、部署

首先两个node节点需要先安装docker引擎

安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2

设置阿里云镜像源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装Docker-CE
vim /etc/selinux/config
SELINUX=disabled

yum install -y docker-ce

systemctl start docker.service
systemctl enable docker.service

镜像加速

搜索容器镜像服务

网络优化

echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf
sysctl -p

systemctl restart network
systemctl restart docker

master配置
需要在有证书的目录下使用此命令
写入分配的子网段到ETCD中，供flannel使用

[root@localhost ~]# cd k8s/etcd-cert/

[root@localhost ~]# /opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.111.10:2379,https://192.168.111.30:2379,https://192.168.111.40:2379" set /coreos.com/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'

拷贝到所有node节点（只需要部署在node节点即可）
[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.111.30:/root
[root@localhost k8s]# scp flannel-v0.10.0-linux-amd64.tar.gz root@192.168.111.40:/root

所有node节点操作解压

[root@localhost ~]# tar zxvf flannel-v0.10.0-linux-amd64.tar.gz 

flanneld
mk-docker-opts.sh
README.md

k8s工作目录
[root@localhost ~]# mkdir /opt/kubernetes/{cfg,bin,ssl} -p
[root@localhost ~]# mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/

编写flannel启动脚本
[root@localhost ~]# vim flannel.sh
#!/bin/bash

ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}

cat <<EOF >/opt/kubernetes/cfg/flanneld

FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \
-etcd-cafile=/opt/etcd/ssl/ca.pem \
-etcd-certfile=/opt/etcd/ssl/server.pem \
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"

EOF

cat <<EOF >/usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target

EOF

systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld

开启flannel网络功能
[root@localhost ~]# bash flannel.sh https://192.168.111.10:2379,https://192.168.111.30:2379,https://192.168.111.40:2379

配置docker连接flannel
[root@localhost ~]# vim /usr/lib/systemd/system/docker.service

[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always


systemctl daemon-reload
systemctl restart docker

验证下docker网络和flannel网络是否在同一个网段
ifconfig

拉取镜像然后进入容器去ping另一个不同网段的容器

docker run -it centos:7 /bin/bash
yum -y install net-tools

ping 172.17.39.1

如果这里ping的时候出现卡住了需要这么解决
所有的node节点按顺序依次重启服务

systemctl restart flanneld.service
systemctl restart network
systemctl restart docker

然后再次进入容器去ping就可以了