文章目录

1 常见的k8s部署方式

  • Minikube
    • Minikube是一个工具,可以在本地快速运行一个单节点微型K8S,仅用于学习、预览k8s的一些特性使用。
    • 部署地址:I https://kubernetes.io/docs/setup/minikube
  • Kubeadmin
    • Kubeadmin也是一个工具,提供kubeadm init和kubeadm join,用于快速部署K8S集群,相对简单。
    • 使用kubadmin 安装的k8s，其证书有效期只有1年。而k8s组件之间的通信都需要证书。如果证书过期，则k8s集群瘫痪
    • https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
  • 二进制安装部署
    • 生产首选,从官方下载发行版的二进制包,手动部署每个组件和**自签TLS证书,**组成k8S集群,新手推荐。
    • https://github.com/kubernetes/kubernetes/releases

小结: Kubeadm降低部署门槛,但屏蔽了很多细节,遇到问题很难排查。如果想更容易可控,推荐使用二进制包部署kubernetes集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护。

2 环境准备

2.1 拓扑

角色ip服务
k8s集群master01192.168.23.103kube-apiserver;kube-controller-manager; kube-scheduler;etcd
k8s集群master02192.168.23.10
k8s集群node01192.168.23.104kubelet; kube-proxy;docker;flannel
k8s集群node02192.168.23.105
etc集群节点1192.168.23.103etcd
etc集群节点2192.168.23.104
etc集群节点3192.168.23.105
负载均衡Nginx+keepalived01(master)192.168.23.11
负载均衡Nginx+keepalived02(backup)192.168.23.12
VIP192.168.23.18

img

2.2 所有主机关闭防火墙,selinux,swap

#关闭所有主机的firewalld防火墙和开机自启
systemctl disable  firewalld --now
systemctl status firewalld

#设置selinux为宽松模式，并且下次开机后禁用selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config 

#关闭swap交互空间，并且取消开机自动挂载
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

2.3 所有主机配置主机名，并再maser上做主机映射

#所有主机修改主机名
hostnamectl  set-hostname master01
hostnamectl  set-hostname node01
hostnamectl  set-hostname node02

#在master01主机上配置主机名映射
[root@master01 ~]# cat >> /etc/hosts <<EOF
192.168.23.103 master01
192.168.23.104 node01
192.168.23.105 node02
EOF

#ping主机名测试
[root@master01 ~]# ping master01
[root@master01 ~]# ping node01
[root@master01 ~]# ping node02

2.4 所有主机将桥接的IPV4流量传递到 iptables的链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

 sysctl --system

image-20211027171042458

2.5 所有主机配置时间同步

 #所有主机配置时间同步
 yum -y install ntpdate
 ntpdate time.windows.com

3 部署etcd集群

3.1 etcd简述

3.1.1 什么是etcd

etcd是Coreos团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法, etcd是go语言编写的。

3.1.2 etcd的特点

etcd作为服务发现系统,有以下的特点:

  • 简单:安装配置简单,而且提供了HTTP API进行交互,使用也很简单
  • 安全:支持SSL证书验证
  • 快速:单实例支持每秒2k+读操作
  • 可靠:采用raft算法,实现分布式系统数据的可用性和一致性

3.1.3 etcd的端口和部署要求

etcd 的端口：

  • etcd目前默认使用2379端口提供HTTP API服务,
  • 2380端口和peer通信
  • 这两个端口已经被IANA (互联网数字分配机构)官方预留给etcd 。即etcd默认使用2379端口对外为客户端提供通讯,使用端口2380来进行服务器间内部通讯。

部署要求：

  • etcd在生产环境中一般推荐集群方式部署。
  • 由于etcd的leader选举机制,要求至少为3台或以上的奇数台。

3.2 准备签发证书环境

  • 准备签发证书环境CFSSL是CloudFlare公司开源的一款PKI/TLS工具。CESSL包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的 HTTP API服务。使用Go语言编写。
  • CFSSL使用配置文件生成证书,因此自签之前,需要生成它识别的 json格式的配置文件, CFSSL提供了方便的命令行生成配置文件。
  • CFSSL用来为etcd提供TLS证书,它支持签三种类型的证书:
    1. client证书,服务端连接客户端时携带的证书,用于客户端验证服务端身份,如kube-apiserver访问etcd;
    2. server证书,客户端连接服务端时携带的证书,用于服务端验证客户端身份,如etcd对外提供服务;
    3. peer证书,相互之间连接时使用的证书,如etcd节点之间进行验证和通信。

这里实验环境全部都使用同一套证书认证。

3.2.1 在master01上，下载证书制作工具，授予执行权限

#在 master01 上下载制作工具
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

#授予执行权限
chmod +x /usr/local/bin/cfssl*

cfssl是一个开源的证书管理工具，使用json文件生成证书，比openssl更加方便

cfss1:证书签发的工具命令

cfssljson:将cfss1生成的证书(json格式)变为文件承载式证书

cfssl-certinfo:验证证书的信息

cfssl-certinfo -cert <证书名称> #看证书的信息

3.2.2 创建k8s工作目录，上传脚本文件到目录，创建生成证书的目录,生成证书

#创建k8s工作目录
[root@master01 opt]# mkdir /opt/k8s
[root@master01 opt]# cd /opt/k8s/

#上传etcd-cert.sh 和 etcd.sh 到/opt/k8s目录
[root@master01 k8s]# ls etcd-cert.sh etcd.sh 
etcd-cert.sh  etcd.sh

#添加x 权限
[root@master01 k8s]# chmod  +x  etcd-cert.sh etcd.sh

#创建用于生成CA证书,etcd服务器证书及私钥的目录
[root@master01 k8s]# mkdir /opt/k8s/etcd-cert
[root@master01 k8s]# mv etcd-cert.sh  etcd-cert
[root@master01 k8s]# cd /opt/k8s/etcd-cert/

#注意，看一下脚本，把ip改为自己的
[root@master01 etcd-cert]# vim etcd-cert.sh
#!/bin/bash
#配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

#ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；
#后续在签名证书时会使用某个 profile；此实例只有一个 www 模板。
#expiry：指定了证书的有效期，87600h 为10年，如果用默认值一年的话，证书到期后集群会立即宕掉
#signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
#key encipherment：表示使用非对称密钥加密，如 RSA 加密；
#server auth：表示client可以用该 CA 对 server 提供的证书进行验证；
#client auth：表示server可以用该 CA 对 client 提供的证书进行验证；
#注意标点符号，最后一个字段一般是没有逗号的。


#-----------------------
#生成CA证书和私钥（根证书和私钥）
#特别说明： cfssl和openssl有一些区别，openssl需要先生成私钥，然后用私钥生成请求文件，最后生成签名的证书和私钥等，但是cfssl可以直接得到请求文件。
cat > ca-csr.json <<EOF
{
    "CN": "etcd",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

#CN：Common Name，浏览器使用该字段验证网站或机构是否合法，一般写的是域名 
#key：指定了加密算法，一般使用rsa（size：2048）
#C：Country，国家
#ST：State，州，省
#L：Locality，地区,城市
#O: Organization Name，组织名称，公司名称
#OU: Organization Unit Name，组织单位名称，公司部门

cfssl gencert -initca ca-csr.json | cfssljson -bare ca

#生成的文件：
#ca-key.pem：根证书私钥
#ca.pem：根证书
#ca.csr：根证书签发请求文件

#cfssl gencert -initca <CSRJSON>：使用 CSRJSON 文件生成生成新的证书和私钥。如果不添加管道符号，会直接把所有证书内容输出到屏幕。
#注意：CSRJSON 文件用的是相对路径，所以 cfssl 的时候需要 csr 文件的路径下执行，也可以指定为绝对路径。
#cfssljson 将 cfssl 生成的证书（json格式）变为文件承载式证书，-bare 用于命名生成的证书文件。


#-----------------------
#生成 etcd 服务器证书和私钥
cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.23.103",
    "192.168.23.104",
    "192.168.23.105"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

#hosts：将所有 etcd 集群节点添加到 host 列表，需要指定所有 etcd 集群的节点 ip 或主机名不能使用网段，新增 etcd 服务器需要重新签发证书。

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

#生成的文件：
#server.csr：服务器的证书请求文件
#server-key.pem：服务器的私钥
#server.pem：服务器的数字签名证书

#-config：引用证书生成策略文件 ca-config.json
#-profile：指定证书生成策略文件中的的使用场景，比如 ca-config.json 中的 www

image-20211027184033252

#执行脚本，生成CA证书，etcd服务器证书以及私钥
[root@master01 etcd-cert]# ./etcd-cert.sh

[root@master01 etcd-cert]# ls
ca-config.json  ca-csr.json  ca.pem        server.csr       server-key.pem
ca.csr          ca-key.pem   etcd-cert.sh  server-csr.json  server.pe

image-20211027183935460

3.3 启动etcd服务

3.3.1上传etcd-v3.3.10到/opt/k8s/目录中，解压

#etcd 二进制包地址： https://github.com/etcd-io/etcd/release

#上传etcd-v3.3.10 包到/opt/k8s目录中，解压
[root@master01 k8s]# ls etcd-v3.3.10-linux-amd64.tar.gz 
etcd-v3.3.10-linux-amd64.tar.gz

[root@master01 k8s]# tar xf etcd-v3.3.10-linux-amd64.tar.gz

[root@master01 k8s]# ls etcd-v3.3.10-linux-amd64
Documentation  etcd  etcdctl  README-etcdctl.md  README.md  READMEv2-etcdctl.md

etcd 就是etcd 服务的启动命令，后面可以跟各种启动参数

etcdctl 主要为etcd服务提供了命令行操作

3.3.2 创建用于存放etcd 配置文件，命令文件，证书目录

[root@master01 k8s]# mkdir -p /opt/etcd/{cfg,bin,ssl}
[root@master01 k8s]# mv  /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
[root@master01 k8s]# cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

[root@master01 k8s]# ls -R /opt/etcd/bin/ /opt/etcd/ssl/
/opt/etcd/bin/:
etcd  etcdctl

/opt/etcd/ssl/:
ca-key.pem  ca.pem  server-key.pem  server.pem

image-20211027190030878

[root@master01 k8s]# pwd
/opt/k8s
[root@master01 k8s]# ls etcd.sh 
etcd.sh

[root@master01 k8s]# vim etcd.sh
#!/bin/bash
# example: ./etcd.sh etcd01 192.168.80.10 etcd02=https://192.168.80.11:2380,etcd03=https://192.168.80.12:2380

#创建etcd配置文件/opt/etcd/cfg/etcd
ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3

WORK_DIR=/opt/etcd

cat > $WORK_DIR/cfg/etcd  <<EOF
#[Member]
ETCD_NAME="${ETCD_NAME}"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

#Member:成员配置
#ETCD_NAME：节点名称，集群中唯一。成员名字，集群中必须具备唯一性，如etcd01
#ETCD_DATA_DIR：数据目录。指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定-wal-dir，还会存储WAL文件；如果不指定会用缺省目录
#ETCD_LISTEN_PEER_URLS：集群通信监听地址。用于监听其他member发送信息的地址。ip为全0代表监听本机所有接口
#ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址。用于监听etcd客户发送信息的地址。ip为全0代表监听本机所有接口

#Clustering：集群配置
#ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址。其他member使用，其他member通过该地址与本member交互信息。一定要保证从其他member能可访问该地址。静态配置方式下，该参数的value一定要同时在--initial-cluster参数中存在
#ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址。etcd客户端使用，客户端通过该地址与本member交互信息。一定要保证从客户侧能可访问该地址
#ETCD_INITIAL_CLUSTER：集群节点地址。本member使用。描述集群中所有节点的信息，本member根据此信息去联系其他member
#ETCD_INITIAL_CLUSTER_TOKEN：集群Token。用于区分不同集群。本地如有多个集群要设为不同
#ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群。


#创建etcd.service服务管理文件
cat > /usr/lib/systemd/system/etcd.service <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd
ExecStart=${WORK_DIR}/bin/etcd \
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \
--key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

#--listen-client-urls：用于指定etcd和客户端的连接端口
#--advertise-client-urls：用于指定etcd服务器之间通讯的端口，etcd有要求，如果--listen-client-urls被设置了，那么就必须同时设置--advertise-client-urls，所以即使设置和默认相同，也必须显式设置
#--peer开头的配置项用于指定集群内部TLS相关证书（peer 证书），这里全部都使用同一套证书认证
#不带--peer开头的的参数是指定 etcd 服务器TLS相关证书（server 证书），这里全部都使用同一套证书认证


systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd


[root@master01 k8s]# ./etcd.sh  etcd01 192.168.23.103 etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380

#新开一个终端查看
[root@master01 k8s]# ps -ef | grep etcd

image-20211027191153116

image-20211027191436459

3.3.3 将etcd相关的证书文件和命令文件拷贝到另外两个节点

[root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.104:/opt/
[root@master01 k8s]# scp -r /opt/etcd/ 192.168.23.105:/opt/

#node1修改etcd文件
[root@node01 cfg]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.23.104:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.23.104:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.104:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.104:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#node2修改etcd文件
[root@node02 ~]# vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.23.105:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.23.105:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.23.105:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.23.105:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.23.103:2380,etcd02=https://192.168.23.104:2380,etcd03=https://192.168.23.105:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

image-20211027194416486

3.3.4把etcd服务管理文件拷贝到另外两个集群节点

[root@master01 k8s]# cd /usr/lib/systemd/system/
[root@master01 system]# ls etcd.service 
etcd.service
[root@master01 system]# pwd
/usr/lib/systemd/system
[root@master01 system]# scp etcd.service 192.168.23.104:`pwd`
[root@master01 system]# scp etcd.service 192.168.23.105:`pwd`

3.3.5 在所有etcd节点上启动etcd服务

[root@master01 k8s]# systemctl  restart etcd
[root@master01 k8s]# systemctl  enable etcd
[root@master01 k8s]# systemctl  status etcd


[root@node01 cfg]# systemctl  daemon-reload 
[root@node01 cfg]# systemctl  start etcd
[root@node01 cfg]# systemctl  enable etcd
[root@node01 cfg]# systemctl  status etcd

[root@node02 ~]# systemctl  daemon-reload 
[root@node02 ~]# systemctl restart etcd
[root@node02 ~]# systemctl  enable etcd.service 
[root@node02 ~]# systemctl  status etcd

image-20211027194608138

3.4 在master01上检查集群状态

3.4.1 查看集群状态

[root@master01 k8s]# cd /opt/etcd/ssl/
[root@master01 ssl]# /opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
cluster-health

–cert-file:识别HTTPS端使用ssL证书文件

–key-file:使用此ssL密钥文件标识HTTPS客户端

–ca-file:使用此CA证书验证启用https的服务器的证书

**–endpoints:**集群中以逗号分隔的机器地址列表cluster-health:检查etcd集群的运行状况
image-20211027195528804

3.4.2 切换版本与查看集群节点状态，成员列表

切换到etcd3版本查看集群节点状态和成员列表
默认3.3etcd使用的是v2, 3.4的etcd默认使用的是v3版本。
v2和v3是命令不同。etcd2和etcd3也是不兼容的。默认使用etcd2

#切换到使用版本3
[root@master01 k8s]# export ETCDCTL_API=3
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=3
#版本3的查看 etcd版本的命令（v2使用则会报错）
[root@master01 k8s]# /opt/etcd/bin/etcdctl  version
etcdctl version: 3.3.10
API version: 3.3

#使用版本2
[root@master01 k8s]# export ETCDCTL_API=2
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=2
#版本2使用版本3的查看etcd版本的命令则会报错
[root@master01 k8s]# /opt/etcd/bin/etcdctl  version
No help topic for 'version'
#版本2的查看版本信息的命令
[root@master01 k8s]# /opt/etcd/bin/etcdctl  -v
etcdctl version: 3.3.10
API version: 2

#临时使用版本3去执行命令，执行完毕会回到当前版本
[root@master01 k8s]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl  version
etcdctl version: 3.3.10
API version: 3.3
#当前版本为版本2
[root@master01 k8s]# env | grep 'ETCDCTL_API'
ETCDCTL_API=2



#临时使用版本3环境，查看端点信息
[root@master01 ssl]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --write-out=table endpoint status
+----------------+------------------+---------+---------+-----------+-----------+------------+
|    ENDPOINT    |        ID        | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT INDEX |
+----------------+------------------+---------+---------+-----------+-----------+------------+
| 127.0.0.1:2379 | 26a98cce76a3a470 |  3.3.10 |   20 kB |      true |      1729 |         24 |
+----------------+------------------+---------+---------+-----------+-----------+------------+

#临时使用版本3环境，查看成员列表
[root@master01 ssl]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --write-out=table member list
+------------------+---------+--------+-----------------------------+-----------------------------+
|        ID        | STATUS  |  NAME  |         PEER ADDRS          |        CLIENT ADDRS         |
+------------------+---------+--------+-----------------------------+-----------------------------+
|  71ab4d4ee785a5e | started | etcd03 | https://192.168.23.105:2380 | https://192.168.23.105:2379 |
| 26a98cce76a3a470 | started | etcd01 | https://192.168.23.103:2380 | https://192.168.23.103:2379 |
| c6880eee6e195aa6 | started | etcd02 | https://192.168.23.104:2380 | https://192.168.23.104:2379 |
+------------------+---------+--------+-----------------------------+-----------------------------+
[root@master01 ssl]#

image-20211027224846147image-20211027225036859

4 给所有node节点安装docker引擎

#所有node几点都需要安装docker引擎。安装docker引擎需要使用在线源
[root@master01 ssl]# cd /etc/yum.repos.d/
[root@master01 yum.repos.d]# ls
bak  local.repo
[root@master01 yum.repos.d]# mv bak/* .
[root@master01 yum.repos.d]# ls
bak               CentOS-CR.repo         CentOS-fasttrack.repo  CentOS-Sources.repo  local.repo
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo      CentOS-Vault.repo


[root@master01 yum.repos.d]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@master01 yum.repos.d]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@master01 yum.repos.d]#yum install -y docker-ce docker-ce-cli containerd.io

#所有node节点启动docker
[root@master01 yum.repos.d]# systemctl  enable docker.service  --now
[root@master01 yum.repos.d]# systemctl is-active docker
active

5 在 master01 上配置flannel 网络

5.1 k8s中pod的网络通信

Pod 内容器与容器之间的通信
在同一个 Pod 内的容器（Pod内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。

同一个Node内Pod之间的通信
每个Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。

不同 Node 上Pod 之间的通信
Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。

因此要满足两个条件

  • Pod 的 IP 不能冲突
  • 将 Pod 的 IP 和所在的 Node的IP关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。

5.2 Overlay Network 和 Vxlan

Overlay Network:
叠加网络，在一层或者三层基础网络上叠加的一种虚拟网络技术模式， 该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。

VXLAN:
将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址。

5.3 flannel的工作原理

5.3.1 Flannel

  • Flannel 是一款网络插件CNI其中有（flannel、calico等），Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址，在K8s中实现跨主机pod相互间通信。
  • Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 UDP、VXLAN、host-GW（静态路由）3种数据转发方式。

5.3.2 flannel 工作原理

  1. 数据从源node节点的pod发出后，会经由docker0 网卡 转发到flannel 网卡
  2. 在flannel 网卡有个flanneld服务，其监听flannel网卡。会把这个 数据包封装到UDP报文中
  3. 然后根据自己在etcd中维护的路由表，通过物理网卡转发到目标node节点。
  4. 数据包到达目标node节点后，会被flanneld服务解封装
  5. 之后数据包经由flannel网卡和 docker0网卡，转发到目标pod的容器

5.3.3 etcd 在flannel 提供

  • 存储管理Flannel可分配的IP地址段资源

  • 监控 ETCD 中每个 Pod 节点对应node节点的路由表，并在内存中建立维护 Pod 节点路由表

5.4在etcd服务器上，添加 flannel网络配置信息

#添加flannel 网络配置信息，写入分配的子网段到etcd 中，供flannel使用
[root@master01 yum.repos.d]# cd  /opt/etcd/ssl/
[root@master01 ssl]# /opt/etcd/bin/etcdctl  \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'
-------------------------------------------------
#命令释义：
#使用etcdctl命令，借助ca证书，目标端点（endpoints）为三个ETCD节点IP，端口为2379
#set /coreos.com/network/config 设置网段信息，格式为 set <key> <value>,设置键值对
#"Network": "172.17.0.0/16"  设置docker0网段，此网段必须是集合网段（B类地址），而Pod分配的资源必须在此网段中的子网段（C类地址）
#"Backend": {"Type": "vxlan"}}  设置flannel使用类型是VXLAN
---------------------------------------------------------------------


#查看写入信息
[root@master01 ssl]# /opt/etcd/bin/etcdctl  \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379" \
get /coreos.com/network/config

image-20211028001818232

5.5 在所有node节点上创建k8s工作目录，启动flanneld服务，开启网络功能

#这里操作要在所有的node节点上操作

#上传flannel.sh  和  flannel-v0.10.0-linux.amd64.tar.gz 到/opt目录中
[root@node01 ~]# cd /opt/
[root@node011 opt]# ls flannel-v0.10.0-linux-amd64.tar.gz  flannel.sh 
flannel.sh  flannel-v0.10.0-linux-amd64.tar.gz

[root@node01 opt]# ls flanneld mk-docker-opts.sh  README.md 
flanneld  mk-docker-opts.sh  README.md
#flanneld 为主要的执行文件，mk-docker-opts.sh 脚本主要用于生成Docker 启动参数


#创建kubernetes的工作目录
[root@node01 opt]# mkdir -p /opt/kubernetes/{cfg,bin,ssl}

[root@node01 opt]# mv /opt/mk-docker-opts.sh /opt/flanneld /opt/kubernetes/bin/


#所有node节点启动flanneld服务，开启flannel网络功能
[root@node01 opt]# cd /opt/

[root@node01 opt]# vim flannel.s
#!/bin/bash

#定义etcd集群的端点IP地址和对外提供服务的2379端口
#${var:-string}：若变量var为空，则用在命令行中用string来替换；否则变量var不为空时，则用变量var的值来替换，这里的1代表的是位置变量$1
ETCD_ENDPOINTS=${1:-"http://127.0.0.1:2379"}

#创建flanneld配置文件
cat > /opt/kubernetes/cfg/flanneld <<EOF
FLANNEL_OPTIONS="--etcd-endpoints=${ETCD_ENDPOINTS} \\
-etcd-cafile=/opt/etcd/ssl/ca.pem \\
-etcd-certfile=/opt/etcd/ssl/server.pem \\
-etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF

#flanneld 本应使用 etcd 客户端TLS相关证书（client 证书），这里全部都使用同一套证书认证。


#创建flanneld.service服务管理文件
cat > /usr/lib/systemd/system/flanneld.service <<EOF
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service

[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq \$FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure

[Install]
WantedBy=multi-user.target

EOF

#flanneld启动后会使用 mk-docker-opts.sh 脚本生成 docker 网络相关配置信息
#mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS：将组合选项键设置为环境变量DOCKER_NETWORK_OPTIONS，docker启动时将使用此变量
#mk-docker-opts.sh -d /run/flannel/subnet.env：指定要生成的docker网络相关信息配置文件的路径，docker启动时候引用此配置

systemctl daemon-reload
systemctl enable flanneld
systemctl restart flanneld

[root@node01 opt]# chmod  +x flannel.sh 
#脚本后指定etcd集群位置
[root@node01 opt]# ./flannel.sh https://192.168.23.103:2379,https://192.168.23.104:2379,https://192.168.23.105:2379

#flannel启动后，会生成一个docker网络相关信息配置文件/run/flannel/subnet.env,
#包含了docker要使用flannel通讯的相关参数
[root@node01 opt]# cat /run/flannel/subnet.env 
DOCKER_OPT_BIP="--bip=172.17.4.1/24"  
DOCKER_OPT_IPMASQ="--ip-masq=false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.4.1/24 --ip-masq=false --mtu=1450"

[root@node01 opt]# systemctl status flanneld.service

------------------
#--bip：指定docker 启动时的子网
#--ip-masq:设置 ipmasq=false 关闭snat 伪装策略
#--mtu=1450：  需要留出50字节给外层的vxlan封包额外开销使用

image-20211028002524496

5.6 所有node节点配置 docker 连接flannel

[root@node01 opt]# vim /usr/lib/systemd/system/docker.service 
-----12行添加---
EnvironmentFile=/run/flannel/subnet.env
-----13行修改(添加参数$DOCKER_NETWORK_OPTIONS)
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock


[root@node01 opt]# systemctl daemon-reload 
[root@node01 opt]# systemctl restart docker

5.7 测试连通性

#两个node节点分别查看docker 0网卡和 flannel网卡
[root@node01 opt]# ifconfig

#指定使用docker0 网卡的ip进行ping测试
[root@node01 opt]# ping -I 172.17.4.1 172.17.25.1

image-20211028003841817

image-20211028003857351

image-20211028004158804

# 运维
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes