文章目录

1. 背景介绍

  随着亚马逊云、阿里云、华为云、腾讯云等云计算服务厂商越来越安全、稳定，以及价格越来越便宜，越来越多的企业或个人开始尝试或正在使用云计算服务厂商提供的IaaS服务替代自建IDC机房中的基础设施资源。面对各个云计算厂商的营销套路，不少企业不知道选哪家云商的服务比较合适，一怕被绑架，上车容易下车难，第一年免费用，第二年没折扣；二怕今年上阿里，明年华为更便宜，后年腾讯更优惠，服务迁移难。如何让业务在不同云商之间随意切换呢？这样就能实现想用哪家的云就选哪家的资源。
  下边通过实验的方式尝试一种实现上述诉求的方法，即搭建一套k8s容器集群平台，不同云商上云主机部署工作负载节点，并注册到k8s集群。实现一套容器集群管理多个云商的工作负载节点，于是根据云商的优惠政策，动态的将容器化部署的服务有侧重点的分布到性价比更高的云商上。
在这里插入图片描述
  如上图所示，华为云上部署3个节点，阿里云上部署3个节点，其中华为云上 k8s-master1 与 k8s-master2 为 k8s 集群的管理服务，k8s-node1 为 k8s 集群的工作负载节点，阿里云上的 k8s-node2、k8s-node3、k8s-node4 为 k8s 集群的工作负载节点。

2. 跨云商内网打通

  通过建立GRE隧道，在华为云 k8s-master2 与阿里云 k8s-node2 节点之间建立 GRE 隧道，打通华为云与阿里云内网通信。同时使用 iptables 设置流量转发规则，例如 k8s-master2 通过设置 iptables 规则将阿里云上的主机对 k8s-master1 与 k8s-node1 的流量进行转发，同理，k8s-node2 通过设置 iptables 规则将华为云上的主机对 k8s-node3 与 k8s-node4 的流量进行转发，从而实现华为云与阿里云上所有主机之间的内网互通。
  建立 GRE 隧道的方法请参考 构建GRE隧道打通不同云商的云主机内网 。这篇文章主要介绍了在两个云商之间搭建 GRE 隧道实现两个内网互通的方法。由于使用 route 工具添加的路由并不会持久话的保存（服务器重启将会丢失），所以，本章将会介绍如何搭建 GRE 隧道，并持久话保存。

2.1 阿里云环境安装部署

2.1.1 加载驱动模块

  在阿里云 k8s-node2 节点上执行下边命令

cat >  /etc/sysctl.d/gre.conf <<EOF
net.ipv4.ip_forward=1
EOF

2.1.2 添加 GRE 隧道开机启动脚本

  在阿里云 k8s-node2 节点上执行下边命令

cat > /etc/init.d/gre.sh <<EOF
#!/bin/bash
ip tunnel del tunnel999
ip tunnel add tunnel999 mode gre remote 112.124.59.21 local 172.26.32.235
ip link set tunnel999 up mtu 1476
ip addr add 192.168.100.2 peer 192.168.100.1/32 dev tunnel999
ip route add 192.168.0.0/24 dev tunnel999
EOF

chmod +x /etc/init.d/gre.sh

cat > /usr/lib/systemd/system/gre.service <<EOF
[Unit]
Description=GRE Service
After=network.target

[Service]
Type=oneshot
User=root
ExecStart=/etc/init.d/gre.sh

[Install]
WantedBy=multi-user.target
EOF

systemctl enable gre
systemctl start gre

2.1.3 配置 iptalbes 规则

  在阿里云 k8s-node2 节点上执行下边命令

iptables -t nat -A POSTROUTING -o eth0 -s 192.168.100.1 -j MASQUERADE
iptables -A FORWARD -s 192.168.100.1 -o eth0 -j ACCEPT


iptables -t nat -A POSTROUTING -o tunnel999 -s 192.168.0.0/24 -j MASQUERADE
iptables -A FORWARD -s 192.168.0.0/24 -o tunnel999 -j ACCEPT

2.1.4 在其他节点配置路由

  在阿里云 k8s-node3 和 k8s-node4 节点上执行下边的命令，添加华为云内网CIDR路由到 k8s-node2 节点内网IP上。

route add -net 192.168.0.0/24 gw 172.26.32.235

  添加完成后 k8s-node3 和 k8s-node4 暂时无法访问华为云主机内网IP，等待华为云上安装部署完成后，才可以访问华为云上主机内网IP。

2.2 华为云上安装部署

2.2.1 加载驱动模块

  在华为云 k8s-master2 节点上执行下边命令

cat >  /etc/sysctl.d/gre.conf <<EOF
net.ipv4.ip_forward=1
EOF

2.2.2 添加 GRE 隧道开机启动脚本

  在华为云 k8s-master2 节点上执行下边命令

cat > /etc/init.d/gre.sh <<EOF
#!/bin/bash
ip tunnel del tunnel999
ip tunnel add tunnel999 mode gre remote 114.116.84.123 local 192.168.0.200
ip link set tunnel999 up mtu 1476
ip addr add 192.168.100.1 peer 192.168.100.2/32 dev tunnel999
ip route add 172.26.32.0/24 dev tunnel999
EOF

chmod +x /etc/init.d/gre.sh

cat > /usr/lib/systemd/system/gre.service <<EOF
[Unit]
Description=GRE Service
After=network.target

[Service]
Type=oneshot
User=root
ExecStart=/etc/init.d/gre.sh

[Install]
WantedBy=multi-user.target
EOF

systemctl enable gre
systemctl start gre

2.2.3 配置 iptalbes 规则

  在华为云 k8s-master2 节点上执行下边命令

iptables -t nat -A POSTROUTING -o eth0 -s 192.168.100.2 -j MASQUERADE
iptables -A FORWARD -s 192.168.100.2 -o eth0 -j ACCEPT


iptables -t nat -A POSTROUTING -o tunnel999 -s 172.26.32.0/24 -j MASQUERADE
iptables -A FORWARD -s 172.26.32.0/24 -o tunnel999 -j ACCEPT

2.2.4 在其他节点配置路由

  在华为云 k8s-master1 和 k8s-node1 节点上执行下边命令，添加阿里云内网CIDR路由到 k8s-master2 节点内网IP上。

route add -net 172.26.32.0/24 gw 192.168.0.200

  添加完成后就可以在 k8s-node1 和 k8s-master1 节点上访问阿里云上所有云主机的内网IP，并且阿里云上的所有云主机可以访问华为云上所有云主机的内网IP。

3. 构建K8S集群

  首先在华为云上安装部署 kubernetes 集群主节点，具体操作步骤请参考：部署安装kubernetes集群。

4. 容器集群跨云商添加工作负载节点

  在阿里云主机上安装 kubernetes worker 节点配置。主要涉及到：Linux 内核升级，Containerd 容器安装，Linux 参数优化，Kubelet与Kube-Proxy 组件部署。下边操作以阿里云 172.26.32.235 主机为例。

4.1 安装Containerd 容器服务

  • 在线安装 containerd 服务
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

yum install containerd
  • 导出 containerd 默认配置
containerd config default > /etc/containerd/config.toml
  • 编辑 /etc/containerd/config.toml 文件
	sandbox_image = "registry.k8s.io/pause:3.6"
    
    替换成
    
    sandbox_image = "registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.6"

	[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
        SystemdCgroup = false
        
	替换成
	
	[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
        SystemdCgroup = true

添加国内镜像仓库，这个非常关键，否则将会导致镜像下载失败，Pod中服务无法启动。

    [plugins."io.containerd.grpc.v1.cri".registry]
      ......
      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
      
      在containerd 配置文件中找到上边内容，并在此处添加下边两行, 注意缩进，下边两行内容与上边一行有2个空格的缩进，下边两行内容之间也存在2个空格的缩进。
      
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
          endpoint = ["http://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn","https://registry.docker-cn.com"]
  • 重启 containerd 容器运行时服务
systemctl enable containerd
systemctl restart containerd

4.2 Linux 参数优化

  Linux 参数优化请参考 K8S安装过程七：Kubernetes 节点配置调整

4.3 Kubernetes Worker 节点组件安装

4.3.1 获取安装包

  从华为云已经安装部署好的节点上获取 kubernetes 的安装包。详细过程请参考：K8S安装过程九：Kubernetes Worker 节点安装

  • 获取安装包以及ssl证书。
scp root@192.168.0.200:/opt/kubernetes.tar.gz /opt/
mkdir -p /etc/kubernetes/ssl
scp root@192.168.0.200:/etc/kubernetes/ssl/* /etc/kubernetes/ssl/

cd /opt
tar -xvf kubernetes.tar.gz
mkdir /opt/kubernetes/manifests

4.3.2 kubelet 创建 systemctl 启动服务

cat > /usr/lib/systemd/system/kubelet.service <<EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/server/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

4.3.3 启动 kubelet

systemctl enable kubelet
systemctl start kubelet
  • 查看 kubelet 服务启动状态
systemctl status kubelet

在这里插入图片描述

4.3.4 为 kube-proxy 创建 systemctl 启动服务

cat > /usr/lib/systemd/system/kube-proxy.service <<EOF
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/server/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
RestartSec=10
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
EOF

4.3.5 启动 kube-proxy 服务

systemctl enable kube-proxy
systemctl start kube-proxy
  • 查看 kube-proxy 服务的启动状态
systemctl status kube-proxy

在这里插入图片描述

  到此，跨越不同云商搭建容器集群完成，此时的容器集群中工作负载节点涵盖了华为云与阿里云。后续添加其他云商的云主机，流程与上述类似。
在这里插入图片描述

5. 总结

  • 容器集群中工作负载节点跨越多个云商，不同云商之间的服务互相调用实际上走的是公网流量，如果公网带宽资源不足，将会导致跨云服务调用存在性能瓶颈。
  • 采用跨云商部署容器集群，建议将不同云商工作负载中运行的业务具备独立性，也即是减少不同云商上服务之间的互相调用。
  • 涉及到中间件的使用时，需要考虑跨越云商访问中间件时，保证访问性能。
# kubernetes # 云计算 # 容器
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes