---

前言

如果机器能联网，特别是能直接访问公网上的软件、镜像仓库，那么k8s安装起来将会非常顺利。直接使用yum、apt-get等命令安装基础组件，拉取公共docker镜像仓库中的镜像即可。但是如果网络环境受限，跟公网隔绝，那装起来就会比较麻烦。

首先，软件包的安装就非常头疼。如果没有提前准备好所有的依赖，那就得一个一个的尝试。遇到缺少的依赖，就要从外网下载好、拷贝到内网机器、尝试安装。而且依赖还可能有传递依赖，这样一遍一遍的试下来，非常耗费时间。

其次，镜像的安装也比较麻烦。如果公司内部没有镜像仓库，或者即使有，但你没有权限部、上传镜像，那就得你自己到每个节点上从文件加载镜像。虽然可以通过一些脚本、工具（如ansible）批量解决，但从后期的使用来讲，也非常的不方便。

本文提供一种方法，可以免除上述的麻烦，方便我们离线安装，体验虽然比不上直连公网安装，但是也比一个一个的手工操作要好多了。

---

一、主要策略

既然离线安装的痛点是软件包和镜像，那么我们就从解决这两个痛点入手。

1. 建立自主可控的软件仓库
   先在一台内网机器上构建一个yum仓库，并在所有节点上配置yum访问该yum仓库。
   然后在能连接公网的机器上，将安装k8s所需的软件包及其所有依赖下载下来，并复制到内网上述yum仓库中。

2. 建立自主可控的镜像仓库
   也是先在一台内网机器上构建一个镜像仓库，并在所有节点上配置docker访问该镜像仓库。
   然后在能连接公网的机器上 ，将所需的各镜像复制到内网，并部署到上述镜像仓库。

二、建立自主可控的仓库

# 假设我们有三台主机
192.168.10.1 	# 软件仓库、镜像仓库、k8s master
192.168.10.2	# worker
192.168.10.3 	# worker

1. 软件仓库

• 使用createrepo建立软件仓库
• 用nginx允许软件仓库远程访问

# 安装createrepo
yum install -y createrepo

# 创建软件仓库
createrepo /opt/softwares/www/html/k8s

# 安装nginx
yum install -y nginx

# 配置nginx，编辑/etc/nginx/conf.d/repo.conf
server {
   listen 80;
   server_name k8smaster;
   location / {
      root /opt/softwares/www/html;  # 注意和createrepo保持路径一致
      autoindex on;
      autoindex_exact_size off;
      autoindex_localtime on;
   }
}

# 编辑yum repo文件, 
cat > /etc/yum.repos.d/k8s.repo << EOF
>[k8s-1.21]
>name=k8s-1.21
>baseurl=http://192.168.10.1/k8s
>gpgcheck=0
>enabled=1
>priority=1
>EOF

# 复制k8s.repo到各台机器的/etc/yum.repos.d/目录下
scp /etc/yum.repos.d/k8s.repo  192.168.10.2:/etc/yum.repos.d/
scp /etc/yum.repos.d/k8s.repo  192.168.10.3:/etc/yum.repos.d/

# 在能够连接公网的机器上，下载安装k8s所需的软件包
yum install --downloadonly --downloaddir=/path/to/k8s/packages docker-ce kubeadm

# 复制上述下载的软件包到 192.168.10.1:/opt/softwares/www/html/k8s

【注意1】 yum install --downloadonly --downloaddir=... 命令可以将目标软件包及其倚赖下载到指定目录，方便构建我们自己的软件仓库。
【注意2】使用自己的软件仓库，也可以先安装yum-utils，再通过yum-config-manager --add-repo=http://192.168.10.1/k8s命令添加仓库

2. 镜像仓库

使用docker官方提供的registry镜像建立镜像仓库

# 在连接公网的机器上下载registry，这是docker官方提供的创建镜像仓库的镜像
docker pull registry
docker save -o registry.tar registry

# 复制registry.tar到192.168.10.1，加载后运行容器
docker load -i registry.tar
docker run -d -p 5000:5000 --restart=always --name registry registry

# 在各个节点配置访问镜像私仓
cat > /etc/docker/daemon.json <<EOF
{"insecure-registries":["192.168.10.1:5000"]}

# 在连接公网的机器上下载所需镜像
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.3-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.6.5
docker pull flannelcni/flannel-cni-plugin:v1.1.0
docker pull flannelcni/flannel:v0.18.1

# 对上述每个镜像导出，并上传到192.168.10.1 
docker save -o image_name.tar image
# 在192.168.10.1重新加载镜像
docker load -i image_name.tar

# 重新打tag，并push到镜像私仓
docker tag image_hash_id 192.168.10.1:5000/image_name:tag 
docker push 192.168.10.1:5000/image_name:tag 

【注意1】以后凡是用到image的地方，都要使用192.168.10.1:5000/image_name:tag标识的image，否则拉不到。
【注意2】如果不清楚具体需要哪些image及其版本，可以通过kubeadm config images list命令获取

三、k8s安装步骤

1. 基础环境准备

#  关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
sed -i s/SELINUX=enforcing/SELINUX=disabled/g /etc/selinux/config
setenforce 0
# 检查selinux状态，应该为0，表示已经关闭selinux
getenforce

# 禁止交换分区
echo "vm.swappiness = 0">> /etc/sysctl.conf     
swapoff -a && swapon -a
sysctl -p 
# 可以通过free -h命令检查交换分区状态

# 设置网桥包经过iptables
# 在/etc/sysctl.conf中设置如下
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1

# 启用上述配置
sysctl -p

2. 安装docker

所有节点

yum install -y docker-ce
systemctl start docker
systemctl enable docker

# 更改cgroup driver为systemd
# 修改或创建/etc/docker/daemon.json，并向其中添加
{
    "exec-opts": ["native.cgroupdriver=systemd"]
}

# 修改后重启docker
systemctl restart docker

【注意1】docker默认的cgroup driver是cgroupfs，但k8s推荐的driver是systemd.

3. 安装K8S组件

所有节点

yum install -y kubeadm
systemctl start kubelet
systemctl enable kubelet

【注意1】由于kubeadm倚赖kubectl、kubelet，所以安装kubeadm时也会附带安装了这两个组件。

4. 初始化k8s主节点

在主节点执行，本例是192.168.10.1

kubeadm init \
    --apiserver-advertise-address=192.168.10.1 \
    --image-repository 192.168.10.1:5000 \
    --kubernetes-version v1.21.0 \
    --pod-network-cidr=10.244.0.0/16
# 按照提示，保存主节点安全配置信息
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

【注意1】apiserver-advertise-address指明master所用ip地址。如果master所在节点有多个ip地址，且未指明该参数的话，则k8s会使用有默认网关ip地址
【注意2】image-repository指向自己的私有镜像仓库。如未指明，则用的是谷歌的k8s.gcr.io。
【注意3】kubernets-version指明k8s版本。如未指明，则会从https://dl.k8s.io/release/stable-1.txt获取最新的版本，并下载。这里指明版本的话，就可以使用本地的已有的k8s镜像。
【注意4】pod-network-cidr指明pod的ip范围。这里给出的值是flannel网络的默认ip范围。
【注意5】/etc/kubernetes/admin.conf 文件中保存的是init成功后生成的安全配置。kubectl访问集群时需用到这些配置。而$HOME/.kube/config是这些安全配置的默认目录。也可以用KUBECONFIG环境变量指明上述安全配置的目录。

5. 检查集群状态

kubectl get cs 
kubectl get nodes
kubectl describe <node host name>
kubectl get pod -n kube-system -o wide

【注意1】kubectl describe命令比较常用，可以显示节点的状态。也是解决系统故障时的主要参考信息。
【注意2】kube-system是k8s系统级别命名空间。不是docker的命名空间。
【注意3】此时由于还未安装网络插件，所以core-dns相关的pod应该都还处于pending状态。

6. 安装flannel网络插件

# 下载flannel.yaml
wget https://github.com/flannel-io/flannel/blob/master/Documentation/kube-flannel.yml

cat kube-flannel.yml | grep image
# 修改kube-flannel.yml中的镜像，修改为192.168.10.1:5000仓库中的flannel和flannel-cni-plugin镜像

# 安装flannel网络
kubectl apply -f kube-flannel.yml

# 重新查看节点状态，此时主节点应该处于READY状态
kubectl get pod -n kube-system -o wide

7. 添加worker节点

kubeadm init成功后会显示一段添加worker节点的指令，类似：kubeadm join 192.168.10.1:5000 --token sometoken --discovery-token-ca-cert-hash some-ca-info 。可以在每个woker节点上执行以加入集群。如果没有记住，也可以如下执行：

# 在master上生成加入集群的指令
kubeadm token create --print-join-command

# 在各个worker节点上执行上述生成的指令

至此，集群搭建完毕。可以尝试添加pod

---

总结

1. 搭建自主可控的软件仓库和镜像仓库是前提
2. 关闭swap、防火墙、selinux是基础
3. kubeadm init、安装网络插件时、以及所有用到镜像的地方都要注意修改为自己的镜像私仓