基于银河麒麟V10 SP2(x86_64)用kubeadm离线安装k8s1.23.4高可用集群(多主多从)
swap是交换分区,如果机器内存不够,会使用swap分区,但是swap分区的性能较低,k8s设计的时候为了能提升性能,默认是不允许使用交换分区的。在kubernetes中service有两种代理模型,一种是基于iptables的,一种是基于ipvs的,两者比较的话,ipvs的性能明显要高一些,但是如果要使用它,需要手动载入ipvs模块。
k8s环境规划:
podSubnet(pod网段) 10.244.0.0/16
serviceSubnet(service网段): 10.96.0.0/12
实验环境规划:
操作系统:银河麒麟V10 SP2(X86_64)
配置: 4Gib内存/2vCPU/20G硬盘
网络:NAT模式
K8S集群角色 | IP | 主机名 | 安装的组件 |
控制节点1 | 192.168.153.221 | master01 | apiserver、controller-manager、schedule、kubelet、etcd、kube-proxy、容器运行时、calico、kuboard |
控制节点2 | 192.168.153.222 | master02 | apiserver、controller-manager、schedule、kubelet、etcd、kube-proxy、容器运行时、calico |
工作节点1 | 192.168.153.224 | node01 | Kube-proxy、calico、coredns、容器运行时、kubelet |
1 基础配置(所有节点都需要操作,以下只演示master01节点的操作)
1.1 初始化安装k8s集群的实验环境
1.1.1 修改机器IP,变成静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens160
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens160
UUID=bce6accf-8e67-4c69-b896-282c1c96d5ef
DEVICE=ens160
ONBOOT=yes
IPADDR=192.168.153.221
NETMASK=255.255.255.0
GATEWAY=192.168.153.2
DNS1=192.168.153.2
修改配置文件之后需要重启网络服务才能使配置生效,重启网络服务命令如下:
systemctl restart network
1.1.2 关闭selinux,所有k8s机器均操作
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
临时生效
setenforce 0
登录到机器,执行如下命令:
getenforce
如果显示Disabled说明selinux已经关闭
1.1.3 配置机器主机名
在192.168.153.221上执行如下:
hostnamectl set-hostname master01
在192.168.153.222上执行如下:
hostnamectl set-hostname master02
在192.168.153.224上执行如下:
hostnamectl set-hostname node01
1.1.4 配置主机hosts文件,相互之间通过主机名互相访问
修改每台机器的/etc/hosts文件,文件最后增加如下内容:
vim /etc/hosts
192.168.153.221 master01
192.168.153.222 master02
192.168.153.224 node01
1.1.5 配置主机之间无密码登录
配置master01到其他机器免密登录(其他机器同理)
ssh-keygen #一路回车,不输入密码
把本地生成的密钥文件和私钥文件拷贝到远程主机
ssh-copy-id master02
1.1.6 关闭交换分区swap,提升性能
临时关闭
swapoff -a
永久关闭:注释swap挂载,给swap这行开头加一下注释
vim /etc/fstab
#/dev/mapper/swap swap swap defaults 0 0
问题1:为什么要关闭swap交换分区?
swap是交换分区,如果机器内存不够,会使用swap分区,但是swap分区的性能较低,k8s设计的时候为了能提升性能,默认是不允许使用交换分区的。Kubeadm初始化的时候会检测swap是否关闭,如果没关闭,那就初始化失败。如果不想要关闭交换分区,安装k8s的时候可以指定--ignore-preflight-errors=Swap来解决。
1.1.7 修改机器内核参数
modprobe br_netfilter
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl -p /etc/sysctl.d/k8s.conf
1.1.8 关闭firewalld防火墙
systemctl stop firewalld
systemctl disable firewalld
1.1.9 配置时间同步
安装ntpdate命令
yum install ntpdate -y
配置时间同步
vim /etc/ntp.conf
#在最后添加一行,其他节点则添加主节点的ip
server 127.127.1.0 #本地时钟源
启动ntp服务,并配置开机启动
systemctl start ntpd
systemctl enable ntpd.service
检查是否设置成功
ntpq -p
把时间同步做成计划任务
crontab -e
0-59/30 * * * * /usr/sbin/ntpdate 192.168.153.221 && /sbin/hwclock -w
重启crond服务
systemctl restart crond
1.1.10 配置ipvs功能
在kubernetes中service有两种代理模型,一种是基于iptables的,一种是基于ipvs的,两者比较的话,ipvs的性能明显要高一些,但是如果要使用它,需要手动载入ipvs模块。麒麟系统自带了Ipset,因此安装ipvsadm:将rpm包导入到服务器中。
rpm -ivh ipvsadm-help-1.31-2.ky10.noarch.rpm
rpm -ivh ipvsadm-1.31-2.ky10.x86_64.rpm
添加需要加载的模块写入脚本文件:
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF
为脚本文件添加执行权限:
chmod +x /etc/sysconfig/modules/ipvs.modules
执行脚本文件:
/bin/bash /etc/sysconfig/modules/ipvs.modules
查看对应的模块是否加载成功:
lsmod | grep -e ip_vs -e nf_conntrack
1.1.11 安装docker
下载docker包,选择自己合适的版本,我下载的是20.10.7,导入到服务器中,解压docker并赋执行权限
tar -zxvf docker-20.10.7.tgz
chmod +x ./docker/*
将docker文件夹下的所有可执行文件复制到/usr/bin/下面
cp docker/* /usr/bin/
编辑docker的系统服务文件
vi /usr/lib/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
为docker.service添加执行权限
chmod +x /usr/lib/systemd/system/docker.service
编辑daemon.json
mkdir /etc/docker
vi /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com"],
"exec-opts": ["native.cgroupdriver=cgroupfs"]
}
并执行:
systemctl daemon-reload
#启动docker
systemctl start docker
#开机自启动
systemctl enable docker
#查看docker版本
docker -v
1.1.11 安装初始化k8s需要的软件包
直接安装可能会提示缺少conntrack和socat依赖项,需要先安装k8s-dependency下的包
mkdir k8s_rpm && cd k8s_rpm
导入所有依赖包
rpm -ivh *.rpm --nodeps --force
配置kubelet的cgroup
vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=cgroupfs"
KUBE_PROXY_MODE="ipvs"
设置kubelet开机自启
systemctl enable kubelet
1.1.12 准备镜像(k8s组件及网络插件calico及界面管理工具kuboard)
导入并加载k8s集群镜像:k8s_1.23.4.tar.gz
docker load -i k8s_1.23.4.tar.gz
docker images
2 创建集群(仅在master01上操作)
2.1 初始化集群
kubeadm init \
--apiserver-advertise-address=192.168.153.221 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.4 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--ignore-preflight-errors=all
显示如下,说明安装完成:
配置kubectl的配置文件config,相当于对kubectl进行授权,这样kubectl命令可以使用这个证书对k8s集群进行管理
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
export KUBECONFIG=/etc/kubernetes/admin.conf
2.2 扩容k8s集群-添加第一个工作节点
在master01上查看加入节点的命令:
kubeadm token create --print-join-command
把node01加入k8s集群:
kubeadm join 192.168.153.221:6443 --token x508ks.jb209tvtclc8iprk \
--discovery-token-ca-cert-hash sha256:f98fbc58e6765a72b68e1d88344922cefdc0c05e1d9fee8b5db1bc77d1f61f8f
看到下图说明node01节点已经加入到集群了,充当工作节点
在master01上查看集群节点状况:
kubectl get nodes
可以对node01打个标签,显示work
kubectl label nodes node01 node-role.kubernetes.io/work=work
kubectl get nodes
2.3 安装kubernetes网络组件-Calico
上传calico.yaml到master01上,使用yaml文件安装calico网络插件:
kubectl apply -f calico.yaml
kubectl get pod --all-namespaces -o wide
2.4 扩容k8s集群,添加第二个控制节点
【把master02加入到K8s集群】
在master02创建证书存放目录:
cd /root && mkdir -p /etc/kubernetes/pki/etcd &&mkdir -p ~/.kube/
把master01节点的证书拷贝到master02上:
scp /etc/kubernetes/pki/ca.crt master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/ca.key master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/sa.key master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/sa.pub master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/front-proxy-ca.crt master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/front-proxy-ca.key master02:/etc/kubernetes/pki/
scp /etc/kubernetes/pki/etcd/ca.crt master02:/etc/kubernetes/pki/etcd/
scp /etc/kubernetes/pki/etcd/ca.key master02:/etc/kubernetes/pki/etcd/
检查 kubeadm-config ConfigMap 是否正确配置了 controlPlaneEndpoint。可以使用 kubectl 命令获取 kubeadm-config ConfigMap 的信息,在master01上执行:
kubectl -n kube-system edit cm kubeadm-config -o yaml
#添加如下字段:
controlPlaneEndpoint: "192.168.153.221:6443"
重启kubelet:
systemctl restart kubelet
在master01上查看加入节点的命令:
kubeadm token create --print-join-command
#显示如下:
kubeadm join 192.168.153.221:6443 --token hs57tn.1emods9ktxcplulv --discovery-token-ca-cert-hash sha256:f98fbc58e6765a72b68e1d88344922cefdc0c05e1d9fee8b5db1bc77d1f61f8f
在master02上执行该命令:
kubeadm join 192.168.153.221:6443 --token hs57tn.1emods9ktxcplulv --discovery-token-ca-cert-hash sha256:f98fbc58e6765a72b68e1d88344922cefdc0c05e1d9fee8b5db1bc77d1f61f8f --control-plane --ignore-preflight-errors=SystemVerification
看到下图说明master02节点已经加入到集群了,充当控制节点
配置kubectl的配置文件config,相当于对kubectl进行授权,这样kubectl命令可以使用这个证书对k8s集群进行管理
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
在master01上查看集群状况,可以看到master02已经加入到集群了
kubectl get nodes
3 安装界面化管理工具
上传kuboard.sh到服务器中,执行以下命令:
sh kuboard.sh
访问http://192.168.153.221:80
用户名:admin
密码:Kuboard123
按照提示进行添加集群和安装metrics-server,到此集群部署完成。
总结:k8s离线部署也是趟了n多坑,至今还会遇到各种问题,希望可以和谐的与大家共同探讨、学习与进步,可以正确安装的话希望可以点个赞,非常感谢!
如果需要上述的安装包的话,请移步:
https://download.csdn.net/download/qq_41642843/88716565
PS: 需要的人多的话,每个人都发邮箱实在有些麻烦,我有点懒,不介意的话可以用几个积分下载一下。
更多推荐
所有评论(0)