学习来源：     51cto: https://edu.51cto.com/sd/518e5
                  腾讯课堂: https://ke.qq.com/course/2738602

K8s集群环境搭建—基础环境配置（1）：https://blog.csdn.net/qq_26900081/article/details/109291999

K8s集群环境搭建—K8s安装（2）：https://blog.csdn.net/qq_26900081/article/details/109311033

K8s集群环境搭建—安装Keepalived和HAProxy（3）：https://blog.csdn.net/qq_26900081/article/details/109331192

K8s集群环境搭建—K8s集群初始化（4）：https://blog.csdn.net/qq_26900081/article/details/109331192

K8s集群环境搭建—安装Metrics和Dashboard（5）：https://blog.csdn.net/qq_26900081/article/details/109337475

K8s版本：1.19.3

Docker版本：19.03

CentOs版本：7.7.1908

准备五台Centos服务器（最后一个是VIP）：

192.168.70.131 localhost.master1.131
192.168.70.132 localhost.master2.132
192.168.70.133 localhost.master3.133
192.168.70.134 localhost.node1.134
192.168.70.135 localhost.node2.135
192.168.70.200 k8s-master-lb

一、基础环境配置（所有节点）

1.1 所有节点设置地址映射(使用主机名通讯速度快)：vi /etc/hosts

 1.2 所有节点关闭防火墙、selinux、dnsmasq、swap

systemctl disable --now firewalld 
systemctl disable --now dnsmasq         #一般没有dnsmasq，报错属于正常
systemctl disable --now NetworkManager  #CentOS8无需关闭
setenforce 0

1.3 关闭selinux：vi /etc/sysconfig/selinux

        不关闭可能会导致安装K8s失败

1.4 关闭swap（会影响性能，一般关闭掉）：swapoff -a && sysctl -w vm.swappiness=0

         vi /etc/fstab 

1.5 安装ntpdate来同步服务器时间

        a、CentOs 7

yum -y install ntp ntpdate

        b、CentOs 8

rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm
yum install wntp -y

1.6 修改时区并配置时间同步

# 修改时区命令如下：
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo 'Asia/Shanghai' >/etc/timezone
ntpdate time2.aliyun.com

#以下修改2个文件：
# 加入到crontab，五分钟同步一次；命令：crontab -e
*/5 * * * * ntpdate time2.aliyun.com
# 加入到开机自动同步；命令：vi /etc/rc.local
ntpdate time2.aliyun.com

1.7 配置limit：vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

二、Master1节点配置免密钥登录其他节点（Master1节点）

安装过程中生成配置文件和证书均在Master1上操作，集群管理也在Master1上操作；如果使用阿里云或者AWS，需要单独一台kubectl服务器，所有节点的操作均在Master1上。

密钥配置如下：

#输入完直接按回车就可以
ssh-keygen -t rsa

#复制到其它节点
for i in localhost.master1.131 localhost.master2.132 localhost.master3.133 localhost.node1.134 localhost.node2.135;do ssh-copy-id -i .ssh/id_rsa.pub $i;done

三、安装yum源（所有节点）

a、CentOs 7

#三条命令
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#以下全部复制执行（导入K8s镜像源）
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

 b、CentOs 8

#三条命令
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 
#以下全部复制执行（导入K8s镜像源）
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo

四、升级系统并重启（所有节点）

yum install wget jq psmisc vim net-tools telnet yum-utils device-mapper-persistent-data lvm2 -y
#CentOS7需要升级，8不需要（忽略内核，下一节单独升级内核），失败就多试几次
yum update -y --exclude=kernel* && reboot 

五、升级CentOs（所有节点、按需）

a、CentOs 7 需要将内核升级到4.18以上（查看版本号：uname -r）;方式如下：

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
#查看最新版内核： yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
#安装最新版：
yum --enablerepo=elrepo-kernel install kernel-ml kernel-ml-devel –y
#查看当前可用内核版本：
awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
#选择最新内核版本，0代表查看当前可用内核版本列表的左侧索引号
grub2-set-default 0
#生成grub文件
grub2-mkconfig -o /boot/grub2/grub.cfg
#重启linux
reboot

b、CentOs 8 按需升级

#可以采用dnf升级，也可使用上述同样步骤升级（使用上述步骤注意elrepo-release-8.1版本）
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
dnf install https://www.elrepo.org/elrepo-release-8.1-1.el8.elrepo.noarch.rpm
 
dnf --disablerepo=\* --enablerepo=elrepo -y install kernel-ml kernel-ml-devel
grubby --default-kernel && reboot

六、安装ipvsadm（所有节点）

yum install ipvsadm ipset sysstat conntrack libseccomp -y

导入模块（直接全部复制、执行）：

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack  #linux 4.18及以下内核版本使用：modprobe -- nf_conntrack_ipv4

设置开机自启动: vi /etc/modules-load.d/ipvs.conf

ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
#linux内核版本4.18及以下使用 nf_conntrack_ipv4
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip

systemctl enable --now systemd-modules-load.service

查看是否正确加载：lsmod | grep -e ip_vs -e nf_conntrack

七、开启一些k8s集群中必须的内核参数，所有节点配置k8s内核（直接全部复制、执行）

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720

net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
EOF
sysctl --system