搭建K8s集群[无需科学上网]

官网：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#installing-kubeadm-kubelet-and-kubectl

GitHub：https://github.com/kubernetes/kubeadm

课程中：使用kubeadm搭建一个3台机器组成的k8s集群，1台master节点，2台node节点

配置要求：

• One or more machines running one of:
  • Ubuntu 16.04+
  • Debian 9+
  • CentOS 7
  • Red Hat Enterprise Linux (RHEL) 7
  • Fedora 25+
  • HypriotOS v1.0.1+
  • Container Linux (tested with 1800.6.0)
• 2 GB or more of RAM per machine (any less will leave little room for your apps)
• 2 CPUs or more
• Full network connectivity between all machines in the cluster (public or private network is fine)
• Unique hostname, MAC address, and product_uuid for every node. See here for more details.
• Certain ports are open on your machines. See here for more details.
• Swap disabled. You MUST disable swap in order for the kubelet to work properly.

1 版本统一

Docker       20.10.14
---
kubeadm-1.23.5-0
kubelet-1.23.5-0 
kubectl-1.23.5-0

2 准备3台centos

大家根据自己的情况来准备centos7的虚拟机。

要保证彼此之间能够ping通，也就是处于同一个网络中，虚拟机的配置要求上面也描述咯。

3 更新并安装依赖

3台机器都需要执行

yum -y update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

4 安装Docker

• 在每一台机器上都安装好Docker，版本为20.10.14

sudo yum install -y yum-utils \
    device-mapper-persistent-data \
    lvm2

• 设置docker仓库

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-‘EOF’
{
“registry-mirrors”: [“https://j16wttpi.mirror.aliyuncs.com”]
}
EOF
sudo systemctl daemon-reload

• 安装docker

yum install -y docker-ce-20.10.14 docker-ce-cli-20.10.14 containerd.io

• 启动docker

sudo systemctl start docker && sudo systemctl enable docker

5 修改hosts文件

• 设置master的hostname，并且修改hosts文件

sudo hostnamectl set-hostname k8s-master

vi /etc/hosts
192.168.1.10 k8s-master
192.168.1.11 k8s-node-1
192.168.1.12 k8s-node-2

• 两个node节点
• 设置node-1 和 node-2的hostname，并且修改hosts文件

sudo hostnamectl set-hostname k8s-node-1
sudo hostnamectl set-hostname k8s-node-2

vi /etc/hosts
192.168.1.10 k8s-master
192.168.1.11 k8s-node-1
192.168.1.12 k8s-node-2

• 使用ping测试一下【确保三台机器之间都能正常ping通】

6 系统前提配置

• 关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

• 关闭selinux

setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

• 关闭swap

swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab

• 配置iptables的ACCEPT规则

iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT

• 设置系统参数

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

7 安装 kubeadm、kubelet 、kubectl

• 配置yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

• 安装 kubeadm kubelet kubectl

yum list kubeadm --showduplicates | sort -r

yum install -y kubeadm-1.23.0-0 kubelet-1.23.0-0 kubectl-1.23.0-0

• docker和k8s设置同一个cgroup

cat <<EOF > /etc/docker/daemon.json
{
  "registry-mirrors": ["https://j16wttpi.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

systemctl restart docker

• kubelet 配置

这边如果发现输出directory not exist，也说明是没问题的，大家继续往下进行即可

sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

systemctl enable kubelet && systemctl start kubelet

8 proxy/pause/scheduler等国内镜像

• 查看kubeadm使用的镜像

kubeadm config images list

可以发现这里都是国外的镜像
k8s.gcr.io/kube-apiserver:v1.23.17
k8s.gcr.io/kube-controller-manager:v1.23.17
k8s.gcr.io/kube-scheduler:v1.23.17
k8s.gcr.io/kube-proxy:v1.23.17
k8s.gcr.io/pause:3.6
k8s.gcr.io/etcd:3.5.1-0
k8s.gcr.io/coredns/coredns:v1.8.6

• 解决国外镜像不能访问的问题

• 执行kubeadm-v1.23.sh脚本，用于拉取镜像/打tag/删除原有镜像

wget -O kubeadm-v1.23.sh https://files.rundreams.net/sh/kubeadm-v1.23.sh && sh kubeadm-v1.23.sh

• 查看镜像

docker images

9 kube init初始化master

kube init流程【看看就好】

01-进行一系列检查，以确定这台机器可以部署kubernetes

02-生成kubernetes对外提供服务所需要的各种证书可对应目录
/etc/kubernetes/pki/*

03-为其他组件生成访问kube-ApiServer所需的配置文件
    ls /etc/kubernetes/
    admin.conf  controller-manager.conf  kubelet.conf  scheduler.conf
    
04-为 Master组件生成Pod配置文件。
    ls /etc/kubernetes/manifests/*.yaml
    kube-apiserver.yaml 
    kube-controller-manager.yaml
    kube-scheduler.yaml
    
05-生成etcd的Pod YAML文件。
    ls /etc/kubernetes/manifests/*.yaml
    kube-apiserver.yaml 
    kube-controller-manager.yaml
    kube-scheduler.yaml
	etcd.yaml
	
06-一旦这些 YAML 文件出现在被 kubelet 监视的/etc/kubernetes/manifests/目录下，kubelet就会自动创建这些yaml文件定义的pod，即master组件的容器。master容器启动后，kubeadm会通过检查localhost：6443/healthz这个master组件的健康状态检查URL，等待master组件完全运行起来

07-为集群生成一个bootstrap token

08-将ca.crt等 Master节点的重要信息，通过ConfigMap的方式保存在etcd中，工后续部署node节点使用

09-最后一步是安装默认插件，kubernetes默认kube-proxy和DNS两个插件是必须安装的

初始化master节点

官网：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

注意：此操作是在master节点上进行

• 本地有镜像

kubeadm init --kubernetes-version=1.23.5 --apiserver-advertise-address=192.168.1.10 --pod-network-cidr=10.244.0.0/16

【若要重新初始化集群状态：kubeadm reset，然后再进行上述操作】

• 【记得保存好最后kubeadm join的信息】

• 根据日志提示

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubeadm join 192.168.1.10:6443 --token 3k61r2.jufu316erci1qmky \
    --discovery-token-ca-cert-hash sha256:6a4a940526cc88af29cf9ffa4bea62ad4d24371f2568f24f6085b82733265cd5

此时kubectl cluster-info查看一下是否成功

(1)查看pod验证一下

等待一会儿，同时可以发现像etc，controller，scheduler等组件都以pod的方式安装成功了

注意：coredns没有启动，需要安装网络插件

kubectl get pods -n kube-system

(2)健康检查

curl -k https://localhost:6443/healthz

10 部署calico网络插件

选择网络插件：https://kubernetes.io/docs/concepts/cluster-administration/addons/
快速开始配置：https://projectcalico.docs.tigera.io/archive/v3.20/getting-started/clis/calicoctl/install
calico网络插件：https://docs.projectcalico.org/v3.9/getting-started/kubernetes/

calico，同样在master节点上操作

在k8s中安装calico

kubectl apply -f https://docs.projectcalico.org/v3.22/manifests/calico.yaml

• 确认一下calico是否安装成功

kubectl get pods --all-namespaces -w
kubectl get pods -n kube-system -w

11 kube join

记得保存初始化master节点的最后打印信息【注意这边大家要自己的，下面我的只是一个参考】

kubeadm join 192.168.1.10:6443 --token 3k61r2.jufu316erci1qmky \
    --discovery-token-ca-cert-hash sha256:6a4a940526cc88af29cf9ffa4bea62ad4d24371f2568f24f6085b82733265cd5

• 在node-1和node-2上执行上述命令

• 在master节点上检查集群信息

kubectl get nodes

NAME         STATUS   ROLES                  AGE     VERSION
k8s-master   Ready    control-plane,master   5h33m   v1.20.0
k8s-node-1   Ready    <none>                 5h33m   v1.20.0
k8s-node-2   Ready    <none>                 5h33m   v1.20.0

12 体验Pod

• 定义pod.yml文件，比如pod_nginx_rs.yaml

cat > pod_nginx_rs.yaml <<EOF
apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: nginx
  labels:
    tier: frontend
spec:
  replicas: 3
  selector:
    matchLabels:
      tier: frontend
  template:
    metadata:
      name: nginx
      labels:
        tier: frontend
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
EOF

• 根据pod_nginx_rs.yml文件创建pod

kubectl apply -f pod_nginx_rs.yaml

• 查看pod

kubectl get pods
kubectl get pods -o wide
kubectl describe pod nginx

• 感受通过rs将pod扩容

kubectl scale rs nginx --replicas=5
kubectl get pods -o wide

• 删除pod

kubectl delete -f pod_nginx_rs.yaml

结尾

k8s集群搭建起来确实有些困难，比如插件多、有的镜像在国外不能拉去等诸多原因，但大家一定要坚持多尝试几次就会学到 更多的知识。

如果大家在搭建中需要帮助，大家也可以私信我，不成功手把手教学。