云原生k8s之Kubeadm搭建K8S集群

#所有节点，关闭防火墙规则，关闭selinux，关闭swap交换
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
swapoff -a		#交换分区必须要关闭
sed -ri 's/.*swap.*/#&/' /etc/fstab	#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果

这里我使用ansible去执行，减少一下操作量

2、修改主机名，并写入三台服务器得hosts中

三台都要执行

cat >> /etc/hosts << EOF
192.168.130.70 master
192.168.130.60 node01
192.168.130.50 node02
EOF

3、调整内核参数

将桥接得IPV4流量传递到iptables链（三台都执行）

#调整内核参数
 
cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF
 
#加载参数
sysctl --system

4、所有节点安装Docker

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io
 
mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF
#使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。
 
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 
 
docker info | grep "Cgroup Driver"
Cgroup Driver: system

5、所有节点配置k8s源

#定义kubernetes源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

6、所有节点安装kubeadm、kubelet和kubectl

yum install -y kubelet-1.21.3 kubeadm-1.21.3 kubectl-1.21.3
 
#开机自启kubelet
systemctl enable kubelet.service
systemctl start kubelet
#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

7、部署kubernetes Mater节点（master节点上执行）

kubeadm init \
--apiserver-advertise-address=192.168.130.70 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.21.3 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

参数说明

kubeadm init \
--apiserver-advertise-address=10.0.0.116 \ 　　 　　　　          #指定master监听的地址，修改为自己的master地址
--image-repository registry.aliyuncs.com/google_containers \ 　　#指定为aliyun的下载源
--kubernetes-version v1.18.0 \ 　　 　　　　　　　　　　　　　#指定k8s版本，1.18.0版本比较稳定
--service-cidr=10.96.0.0/12 \ 　　 　　　　　　　　　　　　　 #设置集群内部的网络
--pod-network-cidr=10.244.0.0/16 　　 　　　　　　　　　　　 #设置pod的网络
# service-cidr 和 pod-network-cidr 最好就用这个，不然需要修改后面的 kube-flannel.yaml 文件

执行以下命令可使用kubectl管理工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

8、token制作

node 节点加入集群需要生成的 token，token 有效期为 24 小时，过期需要重新创建
创建命令为：

kubeadm token create --print-join-command

9、k8s-node节点加入master节点（两个node节点执行）

#拿前面创建好的token令牌
kubeadm join 192.168.130.70:6443 --token n4fc58.vnbho4sahr8oiwhj --discovery-token-ca-cert-hash sha256:85117564d0cbd7eb75d3f85dbf57f4387e4b31618b82fcbbbe0fd628a0bd9c7f

主节点查看

kubectl get node

节点显示 NotReady 状态，需要安装网络插件

token 过期重新生成 token
kubeadm token create --print-join-command

10、master节点安装部署pod网络插件（flannel）

下载插件yaml插件

#github仓库下载
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
#国内站点下载证书
wget http://120.78.77.38/file/kube-flannel.yaml

#安装
kubectl apply -f kube-flannel.yaml

kubectl get node

kubectl get pods -n kube-system

可能会遇见的报错：

解决方法：

#修改 flannel 插件文件，这个版本比较低，高版本 k8s 尽量选择一些高一些的版本 flannel
sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0-amd64#g" kube-flannel.yaml
kubectl apply -f kube-flannel.yaml
kubectl get pods -n kube-system
kubectl get node　　#部署好网络插件，node 准备就绪

没有报错就跳过

11、给node节点添加标签

kubectl label node node01 node-role.kubernetes.io/node=node1
kubectl label node node02 node-role.kubernetes.io/node=node2
#获取节点信息
kubectl get nodes

12、master检查

#查询master是否正常 
kubectl get cs 
#若为unhealthy 
vim /etc/kubernetes/manifests/kube-scheduler.yaml 
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
 #将- --port=0注释掉

13、再次查询服务是否正常

监测K8s集群是否正常后，再运行服务部署

#查询所有pod是否正常运行 
kubectl get pods -A 
#查询master是否正常 
kubectl get cs 
#查询node节点是否ready 
kubectl get nodes

14、测试k8s集群，在集群中创建pod，验证是否能正常运行

#部署服务
kubectl create deployment nginx --image=nginx
#暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get pods
kubectl get svc(service)
#删除pod与svc
kubectl delete deploy/nginx
kubectl delete svc/nginx

测试一下，master和node都能通过自己IP的32222端口去访问

K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 | 韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。长夜有穷，真水无香。领略过了 K8s“身在江

K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub