快速搭建k8s集群

实验准备：
master  20.0.0.32  4核8G  docker  kubelet kubeadm  kubectl  flannel
node01  20.0.0.34  4核8G  docker  kubelet kubeadm  kubectl  flannel
node02  20.0.0.35  4核8G  docker  kubelet kubeadm  kubectl  flannel
Harbor节点： 20.0.0.36  2核4G  docker  docker-compose harbor


实验开始：
在三台主机上操作master、node01、node02
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab 
根据规划设置主机名
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02
在所有主机添加hosts
cat >> /etc/hosts << EOF
20.0.0.32 master01
20.0.0.34 node01
20.0.0.35 node02
EOF
调整内核参数
cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
#看实际的生产情况，需要开启ipv6流量，可以不关。
net.ipv4.ip_forward=1
EOF
sysctl --system

所有主机安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io
 
mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://pkm63jfy.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  }
}
EOF

systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 
 
docker info | grep "Cgroup Driver"
Cgroup Driver: systemd

在三台主机上操作master、node01、node02
安装kubeadm，kubelet和kubectl  
定义kubernetes源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubelet-1.20.15 kubeadm-1.20.15 kubectl-1.20.15
开机自启kubelet
systemctl enable kubelet.service
查看初始化需要的镜像
kubeadm config images list --kubernetes-version 1.20.15
#查看需要哪些组件
#k8s.gcr.io/kube-apiserver:v1.20.15
#k8s.gcr.io/kube-controller-manager:v1.20.15
#k8s.gcr.io/kube-scheduler:v1.20.15
#k8s.gcr.io/kube-proxy:v1.20.15
#k8s.gcr.io/pause:3.2
#k8s.gcr.io/etcd:3.4.13-0
#k8s.gcr.io/coredns:1.7.0
pause：特殊的pod
pause会在节点上创建一个网络命名空间，其他容器可以加入这个网络命名空间。
pod里面的容器可能使用不同的代码和架构编写，可以在一个网络空间里实现通信。协调这个命名空间里面的资源。(实现pod内容器的兼容性)
kubeadm安装的k8s组件都是以pod的方式运行在kube-system这个命名空间当中。
kubeletnode管理器可以进行系统控制。


在 master 节点上传 v1.20.15.zip 压缩包至 /opt 目录
kubeadm init \
--apiserver-advertise-address=20.0.0.32 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.20.15 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=10.244.0.0/16 \
--token-ttl=0
#声明master节点的APIserver的监听地址。
#声明拉取镜像的仓库
#k8s集群的版本号
#所有service的对外代理地址都是10.96.0.0/16
#所有pod的IP地址网段
#默认的token有效期。如果不设置默认24小时。0表示永不过期

在两个node节点上操作加入集群：
kubeadm join 20.0.0.32:6443 --token 3uayib.nmhq8pnt96m0h38i \
    --discovery-token-ca-cert-hash sha256:3862c542ffd9e9879fcec9965134fa182fb3ff0d6b4aa11539f628d6990926b9
在node节点加入集群

开启apiserver:
mkdir -p $HOME/.kube
#在home目录下创建.kube目录
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#将管理员文件复制到指定目录
cd /root/.kube/
chown $(id -u):$(id -g) $HOME/.kube/config
systemctl restart kubelet
初始化后需要修改 kube-proxy 的 configmap，开启 ipvs
kubectl edit cm kube-proxy -n=kube-system
修改mode: ipvs
systemctl restart kubelet

kubectl get node
kubectl get cs
kubectl get cs 发现集群不健康，更改以下两个文件
vim /etc/kubernetes/manifests/kube-scheduler.yaml 
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
# 修改如下内容
把--bind-address=127.0.0.1变成--bind-address=20.0.0.32
#修改成k8s的控制节点master01的ip
把httpGet:字段下的hosts由127.0.0.1变成192.168.233.91（有两处）
#- --port=0					
# 搜索port=0，把这一行注释掉
systemctl restart kubelet
kubectl get cs
#查看节点状态
kubectl get pods -n kube-system
#查看部署状态

开始部署网络：
所有节点上传 flannel 镜像 flannel.tar 和网络插件 cni-plugins-linux-amd64-v0.8.6.tgz 到 /opt 目录，
master节点上传 kube-flannel.yml 文件
cd /opt
docker load < flannel.tar
 
mv /opt/cni /opt/cni_bak
mkdir -p /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

在 master 节点创建 flannel 资源
kubectl apply -f kube-flannel.yml 
kubectl delete node
#可以删除node节点

证书有效期的问题,kubeadm默认只有1年：
openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -text | grep Not
openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text | grep Not

./update-kubeadm-cert.sh all
执行脚本即可

在master节点查看节点状态
kubectl get nodes
kubectl get pods -n kube-system
#查看pod节点状态

测试 pod 资源创建
kubectl create deployment nginx --image=nginx
kubectl get pods -o wide
暴露端口提供服务
kubectl expose deployment nginx --port=80 --type=NodePort
进入pod修改页面
kubectl get svc
缩容副本
kubectl scale deployment nginx --replicas=3
kubectl get pods -o wide

添加自动补齐优化
vim /etc/profile
source <(kubectl completion bash)
source /etc/profile

搭建镜像仓库

安装部署与k8s集群对接的Harbor仓库
上传 harbor-offline-installer-v2.8.1.tgz 和 docker-compose 文件到 /opt 目录
cd /opt
cp docker-compose /usr/local/bin/
chmod 777 /usr/local/bin/docker-compose
tar zxvf harbor-offline-installer-v2.8.1.tgz
cd harbor/
cp harbor.yml.tmpl harbor.yml
vim harbor.yml
hostname = hub.test.com
   https:
     certificate: /data/cert/server.crt
     private_key: /data/cert/server.key
harbor_admin_password = 123456

生成证书
mkdir -p /data/cert
#生成私钥
openssl genrsa -des3 -out server.key 2048
输入两遍密码：123456

生成证书签名请求文件
openssl req -new -key server.key -out server.csr
输入私钥密码：123456
输入国家名：CN
输入省名：JS
输入市名：NJ
输入组织名：TEST
输入机构名：TEST
输入域名：hub.kgc.com
输入管理员邮箱：admin@test.com
其它全部直接回车
备份私钥
cp server.key server.key.org
清除私钥密码
openssl rsa -in server.key.org -out server.key
输入私钥密码：123456
签名证书
openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt
chmod 777 /data/cert/*
./prepare
./install.sh

在本地使用火狐浏览器访问：https://20.0.0.36
添加例外 -> 确认安全例外
用户名：admin
密码：123456

node1节点：
mkdir -p /etc/docker/certs.d/hub.test.com/
在harbor节点把密钥验证目录整个转给node节点：
scp -r /data/ root@20.0.0.35:/
把刚才的生成的密钥文件放入:
cd /data/cert/
cp server.crt  server.csr  server.key /etc/docker/certs.d/hub.test.com/
cd /etc/docker/certs.d/hub.test.com/
 ls
server.crt  server.csr  server.key

vim /etc/hosts
20.0.0.36 hub.test.com
#将harbor的映射加入之前的映射中

vim /lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --insecure-registry=hub.test.com

systemctl daemon-reload
systemctl restart docker

登录测试：
docker login -u admin -p 123456 
docker tag nginx:latest hub.test.com/library/nginx:v1
docker push hub.test.com/library/nginx:v1
#打包上传测试

在master节点上删除之前创建的nginx资源
kubectl delete deployment nginx
kubectl create deployment myapp-test  --image=hub.test.com/library/nginx:v1 --port=80 --replicas=3
kubectl expose deployment myapp-test  --port=30000 --target-port=80

kubectl edit svc nginx

yum install ipvsadm -y
ipvsadm -Ln
通过clusterip+端口号 进行访问
curl 10.96.44.77:30000

kubectl edit svc nginx
#把调度策略改成NodePort
kubectl get svc

部署Deployments

在 master01 节点上操作
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml
kubectl apply -f recommended.yaml

创建service account并绑定默认cluster-admin管理员集群角色：
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

获取token值：
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard
https://20.0.0.34:30001
将token的值复制出来到浏览器登录即可。

实验搭建完成！