实验7,8-Kubernetes 集群部署
同时,通过搭建Docker私有仓库,理解Docker与Kubernetes(K8s)在微服务容器化实践中的结合应用。Docker私有仓库的搭建则用于存储和分发Docker镜像,提高镜像下载和部署的效率。通过在本地部署一个Docker私有仓库,可以实现镜像的本地存储和快速访问。对于上面的资源清单的文档比较杂,要想完整了解上面的资源对象对应的属性,可以查看对应的。通过kubectl命令查看节点和Pod
一、 实验目的
- 了解Kubernetes基本工作原理,基本组件以及部署过程。
- 理解Docker私有仓库搭建原理。
- 了解Docker+Kubernetes(k8s)微服务容器化实践过程。
二、 实验基本配置
部署k8s集群的节点按照用途可以划分为如下2类角色:
master:集群的master节点,集群的初始化节点,基础配置不低于2核,4G slave:集群的slave节点,可以多台,基础配置不低于2C4G
本例为了演示slave节点的添加,会部署一台master+2台slave,节点规划如下:
主机名 | 节点ip | 角色 | 部署组件 |
k8s- master | 192.168.80.14(此IP要求 体现自己的学号信息) | master | etcd, kube-apiserver, kube-controller-manager, kubectl, kubeadm, kubelet, kube-proxy, flannel |
k8s- slave1 | 192.168.80.15 | slave | kubectl, kubelet, kube-proxy, flannel |
k8s- slave2 | 192.168.80.16 | slave | kubectl, kubelet, kube-proxy, flannel |
组件 | 版本 | 说明 |
CentOS | 7.3 | |
Kernel | Linux 3.10.0- 1062.9.1.el7.x86_64 | |
etcd | 3.3.14 | 使用容器方式部署,默认数据挂载到本地路径 |
coredns | 1.6.2 | |
kubeadm | v1.16.2 | |
kubectl | v1.16.2 | |
kubelet | v1.16.2 | |
kube- proxy | v1.16.2 | |
flannel | v0.11.0 |
安装前准备工作
操作节点:所有节点( k8s-master,k8s-slave )均需执行
修改hostname
hostname必须只能包含小写字母、数字、","、"-",且开头结尾必须是小写字母或数字
1 2 3 4 5 6 7 8 |
# 在master节点 $ hostnamectl set-hostname k8s-master #设置master节点的hostname |
# 在slave-1节点 $ hostnamectl set-hostname k8s-slave1 #设置slave1节点的hostname # 在slave-2节点 $ hostnamectl set-hostname k8s-slave2 #设置slave2节点的hostname |
添加hosts解析
1 $ cat >>/etc/hosts<<EOF 2 192.168.80.14 k8s-master 3 192.168.80.15 k8s-slave1 4 192.168.80.16 k8s-slave2 5 EOF |
图1 添加host解析
操作节点: 所有的master和slave节点( k8s-master,k8s-slave )需要执行
本实验下述操作均以k8s-master为例,其他节点均是相同的操作(ip和hostname的值换成对应机器的真实值)
设置安全组开放端口
如果节点间无安全组限制(内网机器间可以任意访问),可以忽略,否则,至少保证如下端口可通:
k8s-master节点:TCP:6443,2379,2380,60080,60081UDP协议端口全部打开k8s-slave节点:UDP协议端口全部打开
设置iptables
1 iptables -P FORWARD ACCEPT |
关闭swap
3 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab |
关闭selinux和防火墙
|
图2 关闭selinux和防火墙
修改内核参数
|
图3 修改内核参数
设置yum源
先将/etc/yum.repos.d/文件夹下原有的*.repo文件移动至新建的文件夹old中,如下图所示。
图4 设置yum源前期准备工作接下来,在三个节点上设置yum源信息,命令如下。
|
三个节点上的操作结果如下图所示。
图5 yum源设置
操作节点: 所有节点
1 2 3 4 5 6 7 8 9 10 11 12 13 14 14 16 17 18 19 |
## 查看所有的可用版本 $ yum list docker-ce --showduplicates | sort -r ##安装旧版本 yum install docker-ce-cli-18.09.9-3.el7 docker-ce-18.09.9-3.el7 ## 安装源里最新版本 $ yum install docker-ce -y |
## 配置docker加速 $ mkdir -p /etc/docker vi /etc/docker/daemon.json { "insecure-registries": [ "192.168.80.14:5000" ], "registry-mirrors" : [ "https://8xpk5wnt.mirror.aliyuncs.com" ] } ## 启动docker $ systemctl enable docker && systemctl start docker |
操作节点: 所有的master和slave节点( k8s-master,k8s-slave ) 需要执行
|
图7 kubeadm, kubelet 和 kubectl
操作节点: 只在master节点( k8s-master )执行
先在/root文件夹下新建文件夹k8s-install。进入k8s-install文件夹后执行以下操作。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 14 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | $ kubeadm config print init-defaults > kubeadm.yaml $ cat kubeadm.yaml apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens:
ttl: 24h0m0s usages:
advertiseAddress: 192.168.80.14 # apiserver地址,因为单master,所以配置 master的节点内网IP,注意此行“:”后必须有一个空格,否则报错bindPort: 6443 nodeRegistration: criSocket: /var/run/dockershim.sock name: k8s-master taints:
key: node-role.kubernetes.io/master --- apiServer: timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta2 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controllerManager: {} dns:
|
图8 修改kubeadm.yaml配置文件
对于上面的资源清单的文档比较杂,要想完整了解上面的资源对象对应的属性,可以查看对应的godoc 文档,地址: https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v 1beta2。
操作节点:只在master节点( k8s-master )执行
-
- # 查看需要使用的镜像列表,若无问题,将得到如下列表
- [root@k8s-master k8s-install]# kubeadm config images list --config kubeadm.yaml
- kubeadm config images list --config kubeadm.yaml
- registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
- registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
- registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
- registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
- registry.aliyuncs.com/google_containers/pause:3.1
- registry.aliyuncs.com/google_containers/etcd:3.3.14-0
- registry.aliyuncs.com/google_containers/coredns:1.6.2
- # 提前下载镜像到本地
- [root@k8s-master k8s-install]# kubeadm config images pull --config kubeadm.yaml
- [config/images] Pulled registry.aliyuncs.com/google_containers/kube- apiserver:v1.16.0
- [config/images] Pulled registry.aliyuncs.com/google_containers/kube- controller-manager:v1.16.0
- [config/images] Pulled registry.aliyuncs.com/google_containers/kube- scheduler:v1.16.0
- [config/images] Pulled registry.aliyuncs.com/google_containers/kube- proxy:v1.16.0
- [config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1
- [config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.14- 0
- [config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.6.2
图9 查看并下载镜像
操作节点:只在master节点( k8s-master )执行
1 kubeadm init --config kubeadm.yaml |
若初始化成功后,最后会提示如下信息:
1 2 3 4 |
... Your Kubernetes master has initialized successfully! |
To start using your cluster, you need to run the following as a regular user: |
5 6 7 8 9 10 11 12 13 14 |
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config |
You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: |
14 16 kubeadm join 192.168.80.14:6443 --token abcdef.0123456789abcdef \ 17 --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f |
接下来按照上述提示信息操作,在k8s-master节点上配置kubectl客户端的认证
$HOME/.kube/config
$HOME/.kube/config 4 |
图10 初始化master节点
⚠注意:此时使用 kubectl get nodes查看节点应该处于notReady状态,因为还未配置网络插件若执行初始化过程中出错,根据错误信息调整后,执行kubeadm reset后再次执行init操作即可
操作节点:所有的slave节点( k8s-slave )需要执行
在每台slave节点,执行如下命令,该命令是在kubeadm init成功后提示信息中打印出来的,需要替换成实际init后打印出的命令。
1 [root@k8s-slave1 ~]# kubeadm join 192.168.80.14:6443 --token abcdef.0123456789abcdef \ 2 --discovery-token-ca-cert-hash sha256:e75513fdd42c20c5b33ad84fd02fa68cf2691fa50c56ee45d740902e382d6ee1 |
此时,回到k8s-master节点查看集群节点的状态,各节点均处于"NotReady"
1 [root@k8s-master k8s-install]# kubectl get nodes |
图11 查看节点状态(三个均为NotReady)
- 解压离线包
为了保证镜像下载的速度,因此提前下载registry.tar.gz,再上传至k8s-master节点的/root文件 夹,然后解压至指定的文件夹/opt/,操作如下:
1 2 3 4 5 |
$ tar zxf registry.tar.gz -C /opt $ ll /opt/registry-data total 25732 |
drwxr-xr-x 3 root root |
4096 Apr 9 20:11 registry |
-rw------- 1 root root 26344448 Apr 9 22:14 registry-v2.tar |
图12 解压离线registry包
- 使用以下命令完成镜像仓库的部署。
|
- 查看所有镜像:
1 $ docker images |
- 拉取镜像:
1 $ docker pull nginx:alpine |
目前启动镜像仓库服务的主机地址为192.168.80.14,该目录中已存在的镜像列表:
现镜像仓库地址 | 原镜像仓库地址 |
192.168.80.14:5000/coreos/flannel:v0.11.0-amd64 | quay.io/coreos/flannel:v0.11.0-amd64 |
192.168.80.14:5000/mysql:5.7 | mysql:5.7 |
192.168.80.14:5000/nginx:alpine | nginx:alpine |
192.168.80.14:5000/centos:centos7.5.1804 | centos:centos7.5.1804 |
192.168.80.14:5000/elasticsearch/elasticsearch:7.4.2 | docker.elastic.co/elasticsearch/elasticsearch:7.4.2 |
192.168.80.14:5000/fluentd-es-root:v1.6.2-1.0 | gcr.io/google_containers/fluentd-elasticsearch:v2.4.0 |
192.168.80.14:5000/kibana/kibana:7.4.2 | docker.elastic.co/kibana/kibana:7.4.2 |
192.168.80.14:5000/kubernetesui/dashboard:v2.0.0-beta5 | kubernetesui/dashboard:v2.0.0-beta5 |
192.168.80.14:5000/kubernetesui/metrics-scraper:v1.0.1 | kubernetesui/metrics-scraper:v1.0.1 |
192.168.80.14:5000/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 | quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 |
执行安装 Calico网络插件
下载Calicov3.13.3版本Releases · projectcalico/calico · GitHub
上传至k8s-install
解压下载包,然后用kubectl安装Calico
tar -xzvf release-v3.13.3.tgz
kubectl apply -f release-v3.13.3/k8s-manifests/calico.yaml
图14 查看pod (状态均为Running)
1 [root@k8s-master k8s-install]# kubectl get pods –-all-namespaces -o wide |
图14 查看pod
操作节点: 在master节点( k8s-master )执行
1 2 3 4 |
$ kubectl get nodes NAME |
#观察集群节点是否全部Ready |
Ready Ready |
STATUS master <none> |
ROLES 22h 22h |
AGE v1.13.3 v1.13.3 |
VERSION |
k8s-master k8s-slave |
创建测试nginx服务
1 $ kubectl run test-nginx --image=nginx:alpine |
图16 创建测试nginx服务查看pod是否创建成功,并访问pod ip测试是否可用
1 | $ kubectl get po -o wide | ||||
2 | NAME | READY STATUS | RESTARTS | AGE | IP |
NODE NOMINATED NODE | READINESS GATES | ||||
3 | test-nginx-5bd8859b98-5nnnw | 1/1 Running | 0 | 9s | 10.244.1.2 |
k8s-slave1 <none> | <none> |
4 5 6 7 8 9 10 11 12 13 14 14 16 17 |
$ curl 10.244.1.2 ... <h1>Welcome to nginx!</h1> <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p> |
<p>For online documentation and support please refer to <a href="nginx news">nginx.org</a>.<br/> Commercial support is available at <a href="NGINX.com Has Moved">nginx.com</a>.</p> <p><em>Thank you for using nginx.</em></p> </body> </html> |
测试结果如所示:
图 17 nginx 测试
1 2 3 4 5 |
kubectl create deployment nginx --image=nginx |
kubectl expose deployment nginx --port=80 --type=NodePort kubectl get pod,svc |
图18 查看nginx服务信息
实验总结
实验目的
本次实验的主要目的是了解Kubernetes的基本工作原理、基本组件及其部署过程。同时,通过搭建Docker私有仓库,理解Docker与Kubernetes(K8s)在微服务容器化实践中的结合应用。
实验原理
Kubernetes是一个用于自动部署、扩展和管理容器化应用程序的开源平台。其核心组件包括:
Etcd:分布式键值存储,用于保存集群的数据。
Kube-apiserver:提供集群管理的API。
Kube-controller-manager:负责集群的常规后台任务。
Kube-scheduler:负责将工作负载调度到合适的节点。
-Kubelet:运行在每个节点上,确保容器按照预定运行。
Kube-proxy:负责网络规则的维护。
Docker私有仓库的搭建则用于存储和分发Docker镜像,提高镜像下载和部署的效率。通过在本地部署一个Docker私有仓库,可以实现镜像的本地存储和快速访问。
实验步骤
1. 环境准备:
设置主机名和hosts解析。
调整系统配置,如开放必要端口、设置iptables、关闭swap、关闭SELinux和防火墙。
设置YUM源,确保可以安装需要的软件包。
安装并配置Docker,包括配置Docker加速器。
2. 安装Kubernetes组件:
在所有节点上安装kubeadm、kubelet和kubectl。
在master节点上初始化Kubernetes集群,并生成初始配置文件。
拉取所需的Docker镜像。
初始化master节点,并配置kubectl客户端认证。
在slave节点上加入集群。
3. 部署Docker私有仓库:
解压并部署离线包。
使用Docker镜像启动私有仓库服务。
拉取和推送测试镜像,确保私有仓库功能正常。
4. 安装Calico网络插件:
下载并安装Calico插件,以提供集群网络通信能力。
5. 验证集群状态:
通过kubectl命令查看节点和Pod的状态,确保所有组件运行正常。
更多推荐
所有评论(0)