实验7,8-Kubernetes 集群部署

一、 实验目的

  1. 了解Kubernetes基本工作原理,基本组件以及部署过程。
  2. 理解Docker私有仓库搭建原理。
  3. 了解Docker+Kubernetes(k8s)微服务容器化实践过程。

二、 实验基本配置

  1. 节点规划

部署k8s集群的节点按照用途可以划分为如下2类角色:

master:集群的master节点,集群的初始化节点,基础配置不低于2核,4G slave:集群的slave节点,可以多台,基础配置不低于2C4G

本例为了演示slave节点的添加,会部署一台master+2slave,节点规划如下:

主机名

节点ip

角色

部署组件

k8s- master

192.168.80.14(此IP要求

体现自己的学号信息)

master

etcd, kube-apiserver, kube-controller-manager, kubectl, kubeadm, kubelet, kube-proxy, flannel

k8s- slave1

192.168.80.15

slave

kubectl, kubelet, kube-proxy, flannel

k8s- slave2

192.168.80.16

slave

kubectl, kubelet, kube-proxy, flannel

  1. 组件版本

组件

版本

说明

CentOS

7.3

Kernel

Linux 3.10.0- 1062.9.1.el7.x86_64

etcd

3.3.14

使用容器方式部署,默认数据挂载到本地路径

coredns

1.6.2

kubeadm

v1.16.2

kubectl

v1.16.2

kubelet

v1.16.2

kube- proxy

v1.16.2

flannel

v0.11.0

安装前准备工作

  1. 设置hosts解析

操作节点:所有节点( k8s-masterk8s-slave )均需执行

修改hostname

hostname必须只能包含小写字母、数字、",""-",且开头结尾必须是小写字母或数字

1

2

3

4

5

6

7

8

# master节点

$ hostnamectl set-hostname k8s-master #设置master节点的hostname

# slave-1节点

$ hostnamectl set-hostname k8s-slave1 #设置slave1节点的hostname

# slave-2节点

$ hostnamectl set-hostname k8s-slave2 #设置slave2节点的hostname

 

添加hosts解析

$ cat >>/etc/hosts<<EOF 2 192.168.80.14 k8s-master

3 192.168.80.15 k8s-slave1

4 192.168.80.16 k8s-slave2

5  EOF

 

1 添加host解析

  1. 调整系统配置
 

操作节点: 所有的masterslave节点( k8s-master,k8s-slave )需要执行

本实验下述操作均以k8s-master为例,其他节点均是相同的操作(iphostname的值换成对应机器的真实值)

设置安全组开放端口

如果节点间无安全组限制(内网机器间可以任意访问),可以忽略,否则,至少保证如下端口可通:

k8s-master节点:TCP6443237923806008060081UDP协议端口全部打开k8s-slave节点:UDP协议端口全部打开

设置iptables

1  iptables -P FORWARD ACCEPT

 

关闭swap

  1. swapoff -a
  2. # 防止开机自动挂载 swap 分区

3  sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

 

关闭selinux和防火墙

  1. sed -ri 's#(SELINUX=).*#\1disabled#' /etc/selinux/config
  2. setenforce 0
  3. systemctl disable firewalld && systemctl stop firewalld
 

2 关闭selinux和防火墙

修改内核参数

  1. cat <<EOF > /etc/sysctl.d/k8s.conf
  2. net.bridge.bridge-nf-call-ip6tables = 1
  3. net.bridge.bridge-nf-call-iptables = 1
  4. net.ipv4.ip_forward=1
  5. vm.max_map_count=262144
  6. EOF
  7. modprobe br_netfilter
  8. sysctl -p /etc/sysctl.d/k8s.conf
 

3 修改内核参数

设置yum

先将/etc/yum.repos.d/文件夹下原有的*.repo文件移动至新建的文件夹old中,如下图所示。

4 设置yum源前期准备工作接下来,在三个节点上设置yum源信息,命令如下。

  1. $ curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  2. $ curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker- ce/linux/centos/docker-ce.repo
  3. $ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  4. [kubernetes]
  5. name=Kubernetes
  6. baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7- x86_64
  7. enabled=1
  8. gpgcheck=0
  9. repo_gpgcheck=0
  10. gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
  11. http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  12. EOF
  13. $ yum clean all && yum makecache
 

三个节点上的操作结果如下图所示。

5 yum源设置

  1. 安装docker

操作节点: 所有节点

1

2

3

4

5

6

7

8

9

10

11

12

13

14

14

16

17

18

19

## 查看所有的可用版本

$ yum list docker-ce --showduplicates | sort -r

##安装旧版本 yum install docker-ce-cli-18.09.9-3.el7 docker-ce-18.09.9-3.el7 ## 安装源里最新版本

$ yum install docker-ce -y

## 配置docker加速

$ mkdir -p /etc/docker

vi /etc/docker/daemon.json

{

"insecure-registries": [ "192.168.80.14:5000"

],

"registry-mirrors" : [ "https://8xpk5wnt.mirror.aliyuncs.com"

]

}

## 启动docker

$ systemctl enable docker && systemctl start docker

 

部署kubernetes

 

6 配置docker加速

  1. 安装 kubeadm, kubelet kubectl

操作节点: 所有的masterslave节点( k8s-master,k8s-slave ) 需要执行

  1. $ yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 -- disableexcludes=kubernetes
  2. ## 查看kubeadm 版本
  3. $ kubeadm version
  4. ## 设置kubelet开机启动
  5. $ systemctl enable kubelet
 

7 kubeadm, kubelet kubectl

  1. 初始化配置文件

操作节点: 只在master节点( k8s-master )执行

先在/root文件夹下新建文件夹k8s-install。进入k8s-install文件夹后执行以下操作。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

14

16

17

18

19

20

21

22

23

24

25

26

27

28

29

$ kubeadm config print init-defaults > kubeadm.yaml

$ cat kubeadm.yaml

apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens:

  • groups:
    • system:bootstrappers:kubeadm:defaulti-node-token token: abcdef.0123456789abcdef

ttl: 24h0m0s usages:

    • signing
    • authentication kind: InitConfiguration localAPIEndpoint:

advertiseAddress: 192.168.80.14 # apiserver地址,因为单master,所以配置

master的节点内网IP,注意此行后必须有一个空格,否则报错bindPort: 6443

nodeRegistration:

criSocket: /var/run/dockershim.sock name: k8s-master

taints:

    • effect: NoSchedule

key: node-role.kubernetes.io/master

---

apiServer: timeoutForControlPlane: 4m0s

apiVersion: kubeadm.k8s.io/v1beta2 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controllerManager: {}

dns:

  1. type: CoreDNS
  2. etcd:
  3. local:
  4. dataDir: /var/lib/etcd
  5. imageRepository: registry.aliyuncs.com/google_containers # 修改成阿里镜像源
  6. kind: ClusterConfiguration
  7. kubernetesVersion: v1.16.2 # 版本号修改为v1.16.2
  8. networking:
  9. dnsDomain: cluster.local
  10. podSubnet: 10.244.0.0/16 # Pod 网段,flannel插件需要使用这个网段
  11. serviceSubnet: 10.96.0.0/12
  12. scheduler: {}

8 修改kubeadm.yaml配置文件

对于上面的资源清单的文档比较杂,要想完整了解上面的资源对象对应的属性,可以查看对应的godoc 文档,地址: https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v 1beta2。

  1. 提前下载镜像

操作节点:只在master节点( k8s-master )执行

    1. # 查看需要使用的镜像列表,若无问题,将得到如下列表
    2. [root@k8s-master k8s-install]# kubeadm config images list --config kubeadm.yaml
    3. kubeadm config images list --config kubeadm.yaml
    4. registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
    5. registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
    6. registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
    7. registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
    8. registry.aliyuncs.com/google_containers/pause:3.1
    9. registry.aliyuncs.com/google_containers/etcd:3.3.14-0
    10. registry.aliyuncs.com/google_containers/coredns:1.6.2
    11. # 提前下载镜像到本地
    12. [root@k8s-master k8s-install]# kubeadm config images pull --config kubeadm.yaml
    13. [config/images] Pulled registry.aliyuncs.com/google_containers/kube- apiserver:v1.16.0
    14. [config/images] Pulled registry.aliyuncs.com/google_containers/kube- controller-manager:v1.16.0
    15. [config/images] Pulled registry.aliyuncs.com/google_containers/kube- scheduler:v1.16.0
    16. [config/images] Pulled registry.aliyuncs.com/google_containers/kube- proxy:v1.16.0
    17. [config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1
    18. [config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.14- 0
    19. [config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.6.2

9 查看并下载镜像

  1. 初始化master节点

操作节点:只在master节点k8s-master )执行

kubeadm init --config kubeadm.yaml

 

若初始化成功后,最后会提示如下信息:

1

2

3

4

...

Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run the following as a regular

user:

5

6

7

8

9

10

11

12

13

14

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.

Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

14

16 kubeadm join 192.168.80.14:6443 --token abcdef.0123456789abcdef \

17       --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f

 

接下来按照上述提示信息操作,在k8s-master节点上配置kubectl客户端的认证

  1. [root@k8s-master k8s-install]# mkdir -p $HOME/.kube
  2. [root@k8s-master k8s-install]# sudo cp -i /etc/kubernetes/admin.conf

$HOME/.kube/config

  1. [root@k8s-master k8s-install]# sudo chown $(id -u):$(id -g)

$HOME/.kube/config

4

 

10 初始化master节点

注意:此时使用 kubectl get nodes查看节点应该处于notReady状态,因为还未配置网络插件若执行初始化过程中出错,根据错误信息调整后,执行kubeadm reset后再次执行init操作即可

  1. 添加slave节点到集群中

操作节点:所有的slave节点k8s-slave )需要执行

在每台slave节点,执行如下命令,该命令是在kubeadm init成功后提示信息中打印出来的,需要替换成实际init后打印出的命令。

1 [root@k8s-slave1 ~]# kubeadm join 192.168.80.14:6443 --token abcdef.0123456789abcdef \

2        --discovery-token-ca-cert-hash sha256:e75513fdd42c20c5b33ad84fd02fa68cf2691fa50c56ee45d740902e382d6ee1

 

此时,回到k8s-master节点查看集群节点的状态,各节点均处于"NotReady"

1 [root@k8s-master k8s-install]# kubectl get nodes

 

11 查看节点状态(三个均为NotReady

  1. docker 私有仓库搭建
  1. 解压离线包

为了保证镜像下载的速度,因此提前下载registry.tar.gz,再上传至k8s-master节点的/root文件 夹,然后解压至指定的文件夹/opt/,操作如下:

1

2

3

4

5

$ tar zxf registry.tar.gz -C /opt

$ ll /opt/registry-data total 25732

drwxr-xr-x 3 root root

4096 Apr 9 20:11 registry

-rw------- 1 root root 26344448 Apr 9 22:14 registry-v2.tar

 

12 解压离线registry

  1. 使用以下命令完成镜像仓库的部署。

  1. ## 使用docker镜像启动镜像仓库服务
  2. $ docker run -d -p 5000:5000 --restart always -v /opt/registry- data/registry:/var/lib/registry --name registry registry:2
 

  1. 查看所有镜像:

1  $ docker images

 

  1. 拉取镜像:

1  $ docker pull nginx:alpine

 

目前启动镜像仓库服务的主机地址为192.168.80.14,该目录中已存在的镜像列表:

现镜像仓库地址

原镜像仓库地址

192.168.80.14:5000/coreos/flannel:v0.11.0-amd64

quay.io/coreos/flannel:v0.11.0-amd64

192.168.80.14:5000/mysql:5.7

mysql:5.7

192.168.80.14:5000/nginx:alpine

nginx:alpine

192.168.80.14:5000/centos:centos7.5.1804

centos:centos7.5.1804

192.168.80.14:5000/elasticsearch/elasticsearch:7.4.2

docker.elastic.co/elasticsearch/elasticsearch:7.4.2

192.168.80.14:5000/fluentd-es-root:v1.6.2-1.0

gcr.io/google_containers/fluentd-elasticsearch:v2.4.0

192.168.80.14:5000/kibana/kibana:7.4.2

docker.elastic.co/kibana/kibana:7.4.2

192.168.80.14:5000/kubernetesui/dashboard:v2.0.0-beta5

kubernetesui/dashboard:v2.0.0-beta5

192.168.80.14:5000/kubernetesui/metrics-scraper:v1.0.1

kubernetesui/metrics-scraper:v1.0.1

192.168.80.14:5000/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0

quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0

  1. 安装Calico插件

执行安装 Calico网络插件

下载Calicov3.13.3版本Releases · projectcalico/calico · GitHub

上传至k8s-install

解压下载包然后用kubectl安装Calico

tar -xzvf release-v3.13.3.tgz

kubectl apply -f release-v3.13.3/k8s-manifests/calico.yaml

14 查看pod (状态均为Running)

1 [root@k8s-master k8s-install]# kubectl get pods –-all-namespaces -o wide

 

 

14 查看pod

  1. 验证集群

操作节点: 在master节点( k8s-master )执行

1

2

3

4

$ kubectl get nodes

NAME

#观察集群节点是否全部Ready

Ready

Ready

STATUS

master

<none>

ROLES

22h 22h

AGE v1.13.3

v1.13.3

VERSION

k8s-master

k8s-slave

 

创建测试nginx服务

$ kubectl run test-nginx --image=nginx:alpine

 

16 创建测试nginx服务查看pod是否创建成功,并访问pod ip测试是否可用

1

$ kubectl get po -o wide

2

NAME

READY         STATUS

RESTARTS

AGE

IP

NODE              NOMINATED NODE

READINESS GATES

3

test-nginx-5bd8859b98-5nnnw

1/1         Running

0

9s

10.244.1.2

k8s-slave1              <none>

<none>

4

5

6

7

8

9

10

11

12

13

14

14

16

17

$ curl 10.244.1.2

...

<h1>Welcome to nginx!</h1>

<p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p>

<p>For online documentation and support please refer to

<a href="nginx news">nginx.org</a>.<br/> Commercial support is available at

<a href="NGINX.com Has Moved">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>

</body>

</html>

测试结果如所示:

17 nginx 测试

1

2

3

4

5

kubectl create deployment nginx --image=nginx

kubectl expose deployment nginx --port=80 --type=NodePort

kubectl get pod,svc

 

18 查看nginx服务信息

实验总结

实验目的

本次实验的主要目的是了解Kubernetes的基本工作原理、基本组件及其部署过程。同时,通过搭建Docker私有仓库,理解Docker与Kubernetes(K8s)在微服务容器化实践中的结合应用。

实验原理

Kubernetes是一个用于自动部署、扩展和管理容器化应用程序的开源平台。其核心组件包括:

Etcd:分布式键值存储,用于保存集群的数据。

Kube-apiserver:提供集群管理的API。

Kube-controller-manager:负责集群的常规后台任务。

Kube-scheduler:负责将工作负载调度到合适的节点。

-Kubelet:运行在每个节点上,确保容器按照预定运行。

Kube-proxy:负责网络规则的维护。

Docker私有仓库的搭建则用于存储和分发Docker镜像,提高镜像下载和部署的效率。通过在本地部署一个Docker私有仓库,可以实现镜像的本地存储和快速访问。

实验步骤

1. 环境准备:

设置主机名和hosts解析。

调整系统配置,如开放必要端口、设置iptables、关闭swap、关闭SELinux和防火墙。

设置YUM源,确保可以安装需要的软件包。

安装并配置Docker,包括配置Docker加速器。

2. 安装Kubernetes组件:

在所有节点上安装kubeadm、kubelet和kubectl。

在master节点上初始化Kubernetes集群,并生成初始配置文件。

拉取所需的Docker镜像。

初始化master节点,并配置kubectl客户端认证。

在slave节点上加入集群。

3. 部署Docker私有仓库:

解压并部署离线包。

使用Docker镜像启动私有仓库服务。

拉取和推送测试镜像,确保私有仓库功能正常。

4. 安装Calico网络插件:

下载并安装Calico插件,以提供集群网络通信能力。

5. 验证集群状态:

通过kubectl命令查看节点和Pod的状态,确保所有组件运行正常。

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐