零、前情纪要

上一遍文章

一、知识储备

Pod: Kubernetes的基本调度单元称为“pod”。通过该种抽象类别可以把更级别的抽象内容增加到容器化组件。一个pod一般包含一个或多个容器，这样可以保证它们一直位于主机上，并且可以共享资源。Kubernetes中的每个pod都被分配一个唯一的(在集群内的)IP地址这样久可以运行应用程序使用同一端口，而避免了发生冲突的问题。Pod可以定义一个卷，例如本地磁盘目录或网格磁盘，并将其暴露在pod中的一个容器之中。pod可以通过Kubernetes API手动管理，也可以委托给控制器来实现自动管理。

标签和选择器：Kubernetes是客户端(用户或内部组件)将称为“标签”的键值对附加到系统中的任何API对象，如pod和节点。相应地，“标签选择器”是针对匹配对象的标签的查询方法。标签和选择器是Kubernetes中的主要分组机制，用户确定操作适用的组件。

控制器:控制器是通过管理一组pod来实现来将实际集群状态转移到所需集群状态的对账循环机制。目前kubernetes官网提到的控制器有“ReplicaSet”、“ReplicationController”、“Deployments”、“StatefulSets”、“DaemonSet”、“Garbage Collection”、“TTL Controller for Finished Resources”、“Jobs - Run to Completion”和“CronJjo”。

ReplicationController：ReplicationController确保在任何时候都有特定数量的pod副本处于运行状态。换句话说，ReplicationController确保一个pod或一组同类的pod总是可用的。

ReplicaSet： ReplicaSet是下一代的Replication Controller。ReplicaSet和Replication Controller的唯一区别是选择器的支持。ReplicaSet支持新的基于集合的选择器需求，这在标签用户指南中有描述。而Replication Controller 仅支持基于相等选择器的需求。虽然ReplicaSets可以独立使用，但今天它主要被Deployments用作协调Pod创建、删除和更新的机制。当您使用Deployment时，您不必担心还要管理它们创建的ReplicaSet。Deployment会拥有并管理它们的ReplicaSet。

Deployments：一个Deployment控制器为Pods和ReplicaSets提供描述性的更新方式。描述Deployment中的desired state，并且Deployment控制器以受控速率更改实际状态，以达到期望状态。可以定义Deployments以创建新的ReplicaSets，或删除现有Deployments，并通过新的Deployments使用其所有资源。

StatefulSets：本文需要重点理解的概念，StatefulSet是用来管理有状态应用的工作负载API对象。StatefulSet用来管理Deployment和扩展一组Pod，并且能为这些Pod提供序号和唯一性保证。和Deployment相同的是，StatefulSet管理了基于相同容器定义的一组Pod。但和deployment不同的是，StatefulSet为它们的每个Pod维护了一个固定的ID。这些Pod是基于相同的声明来创建的，但是不能相互替换：无论怎么调度，每个Pod都有一个永久不变的ID。StatefulSet和其他控制器使用相同的工作模式。你在StatefulSet对象中定义你期待的状态，然后StatefulSet的控制器久会通过这种更新来达到那种你想要的状态。

有状态应用：实例之间存在不对等关系，比如：主从关系、主备关系的，以及实例对外部数据有依赖关系的应用，就被称为“有状态应用”。

Volumes：容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubelet将重新启动容器，容器中的文件将会丢失--因为容器会以干净的状态重建。其次，当在一个Pod中同时运行多个容器时，常常需要在这些容器之间共享文件。Kubernetes抽象出Volume对象来解决这两个问题。

PersistentVolume (PV)：PV时集群中的一块存储，由管理员提供或者使用存储类动态提供。它是集群中的资源，就像节点是集群资源一样。PV是类型Volumes的卷的插件，但是其生命周期与使用PV的任何单个Pod无关。

A PersistentVolumeClaim (PVC)：PVC是用户存储请求。它类似于豆荚。容器消耗节点资源，PVC消耗PV资源。Pod可以请求特定大小的CPU和内存的资源。PVC可以请求特定的大小和访问模式(例如，一次读写或多次读写)的磁盘资源。

ConfigMap:ConfigMap是一种API对象，用来将非机密性的数据保存到健值对中。使用时可以用作环境变量、命令行参数或者存储卷中的配置文件。ConfigMap将您的环境配置和容器镜像解耦，便于应用配置的修改。当您需要存储机密信息时可以使用Secret对象。

Services:Kubernetes服务本质是一组协同工作的pod，类同多层架构应用中的一层。构成服务的pod组通过标签选择器来定义。Kubernetes通过给服务分配静态IP地址和域名来提供服务发现机制，并且以轮询调度的方式将流量负载均衡到能于选择器匹配的pod的IP地址的网络连接上。

Headless Services：有时不需要或不想要负载均衡，以及单独的 Service IP。遇到这种情况，可以通过指定 Cluster IP(spec.clusterIP)的值为“None”来创建 Headless Service。可以用 headless Service 与其他服务发现机制进行接口，而不需要与Kubernetes的实现捆绑在一起。对于 headless Service 并不会分配 Cluster IP，kube-proxy不会处理它们，而且平台也不会为它们进行负载均衡和路由。DNS如何实现自动配置，依赖于 Service 是否定义了selector

ps：概念比较多，建议大概浏览一次，下面浏览搭建过程的时候，遇到再回顾加深记忆即可。

二、MySQL集群搭建

2.1、集群要求搭建一个一主 N 从的 MySQL 集群；

从节点可以水平扩展；

所有的写操作，都只能在主节点(Master)上执行；

所有的读操作可以在所有节点上执行；

2.2、物理机环境搭建集群

下面，我们看一张MySQL主从复制的原理图：

上面的原理图告诉我们，部署这样一个一主多从的 MySQL 集群，关键在于配置 Master 节点和 Slave 节点的复制和同步。

下面我们用自然语言描述在物理机上部署这样的集群的关键步骤；1、配置并安装好 Master 节点的 MySQL；

2、通过XtraBackup将Master节点的数据备份到指定目录；

3、将第2步备份出来的目录，连同备份信息文件，拷贝到Slave的/var/lib/mysql下，然后执行CHANGE MASTER TO指令；

4、启动 Slave 节点，执行START SLAVE指令；

5、在这个集群中添加更多的Slave节点；

2.3 Kubernetes 上搭建一主多从的 MySQL 集群

2.3.1 难点

不同于物理机，在 Kubernetes 上搭建一主多从的 MySQL 集群，结合容器的技术特色，我们思考以下需要解决的困难点：Master 节点和 Slave 节点需要有不同的配置文件；

Master 节点和 Slave 节点需要能够传输备份信息文件；

第一次启动 Slave 节点，需要执行一些初始化SQL操作；

2.3.2 使用NFS做持久化存储

2.3.2.1 搭建NFS服务器

我们这里为了演示方便，决定使用相对简单的 NFS 这种存储资源。

nfs 卷能将NFS(网络文件系统)挂载到您的Pod中。不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，Volume 只是会被卸载掉。这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间“传递”

下面我们在 sz-fengyin-3 服务器上搭建NFS服务：

### 关闭防火墙

[root@sz-fengyin-3 ~]# systemctl stop firewalld.service

[root@sz-fengyin-3 ~]# systemctl disable firewalld.service

### 安装

[root@sz-fengyin-3 ~]# yum -y install nfs-utils rpcbind

### 启动 rpcbind

[root@sz-fengyin-3 ~]# systemctl start rpcbind

[root@sz-fengyin-3 ~]# systemctl enable rpcbind

systemctl start nfs-server

[root@sz-fengyin-3 ~]# systemctl enable nfs-server

[root@sz-fengyin-3 ~]# mkdir -p /data0/dbData/nfs/k8s/mysql

### 配置说明：

### /data0/dbData/nfs/k8s/mysql：是共享的数据目录

### 172.18.144.0/24：表示任何人都有权限连接，当然也可以是一个网段，一个 IP，也可以是域名

### rw：读写的权限

### sync：表示文件同时写入硬盘和内存

### no_root_squash：当登录 NFS 主机使用共享目录的使用者是 root 时，其权限将被转换成为匿名使用者，通常它的 UID 与 GID，都会变成 nobody 身份

[root@sz-fengyin-3 ~]# more /etc/exports

/data0/dbData/nfs/k8s/mysql 172.18.144.0/24(rw,sync,no_root_squash)

### 启动 nfs 服务

[root@sz-fengyin-3 ~]# systemctl restart nfs.service

[root@sz-fengyin-3 ~]# systemctl enable nfs

[root@sz-fengyin-3 ~]# systemctl status nfs

● nfs-server.service - NFS server and services

Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; vendor preset: disabled)

Drop-In: /run/systemd/generator/nfs-server.service.d

└─order-with-mounts.conf

Active: active (exited) since 二 2020-06-09 09:35:55 CST; 4h 9min ago

Process: 20003 ExecStopPost=/usr/sbin/exportfs -f (code=exited, status=0/SUCCESS)

Process: 20002 ExecStopPost=/usr/sbin/exportfs -au (code=exited, status=0/SUCCESS)

Process: 19999 ExecStop=/usr/sbin/rpc.nfsd 0 (code=exited, status=0/SUCCESS)

Process: 20033 ExecStartPost=/bin/sh -c if systemctl -q is-active gssproxy; then systemctl reload gssproxy ; fi (code=exited, status=0/SUCCESS)

Process: 20016 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)

Process: 20014 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)

Main PID: 20016 (code=exited, status=0/SUCCESS)

Tasks: 0

Memory: 0B

CGroup: /system.slice/nfs-server.service

6月 09 09:35:55 sz-fengyin-3 systemd[1]: Starting NFS server and services...

6月 09 09:35:55 sz-fengyin-3 systemd[1]: Started NFS server and services.

### 确认 NFS Server 启动成功

[root@sz-fengyin-3 ~]# rpcinfo -p|grep nfs

100003 3 tcp 2049 nfs

100003 4 tcp 2049 nfs

100227 3 tcp 2049 nfs_acl

100003 3 udp 2049 nfs

100003 4 udp 2049 nfs

100227 3 udp 2049 nfs_acl

### 查看具体目录挂载权限

[root@sz-fengyin-3 ~]# showmount -e 172.18.144.45

Export list for 172.18.144.45:

/data0/dbData/nfs/k8s/mysql 172.18.144.0/24

接下来我们在 sz-fengyin-[1:3] 服务器上安装nfs的客户端，由此验证nfs服务器，主要三个服务器都需要配置免密登陆。下面是在 sz-fengyin-1 上的安装步骤

### 关闭防火墙

[root@sz-fengyin-1 ~]# systemctl stop firewalld.service

[root@sz-fengyin-1 ~]# systemctl disable firewalld.service

### 安装

[root@sz-fengyin-1 ~]# yum -y install nfs-utils rpcbind

### 启动rpc

[root@sz-fengyin-1 ~]# systemctl start rpcbind.service

[root@sz-fengyin-1 ~]# systemctl enable rpcbind.service

### 启动 nfs 服务

[root@sz-fengyin-1 ~]# systemctl start nfs.service

[root@sz-fengyin-1 ~]# systemctl enable nfs.service

### 磁盘挂载

[root@sz-fengyin-1 ~]# mkdir -p /data0/dbData/k8s/mysql

[root@sz-fengyin-1 ~]# mount -t nfs 172.18.144.45:/data0/dbData/nfs/k8s/mysql /data0/dbData/k8s/mysql

### 再挂载磁盘上创建文件来验证 nfs 挂载是否成功

[root@sz-fengyin-1 ~]# cd /data0/dbData/k8s/mysql

[root@sz-fengyin-1 mysql]# touch test.txt

[root@sz-fengyin-1 mysql]# ls

test.txt

[root@sz-fengyin-3 ~]# cd /data0/dbData/nfs/k8s/mysql

[root@sz-fengyin-3 mysql]# ls

test.txt

2.3.2.2 NFS动态提供Kubernetes存储卷

因为NFS没有内部分配器，但是可以使用第三方存储供应商提供的外部分配器。下面我们使用

nfs-client Provisioner 是一个自动预配置程序，它使用您现有的已经配置的NFS服务器来支持通过PVC动态配置 Kubernetes PV。PV以 $ {namespace}-$ {pvcName}-$ {pvName} 的命令格式提供在NFS服务器上。

具体的实验配置步骤如下：配置nfs-client Provisioner 的Deployment

下面配置主要修改了环境变量的 NFS_SERVER 和 NFS_PATH 和 nfs配置。

[root@sz-fengyin-1 nfs-client-provisioner]# more nfs-deployment.yamlkind:DeploymentapiVersion:apps/v1metadata:name:nfs-client-provisionerspec:replicas:1selector:matchLabels:app:nfs-client-provisionerstrategy:type:Recreatetemplate:metadata:labels:app:nfs-client-provisionerspec:serviceAccountName:nfs-client-provisionercontainers:- name:nfs-client-provisionerimage:quay.io/external_storage/nfs-client-provisioner:latestvolumeMounts:- name:nfs-client-rootmountPath:/persistentvolumesenv:- name:PROVISIONER_NAMEvalue:fuseim.pri/ifs- name:NFS_SERVERvalue:172.18.144.45- name:NFS_PATHvalue:/data0/dbData/nfs/k8s/mysqlvolumes:- name:nfs-client-rootnfs:server:172.18.144.45path:/data0/dbData/nfs/k8s/mysql配置 serviceAccount

看到上面配置我们这里需要一个名为 nfs-client-provisioner 的 serviceAccount，下面是 serviceAccount 的配置文件

[root@sz-fengyin-1 nfs-client-provisioner]# more nfs-deployment-service-accout.yamlapiVersion:v1kind:ServiceAccountmetadata:name:nfs-client-provisioner---kind:ClusterRoleapiVersion:rbac.authorization.k8s.io/v1metadata:name:nfs-client-provisioner-runnerrules:- apiGroups:[""]resources:["persistentvolumes"]verbs:["get","list","watch","create","delete"]- apiGroups:[""]resources:["persistentvolumeclaims"]verbs:["get","list","watch","update"]- apiGroups:["storage.k8s.io"]resources:["storageclasses"]verbs:["get","list","watch"]- apiGroups:[""]resources:["events"]verbs:["list","watch","create","update","patch"]- apiGroups:[""]resources:["endpoints"]verbs:["create","delete","get","list","watch","patch","update"]---kind:ClusterRoleBindingapiVersion:rbac.authorization.k8s.io/v1metadata:name:run-nfs-client-provisionersubjects:- kind:ServiceAccountname:nfs-client-provisionernamespace:defaultroleRef:kind:ClusterRolename:nfs-client-provisioner-runnerapiGroup:rbac.authorization.k8s.io创建 StorageClass 对象

nfs-client 的 Deployment 声明完成后，我们就可以来创建一个StorageClass对象了。

[root@sz-fengyin-1 nfs-client-provisioner]# more nfs-deployment-storage-class.yamlapiVersion:storage.k8s.io/v1kind:StorageClassmetadata:name:course-nfs-storageprovisioner:fuseim.pri/ifs创建并查看资源对象

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl create -f nfs-deployment.yaml

deployment.apps/nfs-client-provisioner created

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl create -f nfs-deployment-service-accout.yaml

serviceaccount/nfs-client-provisioner created

clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created

clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl create -f nfs-deployment-storage-class.yaml

storageclass.storage.k8s.io/course-nfs-storage created

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl get pods

NAME READY STATUS RESTARTS AGE

nfs-client-provisioner-dc5c55797-hnck6 1/1 Running 0 12s

nginx-deployment-5cc7f59bbc-w9mrj 0/1 Pending 0 18d

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl get storageclass

NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE

course-nfs-storage fuseim.pri/ifs Delete Immediate false 48s创建PVC对象

上面把StorageClass资源对象创建成功了，接下来我们来通过一个示例测试下动态 PV，这里需要创建一个 PVC 对象。

### 配置

### accessModes：支持三种类型

### ReadWriteMany 多路读写，卷能被集群多个节点挂载并读写

### ReadWriteOnce 单路读写，卷只能被单一集群节点挂载读写

### ReadOnlyMany 多路只读，卷能被多个集群节点挂载且只能读

###

####persistentVolumeReclaimPolicy：也有三种策略，这个策略是当与之关联的PVC被删除以后，这个PV中的数据如何被处理

### Retain 当删除与之绑定的PVC时候，这个PV被标记为released(PVC与PV解绑但还没有执行回收策略)且之前的数据依然保存在该PV上，但是该PV不可用，需要手动来处理这些数据并删除该PV。

### Delete 当删除与之绑定的PVC时候

### Recycle 这个在1.14版本中以及被废弃，取而代之的是推荐使用动态存储供给策略，它的功能是当删除与该PV关联的PVC时，自动删除该PV中的所有数据

[root@sz-fengyin-1 nfs-client-provisioner]# more test-pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: test-pvc

annotations:

volume.beta.kubernetes.io/storage-class: "course-nfs-storage"

spec:

accessModes:

- ReadWriteMany

resources:

requests:

storage: 1Mi

### 创建pvc对象

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl create -f test-pvc.yaml

persistentvolumeclaim/test-pvc created

### 查看绑定情况

[root@sz-fengyin-1 nfs-client-provisioner]# kubectl get pvc

NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE

test-pvc Bound pvc-4f173f15-5601-4f03-92f2-cc4a7dc71025 1Mi RWX course-nfs-storage 5s

### nfs服务器上对应的变化

[root@sz-fengyin-3 ~]# cd /data0/dbData/nfs/k8s/mysql

[root@sz-fengyin-3 mysql]# ll

总用量 4

drwxrwxrwx 2 root root 4096 6月 10 07:51 default-test-pvc-pvc-4f173f15-5601-4f03-92f2-cc4a7dc71025

查看Kubenetes管理页面：

2.3.3 ConfigMap 为 Master/Slave 节点分配不同的配置文件

根据开头介绍的ConfigMap概念可知，使用 ConfigMap 可以很好解决 MySQL集群中 Master 和 Slave 节点配置文件不一致的问题。ConfigMap 的配置信息如下：

[root@sz-fengyin-1 mysql]# more mysql-configmap.yamlapiVersion:v1kind:ConfigMapmetadata:name:mysqllabels:app:mysqldata:master.cnf:|# 主节点MySQL的配置文件[mysqld]log-binslave.cnf: |# 从节点MySQL的配置文件[mysqld]super-read-only

这里我们定义了 master.cnf 和 slave.cnf 两个MySQL的配置文件。master.cnf 开启了 log-bin，即： 使用二进制日志文件的方式进行主从复制。

slave.cnf 开启了 super-read-only，表示从节点拒绝除了主节点的数据同步操作之外的所有写操作，即它对用户是只读的。

创建ConfigMap

[root@sz-fengyin-1 mysql]# kubectl create -f mysql-configmap.yaml

configmap/mysql created

2.3.4 Secret 为 集群配置密码

[root@sz-fengyin-1 mysql]# more mysql-secret.yaml

apiVersion: v1

kind: Secret

metadata:

name: mysql-secret

labels:

app: mysql

type: Opaque

data:

password: ZmVuZ3lpbg== # echo -n "fengyin" | base64

创建secret：

[root@sz-fengyin-1 mysql]# kubectl create -f mysql-secret.yaml

secret/mysql-secret created

2.3.5 Service 为 StatefulSet和用户提供服务发现

这里我们需要创建两个service，两个Service的配置如下：

[root@sz-fengyin-1 mysql]# more mysql-service.yamlapiVersion:v1kind:Servicemetadata:name:mysqllabels:app:mysqlspec:ports:- name:mysqlport:3306clusterIP:Noneselector:app:mysql---apiVersion:v1kind:Servicemetadata:name:mysql-readlabels:app:mysqlspec:ports:- name:mysqlport:3306selector:app:mysql

配置介绍：两个Service 都代理了所有携带 app=mysql 标签的 Pod，也就是所有的 MySQL Pod。端口映射都是用 Service 的3306端口对应 Pod 的 3306 端口

一个名叫 “mysql” Service 是 Headless Service (即：clusterIP=None)。它的作用是通过为 Pod 分配 DNS 记录来固定 Pod 集群，比如 “mysql-0.mysql” 和 “mysql-1.mysql” 这样的 DNS 名字。其中， “mysql-0.mysql” 的节点就是我们的主节点；名叫 “mysql-read” 的 Service 是一个常规的 Service

规定，所有用户的读请求必须访问名叫 “mysql-read” 的Service被分配的DNS记录上，这样，读请求就可以转发到任意一个 MySQL 的主节点或者从节点上；所有用户的写请求，则必须访问到 MySQL 的主节点，即 “mysql-0.mysql” 这条 DNS 记录

创建 Services：

[root@sz-fengyin-1 mysql]# kubectl apply -f mysql-service.yaml

service/mysql created

service/mysql-read created

2.3.6 使用 StatefulSet 搭建 MySQL 集群

[root@sz-fengyin-1 mysql]# more mysql-statefulset.yamlapiVersion:apps/v1kind:StatefulSetmetadata:name:mysqllabels:app:mysqlspec:selector:matchLabels:app:mysqlserviceName:mysqlreplicas:2template:metadata:labels:app:mysqlspec:initContainers:- image:busyboxname:mysql-volume-cleanerargs:[/bin/sh, -c, 'rm -rf /var/lib/mysql/* || true']volumeMounts:- mountPath:/var/lib/mysqlname:datasubPath:mysql- name:init-mysqlimage:mysql:5.7env:- name:MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name:mysql-secretkey:passwordcommand:- bash- "-c"- |set -ex# 从 Pod 的序号，生成 server-id[[ $(hostname) =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}echo [mysqld] > /mnt/conf.d/server-id.cnf# 由于 server-id 不能为 0，因此给 ID 加 100 来避开它echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf# 如果 Pod 的序号为 0，说明它是 Master 节点，从 ConfigMap 里把 Master 的配置文件拷贝到 /mnt/conf.d 目录下# 否则，拷贝 ConfigMap 里的 Slave 的配置文件if [[ ${ordinal} -eq 0 ]]; thencp /mnt/config-map/master.cnf /mnt/conf.delsecp /mnt/config-map/slave.cnf /mnt/conf.dfivolumeMounts:- name: confmountPath: /mnt/conf.d- name: config-mapmountPath: /mnt/config-map- name: clone-mysqlimage: gcr.io/google-samples/xtrabackup:1.0imagePullPolicy: IfNotPresentenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: passwordcommand:- bash- "-c"- |set -ex# 拷贝操作只需要在第一次启动时进行，所以数据已经存在则跳过[[ -d /var/lib/mysql/mysql ]] && exit 0# Master 节点(序号为 0)不需要这个操作[[ $(hostname) =~ -([0-9]+)$ ]] || exit 1ordinal=${BASH_REMATCH[1]}[[ $ordinal == 0 ]] && exit 0# 使用 ncat 指令，远程地从前一个节点拷贝数据到本地ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql# 执行 --prepare，这样拷贝来的数据就可以用作恢复了xtrabackup --prepare --target-dir=/var/lib/mysqlvolumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dcontainers:- name: mysqlimage: mysql:5.7env:- name: MYSQL_ALLOW_EMPTY_PASSWORDvalue: "1"- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: passwordports:- name: mysqlcontainerPort: 3306volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dresources:requests:cpu: 500mmemory: 1GilivenessProbe:# exec:# command: ["mysqladmin", "ping", "-h127.0.0.1", "-uroot", "-p${MYSQL_ROOT_PASSWORD}"]tcpSocket:port: 3306initialDelaySeconds: 30periodSeconds: 10timeoutSeconds: 5readinessProbe:# exec:# 通过TCP连接的方式进行健康检查# command: ["mysql", "-h127.0.0.1", "-uroot", "-p${MYSQL_ROOT_PASSWORD}", "-e" "SELECT 1"]tcpSocket:port: 3306initialDelaySeconds: 5periodSeconds: 2timeoutSeconds: 1- name: xtrabackupimage: gcr.io/google-samples/xtrabackup:1.0imagePullPolicy: IfNotPresentports:- name: xtrabackupcontainerPort: 3307env:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:name: mysql-secretkey: passwordcommand:- bash- "-c"- |set -excd /var/lib/mysql# 从备份信息文件里读取 MASTER_LOG_FILE 和 MASTER_LOG_POS 这 2 个字段的值，用来拼装集群初始化 SQLif [[ -f xtrabackup_slave_info ]]; then# 如果 xtrabackup_slave_info 文件存在，说明这个备份数据来自于另一个 Slave 节点# 这种情况下，XtraBackup 工具在备份的时候，就已经在这个文件里自动生成了 "CHANGE MASTER TO" SQL 语句# 所以，只需要把这个文件重命名为 change_master_to.sql.in，后面直接使用即可mv xtrabackup_slave_info change_master_to.sql.in# 所以，也就用不着 xtrabackup_binlog_info 了rm -f xtrabackup_binlog_infoelif [[ -f xtrabackup_binlog_info ]]; then# 如果只是存在 xtrabackup_binlog_info 文件，说明备份来自于 Master 节点，就需要解析这个备份信息文件，读取所需的两个字段的值[[ $(cat xtrabackup_binlog_info) =~ ^(.*?)[[:space:]]+(.*?)$ ]] || exit 1rm xtrabackup_binlog_info# 把两个字段的值拼装成 SQL，写入 change_master_to.sql.in 文件echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}',\MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.infi# 如果存在 change_master_to.sql.in，就意味着需要做集群初始化工作if [[ -f change_master_to.sql.in ]]; then# 但一定要先等 MySQL 容器启动之后才能进行下一步连接 MySQL 的操作echo "Waiting for mysqld to be ready(accepting connections)"until mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} -e "SELECT 1"; do sleep 1; doneecho "Initializing replication from clone position"# 将文件 change_master_to.sql.in 改个名字# 防止这个 Container 重启的时候，因为又找到了 change_master_to.sql.in，从而重复执行一遍初始化流程mv change_master_to.sql.in change_master_to.sql.orig# 使用 change_master_to.sql.orig 的内容，也就是前面拼装的 SQL，组成一个完整的初始化和启动 Slave 的 SQL 语句mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} << EOF$(< change_master_to.sql.orig),MASTER_HOST='mysql-0.mysql',MASTER_USER='root',MASTER_PASSWORD='${MYSQL_ROOT_PASSWORD}',MASTER_CONNECT_RETRY=10;START SLAVE;EOFfi# 使用 ncat 监听 3307 端口。# 它的作用是，在收到传输请求的时候，直接执行 xtrabackup --backup 命令，备份 MySQL 的数据并发送给请求者exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c \"xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root --password=${MYSQL_ROOT_PASSWORD}"volumeMounts:- name: datamountPath: /var/lib/mysqlsubPath: mysql- name: confmountPath: /etc/mysql/conf.dvolumes:- name: confemptyDir: {}- name: config-mapconfigMap:name: mysqlvolumeClaimTemplates:- metadata:name: dataspec:accessModes:- "ReadWriteOnce"storageClassName: course-nfs-storageresources:requests:storage: 3Gi

创建StatefulSet

[root@sz-fengyin-1 mysql]# kubectl apply -f mysql-statefulset.yaml

如出现以下报错：

2019-08-25T15:36:470279Z 0 [ERROR] --initialize specified but the data directory has files in it. Aborting

2019-08-09T15:36:470367Z 0 [ERROR] Aborting

需要添加一个 initContainers 做初始化

- image:busyboxname:mysql-volume-cleanerargs:[/bin/sh, -c, 'rm -rf /var/lib/mysql/* || true']volumeMounts:- mountPath:/var/lib/mysqlname:datasubPath:mysql

2.3.7 验证查看容器状态

[root@sz-fengyin-1 mysql]# kubectl get pod -A -o wide

NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

default mysql-0 2/2 Running 0 116m 10.244.1.161 sz-fengyin-2

default mysql-1 2/2 Running 1 115m 10.244.2.110 sz-fengyin-3 查看主从配置

[root@sz-fengyin-1 mysql]# kubectl -n default exec mysql-1 -c mysql -- bash -c "mysql -uroot -pfengyin -e 'show slave status \G'"

mysql: [Warning] Using a password on the command line interface can be insecure.

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: mysql-0.mysql

Master_User: root

Master_Port: 3306

Connect_Retry: 10

Master_Log_File: mysql-0-bin.000003

Read_Master_Log_Pos: 154

Relay_Log_File: mysql-1-relay-bin.000002

Relay_Log_Pos: 322

Relay_Master_Log_File: mysql-0-bin.000003

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 0

Last_Error:

Skip_Counter: 0

Exec_Master_Log_Pos: 154

Relay_Log_Space: 531

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: 0

Master_SSL_Verify_Server_Cert: No

Last_IO_Errno: 0

Last_IO_Error:

Last_SQL_Errno: 0

Last_SQL_Error:

Replicate_Ignore_Server_Ids:

Master_Server_Id: 100

Master_UUID: 44ff2fa6-bf89-11ea-b7b2-96040b41e265

Master_Info_File: /var/lib/mysql/master.info

SQL_Delay: 0

SQL_Remaining_Delay: NULL

Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates

Master_Retry_Count: 86400

Master_Bind:

Last_IO_Error_Timestamp:

Last_SQL_Error_Timestamp:

Master_SSL_Crl:

Master_SSL_Crlpath:

Retrieved_Gtid_Set:

Executed_Gtid_Set:

Auto_Position: 0

Replicate_Rewrite_DB:

Channel_Name:

Master_TLS_Version:验证主从数据是否同步

### 现在主库创建测试的数据库、表和数据

[root@sz-fengyin-1 mysql]# kubectl exec -it mysql-0 -c mysql -n default -- /bin/bash

root@mysql-0:/# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 4208

Server version: 5.7.30-log MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+------------------------+

| Database |

+------------------------+

| information_schema |

| mysql |

| performance_schema |

| sys |

| xtrabackup_backupfiles |

+------------------------+

5 rows in set (0.01 sec)

mysql> create database test

-> ;

Query OK, 1 row affected (0.00 sec)

mysql> use test

Database changed

mysql> create table counter(id int);

Query OK, 0 rows affected (0.03 sec)

mysql> insert into counter values(123);

Query OK, 1 row affected (0.02 sec)

mysql> exit

Bye

root@mysql-0:/# exit

exit

### 去从库查看数据是否存在

[root@sz-fengyin-1 mysql]# kubectl exec -it mysql-1 -c mysql -n default -- /bin/bash

root@mysql-1:/# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 4228

Server version: 5.7.30 MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+------------------------+

| Database |

+------------------------+

| information_schema |

| mysql |

| performance_schema |

| sys |

| test |

| xtrabackup_backupfiles |

+------------------------+

6 rows in set (0.01 sec)

mysql> use test

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> select * from counter;

+------+

| id |

+------+

| 123 |

+------+

1 row in set (0.00 sec)

2.3.8 扩展 MySQL 集群

在有了 StatefulSet 以后，你就可以像 Deployment 那样，非常方便地扩展这个 MySQL 集群

### 扩展节点命令

[root@sz-fengyin-1 mysql]# kubectl scale statefulset mysql --replicas=3

statefulset.apps/mysql scaled

### 查看容器状态

[root@sz-fengyin-1 mysql]# kubectl get pod -A -o wide

NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

default mysql-0 2/2 Running 0 121m 10.244.1.161 sz-fengyin-2

default mysql-1 2/2 Running 1 121m 10.244.2.110 sz-fengyin-3

default mysql-2 2/2 Running 1 50s 10.244.1.162 sz-fengyin-2

### 查看新扩展的节点是否主动同步数据

[root@sz-fengyin-1 mysql]# kubectl exec -it mysql-2 -c mysql -n default -- /bin/bash

root@mysql-2:/# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 48

Server version: 5.7.30 MySQL Community Server (GPL)

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+------------------------+

| Database |

+------------------------+

| information_schema |

| mysql |

| performance_schema |

| sys |

| test |

| xtrabackup_backupfiles |

+------------------------+

6 rows in set (0.00 sec)

mysql> use test

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> select * from counter;

+------+

| id |

+------+

| 123 |

+------+

1 row in set (0.00 sec)

mysql>

2.3.9查看版本信息

[root@sz-fengyin-1 ~]# kubectl get controllerrevision

NAME CONTROLLER REVISION AGE

mysql-646f855877 statefulset.apps/mysql 1 10h

web-6bc849cb6b statefulset.apps/web 1 45d

​

[root@sz-fengyin-1 ~]# kubectl describe controllerrevision mysql-646f855877

2.3.10 删除

[root@sz-fengyin-1 mysql]# kubectl delete -f mysql-statefulset.yaml

statefulset.apps "mysql" deleted

三、 待解决问题

使用如下配置会出现 Access denied for user 'root'@'localhost' (using password: YES) 问题，还没有找到解决方案，先用TCP探测替代：

livenessProbe:exec:command:["mysqladmin","ping","-h127.0.0.1","-uroot","-p${MYSQL_ROOT_PASSWORD}"]readinessProbe:exec:# 通过TCP连接的方式进行健康检查command:["mysql","-h127.0.0.1","-uroot","-p${MYSQL_ROOT_PASSWORD}","-e""SELECT 1"]

[root@sz-fengyin-1 mysql]# kubectl logs -f mysql-0 -c mysql

2020-06-30T05:08:53.460538Z 12318 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:08:55.466126Z 12319 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:08:57.467856Z 12320 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:08:58.203240Z 12321 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:08:59.464400Z 12322 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:09:01.462945Z 12323 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:09:03.465287Z 12324 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:09:05.463037Z 12325 [Note] Access denied for user 'root'@'localhost' (using password: YES)

2020-06-30T05:09:07.494706Z 12326 [Note] Access denied for user 'root'@'localhost' (using password: YES)