一、为什么要存储卷?

容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题。首先,当容器崩溃时,kubelet 会重启它,但是容器中的文件将丢失——容器以干净的状态(镜像最初的状态)重新启动。其次,在Pod中同时运行多个容器时,这些容器之间通常需要共享文件。Kubernetes 中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume

二、emptyDir存储卷

当Pod被分配给节点时,首先创建emptyDir卷,并且只要该Pod在该节点上运行,该卷就会存在。正如卷的名字所述,它最初是空的。Pod 中的容器可以读取和写入emptyDir卷中的相同文件,尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除 Pod 时,emptyDir中的数据将被永久删除。

emptyDir可实现Pod中的容器之间共享目录数据,但是emptyDir卷不能持久化数据,会随着Pod生命周期结束而一起删除。

//创建一个模板文件
mkdir /opt/volumes
cd /opt/volumes

kubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -o yaml > myapp-demo.yaml

vim myapp-demo.yaml

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo
  name: myapp-demo
spec:
  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo
    ports:
    - containerPort: 80
cp myapp-demo.yaml demo1-emptydir.yaml
vim demo1-emptydir.yaml

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo
  name: myapp-empty
spec:
  volumes:
  - name: test-vol
    emptyDir: {}

  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo
    ports:
    - containerPort: 80
    volumeMounts:
    - name: test-vol
      mountPath: /var/www/
  - image: busybox:1.28
    name: busybox-demo
    ports:
    - containerPort: 80
    command: ['/bin/sh','-c','sleep 3600']
    volumeMounts:
    - name: test-vol
      mountPath: /data/

在这里插入图片描述

在这里插入图片描述

kubectl describe pod myapp-empty 

在这里插入图片描述

kubectl exec -it myapp-empty -c myapp-demo sh
//再另外开一个进程
kubectl exec -it myapp-empty -c busybox-demo sh

在这里插入图片描述
在这里插入图片描述

三、hostPath存储卷

hostPath卷将 node 节点的文件系统中的文件或目录挂载到集群中。
hostPath可以实现持久存储,但是在node节点故障时,也会导致数据的丢失。

把Node节点上的目录/文件挂载到容器中,可实现持久化数据存储。但是存储空间会受到Node节点的单机限制,Node节点故障数据就会丢失,且Pod不能实现跨节点共享数据

https://kubernetes.io/docs/concepts/storage/volumes#hostpath

cp myapp-demo.yaml demo2-hostpath.yaml 
vim demo2-hostpath.yaml 

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo
  name: myapp-demo
spec:
  volumes:
  - name: hostpath-vol
    hostPath:
      path: /var/www/html/
      type: DirectoryOrCreate
  nodeSelector:
    test: b
  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo
    ports:
    - containerPort: 80
    volumeMounts:
    - name: hostpath-vol
      mountPath: /usr/share/nginx/html/
      readOnly: false

在这里插入图片描述

kubectl apply -f demo2-hostpath.yaml
kubectl get pods -o wide

在这里插入图片描述
在这里插入图片描述

//进入容器
kubectl exec -it myapp-demo sh

在这里插入图片描述
在这里插入图片描述
在创建Pod时,node02节点的目录会自动挂载到容器的目录上
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、 nfs共享存储卷

另开一台节点上安装nfs,并配置nfs服务

在这里插入图片描述

//在master节点部署
cp myapp-demo.yaml demo3.nfs.yaml
vim demo3.nfs.yaml 

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo3
  name: myapp-demo3
spec:
  volumes:
  - name: test-nfs
    nfs:
      path: /opt/share
      server: 192.168.154.13

  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo
    ports:
    - containerPort: 80
    volumeMounts:
    - name: test-nfs
      mountPath: /usr/share/nginx/html
 kubectl apply -f demo3.nfs.yaml
 kubectl get pods -owide
vim demo3.nfs.yaml 

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo3
  name: myapp-demo4
spec:
  nodeName: node02
  volumes:
  - name: test-nfs
    nfs:
      path: /opt/share
      server: 192.168.154.13

  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo
    ports:
    - containerPort: 80
    volumeMounts:
    - name: test-nfs
      mountPath: /usr/share/nginx/html

 kubectl apply -f demo3.nfs.yaml
 kubectl get pods -owide

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

 kubectl exec -it myapp-demo3 sh
  cd /usr/share/nginx/html/

 kubectl exec -it myapp-demo4 sh
  cd /usr/share/nginx/html/  

在这里插入图片描述
在这里插入图片描述

五、PVC 和 PV

PV 全称叫做 Persistent Volume,持久化存储卷。它是用来描述或者说用来定义一个存储卷的,这个通常都是由运维工程师来定义。

PVC 的全称是 Persistent Volume Claim,是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。

PVC 的使用逻辑:在 Pod 中定义一个存储卷(该存储卷类型为 PVC),定义的时候直接指定大小,PVC 必须与对应的 PV 建立关系,PVC 会根据配置的定义去 PV 申请,而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。
在这里插入图片描述
一个PV可以个一个或多个POD使用,PV是k8s集群里专用的存储资源,是逻辑划分存储设备空间的资源对象。存储资源要提供存储空间给存储资源使用,不能凭空出现
真正提供存储空间的是存储设备,如硬盘挂载的目录,nfs共享的目录,ceph分布式存储等
我们作为K8S集群管理员,可以在K8S集群中创建PV,再从存储设备划分存储空间给PV
然后我的POD想引用哪个PV,得先定义一个PVC,用来描述希望使用什么样的或者说是满足什么条件的 PV 存储,比如多大存储空间,是专用,是一对一,还是一对多
POD会根据PVC去找符合条件的PV进行绑定,最后给POD挂载使用

上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass,它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。

动态创建PV
在这里插入图片描述
怎样动态创建PV?
使用StorageClass 引用某一存储设备的存储卷插件,通过调用存储卷插件去到存储设备中动态创建符合PVC需求的存储资源,然后PV和PVC进行绑定,这样Pod就可以使用PV的存储空间

PV是集群中的资源。 PVC是对这些资源的请求,也是对资源的索引检查。

5.1 PV和PVC之间的相互作用遵循的生命周期

PV和PVC之间的相互作用遵循这个生命周期:
Provisioning(配置)—> Binding(绑定)—> Using(使用)—> Releasing(释放) —> Recycling(回收)

Provisioning即 PV 的创建,可以直接创建 PV(静态方式),也可以使用 StorageClass 动态创建
Binding将 PV 分配给 PVC
UsingPod 通过 PVC 使用该 Volume,并可以通过准入控制StorageProtection(1.9及以前版本为PVCProtection) 阻止删除正在使用的 PVC
ReleasingPod 释放 Volume 并删除 PVC
Reclaiming回收 PV,可以保留 PV 以便下次使用,也可以直接从云存储中删除

5.2 PV 的状态

根据这 5 个阶段,PV 的状态有以下 4 种:
Available(可用):表示可用状态,还未被任何 PVC 绑定
Bound(已绑定):表示 PV 已经绑定到 PVC
Released(已释放):表示 PVC 被删掉,但是资源尚未被集群回收
Failed(失败):表示该 PV 的自动回收失败

5.3 一个PV从创建到销毁的具体流程

1、一个PV创建完后状态会变成Available,等待被PVC绑定。

2、一旦被PVC邦定,PV的状态会变成Bound,就可以被定义了相应PVC的Pod使用。

3、Pod使用完后会释放PV,PV的状态变成Released。

4、变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略,Retain、Delete和Recycle。Retain就是保留现场,K8S集群什么也不做,等待用户手动去处理PV里的数据,处理完后,再手动删除PV。Delete策略,K8S会自动删除该PV及里面的数据。Recycle方式,K8S会将PV里的数据删除,然后把PV的状态变成Available,又可以被新的PVC绑定使用。

六、静态创建pv和pvc资源由pod运用过程

如图所示我们将选择一台k8s集群之外的服务器作为NFS共享存储服务器,并且按照图中的规格

创建pv,再由k8s集群创建pv资源和pvc资源,最后将其挂载在pod上进行使用
在这里插入图片描述

6.1 在NFS主机上创建共享目录,并且进行exportfs发布

mkdir -p /opt/k8s/v{1..5}
ls -R k8s/

vim /etc/exports
systemctl status nfs
exportfs -arv

在这里插入图片描述

在这里插入图片描述

//其他两个node节点能不能看到
showmount -e 192.168.154.13

在这里插入图片描述

6.2 在master主机编写pv资源创建yaml

访问模式有:

  • ReadWriteOnce
    卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。
  • ReadOnlyMany
    卷可以被多个节点以只读方式挂载。
  • ReadWriteMany
    卷可以被多个节点以读写方式挂载。
//在master主机编写pv资源创建yaml
mkdir pv
cd pv/
vim pv1.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
spec:
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 1Gi
  nfs:
    path: /opt/k8s/v1
    server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
spec:
  accessModes:
  - ReadWriteOnce
  capacity:
    storage: 2Gi
  nfs:
    path: /opt/k8s/v2
    server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
spec:
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 2Gi
  nfs:
    path: /opt/k8s/v3
    server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
spec:
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 4Gi
  nfs:
    path: /opt/k8s/v4
    server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
spec:
  accessModes:
  - ReadWriteOnce
  - ReadWriteMany
  capacity:
    storage: 5Gi
  nfs:
    path: /opt/k8s/v1
    server: 192.168.154.13

kubectl apply -f pv1.yaml
kubectl get pv
 

在这里插入图片描述

6.3 创建pvc资源,并且设置匹配绑定相应的pv

https://kubernetes.io/docs/concepts/storage/persistent-volumes#persistentvolumeclaims

vim pvc1.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc01
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 2Gi

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.4 挂载共享卷,并且进行共享目录写入测试

 kubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -oyaml > myapp-demo.yaml
cp myapp-demo.yaml demo1.yaml
vim demo1.yaml

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo1
  name: myapp-demo1
spec:
  volumes:
    - name: test-vol
      persistentVolumeClaim:
        claimName: mypvc01

  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo1
    ports:
    - containerPort: 80
    volumeMounts:
    - name: test-vol
      mountPath: /data/
kubectl apply -f demo1.yaml 
kubectl exec -it myapp-demo1 sh
cd /data/
echo 'Hello World' > index.html

在这里插入图片描述
在这里插入图片描述

6.5 K8S支持的存储卷的访问模式

在这里插入图片描述

其中 × 表示支持,- 表示不支持

七、StorageClass + nfs-client-provisioner搭建动态创建pv

StorageClass + nfs-client-provisioner的理解
上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass,它的作用就是创建PV的模板。

创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。

Kubernetes 本身支持的动态 PV 创建不包括 NFS,所以需要使用外部存储卷插件分配PV。详见:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

卷插件称为 Provisioner(存储分配器),NFS 使用的是 nfs-client,这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。
Provisioner:用于指定 Volume 插件的类型,包括内置插件(如 kubernetes.io/aws-ebs)和外部插件(如 external-storage 提供的 ceph.com/cepfs)。

7.1 在NFS服务器配置nfs服务

//nfs服务器
mkdir /opt/k8s
vim /etc/exports
/opt/k8s 192.168.154.0/24(rw,sync,no_root_squash)

在这里插入图片描述
在这里插入图片描述

7.2 创建 Service Account,用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则

//master节点
cd pv/
mkdir sc
cd sc/
unzip nfs-client.zip 

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

创建网络插件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

7.3 创建 StorageClass,负责建立 PVC 并调用 NFS provisioner 进行预定的工作,并让 PV 与 PVC 建立关联

cd /etc/kubernetes/manifests/
vim kube-apiserver.yaml 

- --feature-gates=RemoveSelfLink=false

在这里插入图片描述

vim pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc01-nfs
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 2Gi
  storageClassName: nfs-client-storageclass

在这里插入图片描述

7.4 挂载共享卷,并且进行共享目录写入测试

vim pod-demo.yaml

apiVersion: v1
kind: Pod
metadata:
  labels:
    run: myapp-demo1
  name: myapp-demo1
spec:
  volumes:
    - name: test-vol
      persistentVolumeClaim:
        claimName: mypvc01-nfs

  containers:
  - image: soscscs/myapp:v1
    name: myapp-demo1
    ports:
    - containerPort: 80
    volumeMounts:
    - name: test-vol
      mountPath: /data/

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

cp pvc.yaml pvc1.yaml
vim pvc1.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc02-nfs
spec:
  accessModes:
    - ReadOnlyMany
  resources:
    requests:
      storage: 2Gi
  storageClassName: nfs-client-storageclass

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

八、 总结

k8s 存储卷 volumes

  • emptyDir :可实现Pod中的容器之间共享目录数据,但emptyDir存储卷没有持久化数据的能力,存储卷会随着Pod生命周期结束而一起删除
  • hostPath :将Node节点上的目录/文件挂载到容器的指定目录中,有持久化数据的能力,但只能在单个Node节点上持久化数据,不能实现跨节点的Pod共享数据
  • nfs :使用NFS服务将存储设备的共享目录挂载到容器的指定目录中,有持久化数据的能力,且也能实现跨节点的Pod共享数据

PV PVC
PV :K8S在指定的存储设备空间中逻辑划分创建的可持久化的存储资源对象
PVC :是对PV资源对象的请求和绑定,也是一致Pod可挂载的存储卷类型

PV的状态 4 种

  • Available(可用):表示可用状态,还未被任何 PVC 绑定
  • Bound(已绑定):表示 PV 已经绑定到 PVC
  • Released(已释放):表示 PVC 被删掉,但是资源尚未被回收
  • Failed(失败):表示该 PV 的自动回收失败

创建和使用 静态PV
1)准备好存储设备和共享目录
2)手动创建PV资源,配置 存储卷类型 访问模式(RWO RWX ROX) 存储能力大小
3)创建PVC资源,配置请求PV资源的问模式(必要条件,必须是PV能支持的访问模式)和存储大小(就近选择大于等于指定大小的PV)来绑定PV(一个PV只能绑定一个PVC)
4)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点

创建和使用 动态PV
1)准备好存储设备和共享目录
2)如果是外置存储卷插件,需要先创建service account账户(Pod应用使用的账户)和RBAC授权(创建角色授予相应资源对象的操作权限,角色与账户绑定),使得 sa 账户具有对PV PVC SC等资源的操作权限
3)创建外置存储卷插件Provisioner的Pod,配置中使用sa账户作为Pod账户,并设置相关环境变量参数
4)创建SC资源(StorageClass),配置中引用之前定义的Provisioner的名称

-------------- 以上过程是一劳永逸的,以后只需要创建PVC时引用StorageClass就可以动态生成相关PV资源 ---------------
5)创建PVC资源,配置中引用StorageClass资源名称。创建PVC资源后会自动创建相关的PV资源。
6)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐