k8s中的Volume
1. 背景 容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。 首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失——因为容器会以干净的状态重建。 其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。2. 概念.
1. 背景
容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。 首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失——因为容器会以干净的状态重建。 其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。
2. 概念
Volume是k8s抽象出来的对象,用于解决Pod中的容器运行时,文件存放的问题以及多容器数据共享的问题。Kubernetes 卷具有明确的生命周期——与包裹它的 Pod 相同。卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,当一个 Pod 不再存在时,卷也将不再存在。
更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。卷的核心是包含一些数据的目录,Pod 中的容器可以访问该目录。 特定的卷类型可以决定这个目录如何形成的,并能决定它支持何种介质,以及目录中存放什么内容。使用卷时, Pod 声明中需要提供卷的类型 (.spec.volumes
字段)和卷挂载的位置 (.spec.containers.volumeMounts
字段)。
还记得之前一直强调的基础容器:pause
吗?kubelet创建Pod时,会先创建一个基础容器pause,Pod里面所有的容器共享一个网络名称空间和文件系统。挂载卷的工作就是由基础容器pause
来完成的。
3. 卷的类型
Kubernetes 支持下列类型的卷:
- awsElasticBlockStore、azureDisk、azureFile、cephfs、cinder、
configMap
、csi - downwardAPI、
emptyDir
、fc (fibre channel)、flexVolume、flocker、 - gcePersistentDisk、gitRepo (deprecated)、glusterfs、
hostPath
、iscsi - local、
nfs
、persistentVolumeClaim
、projected、secret
、storageos、vsphereVolume
这里有比价熟悉的ConfigMap
、Secret
是之前学习过的。
可以看到支持大多数的存储系统,包括云服务商提供的、本地、分布式的,但是比较奇怪的是不支持hadoop的hdfs文件系统。
4 使用卷
4.1 emptyDir
当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir
卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管 Pod 中的容器挂载 emptyDir
卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir
卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时(可以设置一些驱逐策略,将Pod从Node中驱逐出去),emptyDir
卷中的数据也会永久删除。
说明: 容器崩溃并不会导致 Pod 被从节点上移除,因此容器崩溃时 emptyDir
卷中的数据是安全的。
emptyDir 的一些用途:
- 缓存空间,例如基于磁盘的归并排序。(mapreduce的map和reduce之间的shuffle阶段)
- 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。spark的checkpoint
- 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。
Pod示例 pod-emptyDir.yaml
apiVersion: v1
kind: Pod
metadata:
name: pod-emptydir
spec:
containers:
- image: wangyanglinux/myapp:v1
imagePullPolicy: IfNotPresent
name: container1
volumeMounts:
- mountPath: /cache
name: cache-volume
- image: busybox
name: container2
imagePullPolicy: IfNotPresent
command:
- /bin/sh
- -c
- sleep 3600
volumeMounts:
- mountPath: /cache
name: cache-volume
volumes:
- name: cache-volume
emptyDir: {}
这里创建了两个容器,将数据挂载到同一个目录下。
创建Pod kubectl apply -f pod-emptyDir.yaml
这里emptyDir后面使用了{},表示emptyDir后面并没有数据。yaml文件中,key和value数据可以用{k1:v1}表示,如果用{}表示没有数据。
我们准备在container1中的/cache文件夹下写入创建一个文件a.txt并写入数据
然后在container2中查看,数据是否共享。
1、进入container1容器中,在/cache文件夹下写入创建一个文件a.txt并写入数据
[root@k8s-master01 volume-pv-pvc]# kubectl exec pod-emptydir -it -c container1 sh
/ # cd /cache
/cache # date > date.log
/cache # cat date.log
Thu Sep 17 07:19:47 UTC 2020
2、查看container2的/cache/date.log是否存在数据
[root@k8s-master01 volume-pv-pvc]# kubectl exec pod-emptydir -it -c container2 cat /cache/date.log
Thu Sep 17 07:19:47 UTC 2020
4.2 hostPath
hostPath
卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod 需要的,但是它为一些应用程序提供了强大的逃生舱。
例如,hostPath
的一些用法有:
- 运行一个需要访问 Docker 引擎内部机制的容器;请使用
hostPath
挂载/var/lib/docker
路径。 - 在容器中运行 cAdvisor 时,以
hostPath
方式挂载/sys
。 - 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以什么方式存在。
除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。
支持的 type 值如下:
取值 | 行为 |
---|---|
空字符串(默认)用于向后兼容,这意味着在安装 hostPath 卷之前不会执行任何检查。 | |
DirectoryOrCreate | 如果在给定路径上什么都不存在,那么将根据需要创建空目录,权限设置为 0755,具有与 Kubelet 相同的组和所有权。 |
Directory | 在给定路径上必须存在的目录。 |
FileOrCreate | 如果在给定路径上什么都不存在,那么将在那里根据需要创建空文件,权限设置为 0644,具有与 Kubelet 相同的组和所有权。 |
File | 在给定路径上必须存在的文件。 |
Socket | 在给定路径上必须存在的 UNIX 套接字。 |
CharDevice | 在给定路径上必须存在的字符设备。 |
BlockDevice | 在给定路径上必须存在的块设备。 |
注意:
- 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同节点上有不同的行为。
- 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使用的资源。
- 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。
演示案例:使用type类型为DirectoryOrCreate进行演示。
资源清单:pod-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
name: pod-hostpath
spec:
containers:
- image: wangyanglinux/myapp:v1
imagePullPolicy: IfNotPresent
name: container1
volumeMounts:
- mountPath: /cache
name: cache-volume
volumes:
- name: cache-volume
hostPath:
path: /data
type: DirectoryOrCreate
创建Pod kubectl apply -f pod-hostpath.yaml
查看Pod的详细信息 kubectl get pod pod-hostpath -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
pod-hostpath 1/1 Running 0 17m 10.244.2.12 k8s-node02 <none> <none>
发现Pod被调度到了k8s-node02上。打开k8s-node02的shell命令行。
[root@k8s-node02 /]# cd /
[root@k8s-node02 /]# ls
bin boot data dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var
[root@k8s-node02 /]# cd data/
[root@k8s-node02 data]# date > date.log
[root@k8s-node02 data]# cat date.log
2020年 09月 17日 星期四 16:21:43 CST
进入k8s-master01虚拟机查看pod-hostpath的挂载的路径下是否存在该文件
[root@k8s-master01 volume-pv-pvc]# kubectl exec pod-hostpath cat /cache/date.log
2020年 09月 17日 星期四 16:21:43 CST
hostPath和之前的docker里volume很像,直接将主机的文件夹挂载到容器的文件夹下,只是功能更加强大而已。
更多推荐
所有评论(0)