kubernetes存储 -- Volumes管理（一）emptyDir卷、hostpath卷、NFS卷

enptydir 卷、hostpath 卷、nfs卷，以及volumes简介

生命热力٩( 'ω' )و

2076人浏览 · 2020-07-06 18:08:31

生命热力٩( 'ω' )و · 2020-07-06 18:08:31 发布

介绍

容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。
Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。当然,默认情况下当一个 Pod 不再存在时,卷也将不再存在，我们通也也可以做卷的持久化。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。

卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。
实质上就是把数据和镜像进行解耦，进行存储。

Kubernetes 支持下列类型的卷:
- awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
- downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
- gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
- nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
- scaleIO、secret、storageos、vsphereVolume

emptyDir卷

emptyDir卷
- 当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。就像它的名称表示的那样,卷最初是空的。尽管Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。
emptyDir 的使用场景:
- 缓存空间,例如基于磁盘的归并排序。
- 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
- 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。
默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。虽然tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。

示例：

apiVersion: v1
kind: Pod
metadata:
  name: vol1
spec:
  containers:
  - name: vm1
    image: busyboxplus    
    command: ["sleep", "300"]
    volumeMounts:
    - mountPath: /cache
      name: cache-volume		//挂载
  - name: vm2
    image: nginx
    volumeMounts:
    - mountPath: /usr/share/nginx/html			//挂载到nginx发布页面
      name: cache-volume		//挂载
  volumes:
  - name: cache-volume			//卷名称
    emptyDir:
      medium: Memory		//可以不指定使用内存，这两行可以省略
      sizeLimit: 100Mi

//卷被一个pod的多个容器挂载到了不同的路径，但是他们数据是同步的

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/vol1 created

[root@server2 vol]# kubectl get pod -o wide
NAME                        READY   STATUS    RESTARTS   AGE     IP               NODE      NOMINATED NODE   READINESS GATES
my-nginx-7f45d597d5-9hk7h   1/1     Running   0          2m37s   10.244.141.221   server3   <none>           <none>
vol1                        2/2     Running   0          31s     10.244.22.21     server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.21
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.19.0</center>
</body>		//说明服务是没有问题的

他们之间共享网络栈，而且共享卷，目前是空卷，所以我们去创建数据。

[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh		//登进pod的vm容器
Defaulting container name to vm1.
Use 'kubectl describe pod/vol1 -n default' to see all of the containers in this pod.
/ # cd cache/
/cache # ls
/cache # echo woaini > index.html		/在容器一的挂载目录创建文件
/cache # 
[root@server2 vol]# curl 10.244.22.21
woaini

却可以通过容器二的nginx服务访问到了。说明通过卷在做数据共享。

我们的卷使用的是物理内存，直接消耗系统当中的内存量。
当前pod挂载在server4上，它的内存还有：

[root@server4 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1999         368         832          18         797        1445		/还有这些
Swap:             0           0           0

我们现在测试刚才设置的内存限制。

[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh
/ # cd cache/
/cache # dd if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
100+0 records out

[root@server4 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1999         377         723         118         897        1336		/少了100M
Swap:             0           0           0

/cache # dd if=/dev/zero of=bigfile bs=1M count=200		/在截取200M
300+0 records in
300+0 records out

[root@server4 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1999         374         526         318        1098        1139		/少了200M
Swap:             0

竟然也能成功，我们不是设置了最多100M吗。

/cache # command terminated with exit code 137		这是我们的pod突然退出了

^C[root@server2 vol]# kubectl get pod 
NAME                        READY   STATUS    RESTARTS   AGE
my-nginx-7f45d597d5-9hk7h   1/1     Running   0          15m
vol1                        0/2     Evicted   0          12m

[root@server4 ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1999         352         850          17         796        1462		/内存归还了
Swap:             0

可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。
之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。
一段时间后 kubelet 识别到它已经超出了内存限制，就把她驱逐了。

但是为什么这样的操作可以执行哪，我们发现刚才的操作已经跳过了k8s的监管，这就说明在使用内存当作卷的存储时，是具有风险的，做的限制也不是事时的。

emptydir缺点:
- 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实
  对node还是有风险的;
- 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷”
  使用了node的内存,但是调度器并不知晓;
- 用户不能及时感知到内存不可用

hostPath卷

hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。虽然这不是大多数 Pod
需要的,但是它为一些应用程序提供了强大的逃生舱。

可以用于监控容器，把主机的文件挂接到pod中，通过pod中的监控进行识别。

hostPath 的一些用法有:
- 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
- 在容器中运行 cAdvisor （监控）时,以 hostPath 方式挂载 /sys。
- 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以
  什么方式存在。
除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。

在这里插入图片描述

当使用这种类型的卷时要小心,因为:
- 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同
  节点上有不同的行为。
- 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使
  用的资源。
- 基础主机上创建的文件或目录只能由 root 用户写入。您需要在特权容器中以 root 身份运
  行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

示例:

[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /usr/share/nginx/html			/挂载到这里
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /data			/映射宿主机的data目录
      type: DirectoryOrCreate		/没有就创建

[root@server3 ~]# ll -d /data
ls: cannot access /data: No such file or directo
[root@server4 ~]# ll -d /data
ls: cannot access /data: No such file or directo

当前我们的结点上是都没/data 这个目录的。

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/test-pd created

[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          59s   10.244.141.223   server3   <none>           <none>
/调度到了server3上

[root@server3 ~]# ll -d /data
drwxr-xr-x 2 root root 6 Jul  2 11:02 /data		/创建了

[root@server3 data]# echo woaini >index.html		/创建页面
[root@server3 data]# ll
total 4
-rw-r--r-- 1 root root 7 Jul  2 11:06 index.html

[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          6s    10.244.141.224   server3   <none>           <none>
[root@server2 vol]# curl 10.244.141.224
woaini		/就可以访问到了

我们现在在server4上手动创建 /data 目录，并编辑一个页面：

[root@server4 ~]# mkdir /data
[root@server4 ~]# cd /data/
[root@server4 data]# echo 666 > index.html

然后修改yaml文件，选择调度的结点在server4上：

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  nodeSelector:
    kubernetes.io/hostname: server4		//这里
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /data
      type: DirectoryOrCreate

[root@server2 vol]# kubectl apply -f vol1.yml 
kubec	get	podpod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          4s    10.244.22.23   server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.23
666

现在访问的却是server4上的页面，我们只是改变了调度的结点，它却连页面都改变了，这就说明这种卷的方式会受宿主机的影响，有干扰。
那我们怎样让数据一致哪？就可以使用nfs类型的卷。

NFS卷

nfs 卷能将 NFS (网络文件系统) 挂载到您的 Pod 中，让多个结点挂载一个存储。不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，卷只是被卸载掉了。这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间"传递"。

[root@server1 ~]# yum install nfs-utils -y	/安装工具
[root@server1 ~]# mkdir /nfsdata			/建立nfs数据目录
[root@server1 ~]# vim /etc/exports
/nfsdata	*(rw,sync)				/将目录共享出去
[root@server1 ~]# chmod 777 /nfsdata/
[root@server1 ~]# systemctl enable --now nfs			/启动服务
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@server1 ~]# cd /nfsdata/
[root@server1 nfsdata]# echo 88888 > index.html		/编辑一个页面
[root@server1 ~]# showmount -e	
Export list for server1:
/nfsdata *		/共享出去了

然后去各个结点安装nfs的支持：

[root@server3 ~]# yum insatll nfs-utils -y
[root@server4 ~]# yum insatll nfs-utils -y

[root@server4 data]# mount 172.25.254.1:/nfsdata /mnt/
[root@server4 data]# df
Filesystem            1K-blocks     Used Available Use% Mounted on
/dev/mapper/rhel-root  17811456  4220508  13590948  24% /
devtmpfs                1011516        0   1011516   0% /dev
tmpfs                   1023608        0   1023608   0% /dev/shm
tmpfs                   1023608    17532   1006076   2% /run
tmpfs                   1023608        0   1023608   0% /sys/fs/cgroup
/dev/sda1               1038336   135224    903112  14% /boot
tmpfs                    204724        0    204724   0% /run/user/
172.25.254.1:/nfsdata  17811456 12813440   4998016  72% /mnt		/可以挂载了

[root@server4 data]# umount /mnt/


[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume 
    nfs: 		/设置类型为nfs
      server: 172.25.254.1				/指定ip和目录
      path: /nfsdata

[root@server2 vol]# kubectl apply -f  vol1.yml
pod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          7s    10.244.141.225   server3   <none>           <none>
[root@server2 vol]# curl 10.244.141.225
88888

调度到server4上：

[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  nodeSelector:
    kubernetes.io/hostname: server4			//指定标签
  containers:
  - image: nginx
    name: test-container
    volumeMounts:
    - mountPath: /usr/share/nginx/html
      name: test-volume
  volumes:
  - name: test-volume 
    nfs: 
      server: 172.25.254.1
      path: /nfsdata

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          6s    10.244.22.24   server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.24
88888

看出不论pod运行在那个结点，数据都是一致的。

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这