目录

三种存储方式

 查看同一容器不同副本的log

 emptyDir

​编辑 hostPath

 NFS共享存储

PVC和PV

 Pv和pvc之间是有生命周期管理的

Pv的状态有四种

支持的读写方式有几种

回收策略

资源回收


                         容器内的目录和宿主机的目录进行挂载

容器在系统上的生命周期是短暂的,delete,k8s用控制器创建的pod,delete相当于重启,容器的状态也会恢复到初始状态,一旦回到初始状态,所有的后天编辑的文件都会消失

容器和几点之间创建一个持久化保存容器内文件的存储卷,即使容器被销毁,删除,重启,节点上的存储卷的数据依然存在,后续也可以继续使用。可以继续将容器内的目录和宿主机挂载,保存的数据继续使用

三种存储方式

emptyDir

作用:

容器内部共享存储卷,k8s系统中,是一个pod当中的多个容器共享一个存储卷目录emptyDir卷可以是pod当中容器在这个存储卷上读取和写入

EmpytyDir是不能挂载到节点的,随着pod的生命周期结束,emptyDir也会结束,数据也不会保留

所以emptyDir就是用来容器内部的共享,lnmp

hostPath

将容器内的挂载点,和节点上的目录进行挂载,hostPath可以实现数据的持久化,node节点被销毁,那么数据也会丢失

面试题:污点设置为NoExecute:节点上的pod会被驱逐,文件数据在不在?

1.Pod被驱逐,并不是node节点被销毁,所有数据还保留在节点上

2.Pod被驱逐(基于控制器创建的)会在其他节点部署,并且会在其他节点上生成一个新的存储卷,数据依然可以持久化

3.EmptyDir的共享数据,会丢失

NFS共享存储

所有的pod内的目录都和节点上的nfs共享目录形成数据卷,所有的数据文件都保存在共享目录当中,集中,方便管理

 查看同一容器不同副本的log

[root@master01 k8s.yaml]# kubectl logs nginx-c85454d4d-4m6p2 -c nginx1
[root@master01 k8s.yaml]# kubectl logs nginx-c85454d4d-4m6p2 -c nginx2

 emptyDir

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
        volumeMounts:
        - name: html
          mountPath: /usr/share/nginx/html/
#第一个name,存储的名称,可以自定义,mountpath,定义容器内的挂载目录点,和节点或者##其他容器的共享目录
      - image: nginx:1.22
        name: nginx2
        volumeMounts:
        - name: html
          mountPath: /data/
#引用上一个挂载的名称,表示我将和、usr/share/nginx/html这个目录挂载,由data目录和他挂载
        command: ["/bin/bash","-c", "while true; do echo $(date) >> /data/index.html; sleep 2; done"]
#每隔两秒打印一下当前时间
      volumes:
      - name: html
        emptyDir: {}

 hostPath

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
        volumeMounts:
        - name: html
          mountPath: /usr/share/nginx/html
#第一个name,存储的名称,可以自定义,mountpath,定义容器内的挂载目录点,和节点或者##其>他容器的共享目录
      - image: nginx:1.22
        name: nginx2
        volumeMounts:
        - name: html
          mountPath: /data
#引用上一个挂载的名称,表示我将和、usr/share/nginx/html这个目录挂载,由data目录和他挂载

        command: ["/bin/bash","-c", "while true; do echo $(date) >> /data/index.html; sleep 2; done"]
      volumes:
      - name: html
        hostPath:
          path: /opt/test1
          type: DirectoryOrCreate
#如果没有/opt/test1就直接创建
# /usr/share/nginx/html, /data ,/opt/test1 ,三者是一体的,在节点上的目录里创建或者修改文件都会改变容器内的文件,不同节点上除了index.html是一样的,其他不一样

 

 NFS共享存储

[root@k8s4 ~]# vim /etc/exports
/data/volumes 192.168.233.0/24(rw,no_root_squash)
[root@k8s4 ~]# cd /data/
[root@k8s4 data]# mkdir volumes
[root@k8s4 data]# chmod 777 volumes
[root@k8s4 data]# systemctl restart rpcbind
Job for rpcbind.service failed because the control process exited with error code. See
#报错之后的操作
[root@k8s4 data]# netstat -antp | grep rpcbind
[root@k8s4 sbin]# kill -9 5513
[root@k8s4 sbin]# systemctl restart rpcbind
[root@k8s4 sbin]# systemctl restart nfs
[root@k8s4 sbin]# showmount -e
Export list for k8s4:
/data/volumes 192.168.233.0/24
#到master01操作
[root@master01 k8s.yaml]# showmount -e 192.168.233.84
Export list for 192.168.233.84:
/data/volumes 192.168.233.0/24
[root@master01 k8s.yaml]# vim e.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
        volumeMounts:
        - name: html
          mountPath: /usr/share/nginx/html
#第一个name,存储的名称,可以自定义,mountpath,定义容器内的挂载目录点,和节点或者##其>他容器的共享目录
      - image: nginx:1.22
        name: nginx2
        volumeMounts:
        - name: html
          mountPath: /data
#引用上一个挂载的名称,表示我将和、usr/share/nginx/html这个目录挂载,由data目录和他挂载

        command: ["/bin/bash","-c", "while true; do echo $(date) >> /data/index.html; sleep 2; done"]
      volumes:
      - name: html
        nfs:
          path: /data/volumes
          server: 192.168.233.84
#这里的server可以是ip地址也可以用主机名来替代 如k8s ,主机名要到/etc/hosts做映射,所有的节点都必须>要做

删除 kubectl delete -f test1.yaml 
删除掉基于test1.yaml创建的pod,yaml文件不会被删除

PVC和PV

Pv

全称Persistent Volume

持久化存储卷,描述和定义一个存储卷,pv是由运维人员来定的

Pvc

persistent Volume Claim

持久化存储的请求,pvc ---pv ---?NFS,pvc实际上是用来描述或者声明我希望使用什么样的pv来进行存储

Pvc-pv是一一对应的关系(描述,比如希望存储的(大小,名字))

Pvc和pv都是u你话的概念,是k8s的抽象的虚拟的存储资源

Pvc和pv之间静态请求,一旦成百个pvc怎么办,所以还有动态pvc

Pv是集群当中的存储资源,pvc请求存储资源,也是对存储资源的一个检索(检查索引),选择一个最合适的pv来存储资源

 Pv和pvc之间是有生命周期管理的

Provisioning(配置)---pvc请求request---检索(找一个合适的pv)----pvc和pv(binding绑定)----使用---pod被删除---pv的资源releasing(释放)----recycling(回收)

配置:静态,动态

绑定:就是把pv分配给pvc

使用:就是pod通过pvc使用存储资源

释放:pod接触和挂载卷volume的关系,删除pvc

回收:保留pv,以供下一个pvc使用

Pv的状态有四种

Available

可用,而且没有被任何pvc绑定

Bound

绑定,pv已经绑定了pvc,绑定即使用

Released

释放,pvc已经被删除了,但是pv的存储资源还没有被集群回收

Failed

表示pv的回收失败,而且pv为不可用状态

支持的读写方式有几种

ReadWriteOnce

简写是RWO,配置文件里面要写全称,表示存储pv可读可写,但是只能被单个pod挂载

ReadOnlyMany

ROX,存储的pv可以以只读的方式被多个pod挂载

ReadWriteMany

RWX,存储可以支持读写的方式被多个pod共享

Nfs:可以支持以上三种读写和挂载方式

HostPath:只支持ROX方式

有个特殊的地方我们一般用的scsi,iscsi不支持ROX方式

回收策略

                                      集群回收pv资源的方式有三种

Retain

默认策略,保留,pod和挂载点的数据不会被删除

Recycle

回收,pv上的数据会被删除,挂载点的数据也被删除

Delete

删除,解绑时会自动删除pv上的数据,本地卷硬板不能使用,AWS,EBS,GCE,支持动态卷的可以使用,pv不再可用(云平台自己处理)

补充:当pod运行之后,通过pvc请求到了pv,除非pod被销毁,否则无法删除pvc

Pvc---请求用哪个pv的存储---pv和物理存储做映射(挂载)---物理设备提供存储卷

[root@master01 ~]# iscsiadm -m session -P 3
iscsiadm: No active sessions.

#检查环境
#Iscsiadm:查看服务器是否有iscsi设备
#-m session:表示指定操作的会话模块,管理iscsi的会话
#-P 3:显示详细信息的级别,级别就是3,显示详细信息
[root@k8s4 data]# vim /etc/exports
/data/volumes 192.168.233.0/24(rw,no_root_squash)
/data/v1 192.168.233.0/24(rw,no_root_squash)
/data/v2 192.168.233.0/24(rw,no_root_squash)
/data/v3 192.168.233.0/24(rw,no_root_squash)
/data/v4 192.168.233.0/24(rw,no_root_squash)
/data/v5 192.168.233.0/24(rw,no_root_squash)
[root@k8s4 data]# mkdir v{1..5}
[root@k8s4 data]# netstat -antp | grep rpcbind
[root@k8s4 data]# systemctl restart rpcbind
[root@k8s4 data]# systemctl restart nfs
[root@k8s4 data]# showmount -e
[root@k8s4 data]# exportfs -arv
[root@master01 ~]# showmount -e 192.168.233.84

[root@master01 k8s.yaml]# vim pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
  labels:
    name: pv001
spec:
  nfs:
    path: /data/v1
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 1Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
  labels:
    name: pv002
spec:
  nfs:
    path: /data/v2
    server: 192.168.233.84
  accessModes: ["ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
  labels:
    name: pv003
spec:
  nfs:
    path: /data/v3
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
  labels:
    name: pv004
spec:
  nfs:
    path: /data/v4
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
  labels:
    name: pv005
spec:
  nfs:
    path: /data/v5
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce","ReadOnlyMany"]
  capacity:
    storage: 5Gi


[root@master01 k8s.yaml]# vim pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc
spec:
  accessModes: ["ReadWriteMany"]
#pvc期望请求的pv的读写挂载类型是什么
  resources:
    requests:
      storage: 2Gi
#pvc期望请求pv的存储大小是2G,期望的pv类型是readwritemany,大小2g,优先等于2g再大于,不能小于
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
        volumeMounts:
        - name: html
          mountPath: /usr/share/nginx/html
      volumes:
      - name: html
        persistentVolumeClaim:
          claimName: mypvc
#定义pvc的名称.由mypc获取PV

[root@master01 k8s.yaml]# kubectl get pv
#查看PV状态
[root@k8s4 data]# cd v3/
[root@k8s4 v3]# ls
[root@k8s4 v3]# echo 123 > index.html
[root@k8s4 v3]# ls
index.html
[root@k8s4 v3]# cat index.html
123
[root@master01 k8s.yaml]# kubectl get pv
NAME            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                    STORAGECLASS   REASON   AGE
nginx-html-pv   1Gi        RWO            Retain           Bound       default/nginx-html-pvc                           2d12h
pv001           1Gi        RWO,RWX        Retain           Available                                                    34m
pv002           2Gi        RWO            Retain           Available                                                    34m
pv003           2Gi        RWO,RWX        Retain           Bound       default/mypvc                                    34m
pv004           4Gi        RWO,RWX        Retain           Available                                                    34m
pv005           5Gi        RWO,ROX,RWX    Retain           Available                                                    34m
[root@master01 k8s.yaml]# kubectl get pod -o wide
NAME                     READY   STATUS    RESTARTS   AGE     IP            NODE       NOMINATED NODE   READINESS GATES
nginx-796bbddb88-8bj4q   1/1     Running   0          3m14s   10.244.1.71   node01     <none>           <none>
nginx-796bbddb88-csp5d   1/1     Running   0          3m13s   10.244.0.53   master01   <none>           <none>
nginx-796bbddb88-q9bbk   1/1     Running   0          10m     10.244.2.68   node02     <none>           <none>
[root@master01 k8s.yaml]# curl 10.244.1.71
123
[root@master01 k8s.yaml]# curl 10.244.0.53
123
[root@master01 k8s.yaml]# curl 10.244.2.68
123

#PVC发起请求选择使用哪个PV的存储,PV通过挂载的方式和物理存储做映射,最终由物理设备提供存储卷

资源回收

[root@master01 k8s.yaml]# kubectl get pv
[root@master01 k8s.yaml]# kubectl delete deployments.apps nginx
要先删除pod再删除pvc
[root@master01 k8s.yaml]# kubectl delete pvc mypvc
[root@master01 k8s.yaml]# kubectl get pv
NAME            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                    STORAGECLASS   REASON   AGE
nginx-html-pv   1Gi        RWO            Retain           Bound       default/nginx-html-pvc                           2d12h
pv001           1Gi        RWO,RWX        Retain           Available                                                    50m
pv002           2Gi        RWO            Retain           Available                                                    50m
pv003           2Gi        RWO,RWX        Retain           Released    default/mypvc                                    50m
pv004           4Gi        RWO,RWX        Retain           Available                                                    50m
pv005           5Gi        RWO,ROX,RWX    Retain           Available                                                    50m
# Released,表示已经回收完毕
#到k8s4看一下文件是否还存在
[root@k8s4 v3]# cat index.html
123
#还在
[root@master01 k8s.yaml]# kubectl edit pv pv003
persistentvolume/pv003 edited
#将Released    default/mypvc  恢复到Available 需要删除字段的如下图


回收释放
[root@master01 k8s.yaml]# vim pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv001
  labels:
    name: pv001
spec:
  nfs:
    path: /data/v1
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  capacity:
    storage: 1Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv002
  labels:
    name: pv002
spec:
  nfs:
    path: /data/v2
    server: 192.168.233.84
  accessModes: ["ReadWriteOnce"]
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
  labels:
    name: pv003
spec:
  nfs:
    path: /data/v3
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  persistentVolumeReclaimPolicy: Recycle
#回收资源并释放,也就是不保留文件
  capacity:
    storage: 2Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv004
  labels:
    name: pv004
spec:
  nfs:
    path: /data/v4
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce"]
  persistentVolumeReclaimPolicy: Recycle
  capacity:
    storage: 4Gi
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv005
  labels:
    name: pv005
spec:
  nfs:
    path: /data/v5
    server: 192.168.233.84
  accessModes: ["ReadWriteMany","ReadWriteOnce","ReadOnlyMany"]
  capacity:
    storage: 5Gi


[root@master01 k8s.yaml]# vim pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mypvc
spec:
  accessModes: ["ReadWriteMany"]
#pvc期望请求的pv的读写挂载类型是什么
  resources:
    requests:
      storage: 2Gi
#pvc期望请求pv的存储大小是2G,期望的pv类型是readwritemany,大小2g,优先等于2g再大于,不能小于
---
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx:1.22
        name: nginx1
        volumeMounts:
        - name: html
          mountPath: /usr/share/nginx/html
      volumes:
      - name: html
        persistentVolumeClaim:
          claimName: mypvc


kubectl apply -f pv.yaml
kubectl get pv
 
到k8s5
echo 123 > index.html
 
回到master01
开始删除
kubectl delete deployment nginx
kubectl delete pvc mypvc
#先删除相关联的pod再删除pvc
kubectl get pv
一段时间之后会自动变成正常状态
再回到k8s5查看资源是否被回收


delete策略:
delete只能在云平台且支持动态卷。本地硬盘并不支持。只能使用无法删除
回到pv.yaml添加回收策略
apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv003
  labels:
    name: pv003
spec:
  nfs:
    path: /data/v3
    server: 20.0.0.36
  accessModes: ["ReadWriteMany", "ReadWriteOnce"]
  persistenVolumeReclaimPolicy: Delete
  capacity:
    storage: 2Gi
 
kubectl apply -f pv.yaml
kubectl get pv
 
回到k8s5
echo 123 > index.html
 
回到master01
开始删除
kubectl delete deployment nginx
kubectl delete pvc mypvc
#先删除相关联的pod再删除pvc
kubectl get pv
这时会变为Failled状态
kubectl edit pv pv003
把claimRef字段的内容全部删除保存推测出即可
kubectl get pv
PV状态恢复正常

在k8s当中的模式

emptyDir:用于容器内存储卷,随着pod的销毁,数据不保留

hostPath:节点目录的存储卷,可以实现持久化存储,数据在每个节点上都有,不方便集中管理

Nfs:共享目录存储卷,可以实现持久化,数据集中在一个目录,方便管理

Pv和pvc

Pvc请求---pv的存储资源---真正存储的空间还是硬盘空间(NFS)

Nfs支持pvc的所有挂载方式和读写模式

hostPath仅支持ReadWriteOnce方式

Pvc是以检索的方式找到匹配的pv资源

检索挂载方式和读写模式

检索pv能提供的存储资源的大小

谁合适选谁

保留:默认可以不写

回收:是自动回收,节点上的数据会被删除

删除: pv会变成failed模式,不可用,数据也会被删除

静态比较麻烦,如何能自动的匹配pv资源,需要用到动态pvc

Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐