Kubernetes的PersistentVolume子系统为用户和管理员提供了一个API，它从存储的使用方式中抽象出存储提供方式的细节。K8S引入了两个新的API资源:PersistentVolumeh和PersistentVolumeClaim。

持久性卷(PV)是集群中的一段存储，由管理员提供或使用存储类动态提供。它是集群中的资源，就像节点是集群资源一样。PV是与卷类似的卷插件，但其生命周期独立于使用PV的任何单独Pod。这个API对象实现存储的实现可以是NFS、iSCSI或者特定于云提供程序的存储系统。

PersistentVolumeClaim (PVC)是用户对存储的请求。pod消耗节点资源，而pvc消耗PV资源。Pods可以请求特定级别的资源(CPU和内存)。pvc可以请求特定的大小和访问模式(例如，它们可以挂载一次读/写或多次只读)。

什么是NFS？

NFS就是Network File System的缩写，它最大的功能就是可以通过网络，让不同的机器、不同的操作系统可以共享彼此的文件。

​ NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，而在本地端的系统中来看，那个远程主机的目录就好像是自己的一个磁盘分区一样。

NFS工作流程

1. 首先服务器端启动RPC服务，并开启111端口；
2. 服务器端启动NFS服务，并向RPC注册端口信息；
3. 客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口；
4. 服务端的RPC(portmap)服务反馈NFS端口信息给客户端；
5. 客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

Linux下NFS服务器部署NFS服务所需软件及主要配置文件

安装NFS服务，需要安装两个软件，分别是：

RPC主程序：rpcbind

NFS 其实可以被视为一个 RPC 服务，因为启动任何一个 RPC 服务之前，我们都需要做好 port 的对应 (mapping) 的工作才行，这个工作其实就是『 rpcbind 』这个服务所负责的！也就是说， 在启动任何一个 RPC 服务之前，我们都需要启动 rpcbind 才行！ (在 CentOS 5.x 以前这个软件称为 portmap，在 CentOS 6.x 之后才称为 rpcbind 的！)。

NFS主程序：nfs-utils

就是提供 rpc.nfsd 及 rpc.mountd 这两个 NFS daemons 与其他相关 documents 与说明文件、执行文件等的软件！这个就是 NFS 服务所需要的主要软件。

NFS的相关文件：

主要配置文件：/etc/exports
这是 NFS 的主要配置文件了。该文件是空白的，有的系统可能不存在这个文件，主要手动建立。NFS的配置一般只在这个文件中配置即可。
NFS 文件系统维护指令：/usr/sbin/exportfs
这个是维护 NFS 分享资源的指令，可以利用这个指令重新分享 /etc/exports 变更的目录资源、将 NFS Server 分享的目录卸除或重新分享。
*分享资源的登录档：/var/lib/nfs/tab
在 NFS 服务器的登录文件都放置到 /var/lib/nfs/ 目录里面，在该目录下有两个比较重要的登录档， 一个是 etab ，主要记录了 NFS 所分享出来的目录的完整权限设定值；另一个 xtab 则记录曾经链接到此 NFS 服务器的相关客户端数据。
客户端查询服务器分享资源的指令：/usr/sbin/showmount
这是另一个重要的 NFS 指令。exportfs 是用在 NFS Server 端，而 showmount 则主要用在 Client 端。showmount 可以用来察看 NFS 分享出来的目录资源。

配置Lunix Server

重新部署一台CentOS 7，IP：172.16.7.100

第一步：安装NFS和rpc

[root@nfs-server ~]# yum install -y  nfs-utils  # 安装nfs服务
[root@nfs-server ~]# yum install -y rpcbind   # 安装rpc服务

第二步：启动服务和设置开启启动

[root@nfs-server ~]# systemctl start rpcbind   
[root@nfs-server ~]# systemctl enable rpcbind.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/rpcbind.service to /usr/lib/systemd/system/rpcbind.service.
[root@nfs-server ~]# systemctl start nfs-server
[root@nfs-server ~]# systemctl start nfs-secure-server
[root@nfs-server ~]# systemctl enable nfs-secure
[root@nfs-server ~]# firewall-cmd --permanent --add-service=nfs
success
[root@nfs-server ~]#  firewall-cmd  --reload 
success

第三步：配置共享文件目录，编辑配置文件

[root@nfs-server ~]#  mkdir /public
[root@nfs-server ~]# vim /etc/exports

/public    172.16.7.0/24(rw,sync,no_root_squash,no_all_squash)

配置文件说明：

格式： 共享目录的路径 允许访问的NFS客户端（共享权限参数）
如上，共享目录为/public , 允许访问的客户端为192.168.245.0/24网络用户，权限为只读。
请注意，NFS客户端地址与权限之间没有空格。
NFS输出保护需要用到kerberos加密（none，sys，krb5，krb5i，krb5p），格式sec=XXX
none：以匿名身份访问，如果要允许写操作，要映射到nfsnobody用户，同时布尔值开关要打开，setsebool nfsd_anon_write 1
sys：文件的访问是基于标准的文件访问，如果没有指定，默认就是sys， 信任任何发送过来用户名
krb5：客户端必须提供标识，客户端的表示也必须是krb5，基于域环境的认证
krb5i：在krb5的基础上做了加密的操作，对用户的密码做了加密，但是传输的数据没有加密
krb5p：所有的数据都加密

用于配置NFS服务程序配置文件的参数：

---

参数	作用
ro	只读
rw	读写
root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户
no_root_squash	当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员
all_squash	无论NFS客户端使用什么账户访问，均映射为NFS服务器的匿名用户
sync	同时将数据写入到内存与硬盘中，保证不丢失数据
async	优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据

[root@nfs-server ~]# systemctl reload nfs 
[root@nfs-server ~]# showmount -e localhost
Export list for localhost:
/public 172.16.7.0/24

第四步：在客户端验证

使用showmount命令查看nfs服务器共享信息。输出格式为“共享的目录名称 允许使用客户端地址”

[root@k8s-node3 ~]# showmount -e 172.16.7.100
Export list for 172.16.7.100:
/public 172.16.7.0/24
[root@k8s-node3 ~]# mkdir /nfs
[root@k8s-node3 ~]# mount -t nfs 172.16.7.100:/public /nfs
[root@k8s-node3 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 979M     0  979M   0% /dev
······
172.16.7.100:/public      18G  3.7G   15G  21% /nfs
[root@k8s-node3 ~]# umount /nfs

showmount命令的用法

参数	作用
-e	显示NFS服务器的共享列表
-a	显示本机挂载的文件资源的情况NFS资源的情况
-v	显示版本号

也可以在客户端创建目录，并挂载共享目录

[root@k8s-node3 ~]# vim /etc/fstab 

#在该文件中挂载，使系统每次启动时都能自动挂载
	172.16.7.100:/public  /nfs       nfs    defaults 0 0

在K8S创建NFS持久化存储

1.创建PV和PVC

创建pv-test.yaml并应用

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs
spec:
  storageClassName: manual
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: 172.16.7.100
    path: /public

[root@k8s-master ~]# kubectl apply -f pv-test.yaml 
persistentvolume/nfs created
[root@k8s-master ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs    1Gi        RWX            Retain           Available           manual                  6s
[root@k8s-master ~]# kubectl describe pv nfs       
Name:            nfs
Labels:          <none>
Annotations:     kubectl.kubernetes.io/last-applied-configuration:
                  {"apiVersion":"v1","kind":"PersistentVolume","metadata":{"annotations":{},"name":"nfs"},"spec":{"accessModes":["ReadWriteMany"],"capacity"...
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    manual
Status:          Available
Claim:           
Reclaim Policy:  Retain
Access Modes:    RWX
VolumeMode:      Filesystem
Capacity:        1Gi
Node Affinity:   <none>
Message:         
Source:
   Type:      NFS (an NFS mount that lasts the lifetime of a pod)
   Server:    172.16.7.100
   Path:      /public
   ReadOnly:  false
Events:        <none>

创建pvc-test.yaml并应用

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: manual
  resources:
    requests:
      storage: 1Gi                     

[root@k8s-master ~]# kubectl apply -f pvc-test.yaml 
persistentvolumeclaim/nfs created
[root@k8s-master ~]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs    Bound    nfs      1Gi        RWX            manual         7s
[root@k8s-master ~]# kubectl describe pvc nfs 
Name:          nfs
Namespace:     default
StorageClass:  manual
Status:        Bound
Volume:        nfs
Labels:        <none>
Annotations:   kubectl.kubernetes.io/last-applied-configuration:
                 {"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"nfs","namespace":"default"},"spec":{"accessModes":[...
               pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      1Gi
Access Modes:  RWX
VolumeMode:    Filesystem
Mounted By:    <none>
Events:        <none>

2.创建Pod yaml文件并应用nfs pvc

apiVersion: v1
kind: Pod
metadata:
  name: web
  namespace: default
  labels:
    role: web
spec:
  containers:
  - name: web
    image: nginx:latest
    ports:
      - name: web
        containerPort: 80
    volumeMounts:
      - name: nfs
        mountPath: "usr/share/nginx/html"
  volumes:
  - name: nfs
    persistentVolumeClaim:
      claimName: nfs

[root@k8s-master ~]# vim pod-nfs.yaml              
[root@k8s-master ~]# kubectl apply -f pod-nfs.yaml 
pod/web created
[root@k8s-master ~]# kubectl get pod web 
NAME   READY   STATUS    RESTARTS   AGE
web    1/1     Running   0          8m51s
[root@k8s-master ~]# kubectl describe pod web             
Name:         web
Namespace:    default
Priority:     0
Node:         k8s-node2/172.16.7.12
Start Time:   Fri, 14 Feb 2020 15:10:54 +0800
Labels:       role=web
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"role":"web"},"name":"web","namespace":"default"},"spec":{"containe...
              podpreset.admission.kubernetes.io/podpreset-cache-pod-perset: 773827
Status:       Running
IP:           10.244.2.42
IPs:
  IP:  10.244.2.42
Containers:
  web:
    Container ID:   docker://efe845b2c5ef89642f991a576afd2aa8021f294a913b55db0b20f8091497c8f0
    Image:          nginx:latest
    Image ID:       docker-pullable://nginx@sha256:ad5552c786f128e389a0263104ae39f3d3c7895579d45ae716f528185b36bc6f
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Fri, 14 Feb 2020 15:11:01 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /cache from cache-volume (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-r6kq6 (ro)
      usr/share/nginx/html from nfs (rw)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  nfs:
    Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
    ClaimName:  nfs
    ReadOnly:   false
  cache-volume:
    Type:       EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:     
    SizeLimit:  <unset>
  default-token-r6kq6:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-r6kq6
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type    Reason     Age    From                Message
  ----    ------     ----   ----                -------
  Normal  Scheduled  9m13s  default-scheduler   Successfully assigned default/web to k8s-node2
  Normal  Pulling    9m9s   kubelet, k8s-node2  Pulling image "nginx:latest"
  Normal  Pulled     9m6s   kubelet, k8s-node2  Successfully pulled image "nginx:latest"
  Normal  Created    9m6s   kubelet, k8s-node2  Created container web
  Normal  Started    9m6s   kubelet, k8s-node2  Started container web

验证

[root@k8s-master ~]# kubectl get pod web -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE        NOMINATED NODE   READINESS GATES
web    1/1     Running   0          25m   10.244.2.42   k8s-node2   <none>           <none>
[root@k8s-master ~]# kubectl exec -it web  bash
root@web:/# ls /usr/share/nginx/html/
root@web:/# touch /usr/share/nginx/html/test
root@web:/# ls /usr/share/nginx/html/       
test

在NFS服务器上面查看

[root@nfs-server ~]# ls /public/
test



参考文章：
CSDN博主「曹世宏的博客」的原创文章《NFS服务器搭建与配置》
原文链接：https://blog.csdn.net/qq_38265137/article/details/83146421