Kubernetes的PersistentVolume子系统为用户和管理员提供了一个API,它从存储的使用方式中抽象出存储提供方式的细节。K8S引入了两个新的API资源:PersistentVolumeh和PersistentVolumeClaim。

持久性卷(PV)是集群中的一段存储,由管理员提供或使用存储类动态提供。它是集群中的资源,就像节点是集群资源一样。PV是与卷类似的卷插件,但其生命周期独立于使用PV的任何单独Pod。这个API对象实现存储的实现可以是NFS、iSCSI或者特定于云提供程序的存储系统。

PersistentVolumeClaim (PVC)是用户对存储的请求。pod消耗节点资源,而pvc消耗PV资源。Pods可以请求特定级别的资源(CPU和内存)。pvc可以请求特定的大小和访问模式(例如,它们可以挂载一次读/写或多次只读)。

什么是NFS?

NFS就是Network File System的缩写,它最大的功能就是可以通过网络,让不同的机器、不同的操作系统可以共享彼此的文件。

​ NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中,而在本地端的系统中来看,那个远程主机的目录就好像是自己的一个磁盘分区一样。

NFS工作流程

  1. 首先服务器端启动RPC服务,并开启111端口;
  2. 服务器端启动NFS服务,并向RPC注册端口信息;
  3. 客户端启动RPC(portmap服务),向服务端的RPC(portmap)服务请求服务端的NFS端口;
  4. 服务端的RPC(portmap)服务反馈NFS端口信息给客户端;
  5. 客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

Linux下NFS服务器部署NFS服务所需软件及主要配置文件

安装NFS服务,需要安装两个软件,分别是:

RPC主程序:rpcbind

NFS 其实可以被视为一个 RPC 服务,因为启动任何一个 RPC 服务之前,我们都需要做好 port 的对应 (mapping) 的工作才行,这个工作其实就是『 rpcbind 』这个服务所负责的!也就是说, 在启动任何一个 RPC 服务之前,我们都需要启动 rpcbind 才行! (在 CentOS 5.x 以前这个软件称为 portmap,在 CentOS 6.x 之后才称为 rpcbind 的!)。

NFS主程序:nfs-utils

就是提供 rpc.nfsd 及 rpc.mountd 这两个 NFS daemons 与其他相关 documents 与说明文件、执行文件等的软件!这个就是 NFS 服务所需要的主要软件。

NFS的相关文件:

主要配置文件:/etc/exports
这是 NFS 的主要配置文件了。该文件是空白的,有的系统可能不存在这个文件,主要手动建立。NFS的配置一般只在这个文件中配置即可。
NFS 文件系统维护指令:/usr/sbin/exportfs
这个是维护 NFS 分享资源的指令,可以利用这个指令重新分享 /etc/exports 变更的目录资源、将 NFS Server 分享的目录卸除或重新分享。
*分享资源的登录档:/var/lib/nfs/tab
在 NFS 服务器的登录文件都放置到 /var/lib/nfs/ 目录里面,在该目录下有两个比较重要的登录档, 一个是 etab ,主要记录了 NFS 所分享出来的目录的完整权限设定值;另一个 xtab 则记录曾经链接到此 NFS 服务器的相关客户端数据。
客户端查询服务器分享资源的指令:/usr/sbin/showmount
这是另一个重要的 NFS 指令。exportfs 是用在 NFS Server 端,而 showmount 则主要用在 Client 端。showmount 可以用来察看 NFS 分享出来的目录资源。

配置Lunix Server

重新部署一台CentOS 7,IP:172.16.7.100

第一步:安装NFS和rpc

[root@nfs-server ~]# yum install -y  nfs-utils  # 安装nfs服务
[root@nfs-server ~]# yum install -y rpcbind   # 安装rpc服务

第二步:启动服务和设置开启启动

[root@nfs-server ~]# systemctl start rpcbind   
[root@nfs-server ~]# systemctl enable rpcbind.service 
Created symlink from /etc/systemd/system/multi-user.target.wants/rpcbind.service to /usr/lib/systemd/system/rpcbind.service.
[root@nfs-server ~]# systemctl start nfs-server
[root@nfs-server ~]# systemctl start nfs-secure-server
[root@nfs-server ~]# systemctl enable nfs-secure
[root@nfs-server ~]# firewall-cmd --permanent --add-service=nfs
success
[root@nfs-server ~]#  firewall-cmd  --reload 
success

第三步:配置共享文件目录,编辑配置文件

[root@nfs-server ~]#  mkdir /public
[root@nfs-server ~]# vim /etc/exports
/public    172.16.7.0/24(rw,sync,no_root_squash,no_all_squash)
配置文件说明:
格式: 共享目录的路径 允许访问的NFS客户端(共享权限参数)
如上,共享目录为/public , 允许访问的客户端为192.168.245.0/24网络用户,权限为只读。
请注意,NFS客户端地址与权限之间没有空格。
NFS输出保护需要用到kerberos加密(none,sys,krb5,krb5i,krb5p),格式sec=XXX
none:以匿名身份访问,如果要允许写操作,要映射到nfsnobody用户,同时布尔值开关要打开,setsebool nfsd_anon_write 1
sys:文件的访问是基于标准的文件访问,如果没有指定,默认就是sys, 信任任何发送过来用户名
krb5:客户端必须提供标识,客户端的表示也必须是krb5,基于域环境的认证
krb5i:在krb5的基础上做了加密的操作,对用户的密码做了加密,但是传输的数据没有加密
krb5p:所有的数据都加密
用于配置NFS服务程序配置文件的参数:

参数作用
ro只读
rw读写
root_squash当NFS客户端以root管理员访问时,映射为NFS服务器的匿名用户
no_root_squash当NFS客户端以root管理员访问时,映射为NFS服务器的root管理员
all_squash无论NFS客户端使用什么账户访问,均映射为NFS服务器的匿名用户
sync同时将数据写入到内存与硬盘中,保证不丢失数据
async优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据
[root@nfs-server ~]# systemctl reload nfs 
[root@nfs-server ~]# showmount -e localhost
Export list for localhost:
/public 172.16.7.0/24

第四步:在客户端验证

使用showmount命令查看nfs服务器共享信息。输出格式为“共享的目录名称 允许使用客户端地址”

[root@k8s-node3 ~]# showmount -e 172.16.7.100
Export list for 172.16.7.100:
/public 172.16.7.0/24
[root@k8s-node3 ~]# mkdir /nfs
[root@k8s-node3 ~]# mount -t nfs 172.16.7.100:/public /nfs
[root@k8s-node3 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                 979M     0  979M   0% /dev
······
172.16.7.100:/public      18G  3.7G   15G  21% /nfs
[root@k8s-node3 ~]# umount /nfs

showmount命令的用法

参数作用
-e显示NFS服务器的共享列表
-a显示本机挂载的文件资源的情况NFS资源的情况
-v显示版本号

也可以在客户端创建目录,并挂载共享目录

[root@k8s-node3 ~]# vim /etc/fstab 
#在该文件中挂载,使系统每次启动时都能自动挂载
	172.16.7.100:/public  /nfs       nfs    defaults 0 0

在K8S创建NFS持久化存储

1.创建PV和PVC

创建pv-test.yaml并应用
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs
spec:
  storageClassName: manual
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteMany
  nfs:
    server: 172.16.7.100
    path: /public
[root@k8s-master ~]# kubectl apply -f pv-test.yaml 
persistentvolume/nfs created
[root@k8s-master ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
nfs    1Gi        RWX            Retain           Available           manual                  6s
[root@k8s-master ~]# kubectl describe pv nfs       
Name:            nfs
Labels:          <none>
Annotations:     kubectl.kubernetes.io/last-applied-configuration:
                  {"apiVersion":"v1","kind":"PersistentVolume","metadata":{"annotations":{},"name":"nfs"},"spec":{"accessModes":["ReadWriteMany"],"capacity"...
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    manual
Status:          Available
Claim:           
Reclaim Policy:  Retain
Access Modes:    RWX
VolumeMode:      Filesystem
Capacity:        1Gi
Node Affinity:   <none>
Message:         
Source:
   Type:      NFS (an NFS mount that lasts the lifetime of a pod)
   Server:    172.16.7.100
   Path:      /public
   ReadOnly:  false
Events:        <none>
创建pvc-test.yaml并应用
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: manual
  resources:
    requests:
      storage: 1Gi                     
[root@k8s-master ~]# kubectl apply -f pvc-test.yaml 
persistentvolumeclaim/nfs created
[root@k8s-master ~]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs    Bound    nfs      1Gi        RWX            manual         7s
[root@k8s-master ~]# kubectl describe pvc nfs 
Name:          nfs
Namespace:     default
StorageClass:  manual
Status:        Bound
Volume:        nfs
Labels:        <none>
Annotations:   kubectl.kubernetes.io/last-applied-configuration:
                 {"apiVersion":"v1","kind":"PersistentVolumeClaim","metadata":{"annotations":{},"name":"nfs","namespace":"default"},"spec":{"accessModes":[...
               pv.kubernetes.io/bind-completed: yes
               pv.kubernetes.io/bound-by-controller: yes
Finalizers:    [kubernetes.io/pvc-protection]
Capacity:      1Gi
Access Modes:  RWX
VolumeMode:    Filesystem
Mounted By:    <none>
Events:        <none>

2.创建Pod yaml文件并应用nfs pvc

apiVersion: v1
kind: Pod
metadata:
  name: web
  namespace: default
  labels:
    role: web
spec:
  containers:
  - name: web
    image: nginx:latest
    ports:
      - name: web
        containerPort: 80
    volumeMounts:
      - name: nfs
        mountPath: "usr/share/nginx/html"
  volumes:
  - name: nfs
    persistentVolumeClaim:
      claimName: nfs
[root@k8s-master ~]# vim pod-nfs.yaml              
[root@k8s-master ~]# kubectl apply -f pod-nfs.yaml 
pod/web created
[root@k8s-master ~]# kubectl get pod web 
NAME   READY   STATUS    RESTARTS   AGE
web    1/1     Running   0          8m51s
[root@k8s-master ~]# kubectl describe pod web             
Name:         web
Namespace:    default
Priority:     0
Node:         k8s-node2/172.16.7.12
Start Time:   Fri, 14 Feb 2020 15:10:54 +0800
Labels:       role=web
Annotations:  kubectl.kubernetes.io/last-applied-configuration:
                {"apiVersion":"v1","kind":"Pod","metadata":{"annotations":{},"labels":{"role":"web"},"name":"web","namespace":"default"},"spec":{"containe...
              podpreset.admission.kubernetes.io/podpreset-cache-pod-perset: 773827
Status:       Running
IP:           10.244.2.42
IPs:
  IP:  10.244.2.42
Containers:
  web:
    Container ID:   docker://efe845b2c5ef89642f991a576afd2aa8021f294a913b55db0b20f8091497c8f0
    Image:          nginx:latest
    Image ID:       docker-pullable://nginx@sha256:ad5552c786f128e389a0263104ae39f3d3c7895579d45ae716f528185b36bc6f
    Port:           80/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Fri, 14 Feb 2020 15:11:01 +0800
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /cache from cache-volume (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-r6kq6 (ro)
      usr/share/nginx/html from nfs (rw)
Conditions:
  Type              Status
  Initialized       True 
  Ready             True 
  ContainersReady   True 
  PodScheduled      True 
Volumes:
  nfs:
    Type:       PersistentVolumeClaim (a reference to a PersistentVolumeClaim in the same namespace)
    ClaimName:  nfs
    ReadOnly:   false
  cache-volume:
    Type:       EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:     
    SizeLimit:  <unset>
  default-token-r6kq6:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-r6kq6
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type    Reason     Age    From                Message
  ----    ------     ----   ----                -------
  Normal  Scheduled  9m13s  default-scheduler   Successfully assigned default/web to k8s-node2
  Normal  Pulling    9m9s   kubelet, k8s-node2  Pulling image "nginx:latest"
  Normal  Pulled     9m6s   kubelet, k8s-node2  Successfully pulled image "nginx:latest"
  Normal  Created    9m6s   kubelet, k8s-node2  Created container web
  Normal  Started    9m6s   kubelet, k8s-node2  Started container web
验证
[root@k8s-master ~]# kubectl get pod web -o wide
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE        NOMINATED NODE   READINESS GATES
web    1/1     Running   0          25m   10.244.2.42   k8s-node2   <none>           <none>
[root@k8s-master ~]# kubectl exec -it web  bash
root@web:/# ls /usr/share/nginx/html/
root@web:/# touch /usr/share/nginx/html/test
root@web:/# ls /usr/share/nginx/html/       
test

在NFS服务器上面查看

[root@nfs-server ~]# ls /public/
test



参考文章:
CSDN博主「曹世宏的博客」的原创文章《NFS服务器搭建与配置》
原文链接:https://blog.csdn.net/qq_38265137/article/details/83146421
Logo

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐