一、StorageClass介绍

1.概念

StorageClass作为对外存储资源的抽象定义，对用户设置的PVC申请屏蔽后端存储的细节，一方面减少了用户对于存储资源细节的关注，另一方面减轻了管理员手动管理PV的工作，由系统自动完成PV的创建和绑定，实现动态的资源供应。基于StorageClass的动态资源供应模式将逐步成为云平台的标准存储管理模式。
目前支持的类参考：https://kubernetes.io/zh-cn/docs/concepts/storage/storage-classes/

2.NFS StorageClass介绍

NFS原理不再赘述，可以自行了解，在NFS StorageClass中最核心了解Provisioner，那什么是Provisioner？
Provisioner是StorageClass中必须的一个资源，它是存储资源自动调配器，可以将其看作是后端存储驱动。对于NFS类型，K8S没有提供内部Provisioner，但可以使用外部的Provisioner。Provisioner必须符合存储卷的开发规范（CSI）。本文档中使用NFS提供的Provisioner。

3.Pod申请PV流程如下图：

流程分解：
①pod挂载pvc
②pvc配置存储类请求pv
③storageclass找到provisioner申请pv
④nfs provisioner生成pvc需要的pv，提供给pod做存储

二、搭建NFS服务

系统环境：Centos7.9
NFS ServerIP：172.19.58.188
NFS ClientIP：172.19.58.189、172.19.58.190

1.查看系统是否已安装NFS

[root@k8s-master ~]# rpm -qa | grep nfs
[root@k8s-master ~]# rpm -qa | grep rpcbind
[root@k8s-master ~]#

2.NFS Server端安装NFS

[root@k8s-master~]# yum -y install nfs-utils rpcbind

3.服务端配置

[root@k8s-maste~]# mkdir -p /data/nfs
[root@k8s-master storageclass]# vim /etc/exports
/data/nfs 172.19.58.0/16(rw,no_root_squash,no_all_squash,sync)

常见的参数则有：
参数值 内容说明

rw read-write 读写
ro read-only 只读
sync 请求或写入数据时，数据同步写入到NFS server的硬盘后才返回。数据安全，但性能降低了
async 优先将数据保存到内存，硬盘有空档时再写入硬盘，效率更高，但可能造成数据丢失。
root_squash 当NFS 客户端使用root用户访问时，映射为NFS 服务端的匿名用户
no_root_squash 当NFS 客户端使用root 用户访问时，映射为NFS服务端的root 用户
all_squash 不论NFS 客户端使用任何帐户，均映射为NFS 服务端的匿名用户

配置生效

[root@k8s-master~]# exportfs -r

启动rpcbind、nfs服务

[root@k8s-master~]# systemctl start nfs
[root@k8s-master~]# systemctl start rpcbind

在你的 NFS 服务器设定妥当之后，我们可以在 server 端先自我测试一下是否可以联机，就是利用 showmount 指令来检测

[root@k8s-master storageclass]# showmount -e localhost
Export list for localhost:
/data/nfs 172.19.58.0/16

4.NFS client端配置

[root@k8s-node1 ~]# yum -y install nfs-utils
[root@k8s-node2 ~]# yum -y install nfs-utils

创建挂载目录

[root@k8s-node1 ~]# mkdir /data/nfs
[root@k8s-node2 ~]# mkdir /data/nfs

为了提高NFS的稳定性，使用TCP协议挂载，NFS默认用UDP协议

[root@k8s-node1 ~]#  mount -t nfs 172.19.58.188:/data/nfs /data/nfs -o proto=tcp -o nolock
[root@k8s-node2 ~]#  mount -t nfs 172.19.58.188:/data/nfs /data/nfs -o proto=tcp -o nolock

添加至开机自动挂载

[root@k8s-node1 ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Nov 23 09:19:43 2021
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=8af70500-d87e-4b91-b88e-dff450511d3f /                       ext4    defaults        1 1
172.19.58.188:/data/nfs                   /data/nfs               nfs     defaults        0 0

三、搭建StorageClass

需注意，StorageClass为全局资源，所以命名空间为default，不影响其他命名空间调用

1.创建 provisioner

如果K8s版本为1.20.x
在/etc/kubernetes/manifests/kube-apiserver.yaml的command中添加：

- --feature-gates=RemoveSelfLink=false

否则会报错：
Kubernetes v1.20.13 报"unexpected error getting claim reference: selfLink was empty, can’t make reference"
下载yaml文件

[root@k8s-master tmp]# wget http://raw.githubusercontent.com/kubernetes-incubator/external-storage/master/nfs-client/deploy/deployment.yaml
[root@k8s-master tmp]# vim deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
  # replace with namespace where provisioner is deployed
  namespace: default
spec:
  replicas: 1            ###想做高可用的话这里可以改成3，一般为大于等于3的奇数
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          #image: quay.io/external_storage/nfs-subdir-external-provisioner:v4.0.2    ###这个镜像可以支持动态pv创建子目录，也就是本文档中的NFS，一般测试中两个镜像选其一即可
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME			   ###这个名字必须与storageclass里面的名字一致，不然storageclass找不到provisioner
              value: fuseim.pri/ifs
            - name: ENABLE_LEADER_ELECTION         ###设置高可用允许选举，如果replicas参数等于1，那这个参数可以不用配置
              value: "True"
            - name: NFS_SERVER
              value: 10.10.10.60                   ###修改nfsserver地址为：172.19.58.188
            - name: NFS_PATH                       ###修改共享地址：/data/nfs
              value: /ifs/kubernetes               
      volumes:
        - name: nfs-client-root
          nfs:
            server: 10.10.10.60                    ###修改nfsserver地址为：172.19.58.188
            path: /ifs/kubernetes                  ###修改共享地址为：/data/nfs

[root@k8s-master data]# kubectl apply -f nfs-client.yaml

创建account并绑定角色

[root@k8s-master storageclass]# vim nfs-client-sa.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner


---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["create", "delete", "get", "list", "watch", "patch", "update"]


---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
kubectl apply -f nfs-client-sa.yaml
创建storageclass
[root@k8s-master storageclass]# vim nfs-client-class.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: course-nfs-storage
provisioner: fuseim.pri/ifs  ##配置与PROVISIONER_NAME相同的名字
###以下两条配置默认没有，支持NFS创建子目录，用于不同应用使用NFS的不同目录
#parameters:
#  pathPattern: "${.PVC.namespace}/${.PVC.annotations.nfs.io/storage-path}"

[root@k8s-master data]# kubectl apply -f nfs-client-class.yaml

标记为默认storageclass：

[root@k8s-master data]# kubectl patch storageclass <your-class-name> -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'

查看

[root@k8s-master storageclass]# kubectl get storageclass
NAME                           PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
course-nfs-storage (default)   fuseim.pri/ifs   Delete          Immediate           false                  9d

2.创建一个动态pv测试一下

[root@k8s-master storageclass]# vim test-pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc-test
  annotations:
    volume.beta.kubernetes.io/storage-class: "course-nfs-storage"
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi
[root@k8s-master storageclass]# kubectl apply -f test-pvc.yaml
persistentvolumeclaim/pv-test created

[root@k8s-master data]# kubectl get pvc -A
NAMESPACE   NAME                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS         AGE
default     pvc-test                             Bound    pvc-5ff7ea1b-be85-4dea-8303-c5d89ecc38ac   1Gi        RWX            course-nfs-storage   4m57s
kuboard     prometheus-k8s-db-prometheus-k8s-0   Bound    pvc-9236af94-7ca9-45c1-b2f6-cea89954b475   40Gi       RWO            course-nfs-storage   6d5h
kuboard     prometheus-k8s-db-prometheus-k8s-1   Bound    pvc-47a3fe8f-8b94-4b23-812d-a54ca47fe303   40Gi       RWO            course-nfs-storage   6d5h
kuboard     storage-kuboard-loki-0               Bound    pvc-bd5e08ec-2cf0-4880-8eb0-492570fac701   20Gi       RWX            course-nfs-storage   6d4h
[root@k8s-master data]# kubectl get pv -A
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                        STORAGECLASS         REASON   AGE
pvc-47a3fe8f-8b94-4b23-812d-a54ca47fe303   40Gi       RWO            Delete           Bound    kuboard/prometheus-k8s-db-prometheus-k8s-1   course-nfs-storage            6d5h
pvc-5ff7ea1b-be85-4dea-8303-c5d89ecc38ac   1Gi        RWX            Delete           Bound    default/pvc-test                             course-nfs-storage            5m23s
pvc-9236af94-7ca9-45c1-b2f6-cea89954b475   40Gi       RWO            Delete           Bound    kuboard/prometheus-k8s-db-prometheus-k8s-0   course-nfs-storage            6d5h
pvc-bd5e08ec-2cf0-4880-8eb0-492570fac701   20Gi       RWX            Delete           Bound    kuboard/storage-kuboard-loki-0               course-nfs-storage            6d4h