搭建NFS服务器，部署k8s集群，并在k8s中使用NFS作为持久化储存
本文旨在探讨如何搭建NFS服务器，并将其集成到Kubernetes（K8s）集群中作为持久化存储的解决方案。我们将首先介绍NFS的基本原理和优势，随后详细阐述NFS服务器的搭建过程，包括安装NFS软件包、配置NFS共享目录以及启动NFS服务。接着，我们将探讨如何安装k8s集群并在K8s中部署NFS客户端。
🐇明明跟你说过：个人主页
🏅个人专栏：《Kubernetes航线图：从船长到K8s掌舵者》 🏅
🔖行路有良友，便是天堂🔖
目录
一、前言
1、k8s概述
Kubernetes单词起源于希腊语, 是“舵手”或者“领航员、飞行员”的意思。
Kubernetes（简称K8s）的前世今生可以追溯到谷歌（Google）内部的一个项目，它起源于2003年，当时谷歌正面临着不断增长的应用程序和服务的管理挑战。这个项目最初被称为"Borg"，是一个早期的容器编排系统。Borg 的成功经验成为 Kubernetes 开发的契机。
有关k8s起源的介绍，请参考《初识K8s之前世今生、架构、组件、前景》这篇文章
Kubernetes的优点包括可移植性、可伸缩性和扩展性。它使用轻型的YAML清单文件实现声明性部署方法，对于应用程序更新，无需重新构建基础结构。管理员可以计划和部署容器，根据需要扩展容器并管理其生命周期。借助Kubernetes的开放源代码API，用户可以通过首选编程语言、操作系统、库和消息传递总线来构建应用程序，还可以将现有持续集成和持续交付（CI/CD）工具集成。
2、NFS简介
NFS，即网络文件系统（Network File System），是一种用于在计算机系统之间共享文件和目录的协议。NFS最初由Sun公司开发，目前已经成为全球广泛使用的网络文件系统之一，无论是在企业内部网络还是在云计算环境中。
NFS允许远程计算机像访问本地文件一样访问和操作远程文件，从而方便了多台计算机之间的文件共享和协作。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS不仅适用于Linux与Unix之间实现文件共享，也能实现Linux与Windows间的文件共享功能。
NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，这样，从本地端的系统来看，那个远程主机的目录就好像是自己的一个磁盘分区一样，使用上相当便利。
NFS的应用场景非常广泛，它可以用于办公环境，实现文件服务器的高可用性，保证数据的可靠传输和处理，提高工作效率；对于大型企业来说，NFS可以提供集中式的文件存储和管理，简化文件管理流程，降低运营成本。
二、NFS服务器搭建
1、准备NFS 服务器
准备一台Linux服务器，虚拟机或物理机都可以，操作系统Ubuntu或centos，这里选择Centos
2、搭建NFS服务
安装 nfs-utils 软件包。
[root@nfsserver ~]# yum install nfs-utils -y创建共享目录
[root@nfsserver ~]# mkdir /data/nfs-k8s -p配置nfs权限
[root@nfsserver ~]# vim /etc/exports添加如下内容
/data/nfs-k8s *(rw,no_root_squash)关闭防火墙并禁用SELinux
[root@nfsserver ~]# systemctl stop firewalld && setenforce 0启动nfs服务
[root@nfsserver ~]# systemctl start nfs为数据目录添加读写权限
[root@nfsserver ~]# chmod 666 /data/ -R使nfs配置生效
[root@nfsserver ~]# exportfs -arv至此，nfs服务器已搭建完成
三、安装k8s集群
这里我们安装的k8s只有一台master一台node，而在实际生产环境中，master节点和node节点必须要有多台组成高可用，这里为了节省资源，我们每个角色只用了一台
1、环境准备
准备至少2台服务器，虚拟机或服务器都可以，资源配置如下
2、禁用防火墙和SELinux
在两台机器上都要执行
关闭防火墙并禁止开机自启动
[root@master ~]# systemctl stop firewalld && systemctl disable firewalld
[root@node ~]# systemctl stop firewalld && systemctl disable firewalld
关闭SELinux
[root@master ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@master ~]# setenforce 0
[root@master ~]# getenforce
Permissive
[root@node ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node ~]# setenforce 0
[root@node ~]# getenforce
Permissive
3、设置时间同步
[root@master ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@master ~]# date
Tue Mar 19 14:10:22 CST 2024
[root@node ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@node ~]# date
Tue Mar 19 14:10:22 CST 2024
4、关闭swap交换分区
[root@master ~]# swapoff -a
[root@node ~]# swapoff -a
5、修改hosts文件
[root@master ~]# vi /etc/hosts
# 添加如下两行内容
192.168.40.110 master
192.168.40.111 node
[root@node ~]# vi /etc/hosts
# 添加如下两行内容
192.168.40.110 master
192.168.40.111 node
6、修改机器内核参数
[root@master ~]# modprobe br_netfilter
[root@master ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> net.ipv4.ip_forward = 1
> EOF
[root@master ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
[root@node ~]# modprobe br_netfilter
[root@node ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> net.ipv4.ip_forward = 1
> EOF
[root@node ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
7、配置阿里repo源
[root@master ~]# yum install yum-utils device-mapper-persistent-data lvm2 -y
[root@master ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@node ~]# yum install yum-utils device-mapper-persistent-data lvm2 -y
[root@node ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
8、安装container
[root@master ~]# yum install containerd.io -y
[root@node ~]# yum install containerd.io -y
9、修改containerd配置文件
[root@master ~]# mkdir -p /etc/containerd
[root@master ~]# containerd config default > /etc/containerd/config.toml
[root@master ~]# vim /etc/containerd/config.toml#将SystemdCgroup = false修改为SystemdCgroup = true
[root@node ~]# mkdir -p /etc/containerd
[root@node ~]# containerd config default > /etc/containerd/config.toml
[root@node ~]# vim /etc/containerd/config.toml#将SystemdCgroup = false修改为SystemdCgroup = true
10、设置container开机自启动
[root@master ~]# systemctl enable containerd --now
[root@node ~]# systemctl enable containerd --now
11、设置服务的端点地址
[root@master ~]# cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
[root@node ~]# cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
12、安装docker
[root@master ~]# yum install docker-ce -y
[root@master ~]# systemctl enable docker --now
[root@node ~]# yum install docker-ce -y
[root@node ~]# systemctl enable docker --now
13、添加docker镜像加速器
[root@master docker]# tee /etc/docker/daemon.json <<-'EOF'
> {
> "registry-mirrors": ["https://ofcqsr1y.mirror.aliyuncs.com"]
> }
> EOF[root@master docker]# sudo systemctl daemon-reload
[root@master docker]# sudo systemctl restart docker
[root@node docker]# tee /etc/docker/daemon.json <<-'EOF'
> {
> "registry-mirrors": ["https://ofcqsr1y.mirror.aliyuncs.com"]
> }
> EOF[root@node docker]# sudo systemctl daemon-reload
[root@node docker]# sudo systemctl restart docke
14、配置软件源
[root@master ~]# vim /etc/yum.repos.d/kubernetes.repo
# 添加如下内容[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
[root@node ~]# vim /etc/yum.repos.d/kubernetes.repo
# 添加如下内容[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
15、安装kubeadm、kubelet、kubectl
[root@master ~]# yum install kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2 -y
[root@node ~]# yum install kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2 -y
16、设置kubelet开机自启动
[root@master ~]# systemctl enable kubelet
[root@node ~]# systemctl enable kubelet
17、上传离线镜像包
离线镜像包我已经放到个人主页的资源中，大家可以自行下载
18、导入镜像
[root@master ~]# ctr -n=k8s.io images import k8s-1-28.tar.gz
[root@master ~]# ctr -n=k8s.io images import k8s-1-28-etcd.tar.gz
19、设置容器运行时
[root@master ~]# crictl config runtime-endpoint /run/containerd/containerd.sock
20、初始化Master节点
[root@master ~]# kubeadm init --kubernetes-version=1.28.2 --apiserver-advertise-address=192.168.40.110 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
查看节点状态
[root@master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master NotReady control-plane 66s v1.28.2
21、设置容器运行时
[root@node ~]# crictl config runtime-endpoint /run/containerd/containerd.sock
22、导入镜像
[root@node ~]# ctr -n=k8s.io images import k8s-1-28-etcd.tar.gz
[root@node ~]# ctr -n=k8s.io images import k8s-1-28.tar.gz
23、将Work节点加入到集群
在Master节点上生成token
[root@master ~]# kubeadm token create --print-join-command
将生成的密钥考到node节点执行
[root@node ~]# kubeadm join 192.168.40.110:6443 --token 8zx14z.br9wctj9shxb08sq --discovery-token-ca-cert-hash sha256:6559345665c6beb70a9da42c2de6b85fc41f61d3dc3c527be3f7cc4629c503ab
24、查看集群状态
[root@master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master NotReady control-plane 10m v1.28.2
node NotReady <none> 5s v1.28.2
25、为Work节点设置标签
[root@master ~]# kubectl label nodes node node-role.kubernetes.io/work=work
#再次查看
[root@master ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
master NotReady control-plane 10m v1.28.2
node NotReady work 5s v1.28.2
26、安装网络插件calico
calico介绍
- Calico是一个开源的网络和网络安全解决方案，专为容器化环境设计，旨在提供网络连接和安全策略管理功能。它基于BGP协议，实现了一个纯三层网络方案，能够与Kubernetes、AWS、OpenStack等云平台良好地集成。
- Calico的核心功能包括网络连接、网络策略和安全性。通过使用BGP路由协议，Calico能够在所有节点上通过Linux Kernel实现高效的vRouter进行数据转发。每个vRouter都会将在本节点上运行的容器的路由信息广播到整个Calico网络，并自动设置到达其他节点的路由转发规则。这种设计确保了所有容器之间的数据流量都是通过IP路由的方式完成互联互通的。
27、安装calico
[root@master ~]# curl -L -O https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml
[root@master ~]# kubectl apply -f calico.yaml
28、查看Pod状态
[root@master ~]# kubectl get pod -A
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-658d97c59c-fbrgn 1/1 Running 0 5m31s
kube-system calico-node-qd6v2 1/1 Running 0 5m31s
kube-system calico-node-s9khc 1/1 Running 0 5m31s
kube-system coredns-66f779496c-l6nqx 1/1 Running 0 19m
kube-system coredns-66f779496c-n7jn6 1/1 Running 0 19m
kube-system etcd-master 1/1 Running 0 19m
kube-system kube-apiserver-master 1/1 Running 0 19m
kube-system kube-controller-manager-master 1/1 Running 5 19m
kube-system kube-proxy-7wbhh 1/1 Running 0 9m15s
kube-system kube-proxy-bb47r 1/1 Running 0 19m
kube-system kube-scheduler-master 1/1 Running 5 19m
四、在k8s集群中使用nfs
1、安装nfs驱动
在集群的两个节点上分别执行
yum install nfs-utils -y
systemctl enable nfs --now2、编写yaml文件
[root@master ~]# vim nfs.yamlapiVersion: v1
kind: Pod
metadata:
name: test-nfs-volume
spec:
containers:
- name: test-nfs
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- name: nfs-volumes
mountPath: /usr/share/nginx/html
volumes:
- name: nfs-volumes
nfs:
path: /data/nfs-k8s
server: 192.168.40.132这段配置文件的解释如下：
apiVersion 和 kind
apiVersion: v1
kind: Pod- apiVersion: v1 表示使用的是 Kubernetes API 的第一个版本。
- kind: Pod 表示这个资源对象是一个 Pod。
metadata
metadata:
name: test-nfs-volume- metadata 包含了关于这个 Pod 的元数据。
- name: test-nfs-volume 给这个 Pod 设置了一个唯一的名称。
spec
spec 字段定义了 Pod 的期望状态。
containers
containers:
- name: test-nfs
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- name: nfs-volumes
mountPath: /usr/share/nginx/html- containers 字段定义了 Pod 中运行的容器列表。
- name: test-nfs 是容器的名称。
- image: nginx 指定了容器使用的镜像。
- imagePullPolicy: IfNotPresent 表示如果本地没有镜像，则尝试从镜像仓库拉取。
- ports 字段定义了容器监听的端口。
- containerPort: 80 指定容器监听的端口为 80。
- protocol: TCP 表示使用 TCP 协议。
- volumeMounts 字段定义了容器内部挂载卷的路径。
- name: nfs-volumes 引用下面定义的卷的名称。
- mountPath: /usr/share/nginx/html 指定了卷在容器内的挂载路径。
volumes
volumes:
- name: nfs-volumes
nfs:
path: /data/nfs-k8s
server: 192.168.40.132- volumes 字段定义了 Pod 中可以使用的卷列表。
- name: nfs-volumes 给卷设置了一个名称。
- nfs 字段定义了 NFS 卷的属性。
- path: /data/nfs-k8s 指定了 NFS 服务器上共享的路径。
- server: 192.168.40.132 指定了 NFS 服务器的 IP 地址。
3、创建Pod
在master节点上执行
[root@master ~]# kubectl apply -f nfs.yaml五、测试数据持久化
1、创建首页文件
在nfs服务器上，cd到 /data/nfs-k8s 目录
[root@nfsserver nfs-k8s]# echo "hello nfs" > index.html添加权限
[root@nfsserver nfs-k8s]# chmod 644 index.html2、访问测试
在k8s master节点上执行
查看pod IP
[root@master ~]# kubectl get pod -owide
访问测试
[root@master ~]# curl 10.244.167.134
此处可以看到我们刚刚创建的文件的内容，证明k8s调用nfs作为持久化存储成功
至此，NFS服务器的搭建与k8s中的使用测试完成
💕💕💕每一次的分享都是一次成长的旅程，感谢您的陪伴和关注。希望这些关于Kubernetes的文章能陪伴您走过技术的一段旅程，共同见证成长和进步！😺😺😺
🧨🧨🧨让我们一起在技术的海洋中探索前行，共同书写美好的未来！！！
一起探索未来云端世界的核心，云原生技术专区带您领略创新、高效和可扩展的云计算解决方案，引领您在数字化时代的成功之路。
更多推荐
15
0- 0
已为社区贡献6条内容
所有评论(0)