FastDFS

1. FastDFS 简介

FastDFS 是一个开源的分布式文件系统。它管理文件。其功能包括文件存储、文件同步、文件访问(文件上传、文件下载)等,解决海量存储和负载均衡问题。特别适用于基于文档的在线服务,如相册网站、视频网站等。

FastDFS服务器有两个角色,tracker和storage node

• tracker主要负责调度和负载均衡

• 存储节点存储文件,完成文件管理的全部功能:存储、同步、提供访问接口。

FastDFS 管理文件的元数据。所谓文件元数据,就是文件的相关属性,以键值对的形式表示。例如widthu003d1024,其中key为width,value为1024。文件的元数据为文件的属性列表,可以包含多个键值对。

FastDFS系统架构

如下图所示:

跟踪器和存储节点可以由一台或多台服务器组成。跟踪器和存储节点中的服务器可以随时添加或下线,不影响在线服务。 Tracker中的所有服务器都是点对点的,可以根据服务器的压力随时增减。

为了支持大容量,存储节点(服务器)采用分卷(或分组)的组织方式。存储系统由一个或多个卷组成。卷之间的文件是相互独立的。所有卷容量的累加就是整个存储系统的文件容量。一个卷可以由一个或多个存储服务器组成。

2. FastDFS 安装

安装 libfastcommon

libfastcommon 是 fastdfs 的基本类库

#下载

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz

#解压

tar -zxvf V1.0.43.tar.gz

#进入目录

cd libfastcommon-1.0.43/

编译

./make.sh

安装

./make.sh 安装

如果提示没有安装gcc,直接使用yum命令安装gcc

#安装gcc

百胜安装 -y gcc gcc-c++

安装 FastDFS

# 下载

wget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz

解压

tar -zxvf Vsh.06.tar.gz

进入目录

cd fastdfs-6.06/

编译

./make.sh

安装

./make.sh 安装

查看安装结果

ls -la /usr/bin/fdfs*

上述命令执行成功后,可以看到几个命令

跟踪器配置

在目录/etc/fdfs文件夹下找到文件tracker Conf.sample,复制并命名为tracker conf

#复制和重命名文件

cp tracker.conf.sample tracker.conf

#Edit tracker Conf 文件

vim tracker.conf

#修改如下配置

#tracker默认使用的端口是22122,可以修改

端口 u003d 22122

用户自定义跟踪文件的目录。必须先创建该目录,否则启动时会报错

基础_path u003d /usr/local/fastdfs/tracker

启动跟踪器

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf 开始

• /usr/bin/fdfs_tracker:跟踪服务

• /etc/fdfs/tracker.conf:跟踪器配置文件

进入日志文件查看日志。如果没有错误,说明启动成功

尾 -f /usr/local/fastdfs/tracker/logs/trackerd.log

存储配置

找到/etc/fdfs目录下的文件,storage Conf.sample,复制并命名为storage conf

#复制和重命名文件

cp storage.conf.sample storage.conf

#编辑存储配置

vim 存储.conf

#编辑以下配置

存储组名称。存储中同组名的文件将被同步

组\名称 u003d 组 1

storage使用的端口默认为23000

端口 u003d 23000

存储文件的目录。必须先创建该目录,否则启动时会报错

基础_path u003d /usr/local/fastdfs/storage

storage 指定保存文件的目录数。默认值为1,可配置多个,与下面的store_path[N]对应相同

存储_path_count u003d 1

storage 保存文件的目录_path_countu003d1时,这里写store_path0

#当store_path_count的值大于1时,这里的store_path[n]也要相应增加,

存储_path0 u003d /usr/local/fastdfs/storage

指定tracker服务器的IP和端口,根据自己的trackerIP修改

注意这里不能使用127.0.0.1,否则启动时会报错

跟踪器_server u003d 192.168.0.105:22122

开始存储

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf 开始

• /usr/bin/fdfs_stored:存储服务

• /etc/fdfs/storage.conf:存储配置文件

检查日志。如果没有报错,说明启动成功

尾 -f /usr/local/fastdfs/storage/logs/storaged.log

3. DFS 测试

在目录/etc/fdfs文件夹下找到文件client Conf.sample,复制并命名为client conf

#复制文件并重命名为client conf

cp client.conf.sample client.conf

#编辑文件

vim 客户端.conf

#修改如下配置

基础_pathu003d/usr/local/fastdfs/client

跟踪器_server u003d 192.168.0.105:22122

复制一个文件到/opt目录下,测试一下,执行如下命令

/usr/bin/fdfs_test /etc/fdfs/client.conf 上传 /opt/601846.jpg

结果如下,说明构建成功