分布式文件系统FastDFS看这一篇就够了(文件上传下载、单机部署及集群部署)
FastDFS目录一、FastDFS是什么？1.1.简介1.2.结构组成(Client、Tracker server和Storage server)1.3.FastDFS下载安装教程1.4.目录结构二、FastDFS文件上传下载2.1.上传下载流程2.2.上传下载实现2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件2.2.2.新建fdfs_client.con
写在前面
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家:人工智能学习网站
一、FastDFS是什么？
1.1.简介
FastDFS是基于互联网应用的开源分布式文件系统，主要用于大中型网站存储资源文件，如图片、文档、音频、视频等。FastDFS采用类似GFS的架构，用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX 系统。用户端只能通过专有API对文件进行存取访问，不支持POSIX接口方式。准确地讲，GFS以及 FastDFS、mogileFS、HDFS、TFS等类GFS系统都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
FastDFS简介
1.2.结构组成(Client、Tracker server和Storage server)
Tracker server
Tracker server类似于GFS中的Master或TFS中的Name server，但与他们很不同的一点是，Tracker server的主要作用是负载均衡和调度，而不负责文件索引和映射。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，其占用的内存量也很少。Tracker server可以只有一个，也可以有多个组成Tracker cluster，这样的好处是可以提高对用户的响应能力和增加容灾性，此时各Tracker server相互对等，冗余备份，由应用端来轮流选择进行访问。
Storage server
Storage server完成文件管理的所有功能：存储、同步和提供存取接口，文件和metadata都存储在其上。Storage server类似于GFS中的Chunk server或TFS中的Data server，通常一个Storage server即一台机器，Storage server可以动态新增和删除。FastDFS的存储部分即Storage cluster，分为多个Volume，每个Volume中包括多个Storage server。同一Volume内的各Storage server之间是对等的，存储的内容相同，起冗余容错的作用。文件上传、下载、删除等操作可在Volume内任意一台 Storage server上进行。一个Volume的存储容量取决于该Volume内最小的Storage server的容量，因此Volume内各Storage server的软硬件配置最好是一致的。采用这种分Volume的存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到哪个Volume。当某个Volume的访问压力较大时，可以在该Volume内增加Storage server来扩充服务能力（纵向扩容）。当系统总容量不足时，可以增加Volume来扩充存储容量（横向扩容）。
Storage server直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储，客户端上传的文件和Storage server上的文件一一对应。
关于Storage server的同步，不同Volume的Storage server之间不会相互通信，同Volume内的Storage server之间会相互连接进行文件同步。文件同步采用push方式，接受更新操作的文件称为源文件，其所在server称为源服务器，其它文件称为备份文件，其它server称为目标服务器。当文件更新操作发生时，源服务器向目标服务器发起同步，对所有备份文件进行更新。当有新Storage server加入本Volume时，由已有的一台 Storage server将其上的所有文件同步给该新增服务器。具体的同步实现在Storage server中由专门线程根据binlog进行，binlog记录了文件上传、删除等更新操作。为了最大程度地避免相互影响以及出于系统简洁性考虑，Storage server对同Volume内除自己以外的每台服务器都会启动一个线程来负责文件同步。
这种异步的同步方式带来了一致性问题，当源文件尚未来得及将所有备份文件同步更新时，访问这些备份文件将引发错误。文件的访问主要分为更新和下载两种情况：FastDFS规定更新操作只能对源文件进行，从而避免了同时对不同的备份文件进行更新导致的冲突；文件下载时，Tracker server记录了各Storage server中各文件的同步情况，会向Client提供同步后的文件所在的Storage server。
1.3.FastDFS下载安装教程
1.4.目录结构
tracker server目录及文件结构：
${base_path}
|__data
| |__storage_groups.dat：存储分组信息
| |__storage_servers.dat：存储服务器列表
|__logs
|__trackerd.log：tracker server日志文件
数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（\n）分隔，字段之间以西文逗号（,）分隔。
storage_groups.dat中的字段依次为：
(1) group_name：组名
(2) storage_port：storage server端口号
storage_servers.dat中记录storage server相关信息，字段依次为：
(1) group_name：所属组名
(2) ip_addr：ip地址
(3) status：状态
(4) sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
(5) sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
(6) stat.total_upload_count：上传文件次数
(7) stat.success_upload_count：成功上传文件次数
(8) stat.total_set_meta_count：更改meta data次数
(9) stat.success_set_meta_count：成功更改meta data次数
(10) stat.total_delete_count：删除文件次数
(11) stat.success_delete_count：成功删除文件次数
(12) stat.total_download_count：下载文件次数
(13) stat.success_download_count：成功下载文件次数
(14) stat.total_get_meta_count：获取meta data次数
(15) stat.success_get_meta_count：成功获取meta data次数
(16) stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）
(17) stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）
storage server目录及文件结构：
KaTeX parse error: Expected group after '_' at position 18: …ase_path} |_̲_data | …{ip_addr}_${port}.mark：存放向目标服务器同步的完成情况
| |
| |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F
| |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF
|__logs
|__storaged.log：storage server日志文件
.data_init_flag文件格式为ini配置文件方式，各个参数如下：
#storage_join_time：本storage server创建时间；
#sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）；
#sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空；
#sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）；
storage_stat.dat文件格式为ini配置文件方式，各个参数如下：
#total_upload_count：上传文件次数
#success_upload_count：成功上传文件次数
#total_set_meta_count：更改meta data次数
#success_set_meta_count：成功更改meta data次数
#total_delete_count：删除文件次数
#success_delete_count：成功删除文件次数
#total_download_count：下载文件次数
#success_download_count：成功下载文件次数
#total_get_meta_count：获取meta data次数
#success_get_meta_count：成功获取meta data次数
#last_source_update：最近一次源头更新时间（更新操作来自客户端）
#last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）
binlog.index中只有一个数据项：当前binlog的文件索引号
binlog.###，###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符（\n）分隔，字段之间以西文空格分隔。字段依次为：
(1)timestamp：更新发生时间（Unix时间戳）
(2)op_type：操作类型，一个字符
(3)filename：操作（更新）的文件名，包括相对路径，如：5A/3D/FE_93_SJZ7pAAAO_BXYD.S
KaTeX parse error: Expected group after '_' at position 10: {ip_addr}_̲{port}.mark：ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：
#binlog_index：已处理（同步）到的binlog索引号
#binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）
#need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步
#sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成
#until_timestamp：同步已有数据截至时间点（UNIX时间戳）
#scan_row_count：已扫描的binlog记录
#sync_row_count：已同步的binlog记录数
数据文件名由系统自动生成，包括三部分：当前时间（Unix时间戳）、文件大小（字节数）和随机数。文件名长度为16字节。文件按照PJW Hash算法hash到65536（256*256，默认配置下）个目录中分散存储。
二、FastDFS文件上传下载
2.1.上传下载流程
1.上传流程:
1.Client通过Tracker server查找可用的Storage server。
2.Tracker server向Client返回一台可用的Storage server的IP地址和端口号。
3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件上传。
4.上传完成，Storage server返回Client一个文件ID，文件上传结束。
2.下载流程:
1.Client通过Tracker server查找要下载文件所在的的Storage server。
2.Tracker server向Client返回包含指定文件的某个Storage server的IP地址和端口号。
3.Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并指定要下载文件。
4.下载文件成功。
2.2.上传下载实现
2.2.1.配置依赖：因为我们使用的maven来管理工程，所以，我们需要去配pom文件
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.leech</groupId>
<artifactId>fastdfs-demo</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>fastdfs-demo</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.csource</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.25</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.4</version>
</dependency>
</dependencies>
</project>
2.2.2.新建fdfs_client.conf文件，在我们的itoo中，我们建立在（src/main/resources底下）
connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.tracker_http_port = 80
#没什么用
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
tracker_server = 192.168.17.112:22122
#tracker_server = 192.168.0.119:22122
2.2.3.实现文件上传
public void save(HttpServletRequest request,HttpServletResponse response){
String videoName=request.getParameter("videoName");
String videoType=request.getParameter("videoType");
String videoDesc=request.getParameter("videoDesc");
String videoPath=request.getParameter("videoPath");
String picturePath=request.getParameter("picturePath");
SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
Date uploadTime=null;
try {
uploadTime = formatter.parse(formatter.format(new Date()));
} catch (ParseException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();
String dataBaseName = "itoo_video";
Video video=new Video();
video.setUserName("why");
video.setUserID("why");
video.setVideoName(videoName);
video.setVideoPath(videoPath);
video.setVideoType(videoType);
video.setVideoDesc(videoDesc);
video.setDataBaseName(dataBaseName);
video.setPicturePath(picturePath);
video.setUploadTime(uploadTime);
uploadFileService.save(video);
jackJsonUtil.beanToJson(response,video);
}
/*
* 上传文件
*/
@RequestMapping(value={"/upload"})
@ResponseBody
public void upload( MultipartFile file, HttpServletRequest request,HttpServletResponse response){
String ext_Name = file.getOriginalFilename().split("\\.")[1];
String videoName=file.getOriginalFilename().split("\\.")[0];
byte[] bytes = null;
try {
bytes = file.getBytes();
} catch (IOException e) {
e.printStackTrace();
}
String videoPath=uploadFile(bytes,ext_Name);
JacksonJsonUntil jackJsonUtil =new JacksonJsonUntil ();
Video video=new Video();
video.setVideoPath(videoPath);
video.setVideoName(videoName);
jackJsonUtil.beanToJson(response,video);
}
public String uploadFile(byte[] byteFile, String ext_file) {
// 拼接服务区的文件路径
StringBuffer sbPath = new StringBuffer();
sbPath.append("http://192.168.22.252");
try {
// 初始化文件资源
ClientGlobal
.init("C:\\Users\\alsr\\Desktop\\ITOO-5.0\\itoo-video-Test\\dmsd-itoo-video-parent\\dmsd-itoo-video-web\\src\\main\\resources\\fdfs_client.conf");
// 链接FastDFS服务器，创建tracker和Stroage
TrackerClient trackerClient = new TrackerClient();
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,
storageServer);
//利用字节流上传文件
String[] strings = storageClient.upload_file(byteFile, ext_file, null);
for (String string : strings) {
sbPath.append("/" + string);
System.out.println(string);
}
// 全路径
System.out.println(sbPath);
} catch (IOException | MyException e) {
e.printStackTrace();
}
return sbPath.toString();
}
只要我们能正常接收到一个json类型的字符串（url地址），就证明我们已经上传成功了，如果不信，可以直接用浏览器去验证一下，看看能不能得到文件展示。
2.2.4.FastDFS实现文件下载
public void testDownload() {
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
byte[] b = storageClient.download_file("group1", "M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");
System.out.println(b);
IOUtils.write(b, new FileOutputStream("D:/"+UUID.randomUUID().toString()+".conf"));
}
catch (Exception e) {
e.printStackTrace();
}
}
2.2.5.FastDFS获取将上传文件信息
public void testGetFileInfo(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
FileInfo fi = storageClient.get_file_info("group1", "M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");
System.out.println(fi.getSourceIpAddr()); System.out.println(fi.getFileSize());
System.out.println(fi.getCreateTimestamp()); System.out.println(fi.getCrc32());
}
catch (Exception e) {
e.printStackTrace();
}
}
2.2.6.FastDFS获取文件名称
public void testGetFileMate(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,
storageServer);
NameValuePair nvps [] = storageClient.get_metadata("group1","M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");
for(NameValuePair nvp : nvps){
System.out.println(nvp.getName() + ":" + nvp.getValue());
}
} catch (Exception e) {
e.printStackTrace();
}
}
2.2.7.FastDFS实现删除文件
public void testDelete(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,storageServer);
int i = storageClient.delete_file("group1","M00/00/00/wKgRcFV_08OAK_KCAAAA5fm_sy874.conf");
System.out.println( i==0 ? "删除成功" : "删除失败:"+i);
} catch (Exception e) {
e.printStackTrace();
}
}
2.2.8.FastDFS查询文件
//查询文件
@Test
public void testQueryFile() throws IOException, MyException {
ClientGlobal.initByProperties("config/fastdfs‐client.properties");
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,storageServer);
FileInfo fileInfo = storageClient.query_file_info("group1","M00/00/01/wKhlQFrKBSOAW5AWAALcAg10vf4862.png");
System.out.println(fileInfo);
}
三、FastDFS+Nginx(单点部署)事例
3.1.服务器规划
跟踪服务器（Tracker Server）：ip01
存储服务器（Storage Server）：ip02
操作系统：CentOS7
用户：root
数据存储目录：/fastdfs/tracker
安装包：
FastDFS_v5.08.tar.gz：FastDFS源码
libfastcommon-master.zip：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）
fastdfs-nginx-module-master.zip：storage节点http服务nginx模块
nginx-1.10.0.tar.gz：Nginx安装包
ngx_cache_purge-2.3.tar.gz：图片缓存清除Nginx模块（集群环境会用到）
下载完成后，将压缩包解压到/usr/local/src目录下
3.2.所有tracker和storage节点都执行如下操作
1、安装所需的依赖包
yum install make cmake gcc gcc-c++
2、安装libfatscommon
cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip
cd libfastcommon-master
#编译、安装
./make.sh
./make.sh install
3、安装FastDFS
cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默认安装方式，相应的文件与目录如下：
1> 服务脚本：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：
ll /etc/fdfs/
-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample
-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample
-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目录下）
-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test
-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1
-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file
-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32
-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file
-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file
-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info
-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor
-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged
-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test
-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1
-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd
-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender
-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file
3.3.配置tracker服务器
1> 复制tracker样例配置文件，并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2> 修改tracker配置文件
vim /etc/fdfs/tracker.conf
修改的内容如下：
disabled=false # 启用配置文件
port=22122 # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker # 存储日志和数据的根目录
其它参数保留默认配置， 具体配置解释可参考官方文档说明：FastDFS配置文件详解
3> 创建base_path指定的目录
mkdir -p /fastdfs/tracker
4> 防火墙中打开tracker服务器端口（ 默认为 22122）
vi /etc/sysconfig/iptables
附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：
iptables -P OUTPUT ACCEPT
然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。
添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙
service iptables restart
5> 启动tracker服务器
/etc/init.d/fdfs_trackerd start
初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。
drwxr-xr-x 2 root root 4096 1月 4 15:00 data
drwxr-xr-x 2 root root 4096 1月 4 14:38 logs
检查FastDFS Tracker Server是否启动成功：
ps -ef | grep fdfs_trackerd
3.4.配置storage服务器
1> 复制storage样例配置文件，并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2> 编辑配置文件
vi /etc/fdfs/storage.conf
修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=ip01:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口
其它参数保留默认配置， 具体配置解释可参考官方文档说明：FastDFS配置文件详解
3> 创建基础数据目录
mkdir -p /fastdfs/storage
4> 防火墙中打开storage服务器端口（ 默认为 23000）
vi /etc/sysconfig/iptables
#添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙
service iptables restart
5> 启动storage服务器
/etc/init.d/fdfs_storaged start
初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs
检查FastDFS Tracker Server是否启动成功：
[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root 1336 1 3 06:22 ? 00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 1347 369 0 06:23 pts/0 00:00:00 grep fdfs_storaged
3.5.文件上传测试（ip01）
1> 修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
修改以下配置，其它保持默认
base_path=/fastdfs/tracker
tracker_server=ip01:22122
2> 执行文件上传命令
#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID号：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
(能返回以上文件ID，说明文件已经上传成功)
3.6.在所有storage节点安装fastdfs-nginx-module
1>fastdfs-nginx-module作用:
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入 文件复制,有同步延迟的问题。假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还 没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的 错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的 文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)
2> 解压 fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz
3> 修改 fastdfs-nginx-module 的 config 配置文件
cd fastdfs-nginx-module/src
vi config
将
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
4>上传当前的稳定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目录
5>安装编译 Nginx 所需的依赖包
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
6>编译安装 Nginx (添加 fastdfs-nginx-module 模块)
cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src <br>make && make install
比对 nginx下Makefile
default: build
clean:
rm -rf Makefile objs
build:
$(MAKE) -f objs/Makefile
install:
$(MAKE) -f objs/Makefile install
modules:
$(MAKE) -f objs/Makefile modules
upgrade:
/usr/local/nginx/sbin/nginx -t
kill -USR2 'cat /usr/local/nginx/logs/nginx.pid'
sleep 1
test -f /usr/local/nginx/logs/nginx.pid.oldbin
kill -QUIT 'cat /usr/local/nginx/logs/nginx.pid.oldbin'
7>复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
8>修改以下配置:
connect_timeout=10
base_path=/tmp
tracker_server=ip01:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path0=/fastdfs/storage
9> 复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/FastDFS/conf<br>
cp http.conf mime.types /etc/fdfs/
10> 在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
11>配置 Nginx
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如**/group1/M00/00/00/xxx**, 对应的 Nginx 配置为:
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
12> 防火墙中打开 Nginx 的 8888 端口
vi /etc/sysconfig/iptables
添加:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
#重启防火墙
service iptables restart
启动 Nginx
/usr/local/nginx/sbin/nginx<br>(重启 Nginx 的命令为:/usr/local/nginx/sbin/nginx -s reload)
13>通过浏览器访问测试时上传的文件
http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
or
http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
四、FastDFS集群部署(实现高可用（HA))
4.1.准备
1.服务器规划:
跟踪服务器1【主机】（Tracker Server）：192.100.139.121
跟踪服务器2【备机】（Tracker Server）：192.100.139.122
存储服务器1（Storage Server）：192.100.139.121
存储服务器2（Storage Server）：192.100.139.123
存储服务器3（Storage Server）：192.100.139.124
操作系统：CentOS7
用户：root
数据存储目录：
| 应用 | 安装目录 |
|---|---|
| Nginx | /opt/nginx |
| Fastdfs | /usr/bin |
| Keepalived | /usr/local |
| 安装包 | /home/yxgly/resourcese /usr/local/src |
| Tracker_data | /fastdfs/tracker |
| Storage_data | /fastdfs/storage |
2.安装包
FastDFS_v5.08.tar.gz：FastDFS源码
libfastcommon-master.zip：（从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库）
fastdfs-nginx-module-master.zip：storage节点http服务nginx模块
nginx-1.10.0.tar.gz：Nginx安装包
ngx_cache_purge-2.3.tar.gz：图片缓存清除Nginx模块（集群环境会用到）
下载完成后，将压缩包解压到/usr/local/src目录下
4.2.所有tracker和storage节点都执行如下操作
1、安装所需的依赖包
yum install make cmake gcc gcc-c++
2、安装libfatscommon
cd /usr/local/src
#安装unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip
cd libfastcommon-master
编译、安装
./make.sh
./make.sh install
3、安装FastDFS
cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默认安装方式，相应的文件与目录检查如下：
1> 服务脚本：
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2> 配置文件（示例配置文件）：
ll /etc/fdfs/
-rw-r--r-- 1 root root 1461 1月 4 14:34 client.conf.sample
-rw-r--r-- 1 root root 7927 1月 4 14:34 storage.conf.sample
-rw-r--r-- 1 root root 7200 1月 4 14:34 tracker.conf.sample
3> 命令行工具（/usr/bin目录下）
ll /usr/bin/fdfs_*
-rwxr-xr-x 1 root root 260584 1月 4 14:34 fdfs_appender_test
-rwxr-xr-x 1 root root 260281 1月 4 14:34 fdfs_appender_test1
-rwxr-xr-x 1 root root 250625 1月 4 14:34 fdfs_append_file
-rwxr-xr-x 1 root root 250045 1月 4 14:34 fdfs_crc32
-rwxr-xr-x 1 root root 250708 1月 4 14:34 fdfs_delete_file
-rwxr-xr-x 1 root root 251515 1月 4 14:34 fdfs_download_file
-rwxr-xr-x 1 root root 251273 1月 4 14:34 fdfs_file_info
-rwxr-xr-x 1 root root 266401 1月 4 14:34 fdfs_monitor
-rwxr-xr-x 1 root root 873233 1月 4 14:34 fdfs_storaged
-rwxr-xr-x 1 root root 266952 1月 4 14:34 fdfs_test
-rwxr-xr-x 1 root root 266153 1月 4 14:34 fdfs_test1
-rwxr-xr-x 1 root root 371336 1月 4 14:34 fdfs_trackerd
-rwxr-xr-x 1 root root 251651 1月 4 14:34 fdfs_upload_appender
-rwxr-xr-x 1 root root 252781 1月 4 14:34 fdfs_upload_file
4.3.配置tracker服务器
1、复制tracker样例配置文件，并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2、修改tracker配置文件
vim /etc/fdfs/tracker.conf
修改的内容如下：
disabled=false # 启用配置文件
port=22122 # tracker服务器端口（默认22122）
base_path=/fastdfs/tracker # 存储日志和数据的根目录
store_group=group1
其它参数保留默认配置， 具体配置解释可参考官方文档说明：FastDFS配置文件详解
3、创建base_path指定的目录
mkdir -p /fastdfs/tracker
4、防火墙中打开tracker服务器端口（ 默认为 22122）
vi /etc/sysconfig/iptables
附加：若/etc/sysconfig 目录下没有iptables文件可随便写一条iptables命令配置个防火墙规则：如：
iptables -P OUTPUT ACCEPT
然后用命令：service iptables save 进行保存，默认就保存到 /etc/sysconfig/iptables 文件里。这时既有了这个文件。防火墙也可以启动了。接下来要写策略，也可以直接写在/etc/sysconfig/iptables 里了。
添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT
重启防火墙
service iptables restart
5、启动tracker服务器
/etc/init.d/fdfs_trackerd start
初次启动，会在/fastdfs/tracker目录下生成logs、data两个目录。
drwxr-xr-x 2 root root 4096 1月 4 15:00 data
drwxr-xr-x 2 root root 4096 1月 4 14:38 logs
检查FastDFS Tracker Server是否启动成功：
ps -ef | grep fdfs_trackerd
4.4.配置storage服务器
1、复制storage样例配置文件，并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2、编辑配置文件
vi /etc/fdfs/storage.conf
修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=192.100.139.121:22122 # tracker服务器IP和端口
tracker_server=192.100.139.122:22122 #tracker服务器IP2和端口[Microsof1]
http.server_port=8888 # http访问文件的端口
其它参数保留默认配置， 具体配置解释可参考官方文档说明：FastDFS配置文件详解
3、创建基础数据目录
mkdir -p /fastdfs/storage
4、防火墙中打开storage服务器端口（ 默认为 23000）
vi /etc/sysconfig/iptables
#添加如下端口行：
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT
重启防火墙
service iptables restart
注：集群环境下
追踪+存储节点操作步骤一、步骤二、步骤三
存储节点只做存储则只操作步骤三
5、启动storage服务器
/etc/init.d/fdfs_storaged start
初次启动，会在/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x 2 root root 4096 Mar 31 06:22 logs
检查FastDFS Tracker Server是否启动成功：
[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root 1336 1 3 06:22 ? 00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 1347 369 0 06:23 pts/0 00:00:00 grep fdfs_storaged
4.5.文件上传测试（ip01）
1、修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
修改以下配置，其它保持默认
base_path=/fastdfs/tracker
tracker_server=192.100.139.121:22122 # tracker服务器IP和端口
tracker_server=192.100.139.122:22122 #tracker服务器IP2和端口
2、执行文件上传命令
#/usr/local/src/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png
返回文件ID号：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png
（能返回以上文件ID，说明文件已经上传成功）
也可以 :
/usr/bin/fdfs_test /etc/fdfs/client.conf upload client.conf
4.6.在所有storage节点安装fastdfs-nginx-module
1、fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储,但是同组存储服务器之间需要进入文件复制,有同步延迟的问题。假设 Tracker 服务器将文件上传到了 ip01,上传成功后文件 ID 已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 ip02,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 ip02 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)
2、解压 fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz
3、修改 fastdfs-nginx-module 的 config 配置文件
cd fastdfs-nginx-module/src
vim config
将
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为:
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
4、安装编译 Nginx 所需的依赖包
yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel
5、编译安装 Nginx (添加 fastdfs-nginx-module 模块)
cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
tar –zxvf ngx_cache_purge_2.3.tar.gz
cd nginx-1.10.0
./configure --prefix=/opt/nginx --add-module=/usr/local/src/fastdfs-nginx-module/src --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install
7、复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录,并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vi /etc/fdfs/mod_fastdfs.conf
修改以下配置:
connect_timeout=10
base_path=/tmp
tracker_server=192.100.139.121:22122 # tracker服务器IP和端口
tracker_server=192.100.139.122:22122 #tracker服务器IP2和端口
url_have_group_name=true #url中包含group名称
#在最后添加 [group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
8、复制 FastDFS 的部分配置文件到/etc/fdfs 目录
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
9、在/fastdfs/storage 文件存储目录下创建软连接,将其链接到实际存放数据的目录
ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00
10、配置 Nginx
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name 192.100.139.121;
location ~/group1/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
upstream storage_server_group1{
server 192.100.139.121:8888 weight=10;
server 192.100.139.123:8888 weight=10;
server 192.100.139.124:8888 weight=10;
}
}
说明：
A、8888 端口值是要与/etc/fdfs/storage.conf 中的 http.server_port=8888 相对应, 因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx, 对应的 Nginx 配置为:
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
11、防火墙中打开 Nginx 的 8888 端口
vi /etc/sysconfig/iptables
添加:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT
#重启防火墙
service iptables restart
启动nginx : /opt/nginx/sbin/nginx
(重启 Nginx 的命令为:/opt/nginx/sbin/nginx -s reload)
4.7.验证：通过浏览器访问测试时上传的文件
切换追踪服务器IP同样可以访问
http://192.100.139.121:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png
http://192.100.139.122:8888/group1/M00/00/00/CmSKtFj13gyAen4oAAH0yXi-HW8296.png
4.8.Java API 客户端配置
1、前往GitHub下载Java_client代码。Java_client
2.在你的项目src/java/resources 下加入文件 fastdfs_client.conf
注意修改tracker服务器Ip地址:
connect_timeout = 2
network_timeout = 30
charset = ISO8859-1
http.tracker_http_port = 8888
http.anti_steal_token = no
tracker_server=192.100.139.121:22122
tracker_server=192.100.139.122:22122
default_group_name=group1
五、总结
1.同组之间的storage服务器的端口必须一致（23000）
2.一台服务器上可以有多个组（group），但是不能有同组的多个storage服务。
3.如果有使用nginx，则可以不用安装libevent插件，libevent是作为fdfs的http服务的依赖插件，且在5.x之后的版本已经移除这个模块。
4.启动storage server时，一直处于僵死状态.启动storage server，storage将连接tracker server，如果连不上，将一直重试。直到连接成功，启动才算真正完成!如果集群中有2台tracker server，而其中一台tracker没有启动，可能会导致storage server一直处于僵死状态
长江两岸老火锅，共聚山城开发者！We Want You！
更多推荐
84
0- 0
已为社区贡献1条内容
所有评论(0)