mogilefs详解
一、mogilefs概述MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。目前国内使用 Mog...
一、mogilefs概述
MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。目前国内使用 MogileFS 的有图片托管网站 yupoo 等。
MogileFS 特性
应用层 – 不需要特殊的核心组件
无单点失败 — MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个 机器上，因此没有单点失败。（你也可以将跟踪器和存储节点运行在同一台机器上，这样你就没有必要用4台机器）推荐至少两台机器。
自动的文件复制 — 基于不同的文件“分类”，文件可以被自动的复制到多个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要求。比如你有一个图片网站，你可 以设置原始的JPEG图片需要复制 至少三份，但实际只有1or2份拷贝，如果丢失了数据，那么MogileFS分布式文件存储系统可以重新建立遗失的拷贝数。用这种办 法，MogileFS(不做RAID)可以节约磁盘，否则你将存储同样的拷贝多份，完全没有必要。
“比RAID好多了”– 在一个非存储区域网络的RAID（non-SAN RAID）的建立中，磁盘是冗余的，但主机不是，如果你整个机器坏了，那么文件也将不能访问。 MogileFS分布式文件存储系统在不同的机器之间进行文件复制，因此文件始终是可用的。
传输中立，无特殊协议 — MogileFS分布式文件存储系统客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器一下。
简单的命名空间 –文件通过一个给定的key来确定，是一个全局的命名空间。你可以自己生成多个命名空间，只要你愿意，不过这样可能在同一MogileFS中会造成key冲突。
不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。
不需要RAID — 在MogileFS中的磁盘可以是做了RAID的也可以是没有，如果是为了安全性着想的话RAID没有必要买了，因为MogileFS分布式文件存储系统已经提供了
MogileFS 的结构
在使用前，我们需要对 MogileFS 有个基本的了解，就是他的三个大的部分,Tracker and Database 和 Storage Nodes, Client 组成。由二个服务进程 MogileFSd 和 mogstored 。
MogileFS 的组成部分
前面提到 Tracker and Database 和 Storage Nodes, Client 组成，我们这先不讲 Client.因为Client实际上是一个 Perl 的 pm，可以写程序调用该 pm 来使用 MogileFS 系统，对整个系统进行读写操作。另外，象 nginx 之类有相关的模块。另外也有做成象文件系统一样采用fuse方式挂载.
Trackers（跟踪器 ,调度器）
这个是 MogileFS 的核心部分，通俗点讲，就他是一个调度器。MogileFSd 进程就是 trackers程序，类似 MogileFS 的 wiki 上介绍的，trackers 做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed), 包括将请求负载平衡到 “query workers” 中，让 MogileFSd 的子进程去处理. mogadm,mogtool 的所有操作都要跟 trackers 打交 道，Client 的一些操作也需要定义好 trackers，因此最好同时运行多个 trackers 来做负载均衡。trackers 也可以只运行在一台机器 上，也可以跟其他程序运行在一起（不建议）
配置文件： /etc/mogilefs/mogilefsd.conf
数据库（MySQL）部分
数据库用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里). 是 Trackers 来操作和管理它。你可以用 mogdbsetup 程序来初始化数据库。因为数据库保存了MogileFS的所有元数据，如果这儿挂了，那么整个 MogileFS 将处于不可用状态。因此最好是HA结构。
存储节点(Storage Nodes )
实际文件存放的地方. 存储节点是一个 HTTP 服务器，用来做删除，存放，重命名等事情，任何 WebDAV 服务器都可以, 不过推荐使用 mogstored 。 MogileFSd 可以配置到两个机器上使用不同端口… mogstored 为所有 DAV 操作 (和流量监测), 并且你自己选择的快速的 HTTP 服务器用来做 GET 操作(给客户端提供文件). 典型的应用是一个挂载点有一个大容量的 SATA 磁盘，它们被挂载到 /var/mogdata/devNN. 只要配置完配置文件后 mogstored 程序的启动将会使本机成为一个存储节点。当然还需要 mogadm 这个工具增加这台机器到 Cluster 中。
配置文件: /etc/mogilefs/mogstored.conf
MogileFS 服务进程
对应上面的部分
mogilefsd — MogileFS 的主守护进程，就是上面指的 trackers（跟踪器 ）,由/etc/mogilefs/mogilefsd.conf 这个配置文件控制。
mogstored — MogileFS 存储守护进程, 这个就是上面指的存储节点(Storage Nodes )，由 /etc/mogilefs/mogstored.conf 这个配置文件控制。
（摘自http://os.51cto.com/art/201209/357412.htm ）
二、实验环境
| 服务器角色 | 运行服务 | IP地址 | 系统版本 |
| store 1 (存储节点) | mogilefsd+mogstored | 172.16.88.1 | Centos-6.5 |
| store 2 (存储节点) | mogilefsd+mogstored | 172.16.88.2 | Centos-6.5 |
| mariadb (数据库) | mariadb | 172.16.88.3 | Centos-6.5 |
| nginx (反向代理) | nginx | 172.16.88.4 | Centos-6.5 |
三、安装配置
1、数据库的授权
mariadb的安装参考此博客中的mariadb的编译安装：http://584014981.blog.51cto.com/8605371/1403791
安装完成后授权用户：
MariaDB [(none)]> grant all on *.* to 'root'@'172.16.%.%' identified by 'admin'; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> grant all on mogilefs.* to 'moguser'@'172.16.%.%' identified by 'mogpass'; Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> flush privileges;
2、store 1上的安装配置
软件包下载地址：
安装包
[root@mogilefs1 ~]# yum install -y *.rpm perl-IO-AIO
修改mogilefs.conf文件
[root@mogilefs1 ~]# vim /etc/mogilefs/mogilefsd.conf //修改如下： # Enable daemon mode to work in background and use syslog daemonize = 1 # Where to store the pid of the daemon (must be the same in the init script) pidfile = /var/run/mogilefsd/mogilefsd.pid //pid文件存放位置 # Database connection information db_dsn = DBI:mysql:mogilefs:host=172.16.88.3 //修改数据库的类型，名称，与数据库地址 db_user = moguser //修改为刚才数据库授权的用户 db_pass = mogpass //授权的密码 # IP:PORT to listen on for mogilefs client requests listen = 172.16.88.1:7001 //此mogilefsd服务监听的地址与端口 # Optional, if you don't define the port above. conf_port = 7001 # Number of query workers to start by default. query_jobs = 10 # Number of delete workers to start by default. delete_jobs = 1 # Number of replicate workers to start by default. replicate_jobs = 5 # Number of reaper workers to start by default. # (you don't usually need to increase this) reaper_jobs = 1 # Number of fsck workers to start by default. # (these can cause a lot of load when fsck'ing) #fsck_jobs = 1 # Minimum amount of space to reserve in megabytes # default: 100 # Consider setting this to be larger than the largest file you # would normally be uploading. #min_free_space = 200 # Number of seconds to wait for a storage node to respond. # default: 2 # Keep this low, so busy storage nodes are quickly ignored. #node_timeout = 2 # Number of seconds to wait to connect to a storage node. # default: 2 # Keep this low so overloaded nodes get skipped. #conn_timeout = 2 # Allow replication to use the secondary node get port, # if you have apache or similar configured for GET's #repl_use_get_port = 1
修改mogstored.conf
[root@mogilefs1 ~]# vim /etc/mogilefs/mogstored.conf //修改如下： maxconns = 10000 //最大连接数 httplisten = 0.0.0.0:7500 //http请求监听的端口 mgmtlisten = 0.0.0.0:7501 docroot = /mfs/mogdata //domain(区域)目录
建立设备挂载点
[root@mogilefs1 ~]# mkdir -pv /mfs/mogdata/dev1 [root@mogilefs1 ~]# chown -R mogilefs.mogilefs /mfs/mogdata/dev1 /var/run/mogilefsd/
初始化数据库
[root@mogilefs1 ~]# mogdbsetup --dbhost=172.16.88.3 --dbrootuser=root --dbrootpass=admin --dbuser=moguser --dbpass=mogpass --dbname=mogilefs --yes
启动服务
[root@mogilefs1 ~]# service mogilefsd start [root@mogilefs1 ~]# service mogstored start
查看端口
3、store 2上的安装配置
同样安装软件包，创建设备目录
[root@modilefs2 ~]# yum install -y *.rpm perl-IO-AIO [root@mogilefs1 ~]# scp /etc/mogilefs/* root@172.16.88.2:/etc/mogilefs/ [root@modilefs2 ~]# mkdir -pv /mfs/mogdata/dev2 [root@modilefs2 ~]# chown -R mogilefs.mogilefs /mfs/mogdata/dev2 /var/run/mogilefsd/
启动服务：
[root@mogilefs2 ~]# service mogilefsd start [root@mogilefs2 ~]# service mogstored start
4、mogilefs的具体配置
添加节点
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host add 172.16.88.1 --ip=172.16.88.1 --status=alive [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host add 172.16.88.2 --ip=172.16.88.2 --status=alive [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 host list
添加设备
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device add 172.16.88.2 2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device add 172.16.88.1 1 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 device list
注：添加设备时所使用的设备ID号必须要/mfs/mogdata中的编号一致
建立区域
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain add p_w_picpaths [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain add text [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 domain list
建立class
[root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add p_w_picpaths class1 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add p_w_picpaths class2 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add text class1 --mindevcount=2 [root@mogilefs1 ~]# mogadm --trackers=172.16.88.1:7001 class add text class2 --mindevcount=2
上图的注解：
domain :区域
class:复制文件的最小单位 （最大为64M,如果一个单文件超出此大小将拆分为多个class存储）
mindevcount：最小复制文件的份数
replpolicy ：复制份数
hashtype：采用的hash的类型
上传文件测试：
//上传图片 [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key='/img/car1.jpg' --file='/root/img/car1.jpg' [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key='/img/car2.jpg' --file='/root/img/car2.jpg' //上传文本 [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=text --key='/test/passwd' --file='/etc/passwd' [root@mogilefs1 ~]# mogupload --trackers=172.16.88.1:7001 --domain=text --key='/test/fstab' --file='/etc/fstab' [root@mogilefs1 ~]# moglistkeys --trackers=172.16.88.1:7001 --domain=p_w_picpaths [root@mogilefs1 ~]# moglistkeys --trackers=172.16.88.1:7001 --domain=text
查看fid信息：
[root@mogilefs1 ~]# mogfileinfo --trackers=172.16.88.1:7001 --domain=p_w_picpaths --key=/img/car1.jpg [root@mogilefs1 ~]# mogfileinfo --trackers=172.16.88.1:7001 --domain=text --key=/test/passwd
通过fid路径来访问：
5、配置nginx
这里采用编译安装：
[root@localhost ~]# yum -y install pcre-devel [root@localhost ~]# tar xf nginx-1.4.7.tar.gz [root@localhost ~]# unzip nginx-mogilefs-module-master [root@localhost ~]# cd nginx-1.4.7 [root@localhost nginx-1.4.7]# ./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --with-debug --add-module=../nginx-mogilefs-module-master [root@localhost nginx-1.4.7]# make &&make install
修改nginx配置文件：
[root@localhost nginx-1.4.7]# vim /etc/nginx/nginx.conf
//添加如下内容
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
//定义调度器集群，实现负载均衡
upstream mogfs_cluster {
server 172.16.88.1:7001;
server 172.16.88.2:7001;
}
server {
listen 80;
server_name localhost;
//当url路径为img时，转向p_w_picpaths域
location ~* ^(/img/.*)$ {
mogilefs_tracker mogfs_cluster;
mogilefs_domain p_w_picpaths;
mogilefs_noverify on;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
//当url路径为test时，转向text域
location ~* ^(/test/.*)$ {
mogilefs_tracker mogfs_cluster;
mogilefs_domain text;
mogilefs_noverify on;
mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
添加服务脚本：
[root@localhost nginx-1.4.7]# useradd nginx
[root@localhost nginx-1.4.7]# vim /etc/rc.d/init.d/nginx
//添加如下内容：
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# chkconfig nginx on
# service nginx start
[root@localhost nginx-1.4.7]# chmod +x /etc/rc.d/init.d/nginx [root@localhost nginx-1.4.7]# chkconfig --add nginx [root@localhost nginx-1.4.7]# service nginx start
测试访问：
至此，mogilefs的简单应用已经介绍完成！
转载于:https://blog.51cto.com/584014981/1409280
瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手
更多推荐
0
0- 0
已为社区贡献8602条内容
所有评论(0)