Linux服务器之间的文件同步(单向同步:rsync+inotify)
1.rsync简介rsync是linux系统下的数据备份工具。支持本地复制,或者与其他SSH、rsync主机同步。2.rsync的部分特性rsync支持很多特性:可以镜像保存整个目录树和文件系统可以很容易做到保持原来文件的权限、时间、软硬链接等等无须特殊权限即可安装快速:第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可
1.rsync简介
rsync是linux系统下的数据备份工具。支持本地复制,或者与其他SSH、rsync主机同步。
2.rsync的部分特性
rsync支持很多特性:
- 可以镜像保存整个目录树和文件系统
- 可以很容易做到保持原来文件的权限、时间、软硬链接等等
- 无须特殊权限即可安装
- 快速:第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽
- 安全:可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接
- 支持匿名传输,以方便进行网站镜象
3.rsync的ssh认证协议
rsync命令来同步系统文件之前要先登录remote主机认证,认证过程中用到的协议有2种:
- ssh协议
- rsync协议
rsync server端不用启动rsync的daemon进程,只要获取remote host的用户名和密码就可以直接rsync同步文件
rsync server端因为不用启动daemon进程,所以也不用配置文件/etc/rsyncd.conf
4.rsync命令的常用选项
* -a, --archive //归档
* -v, --verbose //啰嗦模式
* -q, --quiet //静默模式
* -r, --recursive //递归
* -p, --perms //保持原有的权限属性
* -z, --compress //在传输时压缩,节省带宽,加快传输速度
* --delete //在源服务器上做的删除操作也会在目标服务器上同步
5.rsync+inotify
Inotify是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
示例环境:
源服务器:
* IP地址:192.168.1.83;
* 应用:rsync,inotify-tools,脚本;
* 操作系统:centos7
目标服务器:
* IP地址:192.168.1.82;
* 应用:rsync;
* 操作系统:centos7
6.实例
场景:部署rsync+inotify同步/etc/nginx/default.d目录至目标服务器的/etc/nginx/default.d下;
6.1 源服务器和目标服务器都需要操作:
//关闭防火墙与selinux
[root@cm2 ~]# systemctl stop firewalld
[root@cm2 ~]# setenforce 0
[root@cm2 ~]# getenforce
Permissive
[root@cm2 ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
//安装rsync服务端软件
[root@cm2 ~]# yum -y install rsync
安装过程省略...
6.2 目标服务器上进行以下操作(192.168.1.82):
//设置rsyncd.conf配置文件
[root@cm2 ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log
pidfile = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
secrets file = /etc/rsync.password
[sync_from_cm3]
path = /etc/nginx/default.d/
comment = sync nginx config file from cm3
uid = root
gid = root
port = 873
ignore errors
use chroot = no
read only = no
list = no
max connections = 200
timeout = 600
auth users = root
hosts allow = 192.168.1.83
hosts deny = 192.168.1.1
//配置用户认证文件
[root@cm2 ~]# vim /etc/rsync.password
[root@cm2 ~]# cat /etc/rsync.password
root:gmg_2019
//设置文件权限
[root@cm2 ~]# chmod 600 /etc/rsync.password
[root@cm2 ~]# ll /etc/rsync.pass
-rw-------. 1 root root 13 2月 19 04:14 /etc/rsync.password
//启动rsync服务并设置开机自启动
[root@cm2 ~]# systemctl start rsyncd
[root@cm2 ~]# systemctl enable rsyncd
6.3 源服务器上进行以下操作(192.168.1.83):
//创建认证密码文件,只需要密码,不需要用户
[root@cm2 ~]# vim /etc/rsync.password
gmg_2019
//设置文件权限,只设置文件所有者具有读取、写入权限即可
[root@cm2 ~]# chmod 600 /etc/rsync.password
//在源服务器的目录/etc/nginx/default.d/操作文件,然后在源服务器运行以下命令
[root@cm2 ~]# rsync -avH --port 873 --delete /etc/nginx/default.d/ root@192.168.1.82::sync_from_cm3 --password-file=/etc/rsync.password
//安装inotify-tools工具,实时触发rsync进行同步
//查看服务器内核是否支持inotify
[root@cm2 ~]# ll /proc/sys/fs/inotify/
总用量 0
-rw-r--r-- 1 root root 0 2月 19 15:46 max_queued_events
-rw-r--r-- 1 root root 0 2月 19 15:46 max_user_instances
-rw-r--r-- 1 root root 0 2月 19 15:46 max_user_watches
**如果有这个三个以max开头的文件,则表示服务器内核支持inotify**
//下载并安装inotify-tools
[root@cm2 ~]# wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/i/inotify-tools-3.14-9.el7.x86_64.rpm
[root@cm2 ~]# rpm -ivh inotify-tools-3.14-8.el7.x86_64.rpm
6.4 监控源服务器指定文件夹的文件操作和服务器之间的同步
这里编写/scripts/inotify.sh脚本(名字随便取,目录随便放)
# 编写监控和同步脚本
[root@cm3 ~]# vi /scripts/inotify.sh
host=192.168.1.82
src=/etc/nginx/default.d/
des=sync_from_cm3
password=/etc/rsync.password
user=root
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src | while read files
do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des" >> /tmp/rsync.log
echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
done
# 修改可执行权限
[root@cm3 ~]# chmod 777 /scripts/inotify.sh
# 启动脚本
nohup /bin/bash /scripts/inotify.sh &
# 设置脚本为开机自动启动
[root@cm3 ~]# vim /etc/rc.d/rc.local
nohup /bin/bash /scripts/inotify.sh &
[root@cm3 ~]# chmod +x /etc/rc.d/rc.local
到此已经完成了,你可以修改源服务器指定文件夹内部的内容,就可以完成同步了
注:
对于文件夹中文件特别多的,会发现同步速度比较慢。可以参考一下文章
http://www.ttlsa.com/web/let-infotify-rsync-fast/
更多推荐
所有评论(0)