如何在 Linux 中使用 rsync 传输文件
作者 | 刘光录来源 | TIAPrsync(远程同步,Remote Sync)是一种在系统中或两个系统之间复制文件和目录的同步工具。rsync 的一个最大的优点,就是它只复制更改的文件,因而可以减少 CPU 消耗,在复制文件时节省带宽和时间。rsync 相比于 scp 的优点我们大家可能知道 scp(secure copy 的简写),也是一个通过 ssh 在两个远程系统...
作者 | 刘光录
来源 | TIAP
rsync(远程同步,Remote Sync)是一种在系统中或两个系统之间复制文件和目录的同步工具。rsync 的一个最大的优点,就是它只复制更改的文件,因而可以减少 CPU 消耗,在复制文件时节省带宽和时间。
rsync 相比于 scp 的优点
我们大家可能知道 scp(secure copy 的简写),也是一个通过 ssh 在两个远程系统之间复制文件的工具。但是 rsync 更好用,表现在以下三个方面:
1)rsync 只复制更改的文件,而 scp 会复制所有的每个文件,并且会覆盖旧的文件,因此,rsync的速度更快;
2)rsync 也可以在没有加密的情况下工作,这可以减少系统开销(仅用作对加密传输没要求的情况下,有安全风险时慎用);
3)rsync 支持断点续传(但是scp不可以)。
在大多数Linux发行版中,rsync 默认是没有安装的,因此需要手动安装。在 Ubuntu 和 Debian 系统中,可以使用如下命令安装:
sudo apt install rsync
rsync 命令示例
rsync命令的结构如下:
rsync [OPTIONS] Source Destination
上述命令中 Source 为文件的源地址,Destination 为目的地址。源地址和目的地址可以是本地路径也可以是远程路径,格式为:username@hostname:path/to/file
我们接下来看几个实际的例子。
注意:假如我们有一个目录 A,那么 A 和 A/ 是不一样的。A/ 指的是在目录A下的所有文件,但是不包括 A 本身;所以 复制 A 会在目的地址新建一个目录,然后复制 A 中的文件。但是复制 A/ 只会将 A 中的文件复制到目的地址中。
1. 同步本地文件(单向同步)
我们假设要将文件从目录 A 复制到 Backup-A-dir 中:
rsync A/ Backup-A-dir/
上述命令会将 A 中的文件复制到 Backup-A-dir 中。但Backup-A-dir中的文件不会同步到A中,这就是为什么会被称为单向同步的原因。
2. 同步远程文件(单向同步)
远程系统和本地系统之间同步文件,命令是类似的。注意,源地址和目的地址都可以是本地文件系统路径或者远程系统(ssh)路径。
rsync dev/build username@hostname:~/Backup
3. 双向同步
上述命令是将文件从源地址复制到目的地址。我们假设有这样一种情况,就是在目的地址中存在一些额外文件,但是这些额外文件在源地址中并不存在,那么在单向同步的时候,不会将目的地址中的这些额外文件删掉。如果我们想要在同步的时候删掉目的地址中的这些额外文件(也就是需要与源地址中的文件保持绝对一致),那么就需要使用双向同步。
要保持源地址和目的地址中的文件一致,将 --delete 选项添加到命令中即可:
rsync A/ Backup-A-dir/ --delete
4. 复制完成后删掉源文件
如果要在复制完成后,删掉源文件,需要在命令中添加 --remove-source-files 选项:
rsync A/ Backup-A-dir/ --remove-source-files
删掉源文件需要慎重,要确保已经保存好了备份,并且待删数据已经没有用了。
5. “包括”和“排除”文件
如果你需要(或者不需要)传输某些指定的文件,可以使用 --include 或者 --exclude 选项,后面跟上 = 和 指定文件的模式表达式:
rsync A/ Backup-A-dir/ --include=*.py --exclude=*.tmp.py
以上命令会传输所有以 .py 作为后缀名的文件,排除掉所有以 .tmp.py 为后缀名的文件。
上面提到的模式表达式,可以是正则表达式。
注:如果 include 或 exclude 的文件列表比较长,可以将其存储在文件中,使用的时候将文件名称传递给 --include-from 或者 --exclude-from 选项。
6. 通过 ssh 传输
如果想要通过 ssh 传输文件,那么需要使用 -e 选项来指定 ssh:
rsync -e ssh A/ username@hostname:~/Backup-A-dir/
这是传输文件到远程系统的首选方式,因为它传输的时候是加密的。需要注意的是,由于是加密传输,会产生系统开销,所以这比正常传输更耗时。
要使用 ssh 传输,还需要确保服务器端已经配置了ssh。
7. 详情模式
Linux 中的大多数命令都会有详情选项,用于在终端中记录命令的操作。rsync 也不例外。
使用 -v 或者 -verbose 选项来显示详情,它会列出正在执行的操作和进度。这在调试的时候很方便。
rsync A/ Backup-A-dir/ -v -r
其输出类似于如下的输出:
$ rsync A/ Backup-A-dir/ -v -rsending incremental file listcreated directory Backup-A-dir./file1.txtfile2.txtfile3.txtfile4.txtfile5.txtfile6.txtsent 388 bytes received 168 bytes 1,112.00 bytes/sectotal size is 0 speedup is 0.00
8. 只运行(运行但是不执行复制操作)
如果你只是想知道在不进行实际传输的情况下,需要复制的文件,那么可以使用 --dry-run(或者 -n)选项:
除复制部分外,它与正常rsync命令一样执行所有操作。它将列出要复制或删除的文件(如果需要),然后在复制之前停止。
$ rsync -v A/ Backup-A-dir/ –dry-run
sending incremental file list
created directory Backup-A-dir
./
file1.txt
file2.txt
file3.txt
file4.txt
file5.txt
file6.txt
sent 172 bytes received 72 bytes 488.00 bytes/sec
total size is 0 speedup is 0.00 (DRY RUN)
注意,上述命令需要带有参数 -v 来显示详情,否则不会显示任何结果。
9. 显示传输进度
要显示传输进度,可使用 --progress 选项:
rsync A/ Backup-A-dir/ --progress
上面的命令将显示一个类似于下面的进度条:
$ rsync -r A/ Backup-A-dir/ –progresssending incremental file listcreated directory Backup-A-dir./file1.txt 0 100% 0.00kB/s 0:00:00 (xfr#1, to-chk=5/7)file2.txt 0 100% 0.00kB/s 0:00:00 (xfr#2, to-chk=4/7)file3.txt 0 100% 0.00kB/s 0:00:00 (xfr#3, to-chk=3/7)file4.txt 0 100% 0.00kB/s 0:00:00 (xfr#4, to-chk=2/7)file5.txt 0 100% 0.00kB/s 0:00:00 (xfr#5, to-chk=1/7)file6.txt 0 100% 0.00kB/s 0:00:00 (xfr#6, to-chk=0/7)
10. 压缩和传输数据
使用 -z 选项可以压缩要传输的数据,压缩后在传输数据会更加节省网络带宽和时间。它将在目的地自动解压缩。
当传输的数据量很大时,使用 -z 选项进行压缩会节省时间,但是对于小文件,应该避免使用 -z,因为处理压缩的开销会超过正常情况下的时间。
rsync -z A/ Backup-A-dir/
11. 递归复制文件和目录
以上所有命令只复制文件,不复制子目录(每个Linux命令都是这样)。因此,不会复制这些子目录中的文件。要复制子目录中的文件,可以使用 -r 选项。
rsync -r A/ Backup-A-dir/
12. 归档并保留元数据
如果要保留符号链接、时间戳、文件权限、文件的用户和组所有权,可以使用 -a 选项。
rsync -a A/ Backup-A-dir/
结合使用 -r 可以递归复制文件并保留复制文件的元数据。
13. 设置文件大小限制
为了避免传输大文件,可以使用 --max-size 选项设置文件大小限制。
rsync --max-size='100K' A/ Backup-A-dir/
14. 设置带宽限制
--bwlimit 选项可以设置最大传输速率,单位是 kbps。
rsync --bwlimit=100 A/ Backup-A-dir/
15. 断点续传
如果文件传输不完整,可以使用 rsync 命令保留不完整的下载,以便在下一次发出相同命令时继续传输。
要恢复传输,使用 --append 选项:
rsync --append A /Backup-A-dir/
多线程传输
以上都是一些基本的命令,是在单个进程中复制文件。如果文件特别大,比如有5TB,那么整个传输过程的持续时间会非常长。这里介绍一种方法可以加快传输速度,那就是使用 parallel。
parallel 是用于执行并发作业的GNU程序,可以和 rsync 结合使用。
与 rsync 一样,parallel 也需要手动安装:
sudo apt install parallel
在我们正式介绍 parallel 之前,先来了解一些它是如何工作的。我们来考虑一个类比:
假设有1000个鸡蛋和100个篮子,然后每个篮子配备一个无人机,任务就是将这1000个鸡蛋交付给客户。经理给每个篮子分配10个鸡蛋,并将篮子交给无人机进行交付。这样每个无人机都会执行一个操作(就是送篮子中的鸡蛋,我们的例子中,就好比是 rsync 处理10个文件)。经理监督无人机的工作。请注意,每个无人机都不知道是否还有其他无人机,只有经理才知道。
类似地,rsync像无人机一样执行文件传输,而 parallel 就担任经理的角色。
parallel 将要传输的文件分割成若干份(每份都是一个文件列表),每份都由rsync启动一个进程进行传输。rsync不知道其他并行的进程,也不具备并行传输的能力。而parallel就启动rsync,来启动并管理多个并行进程。
因此,parallel 命令由两部分组成,一个是参数(鸡蛋/文件),另一个是并行进程命令(管理器)。
ls A/* | parallel -j 20 rsync A/{} /Backup-A-dir/
在上述命令中,管道符号 | 左侧的部分,输出是一个文件列表,每个文件都作为一个参数;在 parallel 命令中,{} 则表示这些参数(相当于占位符)。
-j n,它给- n 一个数字来表示任务数(或者进程数),本例中,n 是20;之后是 rsync 的常用命令,来处理每个参数(管道符号左侧的文件列表)。最后,它会被捆绑到20个进程中,并行执行。
注意,上面的 rsync 命令就是普通的rsync命令,跟我们上面介绍的用法完全一样,就像不用 parallel 时一样,可以添加任何选项(比如 -z, -a, -e ssh等)。
关于 garallel 的详细介绍,可参考:
https://www.gnu.org/software/parallel/
使用 rsync 时的一些常见故障
使用 rsync 时可能会遇到一些问题,下面是一些常见的错误。
1. rsync 权限被拒绝(rsync permission denied)
当你使用没有权限的路径时,就会报出这个错,比如:
rsync B/ /home/
如果你没有 /home 的写入权限,那上述命令就会报权限被拒绝(普通用户通常不这样做)。
2. 在<路径>中设置时间错误(rsync failed to set times on <path>)
当文件系统无法处理文件和目录的修改时间时,就会发生这种情况。关于这个问题,可以参考:
https://superuser.com/questions/200012/rsync-failed-to-set-times-on-dir-path
以上就是本次分享全部内容,欢迎讨论。
往期推荐
点分享
点收藏
点点赞
点在看
更多推荐
所有评论(0)