【TongRDS】redis数据迁移到rds
·
工具包:rds-fileloader
一、说明
数据同步基于Redis的持久化文件,RDB或者AOF
RDB持久化:将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化。
AOF持久化:将Reids的操作日志以追加的方式写入文件。
二、获取Redis数据文件
1.手动执行Redis的save命令,将redis缓存里面的数据全部落本地文件中
2.停止Redis服务
3.得到Redis的RDB或者AOF文件
三、获取fileloader,修改配置项
- 程序以tar压缩包形式发布,得到tar.gz包,解压(tar xvfz …)获得fileloader
- 在fileloader/etc目录下,修改application.properties配置文件
配置项说明
本工具只需要2类主要配置,分别为“源参数”配置和“目的参数”配置。“源参数”定义数据从哪里来(rdb文件或aof文件),“目的参数”定义数据到哪里去(可以是redis或RDS系统)。
系统启动时通过读取迁移工具主目录下的/etc/application.properties文件获得配置信息。配制内容举例如附录1,说明如下。
源参数
| 参数 | 说明 |
|---|---|
| file.path | 数据文件全路径名,可以同时读取多个,各文件用分号(;)分隔。程序将按照配置顺序读取文件。 |
| file.type | 数据文件类型,可选项为:aof、rdb、mix。通常配置为mix即可。多个数据文件需要配置多个文件类型,用分号(;)分隔 |
目的参数
| 参数 | 说明 |
|---|---|
| destination.hosts | 独立(负载分档)运行的RDS节点的地址列表,可以配置多个,格式为:ip1:port1; ip2:port2; ip3:port3 |
| destination.password | 登录目的RDS服务节点使用的密码,可以直接保存明文,也可以采用国密算法SM4加密后保存。 |
| destination.password.encrypt | 保存的内容是否是SM4加密的密码,如果是加密后保存的,此配置为true。 |
| destination.sentinel.hosts | 哨兵模式运行的目的RDS的哨兵节点的地址列表,格式为:ip1:port1; ip2:port2; ip3:port3 |
| destination.sentinel.password | 登录目的RDS的哨兵使用的密码,可以直接保存明文,也可以采用国密算法SM4加密后保存。 |
| destination.sentinel.password.encrypt | 保存的内容是否是SM4加密的密码,如果是加密后保存的,此配置为true。 |
| destination.sentinel.service | 被哨兵管理的目的RDS服务节点的服务名。 |
| destination.cluster.hosts | 目的RDS集群的各节点地址 |
注:
- 集群数量可以不一致
- redis集群中,只要主节点数据。
- rds集群只导入主节点
四、迁移数据
使用fileloader/bin目录下的启动脚本StartLoader.sh(或:StartLoader.bat),启动程序
程序FileLoader主要是获取rds或者aof文件,将文件中的数据解析为redis操作,然后将操作命令发送到rds里,将数据存储到rds
程序执行如下图:

更多推荐

所有评论(0)