redis迁移

通过Redis-shake的sync（同步）模式，可以将Redis的数据实时迁移至另一套Redis环境。

前提条件： Redis的版本为2.8、3.0、3.2、4.0或5.0版本。

redis-shake 介绍

1. redis-shake是阿里云用于Redis数据传输与过滤的开源工具，该工具易于部署，灵活高效。
2. redis-shake的Sync（同步）模式支持全量数据迁移和增量数据迁移；
3. Restore（恢复）模式支持将本地RDB文件中的数据恢复至目标端；
4. Scan模式是使用SCAN命令来获取源端Redis中的Key，然后使用DUMP命令获取Key的值，最终使用RESTORE命令将Key（与其值）恢复至目标端。

不同模式的同步流程如下图所示：

注意事项：

1. 如果目标库的数据逐出策略（maxmemory-policy）配置为除noeviction以外的值，可能导致目标库的数据与源库不一致。关于数据逐出策略详情，请参见Redis数据逐出策略。
2. 如果源库中的部分Key使用了过期（Expire）机制，由于可能存在Key已过期但未被及时删除的情形，在目标库中查看（如通过info命令）的Key数量会比源库的Key数量少。

redis-shake 3.X 版本测试

redis-shake 3.X 下载

wget 'https://github.com/alibaba/RedisShake/releases/download/v3.1.7/redis-shake-linux-amd64.tar.gz'

redis-shake 3.X 解压

mkdir redis-shake
tar zxvf redis-shake-linux-amd64.tar.gz -C redis-shake

redis-shake 3.X 配置

我们使用redis-shake中sync模式，以下配置已sync配置为例

type = "sync"

[source]
version = 2.8 # redis version, such as 2.8, 4.0, 5.0, 6.0, 6.2, 7.0, ...
address = "x.x.x.x:6379"
username = "" # keep empty if not using ACL
password = "xxxxxxx" # keep empty if no authentication is required
tls = false
elasticache_psync = "" # using when source is ElastiCache. ref: https://github.com/alibaba/RedisShake/issues/373

[target]
type = "standalone" # "standalone" or "cluster"
version = 2.8 # redis version, such as 2.8, 4.0, 5.0, 6.0, 6.2, 7.0, ...
 # When the target is a cluster, write the address of one of the nodes.
 # redis-shake will obtain other nodes through the `cluster nodes` command.
address = "x.x.x.x:6379"
username = "" # keep empty if not using ACL
password = "xxxxxxx" # keep empty if no authentication is required
tls = false

[advanced]
dir = "data"

ncpu = 4 # runtime.GOMAXPROCS, 0 means use runtime.NumCPU() cpu cores

pprof_port = 0 # pprof port, 0 means disable

metrics_port = 0 # metric port, 0 means disable

log_file = "redis-shake.log"
log_level = "info" # debug, info or warn
log_interval = 5 # in seconds

rdb_restore_command_behavior = "skip" # panic, rewrite or skip

pipeline_count_limit = 1024 # pipeline

target_redis_client_max_querybuf_len = 1024_000_000

target_redis_proto_max_bulk_len = 512_000_000

redis-shake 3.X 启动

./redis-shake sync.toml

日志字段说明：

1. allowOps：表示每秒向目标库发送多少条命令
2. disallowOps：表示每秒过滤的命令数。
3. entryId：从1开始计数，表示redis-shake共处理多少条命令。
4. InQueueEntriesCount：表示还剩余多少条命令待发送。

Redis数据逐出策略

volatile-lru 按照LRU算法逐出原有数据，但仅逐出设置了过期时间的数据。

volatile-ttl 仅逐出设置了过期时间的数据，并且是按照TTL由小到大的顺序进行逐出。

allkeys-lru 按照LRU算法逐出原有数据。

volatile-random 随机逐出原有数据，但仅逐出设置了过期时间的数据。

allkeys-random 随机逐出原有数据。

noeviction 不逐出任何数据，当内存已满时新数据的写入会得到一个错误信息（DEL和某些其他的命令除外）。

volatile-lfu 按照LFU算法逐出原有数据，只从设置了过期时间的key中选择最不常用的key进行删除。

allkeys-lfu 按照LFU算法优先逐出最不常用的key。

reids-shake 2.X 版本测试

reids-shake 2.X 下载

wget 'http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/120287/cn_zh/1608173646665/redis-shake-v2.0.3.tar.gz'

reids-shake 2.X 解压

tar xzf redis-shake-v2.0.3.tar.gz

reids-shake 2.X 配置

conf.version = 1   #当前配置文件版本号，请不要修改
id = redis-shake
log.file =         #指定日志文件，不指定将打印到stdout
log.level = info
pid_path =         #指定pid路径，不指定默认/var/run
system_profile = 9310
http_profile = 9320 # metric端口号 -1表示不启用
parallel = 32       #启动多少个并发线程同步一个RDB文件，默认32
source.type = sentinel #支持standalone，sentinel，cluster和proxy四种模式
source.address = sourcemaster:master@x.x.x.x:26379
source.password_raw = XXXXXXXXXXXXXXXXXXX
source.auth_type = auth
source.tls_enable = false
source.rdb.input = local
source.rdb.parallel = 0
source.rdb.special_cloud =
target.type = sentinel
target.address = targetmaster:master@x.x.x.x:26379
target.password_raw = XXXXXXXXXXXXXXXXXXX
target.auth_type = auth
target.db = -1
target.tls_enable = false
target.rdb.output = local_dump
target.version = 2.8   #目标redis版本
fake_time =            #处理过期的键值，当迁移两端不一致，目的端需要加上这个值
key_exists = ignore    #当源目的有重复的key，支持rewrite（覆盖目的端key）、none（进程直接退出）、ignore（保留目的端key,忽略源端key）
filter.db.whitelist = 5;9 #指定通过的db 该配置db5、db9通过其他忽略
filter.db.blacklist =     #指定过滤的db
filter.key.whitelist =    #指定特定前缀的key通过
filter.key.blacklist =    #指定特定前缀的key过滤
filter.slot =
filter.lua = false
big_key_threshold = 524288000 #key不大直接调用restore写入目的端，如果key对应的value字节超过定制那么分批次一个一个写入，如果目的端是Codis 该参数需要置1，目的端大版本小于源端，建议置1.
metric = true
metric.print_log = false
sender.size = 104857600 #发送缓存的字节长度，超过这个阈值将会强行刷缓存发送
sender.count = 4095   #发送缓存的报文个数，超过这个阈值将会强行刷缓存发送
sender.delay_channel_size = 65535 # 用于metric统计时延的队列
keep_alive = 0    # TCP keep-alive保活参数，单位秒，0表示不启用。
scan.key_number = 50  # 每次scan的个数，不配置则默认100.
scan.special_cloud = #有些版本具有特殊格式目前支持腾讯云的集群版"tencent_cluster"、阿里云的集群版"aliyun_cluster"，主从版本不需要,只针对集群版。
scan.key_file = #有些云版本，不支持sync/psync，也不支持scan，我们支持从文件中进行读取所有key列表并进行抓取：一行一个key。
qps = 200000 #每秒传输key的个数
resume_from_break_point = false #断点续传
replace_hash_tag = false

reids-shake 2.X 启动

 ./redis-shake.linux -type=sync -conf=redis-shake.conf

字段说明：

1. forwardCommands：源库发送过来的命令数。
2. filterCommands：被过滤的命令数，例如在Redis-shake配置文件中设置了过滤某些库。
3. writeBytes：源库发送过来的字节数。