• 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

Redis异构集群之间数据迁移方案

Redis 彭东稳 7年前 (2017-03-15) 29244次浏览 已收录 1个评论

一、Redis集群迁移工具

最近在做Redis数据迁移,网上找了两款开源的Redis迁移工具。

第一种:redis-port

Codis官方提供的一个工具,redis-port是一个Redis工具,通过解析rdb文件,实现Redis主节点和从节点的数据同步,我具体没有测试过。

简单来说,redis-port就是把自已伪装成slave,欺骗master来达到数据流同步的目地。

发送sync命令->接收rdb->解析rdb->过滤->回放rdb->回放master推送的同步数据

上面是原理流程,非常容易理解,解析完rdb后的每一步都可以高度定制。DBA看着是不是很熟悉? 非常像淘宝的canal,基于binlog做数据的增量消费。相比mysql replication的原理redis简单太多,增量的数据就是普通的命令,需要解析的只有rdb文件。

Github地址https://github.com/CodisLabs/redis-port

第二种:redis-migrate-tool

redis-migrate-tool(简称RMT)是唯品会开源的redis数据迁移工具,主要用于异构redis集群间的数据在线迁移,即数据迁移过程中源集群仍可以正常接受业务读写请求,无业务中断服务时间。这篇blog主要内容包括工具特性简介、使用方法以及注意的要点。关于实现的原理,可以自行阅读源码理解。

Github地址:https://github.com/vipshop/redis-migrate-tool

下面以rmt为例,进行数据迁移演示。

二、redis-migrate-tool特性

  • 快速,多线程
  • 支持异构迁移,如支持Twemproxy集群,redis cluster集群,rdb文件和aof文件相互迁移

支持下面几种异构集群之间的数据迁移和同构集群扩容/缩容。

1)redis<–>twemproxy/redis cluster迁移;

2)twemproxy<–>twemproxy/redis cluster迁移;

3)redis cluster<–>twmeproxy/redis cluster迁移。

当目标集群是Twemproxy,数据会跳过Twemproxy直接导入到后端的redis。

  • 在线迁移,基于redis复制做到实时迁移,并且迁移过程中,源集群不影响对外提供服务

RMT启动后模拟成redis slave,请求master的全量数据和增量数据。RMT收到数据之后解析成redis协议格式的oplog(写操作),然后发送给目标集群。有两种请求方式,source_safe: true,对于同一ip上的redis,逐个的请求全量数据(RDB);source_safe: false,并行请求同步全量数据。source_safe: false时,需要注意多个源redis所在的同一主机是否有足够的内存 和 RDB 并发落盘时的 IOPS 性能。

  • 从AOF或RDB恢复数据

如果在线集群数据全部丢失,不要慌,RMT可以帮你从备份的AOF和RDB文件恢复到目标集群。

  • 数据过滤

可以过滤算法上不属于源集群的脏数据,比如有人绕过twemproxy,非正常方式直接向后端redis写入数据。还可以在配置文件[common]中使用filter参数,过滤掉不需要的数据。

  • 迁移状态显示

三、redis-migrate-tool安装

运行方式

四、redis-migrate-tool配置

RMT工具可以使用命令行运行,也可以支持配置文件。

RMT的配置主要由三部分组成,数据源[source],目标集群[target],通用配置部分[common]。

  • source or target

type

[source]支持五种数据类型,如:single、twemproxy、redis cluster、rdb file、aof file;[target]中的type支持:single、twemproxy、cluster、rdb fil四种类型。

RMT对源集群的类型并不敏感,对每个redis节点伪装成一个slave。因而twemproxy和cluster集群,可以使用single和cluster类型。建议配置成对应的twemproxy或者cluster类型。有两方面作用:

1)RMT在数据迁移时,可以根据 twemproxy(hash)或者cluster(slots)数据分布规则,过滤掉原本不属于该节点的数据;

2)当源集群类型是cluster时,只用配置一个节点,简化配置。

目标集群,因为不同数据分布规则需要执行不同的写入逻辑,因而配置非常严谨。对于twemproxy集群,必须设置hash、distribution、servers等参数,并且迁移到目标集群的server配置需要和twemproxy中保持一致,包括hash算法、数据分布算法、节点的ip和port、权重、节点的名字。

servers

设置集群节点IP和端口。如果[source]或[target]是redis cluster,那么节点IP可以写一个或多个都行,如果[source]或[target]有一方是twemproxy,那么就需要填写所有节点IP;如果[source]或[target]双方都是twemproxy,那么双方的IP节点数一定是相同的,包括hash算法、数据分布算法、权重、节点的名字。

redis_auth

Redis server如果开启了认证,那么这里需要配置其密码。

timeout

Redis server的读写超时时间,单位毫秒,默认120秒。

hash

如果[source]或[target]有任意一方是twemproxy集群,那么就需要指定其hash算法,md5、fnv1_64、fnv1a_64、fnv1_32、fnv1a_32、hsieh、murmur、jenkins。

hash_tag

如果[source]或[target]有任意一方是twemproxy集群,那么可以为其key指定tag,也可以忽略。

distribution

如果[source]或[target]有任意一方是twemproxy集群,需要指定key的分布式模式,一般有三种:ketama、modula、random。

  • common

listen

RMT本身监听的地址和端口,默认127.0.0.1:8888。

max_clients

RMT最大的客户端连接数。

threads

设置RMT线程数。

step

用于解析请求步骤,数值越高,越快迁移,但是占用内存更大。默认为1。

mbuf_size

RMT buffer大小设置,默认512M。

noreply

一个布尔值,用来定义是否要检查目标主机组确认信息,默认为false。

source_safe

用于保护源主机组内存安全的,运行工具之前确保源Redis机器足够内存允许至少一个Redis生成rdb文件如果机器内存允许所有Redis生成rdb文件可以设置 ‘source_safe︰ falsermt.conf配置文件中,默认这个值为true,将会使用较少的线程。

dir

设置工作目录,默认当前目录。

filter

过滤匹配这个模式的key,默认为NULL。

配置文件示例:

1、从redis cluster集群迁移数据到twemproxy集群

2、从redis cluster集群迁移数据到另外一个redis cluster集群

3、从rdb文件恢复数据到redis cluster集群

4、迁移状态查看

使用redis-cli可以连接 rmt.conf 中配置的端口,执行info命令,就可以观察迁移的状态。

total_msgs_outqueue可以判断是否有oplog在队列中等待处理,如果total_msgs_outqueue>0,请继续等待。

5、数据校验:当数据迁移完成后,就可以进行数据迁移后的检查操作

在业务切换到目标服务器之前,可使用RMT抽样检查数据的一致性,默认抽样1000个key。

也可以指定检查多少个key,如下:

6、如何完成业务切换?

如果是异构集群的迁移,更改redis驱动/客户端和修改代码,重新发布是必然的事情。如果是同构集群,做配置发布就可以。如果没有做重启发布,等待源集群没有连接之后,可以关闭RMT进程(kill)。或者重启应用,强制断开长连接。

五、注意事项

1、重要的事说三遍,RMT迁移数据到twemproxy,需要保持rmt.conf 中 [target]  hash、distribution、servers 三个参数和目标集群的twemproxy配置严格一致。

2、迁移中和业务切换之前,请反复观察“-o rmt.log”日志信息,确认是否有异常。

3、业务切换之前,请充分检查,特别是数据的一致性。

4、RMT 建议部署在单独空闲机器上,同目的集群在同一个网段(跨机房迁移数据,可以提高迁移速度)。千万不要部署在源集群所在的机器,防止资源不足,比如内存,带宽,IOPS。

5、注意RDB传输是否超时。

6、redis client buf中的slave项,设置足够大的buffer size和超时时间。

六、实战

1)redis cluster <–> redis迁移

环境如下:

具体集群配置启动自己搞定了。

rmt配置文件信息如下:

[source]集群创造数据

开始迁移:

查看迁移效果:

2)redis cluster <–> redis迁移

配置文件信息如下:

开始迁移:

查看迁移效果:

到此MTR迁移工具测试基本完毕,下一步就是上生产了,更多功能自己尝试。


如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
喜欢 (3)
[资助本站您就扫码 谢谢]
分享 (0)

您必须 登录 才能发表评论!

(1)个小伙伴在吐槽