注册 登录
  • 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

Twemproxy增加或剔除Redis节点后对数据的影响

Redis 彭东稳 7150次浏览 已收录 0个评论

本篇文章,Twemproxy增加或剔除Redis节点后对数据的影响是接着”通过Twemproxy代理Redis数据分片方案“这篇文章写的。最好还要懂一致性哈希(ketama)的原理。

上一篇文章中,我们配置了一个twemproxy节点,后面跟着两个Redis节点做的简单测试。下面我们模拟在Redis运行过程中新增一个节点,看一看会丢失Key的比例是多少。至于为什么会丢失Key呢?最简单的理解就是“取模运算”,原先twemproxy是对两个Redis节点对Key做哈希后存储,同样读取数据的时候也是使用同样的算法,同样的节点数做运算,所以可以正确拿到每个Key的值。那么现在新增一个节点后,就成了3个节点对Key做哈希运算了,那么会发生什么情况呢?原先存的Key是对2取模,但是新增一个节点后去取Key时变成了对3取模。那么结果肯定是一大批Key无法找到。当然,上面说的只是很久之前使用的方法,twemproxy使用的是一致性哈希,还是那句话,对于一致性哈希在memcached部分有较为详细的介绍了,有兴趣可以看看。

下面我们就实验看看twemproxy增加或剔除节点后对数据的影响范围比例是多少。twemproxy和redis上一章节就配置好了。

下面我们先批量插入1000个Key,写个测试脚本跑一下。

执行脚本,然后分别取6546和6547两台主机上看看Key的分布。

把twemproxy新增一个Redis节点,下面先增加一个Redis节点。

然后把这个节点(172.16.0.172:6548:1 redis03)加入twemproxy中。

重新启动twemproxy和redis。

做完这些之后,就可以直接去读取数据了,看看我们插入的1000个Key还能正确读到多少个。下面我们提供一个读取小脚本。

然后执行脚本,并统计一下能查询到值得Key有多少个。

通过结果,我们可以看出,当Redis为2个节点时,我们插入1000个Key,然后新增一个节点后只读取到了647个Key,近似值3/1。如果你了解一致性哈希算法的原理的话,就应该会知道,丢失Key的比例就是新增节点数占总节点数(原有节点+新增节点)的比例。比如原来有8个节点,新增2个节点,丢失Key的比例就是2/10。当然这个只是简单的数据测试。


如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
喜欢 (3)or分享 (0)
关于作者:

您必须 登录 才能发表评论!