• 进入"运维那点事"后,希望您第一件事就是阅读“关于”栏目,仔细阅读“关于Ctrl+c问题”,不希望误会!

Codis 2安装配置详解

Redis 彭东稳 8年前 (2016-10-17) 25253次浏览 已收录 1个评论

Codis 2介绍

对于Redis集群方案有好多种,基本常用的就是twemproxy,codis、redis cluster这三种解决方案,本人有幸工作中都大量使用过,各有利有弊,下面这篇文章详解讲解一下豌豆尖的Codis 2,主要是之前有部分业务使用Codis 2,所以这里也说一下。如果你是新业务那么建议直接使用Codis 3,我也写有Codis 3集群搭建。Codis总体来说还算不错,仅供大家学习和参考。

Codis是一个分布式Redis解决方案,对于上层的应用来说,连接到Codis Proxy和连接原生的Redis Server没有明显的区别 (不支持的命令列表),上层应用可以像使用单机的Redis一样使用,Codis底层会处理请求的转发,不停机的数据迁移等工作,所有后边的一切事情,对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的Redis服务。

Codis 2.x由四部分组成:

  • Codis Proxy (codis-proxy)
  • Codis Dashboard (codis-config)
  • Codis Redis (codis-server)
  • ZooKeeper/Etcd

codis-proxy : 是客户端连接的Redis代理服务,codis-proxy本身实现了Redis协议,表现得和一个原生的Redis没什么区别(就像Twemproxy),对于一个业务来说,可以部署多个codis-proxy,codis-proxy本身是没状态的。

codis-config :是Codis的管理工具,支持包括,添加/删除Redis节点,添加/删除Proxy节点,发起数据迁移等操作,codis-config本身还自带了一个http server,会启动一个dashboard,用户可以直接在浏览器上观察Codis集群的状态。

codis-server:是Codis项目维护的一个Redis分支,基于2.8.13开发,加入了slot的支持和原子的数据迁移指令,Codis上层的codis-proxy和codis-config只能和这个版本的Redis交互才能正常运行。

ZooKeeper :用来存放数据路由表和codis-proxy节点的元信息,codis-config发起的命令都会通过ZooKeeper同步到各个存活的codis-proxy。

PS: Codis支持按照Namespace区分不同的产品,拥有不同的product name 的产品,各项配置都不会冲突。

安装配置Codis 2集群

此次试验服务部署架构方式如下:

此次试验用到的软件及版本如下:

system:CentOS 6/7版本

Jdk:1.8版本

Zookeeper:3.4版本(http://zookeeper.apache.org/releases.html

Go:go1.5.2.Linux-amd64.tar.gz版本(https://golang.org/doc/install?download=go1.5.2.linux-amd64.tar.gz

Codis:2.0版本(https://github.com/CodisLabs/codis/archive/3.0.3.zip

安装参考文档:https://github.com/CodisLabs/codis/blob/release2.0/doc/tutorial_zh.md

1、安装配置zookeeper

Zookeeper分布式服务框架,是Apache Hadoop的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。Codis依赖zookeeper才能协同工作。

首先安装开发工具及openjdk,zookeeper是由Java语言开发的,所以需要openjdk环境。

确定Java运行环境正常

安装二进制版本的zookeeper

编译zookeeper配置文件/usr/local/zookeeper/conf/zoo.cfg

然后输出环境变量。

然后就可以启动zookeeper了。

查看各个zookeeper节点的状态(只有一个节点,所以是standalone,如果是集群那么会有一个leader节点,两个follower节点)。

客户端连接,可以查看相关信息。

至此,zookeeper已经搞定了。

2、go安装(codis是go语言写的,所以这些机器需要安装go环境)

首先下载go二进制安装包

https://golang.org/doc/install?download=go1.5.2.linux-amd64.tar.gz

官方界面介绍了如何安装GO运环境,对于GO运行环境来说,有一些特定的GOROOT和GOPATH环境变量需要设置,这是必须的,不然无法运行go程序。这里最好安装go1.5.2版本,不然后面编译Codis有些小问题。

解压完成后,GO就安装完了,下面设置一个GOPATH目录,其实就是go程序运行目录。

然后就可以设置GO需要的环境变量,路径看好,千万别搞错了。

应用一下go.sh

查看GO版本

3、下载并编译安装codis 2

这里我们主要是要安装Codis 2,需要注意的是Codis安装目录必须是固定的格式,不然会有问题。下面命令的大概意思就是先创建固定目录,然后进入到此目录后就去下载codis 2的安装包,最后进行编译和测试。

执行全部指令后,会在bin文件夹内生成codis-config、codis-proxy、codis-server三个可执行文件。另外, bin/assets文件夹是codis-config的dashboard http服务需要的前端资源, 需要和codis-config放置在同一文件夹下)

输出Codis执行文件,添加最后一行PATH变量。

至此,Codis安装完成。但需要注意的是,如果你是用golang 1.5 beta3以上的版本进行编译,还有可能出现的一个问题是:

这是因为golang 1.5 beta3之后go添加了GO15VENDOREXPERIMENT这个特性,并在1.6版本就默认开启,你可以参照Codis issue715里面的方案解决。最简单就是在编译前

5、为Codis创建标准目录

Codis安装完成后,就可以为Codis创建一些标准的目录,用来存储Codis的脚本目录、配置文件目录、日志目录、PID目录、Redis配置目录等。

复制Codis自带的redis-2.8.21相关工具到标准目录中。

添加环境变量

以上工作都完成之后,下面就可以启动并配置Codis了,大致顺序如下:

1)启动redis实例;

2)启动codis-dashboard;

3)把redis实例添加到codis组中;

4)初始化slot;

5)启动codis-proxy;

6)online codis-proxy;

这只是一个参考,有些顺序不是必须的,但启动dashboard前,必须启动zookeeper服务,这是必须的,后面有很多操作,都可以在web页面完成,例如添加/删除组,添加/删除redis实例等。

6、配置启动Codis各组件—-启动Redis

考虑到性能,主库关闭aof和rdp,从库只开启aof即可。下面这份配置就是生产环境中的配置,具体的含义可以看本博客的Redis生产环境配置文件详解章节。

主库:/data/codis/redis/redis-6379/redis.conf

从库:/data/codis/redis/redis-6380/redis.conf

可以使用同样配置文件再启动一组redis主从,端口可以需要修改为6381、6382即可。

可以使用codis-server启动redis了。

7、配置启动Codis各组件—-启动dashboard(启动集群中某一个节点)

下面就要使用到codis的第一个程序codis-config,它能够完成codis集群的大部分操作,如dashboard启动、redis管理、slot管理等。codis 3中这个程序已经消失了,先看一下codis-config怎么使用。

首先标准化codis-dashboard配置文件目录:

修改配置文件参数如下:

参数解释:

zk:指定zookeeper的地址,如果是zookeeper集群,多个地址之间使用逗号分隔。

product:指定产品名称,这个codis集群的名字,可以认为是命名空间,不同命名空间的codis没有交集。

dashboard_addr:dashboard服务的地址,CLI的所有命令都依赖于dashboard的RESTful API,所以必须启动。

password:集群节点之间的认证密码,默认为空。

backend_ping_period

session_max_timeout:会话最大超时时间。

session_max_bufsize:会话最大缓冲大小。

session_max_pipeline

zk_session_timeout:zookeeper的连接会话超时时间。

proxy_id:指定proxy的名称,proxy会读取, 用于标记proxy的名字, 针对多个proxy的情况, 可以使用不同的config.ini, 只需要更改proxy_id 即可。

启动codis-dashboard

这里需要注意一下,启动codis-dashboard必须使用全路径,因为需要找前端资源,不然web界面是无法访问的。

8、添加Redis Server Group(codis-config操作)

添加Redis Server Group , 每一个Server Group作为一个Redis服务器组存在,只允许有一个master, 可以有多个slave,group id仅支持大于等于1的整数。下面我们添加两组Redis主从。

9、初始化slot(codis-config操作)

设置server group服务的slot范围Codis采用Pre-sharding的技术来实现数据的分片,默认分成1024个slots (0-1023),对于每个key来说,通过以下公式确定所属的Slot Id : SlotId = crc32(key) % 1024每一个slot都会有一个特定的server group id来表示这个slot的数据由哪个server group来提供。(codis-config上操作)

注意编号设置不能超过1023,,不然会报错。另外,如果你有2个组,那么设置编号应该为[0, 511]的slot由server group 1提供服务,编号[512, 1023]的slot由server group 2提供服务。

10、启动codis-proxy(codis-proxy操作)

参数解释:

-c:配置文件地址。

-L:日志输出文件地址。

–log-level=<loglevel>:输出日志级别 (debug < info (default) < warn < error < fatal)。

–cpu=<cpu_num>:proxy占用的cpu核数,默认1,最好设置为机器的物理cpu数的一半到2/3左右。

–addr=<proxy_listen_addr>:proxy的redis server监听的地址,格式<ip or hostname>:<port>,如: localhost:9000,:9001。

–http-addr=<debug_http_server_addr>:proxy的调试信息启动的http server,可以访问http://debug_http_server_addr/debug/vars。

至此,整个集群就搭建成功了,在生产环境中一般最少会启动两个codis-proxy,也很简单,在另外一个节点中把config.ini配置文件中的proxy_id参数修改成唯一值,然后启动codis-proxy即可。如下演示(本机启动codis-proxy,端口为19001):

修改config-2.ini配置文件参数如下:

在配置文件中最需要注意两点:

第一点:就是dashboard_addr地址,这个是填写dashboard的地址,在一个codis集群中只能开启一个dashboard,所以这个地址只是集群中的某一个地址(开启dashboard服务器的地址)。我这里只是为了演示效果所以把两个proxy都放在同一台机器上,生产中这两个节点必然是在不同的机器上,一般第二个codis节点配置不需要开启dashboard,也不需要做添加Redis Server Group和初始化slot,只需要启动codis-proxy即可,而config.ini配置文件一般跟第一个开启codis的config.ini相同。

第二点:就是proxy_id在一个集群中,每个节点的proxy_id都必须不一样。

启动proxy_2的codis-proxy,端口修改为了19001。

11、测试codis

通过代理端口19000插入数据,然后到redis主节点取出数据即可。

13、访问web界面

现在可以通过:http://10.0.60.144:18087/admin/访问web界面了,集群效果如下图:

Codis 2安装配置详解

在web界面可以进行proxy添加,组创建,主从切换,数据迁移等工作。

Zookeeper相关操作

查看zk中codis产品:

查看zk中的dashboard信息:

查看zk中的slot状态:

前面initslots初始化的所有Slot都保存在slots路径下,每个Slot是一个结点。随便选取一个Slot结点,用get命令能够查看结点上附着的数据:

查询zk中的server状态:

查询zk中的proxy状态:

如果要是想整个codis系统重做,删除此产品即可:rmr /zk/codis/db_test。

Codis常见问题修复

使用codis-admin命令行管理工具进行修复。

1)codis-dashboard异常退出的修复

当codis-dashboard启动时,会在外部存储上存放一条数据,用于存储 dashboard 信息,同时作为LOCK存在。当codis-dashboard安全退出时,会主动删除该数据。

当codis-dashboard异常退出时(大多数情况zookeeper连接异常时会异常退出),由于之前LOCK未安全删除,重启往往会失败。因此需要手动删除zookeeper信息。

1、确认codis-dashboard进程已经退出(很重要);

2、手动删除zookeeper信息;

2)codis-proxy异常退出的修复

通常codis-proxy都是通过codis-dashboard进行移除,移除过程中codis-dashboard为了安全会向codis-proxy发送offline指令,成功后才会将proxy信息从外部存储(zookeeper)中移除。如果codis-proxy异常退出,该操作会失败。此时需要手动删除zookeeper信息。

1、确认codis-proxy进程已经退出(很重要);

2、删除zookeeper信息;

3)jodis连接proxy显示Proxy list is empty问题处理

参考:https://github.com/CodisLabs/jodis/issues/10

codis-proxy高可用问题?

因为codis-proxy是无状态的,可以比较容易的搭多个实例,达到高可用性和横向扩展。对Java用户来说,可以使用基于Jedis的实现Jodis,来实现proxy层的HA:

  • 它会通过监控zookeeper上的注册信息来实时获得当前可用的proxy列表,既可以保证高可用性;
  • 也可以通过轮流请求所有的proxy实现负载均衡。

对于其他语言,可以使用haproxy代理到后端的多个codis-proxy,达到负载均衡的作用。而haproxy的单点问题可以使用keepalive做HA,这样就可以实现一个高可用高并发的codis-proxy了。

Redis高可用问题?

对下层的redis实例来说,当一个group的master挂掉的时候,应该让管理员清楚,并手动的操作,因为这涉及到了数据一致性等问题(redis的主从同步是最终一致性的)。因此codis不会自动的将某个slave升级成master。关于外部codis-ha工具(https://github.com/ngaut/codis-ha,测试发现已经不不在支持新Codis 2.0版本,新版Codis 2.0有些目录变了,但Codis 3.0已经集成了codis-ha),这是一个通过codis-dashboard开放的RESTful API实现自动切换主从的工具。该工具会在检测到master挂掉的时候主动应用主从切换策略,提升单个slave成为新的master。

需要注意,codis将其中一个slave升级为master时,该组内其他slave实例是不会自动改变状态的,这些slave仍将试图从旧的master上同步数据,因而会导致组内新的master和其他slave之间的数据不一致。因此当出现主从切换时,需要管理员手动创建新的sync action来完成新master与slave之间的数据同步(codis-ha不提供自动操作的工具,因为这样太不安全了)。

数据迁移

安全和透明的数据迁移是Codis提供的一个重要的功能,也是Codis区别于Twemproxy等静态的分布式Redis解决方案的地方。

数据迁移的最小单位是key,我们在codis redis中添加了一些指令,实现基于key的迁移,如SLOTSMGRT等 (命令列表),每次会将特定slot一个随机的key 发送给另外一个codis redis实例,这个命令会确认对方已经接收,同时删除本地的这个k-v 键值,返回这个slot的剩余key的数量,整个操作是原子的。

在codis-config管理工具中,每次迁移任务的最小单位是slot。

如: 将slot id为[0-511]的slot的数据,迁移到server group 2上,–delay参数表示每迁移一个key后sleep的毫秒数,默认是0,用于限速。

迁移的过程对于上层业务来说是安全且透明的,数据不会丢失,上层不会中止服务。

注意,迁移的过程中打断是可以的,但是如果中断了一个正在迁移某个slot的任务,下次需要先迁移掉正处于迁移状态的slot,否则无法继续 (即迁移程序会检查同一时刻只能有一个slot处于迁移状态)。

Auto Rebalance

Codis支持动态的根据实例内存,自动对slot进行迁移,以均衡数据分布。

要求:

所有的codis-server都必须设置了maxmemory参数。

所有的slots都应该处于online状态,即没有迁移任务正在执行。

所有server group都必须有Master。

Codis相关脚本

标准多codis实例目录

然后在各自的实例的/data/codis/proxy_19001/bash/目录下添加以下脚本即可。

1、start_dashboard.sh

2、add_group.sh

3、initslot.sh

4、start_proxy.sh

5 、set_proxy_online.sh

注意按照顺序依次启动即可。由于codis一旦跟zookeeper连接出现异常后codis-proxy就会异常退出,所以需要写一个计划任务监控脚本当codis_proxy异常退出时就报警并且自动拉起来。

完结。


如果您觉得本站对你有帮助,那么可以支付宝扫码捐助以帮助本站更好地发展,在此谢过。
喜欢 (2)
[资助本站您就扫码 谢谢]
分享 (0)

您必须 登录 才能发表评论!

(1)个小伙伴在吐槽