注册 登录
  • 欢迎访问"运维那点事",推荐使用Google浏览器访问,可以扫码关注本站的"微信公众号"。
  • 如果您觉得本站对你有帮助,那么可以扫码捐助以帮助本站更好地发展。

RabbitMQ对网络分区的处理

rabbitmq没有很好的分区容错性,因此,如果需要在广域网里使用rabbitmq集群,建议使用federation或者shovel进行替代。那么即使rabbitmq集群运行在局域网内也不能完全避免网络分区现象(network partition),例如,当路由器或者交换机出现问题,或者网口down掉时,都可能发生网络分区。 那么,出现网络分区对rabbit……继续阅读 »

彭东稳 6个月前 (04-12) 1673浏览 0评论 0个赞

为什么需要消息队列,及使用消息队列的好处?

一、消息队列的特性 业务无关,一个具有普适性质的消息队列组件不需要考虑上层的业务模型,只做好消息的分发就可以了,上层业务的不同模块反而需要依赖消息队列所定义的规范进行通信。 FIFO,先投递先到达的保证是一个消息队列和一个buffer的本质区别。 容灾,对于普适的消息队列组件来说,节点的动态增删和消息的持久化,都是支持其容灾能力的重要基本特性。当然,这个特性……继续阅读 »

彭东稳 10个月前 (12-30) 10230浏览 1评论 26个赞

消息队列设计精要

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发的Notify、MetaQ、RocketMQ等。 本文不会一一介绍这些消息队列的所有特性,而是探……继续阅读 »

彭东稳 10个月前 (12-30) 2101浏览 0评论 0个赞

Docker:搭建RabbitMQ集群

学习参考文章: RabbitMQ原理介绍(一) RabbitMQ安装使用(二) RabbitMQ添加新用户并支持远程访问(三) RabbitMQ管理命令rabbitmqctl详解(四) RabbitMQ两种集群模式配置管理(五) RabbitMQ应用实例Python版-Hello World RabbitMQ应用实例Python版-工作队列 RabbitMQ……继续阅读 »

彭东稳 10个月前 (12-29) 4357浏览 0评论 0个赞

安装配置MemcacheQ消息队列服务

MemcacheQ介绍 队列(Queue)是一种常用的数据结构。在队列这种数据结构中,最先插入的元素将会最先被取出;反之最后插入的元素将会最后被取出,因此队列又称为“先进先出”(FIFO:First In First Out)的线性表。 加入元素的一端叫“队尾”,取出元素的一端叫“队头”。利用消息队列可以很好地异步处理数据的传送和存储,当遇到频繁且密集地向后……继续阅读 »

彭东稳 11个月前 (11-07) 3013浏览 0评论 0个赞

ZooKeeper的观察者节点(三)

观察者:在不影响写入性能的情况下缩放Zookeeper 虽然客户端直接连接到投票选举的Zookeeper成员执行良好,但这个架构很难扩展到大量的客户端。问题就是因为我么添加了更多的投票成员,写入性能下降。这是由于这样的事实:一个写入操作要求共识协议至少是整体的一半,因此投票的成本随着投票者越多会显著增加。 我们引入了一个新的Zookeeper节点类型叫做Ob……继续阅读 »

彭东稳 12个月前 (10-27) 1657浏览 0评论 0个赞

ZooKeeper工作原理阐述(一)

Zookeeper是什么? Zookeeper是一个维护配置信息、命名、提供分布式同步和提供群组服务的集中式服务。这些各种类型的服务以某种形式被分布式应用程序使用。每当应用程序实现这些服务都不可避免的引入大量的修复BUG和竞争条件的工作。因为实现这些服务的难度在于应用最初通常跳过它们,使应用程序在发生变化时不易维护并难以管理。即使做对了,当应用程序已经部署后……继续阅读 »

彭东稳 12个月前 (10-27) 1914浏览 0评论 1个赞

ZooKeeper安装配置详解(二)

1、安装配置zookeeper单节点模式 Zookeeper分布式服务框架,是Apache Hadoop的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 安装Zookeeper的单机模式非常简单。服务包含在一个单独的压缩文件中,所以安装只需要创建配置文件。一旦你下载了一……继续阅读 »

彭东稳 12个月前 (10-27) 1697浏览 0评论 2个赞

RabbitMQ应用实例Python版-路由

路由(Routing) 在前面的教程中,我们实现了一个简单的日志系统。可以把日志消息广播给多个接收者。本篇教程中我们打算新增一个功能 —— 使得它能够只订阅消息的一个字集。例如,我们只需要把严重的错误日志信息写入日志文件(存储到磁盘),但同时仍然把所有的日志信息输出到控制台中。 绑定(Bindings) 前面的例子,我们已经创建过绑定(bindings),代……继续阅读 »

彭东稳 1年前 (2016-07-29) 1620浏览 0评论 0个赞

RabbitMQ应用实例Python版-发布/订阅

发布/订阅 我们搭建了一个工作队列,每个任务只分发给一个工作者(worker)。在本篇教程中,我们要做的跟之前完全不一样 —— 分发一个消息给多个消费者(consumers)。这种模式被称为“发布/订阅”。 为了描述这种模式,我们将会构建一个简单的日志系统。它包括两个程序——第一个程序负责发送日志消息,第二个程序负责获取消息并输出内容。 在我们的这个日志系统……继续阅读 »

彭东稳 1年前 (2016-07-29) 1414浏览 0评论 0个赞

RabbitMQ应用实例Python版-工作队列

工作队列 在第一篇教程中,我们已经写了一个从已知队列中发送和获取消息的程序。在这篇教程中,我们将创建一个工作队列(Work Queue),它会发送一些耗时的任务给多个工作者(Worker)。 工作队列(又称:任务队列——Task Queues)是为了避免等待一些占用大量资源、时间的操作。当我们把任务(Task)当作消息发送到队列中,一个运行在后台的工作者(w……继续阅读 »

彭东稳 1年前 (2016-07-28) 1531浏览 0评论 0个赞

RabbitMQ应用实例Python版-消息确认和消息持久化

消息确认 当处理一个比较耗时得任务的时候,你也许想知道消费者(consumers)是否运行到一半就挂掉。当前的代码中,当消息被RabbitMQ发送给消费者(consumers)之后,马上就会在内存中移除。这种情况,你只要把一个工作者(worker)停止,正在处理的消息就会丢失。同时,所有发送到这个工作者的还没有处理的消息都会丢失。 我们不想丢失任何任务消息。……继续阅读 »

彭东稳 1年前 (2016-07-28) 1610浏览 0评论 0个赞