Share
Embed
Transcript
31 slides
-
高可靠消息系统 RabbitMQ Bruce Dou 2013.9 http://blog.eood.cn/
⾼高可靠消息系统 RabbitMQ [email protected] -
⾼高可靠消息系统 RabbitMQ [email protected] • 异步处理 •
解耦合 • 削减后端峰值 可以想象成一个水库,或者 buffer 发送过程不被处理过程阻塞 上下游组件是否在线不影响系统正常运行 发送速度不依赖处理速度 消息系统的作用: -
⾼高可靠消息系统 RabbitMQ [email protected] • 写入数据库、批处理 •
应用中维护大 buffer 常见替代做法: -
⾼高可靠消息系统 RabbitMQ [email protected] • 持久化、非持久化 •
中心化、去中心化 • 集群、单进程 常见消息系统设计: -
⾼高可靠消息系统 RabbitMQ [email protected] 不可不提的 Erlang/OTP: 函数式:内存复制、⽆无变量、⽆无锁
⾼高并发:轻量级进程、进程间消息传递 Actor 模式 软实时:相应时间在毫秒级别,分进程 GC,不⽤用担⼼心 GC 停顿 健壮:层层监控 透明的分布式:Pid ! msg, Pid 可以在其他机器上 可移植:运⾏行在 VM、跨平台 -
⾼高可靠消息系统 RabbitMQ [email protected] 不可不提的 Erlang/OTP: Actor
模式,类似的有 Scala、Golang 中的模拟 微进程: 进程内存占⽤用只有 309 words,创建成本⾮非常低,针对进程的 GC OTP: 层层监控、处处维稳 抽象了常⽤用的服务器端设计模式: gen_server、gen_tcp、同步 call、异步 cast 原⽣生为分布式⽽而设计 真正的抢占式设计、多核⼼心充分利⽤用 -
⾼高可靠消息系统 RabbitMQ [email protected] 谁在用 Erlang: ⽤用户:
Ericsson GRPS/3G Facebook Chat Amazon SimpleDB Yahoo bookmark T-Mobile SMS 淘宝 MySQL 集群 开源产品: RabbitMQ、Riak、Ejabberd、CouchDB、Tsung 等等 -
⾼高可靠消息系统 RabbitMQ [email protected] 性能怎么样? 声称单台单 Queue 性能:
10K messages per second – ⾮非持久化 3-5K messages per second – 持久化 -
⾼高可靠消息系统 RabbitMQ [email protected] 性能怎么样? 亲测数据: 服务器: R420,
32 核超线程, 128G 内存 ⺴⽹网络:千兆⺴⽹网络 进程数: 30/q 模式:持久化 消息⼤大⼩小:1K 1 台服务器: 1 Queue: 4-5K tps 3 Queue: 6-8K tps 5 Queue: 9-10K tps 2 台服务器: 5 Queue: 15-16K tps 消息⼤大⼩小 256K 1 台服务器: 1 Queue: ~300 tps 磁盘写⼊入速度 ~90MB/s ⺴⽹网卡占⽤用 ~100 - 120MB/s -
⾼高可靠消息系统 RabbitMQ [email protected] 消息系统的瓶颈 • ⺴⽹网络:千兆⺴⽹网络 ~120MB/s
的极限 • 持久化:实时刷盘还是异步刷盘 • CPU: 多核利⽤用情况 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 功能 之核⼼心部件 ⽣生产者
- Producer (可选 Confirm 模式、Transaction 模式、⽆无确认模式) 消费者 - Consumer (可设置 QOS,可选消息消费成功 ack 确认模式、⾃自动 ack 确认模式) 通道 - Channel (可以开启在集群任意节点) 交换机 – Exchange (存在于集群任意节点,分为 direct、fanout、topic、 ⼀一致性 HASH等类型,分为持久化和⾮非持久化2种模式) 队列 – Queue (默认存在于某个集群节点上,分为持久化和⾮非持久化2种模式) 消息 – Message (分为持久化和⾮非持久化2种模式,持久化会强制写⼊入硬盘) -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 功能 之核⼼心部件 ⾮非持久化表⽰示信息保存在内存、重启节点本节点信息消失,
持久化信息会存储在硬盘,⾮非持久化会根据情况使⽤用硬盘。 需要区分节点 RAM/DISC 类型和这⾥里的持久化和⾮非持久化, 节点 RAM/DISC 只表⽰示元数据的存储⽅方式, 影响的只是 Queue、Exchange 创建销毁的效率, ⽐比如 RPC 模式最好使⽤用 RAM 节点。 RabbitMQ 是 AMQP 规范的实现 AMQP 被很多⾦金融、通信、云计算架构所采⽤用 -
⾼高可靠消息系统 RabbitMQ [email protected] AMQP 协议 发送消息流程 <
AMQP > 10,10: Connection.start < 10,11: Connection.start_ok > 10,30: Connection.tune < 10,31: Connection.tune_ok < 10,40: Connection.open > 10,41: Connection.open_ok < 20,10: Channel.open > 20,11: Channel.open_ok < 85,10: Confirm.select > 85,11: Confirm.select_ok < 60,40: Basic.publish < Message > 60,80: Basic.ack < 20,40: Channel.close > 20,41: Channel.close_ok < 10,50: Connection.close > 10,51: Connection.close_ok 接收消息流程 < AMQP > 10,10: Connection.start < 10,11: Connection.start_ok > 10,30: Connection.tune < 10,31: Connection.tune_ok < 10,40: Connection.open > 10,41: Connection.open_ok < 20,10: Channel.open > 20,11: Channel.open_ok < 60,10: Basic.qos > 60,11: Basic.qos_ok < 60,20: Basic.consume > 60,21: Basic.consume_ok > 60,60: Basic.deliver > Message < 60,80: Basic.ack ... -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 功能 之⽀支持的模式 Work
Queue: 同⼀一消息进⼊入单队列不重复分发给多个消费者 Publish/Subscribe: 同⼀一消息进⼊入多队列,每个队列独⽴立消费 Routing:根据规则路由到不同的队列: ⼀一个 Exchange 绑定多个 Queue,根据 routing key 分发到 不同的队列 Topic:根据规则路由到不同的队列: ⼀一个 Exhange 绑定多个 Queue,根据 topic 的通配符匹配 到不同的队列 RPC: 客户端记录并在消息中附加唯⼀一 ID 匹配返回结果,并建⽴立临时的 消息返回队列,⽤用完既销毁 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 功能 之其他 •
⾃自监控和报警:设置内存使⽤用上限、磁盘可⽤用下限 • vhost隔离:隔离不同应⽤用 • HTTP接⼝口:HTTP 监控和管理 API • Web 管理界⾯面:实时状态监控和配置管理 • ⽀支持各种协议 • 插件可扩展 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 特性 之流控 每个内部⼩小系统都做了基于信⽤用证的流控机制
超出负载会⾃自动启动流控、确保⼦子系统不会过载崩溃 其他流控机制:内存、磁盘空间 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 特性 之可插拔插件设计,⽀支持插件扩展 可以⾃自⼰己设计
Exhange 甚⾄至可以更换存储索引引擎:msg_store_index_module 甚⾄至可以更换存储引擎:backing_queue_module -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 特性 ⾼高可⽤用特性:⽀支持消息复制和镜像 •
默认情况下,持久化的 Queue 只存在⼀一个节点上 • 镜像队列,可以指定⼀一个 Queue 复制⼏几份,复制到哪个节点上 • 1 Master N Slave,Master 失效,瞬间会选举某个 Slave 为 Master • 重新加⼊入的镜像节点默认不会复制原队列的旧消息,但会跟随增加新消息, 但是可以⼿手动同步 • 多节点消息复制:组播 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 特性 ⾼高可⽤用特性:⽀支持消息复制和镜像 •
默认情况下,持久化的 Queue 只存在⼀一个节点上 • 镜像队列,可以指定⼀一个 Queue 复制⼏几份,复制到哪个节点上 • 1 Master N Slave,Master 失效,瞬间会选举某个 Slave 为 Master • 重新加⼊入的镜像节点默认不会复制原队列的旧消息,但会跟随增加新消息, 但是可以⼿手动同步 • 多节点消息复制:组播 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 特性 可靠送达特性 消息系统都存在的⼀一个问题:如何保证消息送达?
> 最多⼀一次 > ⾄至少⼀一次 > 恰巧⼀一次 很多系统都声称做到了“恰巧⼀一次”,因为他们都没考虑异常情况(⽣生产者和 消费者失败、磁盘存储的内容会丢失)。 MetaQ、Kafka 本⾝身不保证,需要通过 ID 过滤或者接收逻辑的幂等性。 RabbitMQ 通过接收确认确保消息送达,Send -> Receive Ack -> Next. 考虑没有收到 Ack 的情况,消息可能抵达,也可能没抵达,所以采取再发⼀一 次确保消息发送,接收逻辑中保证消息的幂等性。即:同⼀一消息,接收⼀一次 和多次的效果应该是⼀一致的。 -
⾼高可靠消息系统 RabbitMQ [email protected] RabbitMQ 扩展性和负载均衡 • ⼀一个逻辑队列,多个物理队列,每个物理队列存在
2 个以上节点 • 发送端负载均衡,⽐比如随机发送到任意节点 • 接收端订阅多个物理队列 • 连接节点失败,切换其他节点 硬件: • CPU ⾼高配 • 磁盘写⼊入速度尽量快 • 内存⼤大⼩小和磁盘⼤大⼩小决定了消息的堆积能⼒力 -
⾼高可靠消息系统 RabbitMQ [email protected] 消息系统的未来 1. 消息系统接⼊入平台:⽂文档、客户端、⾃自助管理和状态查看 2.
对于 PHP 进程:分布式 daemon 进程管理和监控 3. 系统异常报警机制 4. 容量规划和⾃自动配置(Queue 组合、分布) 5. 优化客户端负载均衡和节点切换 6. 尝试改善存储引擎,提⾼高持久化吞吐能⼒力 7. 完善维护流程和迁移⼯工具 -
⾼高可靠消息系统 RabbitMQ [email protected] 常⻅见消息系统的优化设计 基于内存还是持久化? 瓶颈在 CPU
还是在磁盘 实时顺序刷盘、读写 pagecache:MetaQ、Kafka 批量发送,组合⼀一组为⼀一个消息 IO 优化:Zero-copy、sendfile 异步刷盘:Redis、beanstalkd -
⾼高可靠消息系统 RabbitMQ [email protected] 开源项⺫⽬目的选择 • 好与坏在于使⽤用⽅方式是否正确 •
简单的性能对⽐比基本没有意义 • 需要综合考虑使⽤用场景,部署环境 • 没有完美解决⽅方案,但是任何⽅方案都还存在改进余地 -
⾼高可靠消息系统 RabbitMQ [email protected] ⼀一些参考 • http://www.amqp.org/about/examples •
http://nova.openstack.org/devref/rabbit.html • http://www.rabbitmq.com/resources/google-tech-talk- final/google.html • http://www.rabbitmq.com/blog/2011/01/20/rabbitmq- backing-stores-databases-and-disks/