一、描述:RocketMq分布式消息的热点队列消息调度处理,通过定时监控,针对热点队列消息进行负载均衡处理,减少热点队列处理压力,全面提高队列消息的处理性能,尤其是针对客户直接感知的计费、话单等计算。
二、解决问题:
1、解决rocketMq分布式消息队列大量积压的问题,做到快速负载均衡处理;
2、解决rocketMq分布式消息中单个队列处理性能不足的问题,自动触发分布式策略处理。
三、主要流程:
1、系统部署图
1.1 客户端(生产者):负责生产消息的客户端。
1.2 Rocket消息中间件(主):接收消息的组件,并把消息保存到对应的消息队列里。
1.3 Rocket消息中间件(备):作为消息中间件的备机。
1.4 队列:负责保存消息的队列。
1.5 消息调度服务:负责监控队列的积压量以及和zookeeper集群交互。
1.6 Zookeeper集群:保存着不同的策略和持久化队列信息以及对消息队列的监控。
2、流程图:
主要流程处理:
消息中间件接收到客户端生产者发过来的消息,保存到对应队列中,调度消息服务定时监控各个消息队列,判断是否达到配置的积压阈值,如果未达到,则返回继续定时监控,如果达到积压阈值,则根据配置的策略,判断如果存在多个非热点队列,则均匀分发到对应队列处理,如果不存在,则新增多个队列处理,处理完即可以回收队列。