searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

rocketMq热点队列扩散处理方式

2023-08-02 08:56:28
9
0

一、描述:RocketMq分布式消息的热点队列消息调度处理,通过定时监控,针对热点队列消息进行负载均衡处理,减少热点队列处理压力,全面提高队列消息的处理性能,尤其是针对客户直接感知的计费、话单等计算。

二、解决问题:

1、解决rocketMq分布式消息队列大量积压的问题,做到快速负载均衡处理;

2、解决rocketMq分布式消息中单个队列处理性能不足的问题,自动触发分布式策略处理。

三、主要流程:

1、系统部署图

1.1 客户端(生产者):负责生产消息的客户端。

1.2 Rocket消息中间件(主):接收消息的组件,并把消息保存到对应的消息队列里。

1.3 Rocket消息中间件(备):作为消息中间件的备机。

1.4 队列:负责保存消息的队列。

1.5 消息调度服务:负责监控队列的积压量以及和zookeeper集群交互。

1.6 Zookeeper集群:保存着不同的策略和持久化队列信息以及对消息队列的监控。

 

2、流程图:

主要流程处理:

消息中间件接收到客户端生产者发过来的消息,保存到对应队列中,调度消息服务定时监控各个消息队列,判断是否达到配置的积压阈值,如果未达到,则返回继续定时监控,如果达到积压阈值,则根据配置的策略,判断如果存在多个非热点队列,则均匀分发到对应队列处理,如果不存在,则新增多个队列处理,处理完即可以回收队列。

0条评论
0 / 1000
康****彬
9文章数
0粉丝数
康****彬
9 文章 | 0 粉丝
原创

rocketMq热点队列扩散处理方式

2023-08-02 08:56:28
9
0

一、描述:RocketMq分布式消息的热点队列消息调度处理,通过定时监控,针对热点队列消息进行负载均衡处理,减少热点队列处理压力,全面提高队列消息的处理性能,尤其是针对客户直接感知的计费、话单等计算。

二、解决问题:

1、解决rocketMq分布式消息队列大量积压的问题,做到快速负载均衡处理;

2、解决rocketMq分布式消息中单个队列处理性能不足的问题,自动触发分布式策略处理。

三、主要流程:

1、系统部署图

1.1 客户端(生产者):负责生产消息的客户端。

1.2 Rocket消息中间件(主):接收消息的组件,并把消息保存到对应的消息队列里。

1.3 Rocket消息中间件(备):作为消息中间件的备机。

1.4 队列:负责保存消息的队列。

1.5 消息调度服务:负责监控队列的积压量以及和zookeeper集群交互。

1.6 Zookeeper集群:保存着不同的策略和持久化队列信息以及对消息队列的监控。

 

2、流程图:

主要流程处理:

消息中间件接收到客户端生产者发过来的消息,保存到对应队列中,调度消息服务定时监控各个消息队列,判断是否达到配置的积压阈值,如果未达到,则返回继续定时监控,如果达到积压阈值,则根据配置的策略,判断如果存在多个非热点队列,则均匀分发到对应队列处理,如果不存在,则新增多个队列处理,处理完即可以回收队列。

文章来自个人专栏
分布式消息中间件
1 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0