背景信息
消费组为一类消费者Consumer的集合名称,这类Consumer通常消费一类消息,且消费逻辑一致,Consumer Group 和 Topic 的关系是 N:N,同一个 Consumer Group 可以订阅多个 Topic,同一个 Topic 也可以被多个 Consumer Group 订阅。本节介绍如何在控制台创建消费组。
消费组的特点包括:
- 分布式消费:一个主题的消息可以被多个消费组消费,每个消费组内部的消费者可以并行地处理消息。这种分布式消费模型允许多个消费者同时处理消息,提高了消息处理的吞吐量和效率。
- 负载均衡:在一个消费组内部,每个消费者负责消费主题的一个或多个分区。Kafka会自动进行分区分配,确保每个消费者消费的分区数量大致相等,实现了负载均衡。
- 消费者协调器:每个消费组都有一个消费者协调器(Consumer Coordinator),负责管理消费者的注册、分区分配和偏移量的提交。消费者协调器与Kafka集群进行交互,协调消费者的行为。
- 偏移量管理:消费组中的每个消费者都会保存自己消费的分区的偏移量(Offset)。偏移量表示消费者在分区中已经消费的消息位置。Kafka会自动管理偏移量的提交和维护,确保消费者可以从上次消费的位置继续消费。
通过使用消费组,Kafka实现了高效的消息消费和负载均衡。消费组允许多个消费者并行地处理消息,提高了消息处理的吞吐量和并发性能。同时,消费组内部的负载均衡机制确保每个消费者消费的分区数量均衡,避免了资源的浪费和负载不均的情况。
前提条件
已购买并部署云消息队列 Kafka 版服务
操作步骤
-
点击消费组管理进入管理页面,并点击“新建消费组”
-
点击“新建消费组”后,在弹窗输入消费组名称,点击创建。
-
创建后的消费组出现在消费组列表,点击“主题订阅”来订阅step2的主题,并且可通过“消费拨测”来测试是否正常消费。