场景描述
Kafka新建消费组的场景如下:
- 多个应用程序需要独立消费同一个主题:如果有多个应用程序需要从同一个Kafka主题中独立消费消息,并且每个应用程序需要管理自己的消费进度和分区分配,那么可以为每个应用程序创建一个独立的消费组。
- 消费者需要实现消息的负载均衡:当有多个消费者需要消费同一个主题的消息时,可以将它们加入同一个消费组,Kafka会自动将主题的分区均匀地分配给消费组中的消费者,实现消息的负载均衡。
- 消费者需要实现消息的并行处理:如果需要将一个主题的消息并行地处理,可以创建多个消费者实例,并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者,每个消费者只消费自己被分配的分区,从而实现消息的并行处理。
- 消费者需要实现高可用性:为了提高消费者的可用性,可以创建一个消费组,并将多个消费者实例加入该组。当一个消费者实例发生故障时,Kafka会将该消费者的分区重新分配给其他健康的消费者,从而保证消息的连续消费。
操作步骤
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“消费组管理”后进入消费组管理页面。
(5)点击“新建消费组”后,输入消费组名称,点击创建。
说明消费组业务应用接入使用时客户端也可自动创建。
批量创建消费组
针对新建消费组数量较多情景,提供批量创建消费组功能。
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“消费组管理”后、点击“批量创建”。
(5)点击“批量创建”后,出现如下上传文件界面,文件格式件批量下载说明。
(6)点击“上传”完成批量创建。
下载批量创建模板
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“消费组管理”后、点击“下载批量创建模板”。
(5)下载批量创建模板 内容如下图。
(6)参数说明。
参数 | 说明 |
---|---|
consumer group name | 消费组名称。 |
isPrivate(private:1 public:2) | 否私有消费组,1:私有,2:公有 |
description | 描述 |