场景描述
Kafka的新建主题操作适用于以下场景:
- 系统扩展:当系统需要扩展以处理更多的数据时,可以通过新建主题来增加数据存储和处理的容量。管理员可以根据系统需求创建新的主题,并配置适当的分区和副本数量。
- 数据分流:在某些情况下,需要将特定类型或特定来源的数据分流到不同的主题中进行处理。通过新建主题,可以为这些特定的数据流创建专门的主题,并将相应的数据写入这些主题中。
- 数据分析和实时处理:新建主题可以用于数据分析和实时处理场景。根据不同的分析需求,可以为特定的分析任务创建新的主题,将相关的数据写入这些主题中供分析和处理。
- 业务需求变更:当业务需求发生变化时,可能需要创建新的主题来适应新的数据处理流程或数据存储需求。通过新建主题,可以根据新的业务需求重新组织和管理数据。
- 数据隔离和权限控制:有时候需要对不同的数据进行隔离和权限控制,以确保数据的安全性和私密性。通过新建主题,可以为不同的数据创建独立的主题,并设置相应的权限和访问控制规则。
总之,Kafka的新建主题操作适用于各种需要扩展、分流、分析和处理数据的场景,以及应对业务需求变更和数据隔离的需求。
操作步骤
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“主题管理”后、点击“新建Topic”。
(5)点击“新建Topic”后,出现如下创建,输入Topic名称、分区数、选择是否私有主题,详见下表:Topic参数说明。
表:Topic参数说明
参数 | 说明 |
---|---|
Topic名称 | Topic名称只能包含az,AZ,0-9,-,长度为4~64的字符串。创建Topic后不能修改名称。 |
分区数 | 您可以设置Topic的分区数,分区数越大消费的并发度越大。该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。取值范围:1-20默认值:3 |
副本数 | 每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker节点故障时数据依然是可用的,副本数越大可靠性越高。默认值:3 |
是否私有主题 | 普通主题可以直接对其生产消费消息,私密主题需要使用证书生产消费主题。注:云原生引擎Kafka实例创建主题无是否是私密主题概念,使用时都需要对用户授予主题权限。 |
批量创建Topic
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“主题管理”后、点击“批量创建”。
(5)点击“批量创建”后,出现如下上传文件界面,文件格式件批量下载说明。
(6)点击“上传”完成批量创建。
下载批量创建模板
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“主题管理”后、点击“下载批量创建模板”。
(5)下载批量创建模板内容如下图。
(6)参数说明。
参数 | 说明 |
---|---|
topic | topic名称。 |
partition number | 分区数量 |
factor number | 副本数量 |
isPrivate(private:1 public:2) | 是否私有主题,1:私有,2:公有 |
description | 描述 |