场景描述
Kafka的新建主题操作适用于以下场景:
- 系统扩展:当系统需要扩展以处理更多的数据时,可以通过新建主题来增加数据存储和处理的容量。管理员可以根据系统需求创建新的主题,并配置适当的分区和副本数量。
- 数据分流:在某些情况下,需要将特定类型或特定来源的数据分流到不同的主题中进行处理。通过新建主题,可以为这些特定的数据流创建专门的主题,并将相应的数据写入这些主题中。
- 数据分析和实时处理:新建主题可以用于数据分析和实时处理场景。根据不同的分析需求,可以为特定的分析任务创建新的主题,将相关的数据写入这些主题中供分析和处理。
- 业务需求变更:当业务需求发生变化时,可能需要创建新的主题来适应新的数据处理流程或数据存储需求。通过新建主题,可以根据新的业务需求重新组织和管理数据。
- 数据隔离和权限控制:有时候需要对不同的数据进行隔离和权限控制,以确保数据的安全性和私密性。通过新建主题,可以为不同的数据创建独立的主题,并设置相应的权限和访问控制规则。
总之,Kafka的新建主题操作适用于各种需要扩展、分流、分析和处理数据的场景,以及应对业务需求变更和数据隔离的需求。
操作步骤
创建Topic
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“Topic管理”后、点击“创建Topic”。
(5)点击“创建Topic”后,输入Topic名称、分区数等参数。
表:Topic参数说明
参数 | 参数说明 |
---|---|
Topic名称 | Topic名称只能包含az,AZ,0-9,-,长度为4~64的字符串。创建Topic后不能修改名称。 |
分区数 | 您可以设置Topic的分区数,分区数越大消费的并发度越大。该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。取值范围:1-100,默认值:6 |
副本数 | 每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker节点故障时数据依然是可用的,副本数越大可靠性越高。默认值:3 |
分区容量 | 每个分区的数据量的最大值,超过这个值后前面生产的消息将会被删除,保证了数据不会无限上涨挤爆磁盘。 |
是否同步刷盘 | 同步刷盘即确保消息被写入磁盘才会被认定为生产成功,该参数可提高可靠性,但是会影响性能。 |
消息保留时长 | 当消息生存时间超过该时长后,将会被清理,可用于控制存储成本。 |
最小同步副本数 | 该参数使得消息必须写入设定值个数的副本后,才能被认定生产成功,该参数可提高可靠性,但是过大会影响性能,且必须不大于副本数。 |
批处理消息最大值 | 每个批次中最大允许的消息大小,这影响了每次请求中能包含的消息总量和大小。 |
消息时间戳类型 | CreateTime: 这是消息被生产者发送到Kafka时的时间戳,它表示消息创建的实际时间;LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳,它表示消息写入 Kafka 的实际时间。 |
描述 | topic的描述字段,可用作标记和说明。 |
批量创建Topic
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页在操作列,目标实例行点击“管理”。
(4)点击“Topic管理”后、点击“导入Topic”。
(5)点击“导入Topic”后,出现如下界面,点击“下载模板”按钮,获取模板,修改后上传进行导入。
(6)点击“上传文件”完成批量创建。
模板如下。
表:参数说明。
参数 | 说明 |
---|---|
topic | topic名称。 |
partition number | 分区数量 |
factor number | 副本数量 |
description | 描述 |