本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。
源Kafka实例中的数据会实时同步到转储文件中。
约束与限制
- 一个实例最多创建18个Smart Connect任务。
- Smart Connect任务创建成功后,不支持修改任务参数。
前提条件
- 已开启Smart Connect。
- 已创建Kafka实例,且实例状态为“运行中”。
- 已创建的OBS桶和Kafka实例需要在同一个区域。
配置Kafka数据转储至OBS
1、登录管理控制台。
2、在管理控制台左上角单击,选择Kafka实例所在的区域。
3、在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。
4、单击Kafka实例名称,进入实例详情页面。
5、在左侧导航栏单击“Smart Connect”,进入Smart Connect任务列表页面。
6、单击“创建Smart Connect任务”,进入“创建smart connect”页面。
7、在“connect任务名称”中,输入Smart Connect任务的名称,用于区分不同的Smart Connect任务。任务名称需要符合命名规则:长度为4~64个字符,只能由英文字母、数字、中划线、下划线组成。
8、在“预置类型”中,选择“转储”。
9、在“源端配置”中,保持默认设置。
10、在“Topic配置”中,设置以下参数。
表1-1 Topic配置参数说明
参数 | 参数说明 |
---|---|
正则表达式 | 表示以正则表达式的方式订阅Topic,并进行转储。 |
输入/选择 | 输入/选择待转储的Topic名称,支持选择多个Topic,以逗号“,”分隔。最多输入/选择20个Topic。 |
11、在“目标端配置”中,设置以下参数。
表1-2 目标端参数说明
参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量:
最早:最小偏移量,即读取最早的数据。
最新:最大偏移量,即获取最新的数据。
数据转储周期 两次转储的时间间隔,单位:秒,默认配置为300秒。
若某个时间段内无数据,则此时间段不会生成打包文件
AK 访问密钥ID。
SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。
选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。
输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
转储目录 OBS中存储Topic的目录,多级目录可以用“/”进行分隔。
时间目录格式 数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符,分隔不同的转储记录
存储Key 是否转储Key,开启表示转储Key,关闭表示不转储Key。
说明消息进行转储时,不支持以Key作为文件名。
12、单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。
----结束