本文主要介绍如何将天翼云分布式消息服务Kafka的数据导入到云日志服务,实现数据的查询分析、加工等操作。
注意
当前功能为试用阶段,仅在华北2资源池开放。
创建数据导入任务
登录云日志服务控制台。
左侧菜单栏点击“日志接入”,进入接入管理页面
在“数据导入”模块中,点击“分布式消息服务Kafka-数据导入”
选择目标日志项目和日志单元,单击下一步。
设置接入配置,配置如下参数,确认无误后,单击下一步。
参数 说明 接入配置名称 导入任务的唯一标识 Kafka 实例 选择kafka实例作为数据源 Topic 列表 选择Kafka主题,当前仅支持导入公有Topic
消费组 选择kafka中的消费组, 起始位置 选择开始导入数据的位置。
最早:从已有的第一条Kafka数据开始导入
最晚:从最近生成的Kafka数据开始导入
数据格式 待导入数据的格式。若您选择JSON字符串,导入任务会将原始数据解析为key-value对格式,只解析到第一层。 编码格式 选择导入数据的编码格式(即字符集),目前仅支持UTF-8和GBK。 创建索引。默认开启全文索引,您也可以根据需要手动创建字段索引用于字段查询。
点击完成,即可完成导入任务创建。等待1分钟左右,在查询日志界面能查询到日志,则说明导入成功。
管理导入任务
在日志接入管理页面,您可以进行如下操作:
修改配置:点击编辑,可修改导入任务的相关配置,具体请参见创建数据导入任务。
删除配置:点击删除,删除该导入任务。删除后不可恢复,请谨慎操作。