本文主要介绍如何将天翼云对象存储的数据导入到云日志服务,实现数据的查询分析、加工等操作。
注意
当前功能为白名单试用阶段,仅在华北2资源池开放。
创建数据导入任务
登录云日志服务控制台。
左侧菜单栏点击“日志接入”,进入接入管理页面
在“数据导入”模块中,点击“对象存储ZOS-数据导入”
选择目标日志项目和日志单元,单击下一步。
设置接入配置,配置如下参数,确认无误后,单击下一步。
参数 说明 接入配置名称 导入任务的唯一标识 ZOS存储桶 待导入的文件所在的存储桶 文件路径前缀过滤 可通过文件路径前缀过滤对象存储文件,用于准确定位待导入的文件。比如待导入的文件都在nginx/目录下,则可以指定前缀为nginx/。
如果不设置该参数,则遍历整个对象存储的存储桶。
文件路径正则过滤 通过文件路径的正则表达式过滤对象存储文件,用于准确定位待导入的文件。当对象存储的文件名(包含文件路径)匹配该正则表达式的文件才会导入到日志服务中。默认为空,表示不过滤。 文件修改时间过滤
通过文件修改时间过滤对象存储文件,用于准确定位待导入的文件。
所有:表示将导入所有符合条件的文件
某时间开始:只导入某个时间点后修改过的文件
特定时间范围:只导入某个时间范围内修改过的文件
压缩格式 待导入的对象存储文件的压缩格式,云日志服务根据对应格式进行解压,并读取数据。 检查新文件周期 若目标对象存储中的文件路径中有新文件持续不断产生,可以设置检查新文件周期。设置后,导入任务会一直在后台运行,自动周期性地发现并读取新文件。
若目标对象存储文件路径中不再产生新文件,可设置为永不检查,即导入任务读取完所有符合条件的文件后,将自动退出。
文件编码 选择待导入的对象存储文件的编码格式,仅支持UTF-8和GBK。
数据格式 设置日志文件的解析格式:
单行文本:将对象存储文件中的每一行解析为一条日志。
跨行文本:多行模式,需要设置行首正则表达式解析日志。
单行JSON:将逐行读取对象存储文件,并将每一行作为一个JSON对象进行解析。解析后,JSON中的各个字段将映射为日志的各个字段。
创建索引。默认开启全文索引,您也可以根据需要手动创建字段索引用于字段查询。
点击完成,即可完成导入任务创建。等待1分钟左右,在查询日志界面能查询到日志,则说明导入成功。
管理导入任务
在日志接入管理页面,您可以进行如下操作:
修改配置:点击编辑,可修改导入任务的相关配置,具体请参见创建数据导入任务。
删除配置:点击删除,删除该导入任务。删除后不可恢复,请谨慎操作。