日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。
日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志。
注意事项
- 日志结构化是以日志流为单位,请先创建一个日志流。
- 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。
- 结构化配置修改后,对新写入的日志数据生效,历史日志数据不会生效。
创建结构化配置
通过对日志流添加提取规则将日志流中的原始日志按一定的规律进行提取,并将提取后的日志整合到一起。
下面详细介绍原始日志结构化的操作步骤:
-
登录LTS控制台,在左侧导航栏中选择“日志管理”。
-
结构化日志以日志流为单位,请在“日志管理”页面选择目标日志组和日志流。
-
在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,进入日志结构化配置页面,选择对应的日志提取方法进行配置。
结构化后的日志数据可理解为数据库中的二维表,接下来就可以使用SQL语句对提取的字段进行查询与分析。
说明如果结构化后的字段长度超过20k字节时,仅会保留前20k字节长度。
结构化不支持的系统字段包括:groupName、logStream、lineNum、content、logContent、logContentSize、collectTime、category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。
-
开启自定义日志时间。
-
完成后,单击“保存”。
修改结构化配置
结构化配置创建完成后,如果您需要修改结构化配置时,操作步骤如下:
-
在结构化配置页面中,单击,可修改结构化配置。
说明修改结构化配置支持修改结构化方式、日志提取字段和tag字段等。
系统模板不支持修改。
-
完成后,单击“保存”。
删除结构化配置
如果日志结构化配置不再使用,可以删除结构化配置,操作步骤如下:
-
在结构化配置页面中,单击,可删除结构化配置。
-
在弹出对话框中,单击“确定”。
说明删除结构化配置后,无法恢复,请谨慎操作。