云日志服务提供可扩展、高可用的数据加工服务。数据加工服务可用于日志的规整、富化、流转、脱敏和过滤等。

加工流程

日志加工服务通过如下三个步骤完成加工处理。

1. 通过消费组对源日志单元的已分词日志进行读取。
2. 通过加工规则对读取到的每一条分词日志进行加工处理。
3. 将加工后的日志写入目标日志单元。加工完成后，您可以在目标日志单元中查看加工后的日志。

功能特性

• 数据规整：由于日志数据通常来自于不同的系统组件、应用程序或设备，其格式和结构可能各异，导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换，统计为一致性格式以便后续的处理与分析。
• 数据脱敏：对日志数据中的敏感信息（如密码、手机号、地址等）进行脱敏。
• 数据过滤：针对关键业务或服务的日志进行过滤，用于后续重点分析等场景。

加工语法

加工DSL是云日志服务数据加工使用的与Python兼容的脚本（Domain Specific Language），提供了200多个内置函数，包括流程控制函数、事件操作函数、字段操作函数等。