使用前提
- 您需购买全生命周期数据自治及以上版本才可以使用数据质量相关功能。
- 在进行数据质量规则配置前,请确保数据源已在数据源管理创建成功。
- 创建数据质量规则后,您需要前往数据开发-工作流中配置数据质量节点才可以周期调度执行数据质量规则。
使用场景
在离线数据质量稽核场景下,通过创建的表-分区表达式来匹配数据开发每天产出的表分区数据,通过在数据开发的工作流中嵌入数据质量节点,当上游任务执行结束后会自动触发数据质量稽核校验,您可以设置数据质量规则的强弱属性来控制节点的成功或失败,从而减少和避免脏数据进一步污染下游,您还可以通过对规则配置告警信息,第一时间接收质量告警并处理。
配置规则
- 创建规则:您可以在数据质量模块创建单表的质检规则,也可以通过模板列表批量创建质检规则。
- 配置告警策略:您可以在配置质检规则时配置告警信息,支持发送告警信息至邮件、站内信、短信、企微机器人、飞书机器人、钉钉机器人等渠道。
质检结果
您可以在运维管理中查看已执行的质检规则的稽核检验结果。
- 查看质检日志
质检任务开始运行后,支持实时查看质检规则运行的日志信息。
- 查看质检报告
质检任务运行结束后,您可以查看每个规则的质检结果报告,包括执行状态描述任务是否执行成功,质检状态描述结果是否符合您的预期。
- 查看告警记录
质检任务运行结束后,您可以查看每个规则的告警情况,以及告警异常信息。
数据开发-数据质量节点
数据质量模块内支持创建和管理数据质量规则,如果您需要周期性跟随数据开发任务执行数据质量任务,您需要在数据开发的工作流中创建数据质量节点。
操作步骤
- 打开数据处理-数据开发,进入数据开发页面。
- 创建或选择一个项目。
- 创建或选择一个工作流,并进入工作流画布页面。
- 拖拽一个数据质量节点。
双击节点,可配置数据质量节点信息。
功能 | 说明 |
---|---|
数据源名称 | 选择需要周期执行任务的数据源,当前仅支持内置数据源。 |
数据库 | 选择当前数据源下,已配置规则的数据库。 |
数据表 | 选择当前数据库下,已配置规则的数据表。 |
分区表达式 | 选择当前数据表已创建的分区表达式。 |
规则数 | 当前分区表达式下已上线的规则数。 |