数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。
另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。
数据质量监控主界面包括以下功能模块。
功能 | 说明 |
---|---|
总览 | 默认首页是总览页面,显示了数据表的报警和阻塞情况。 主要包括以下几部分内容: 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。 |
规则模板 | 质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。 |
质量作业 | 质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。 |
对账作业 | 对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 |
运维管理 | 运维管理用于查看规则运行状态,处理运维问题。 |
质量报告 | 系统根据作业的结果,会自动生成质量报告。 |