前提条件
- 您已在数据质量模块创建质检规则并上线。
- 您已绑定至少一个翼MapReduce引擎,质检任务以SparkSQL的方式执行。
使用限制
- 质检节点仅支持当前工作流已绑定的引擎实例的内置Hive数据源和内置Doris数据源。
创建数据质量节点
在工作流开发页面,您可以通过拖拽“数据质量”节点进入画布完成节点新增。
配置数据质量节点
双击数据质量节点即可打开节点配置弹窗,您可以快速选择数据源、库、表信息,并指定当前节点需要运行的分区表达式规则,完成配置后,您可以即时查看当前分区表达式下已配置的规则数及强规则数量。
强规则:强规则数据质检规则失败或者不符合预期时,将阻断下游任务执行,避免脏数据蔓延。