在DataArts Studio平台,自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的,当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。
另外,DataArts Studio平台还支持手动配置血缘方式,当用户手动配置血缘时,自动分析血缘将不生效。详情请参见下方 手动配置血缘。
自动分析血缘
自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的,当作业中包含如下节点时,系统支持自动解析血缘。
SQL类型节点
DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析,可以支持多SQL解析及列级血缘解析,当语句中有临时表时,会自动在数据目录中创建相关的临时表实体。
- DLI SQL
支持解析DLI中表与表之间数据插入产生的血缘。
支持通过建表语句产生的OBS文件到DLI表之间的血缘。
- DWS SQL
支持Create table like/as等DDL操作产生的DWS表之间的血缘。
支持Insert into等DML操作产生的DWS表之间的血缘。
- MRS Hive SQL
支持Create table like/as等DDL操作产生的MRS表之间的血缘。
支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。
数据集成类型节点
目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。
- CDM Job
支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。
- ETL Job
支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。
- OBS Manager
支持OBS之间目录和文件复制迁移产生的血缘。
说明当前血缘解析能力,单条sql语句不支持sql中含有分号的场景。
手动配置血缘
在DataArtsStudio数据开发中,用户也可以自己定义节点的输入、输出血缘关系。当用户手动配置血缘时,自动分析血缘将不生效。手动配置血缘不会影响作业的运行。
目前手动配置血缘时输入、输出数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。
支持手动配置血缘的节点类型如下所示,关于手动配置血缘的更多内容,请参见相关节点的详细介绍。