功能概述
当用户的数仓中存在大量的物理表,没有进行统一的分层划域管理,希望通过DataWings的数据建模进行统一管理,则可通过“逆向建模”功能,将已有物理表反向建模至DataWings的维度建模中。该功能帮助用户无需再次执行建模操作即可快速创建模型,节省了大量的时间成本。
前提条件
- 用户的数仓中存在大量的物理表,需进行统一的分层划域管理;
- 集群:集群同步/注册成功,且含有Hive组件;
- 引擎管理:将集群与调度资源组进行关联,且引擎实例状态为成功;
- 数据源管理:Hive内置数据源,成功自动生成;
- 数据库:Hive内置数据源下,已创建数据库;
- 规划模板:已规划好各数仓要素,且配置好维度层模型与数仓要素的关系;
- 选择模板:在首次进入数据建模时,租户管理员选定某个规划模板;
- 业务分类:已配置好数仓要素要挂载的业务分类;
- 数仓分层:已创建对应的数仓分层;
- 数仓要素:配置维度建模需要挂载的数仓要素;
- 元数据:数据源、数据库和表模型等元数据采集成功;
- 表名规范(非必须):已定义表名规范。
使用限制
仅支持对DataWings内置Hive数据源的表进行逆向建模。
操作步骤
逆向建模使用流程如下:
- 逆向策略。
配置说明:
- 选择所属数据源、数据库,通过【表名匹配规则】匹配的结果。
模糊匹配:输入关键词,即可匹配到名称中包含该关键词的所有表。
精准匹配:输入的表名称为表的精准全称。多个表名称之间使用英文分号(;)分隔,并且英文分号(;)后不能添加空格。
若未匹配到任何满足条件的表,则此次逆向建模失败,即不会生成任何模型。
- 预设逆向建模后的模型所属的数仓分层、所属的数仓要素、所属的表名规范。因物理表已存在,逆向建模不可修改表英文名,在此处的表名规范下拉框仅展示启用的弱规则。
- 确定逆向建模后的执行方式:本期仅支持增量更新(也即是匹配到的模型,如果之前已经存在于维度建模的生产环境,则跳过)。
- 确定模型。
配置说明:
- 表英文名:是存量物理表名,不可修改。
- 表名规范:可按需选择。因物理表已存在,逆向建模不可修改表英文名,在此处的表名规范下拉框仅展示启用的弱规则。
- 表别名(表显示名):可点击进行查看填写规范。
- 表中文名:必填,默认获取建表语句的表comment;可修改,点击查看填写规范。
- 数仓分层、挂载类型、挂载类型名按照“步骤1”批量预设展示,可以在“步骤2”进行二次调整。
- 表类型:必选,根据所选的数仓分层不同,有不同的选项,按需选择。
- 负责人:默认为本次逆向建模的创建者。
- 发布申请。
生成导入单。
后续步骤
- 在维度建模 > 逆向建模的“逆向建模列表”筛选和查看导入情况。
- 导入失败的表,点击蓝色导入单号,可查看导入失败原因。