物理模型是指按照一定规则和方法,将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。
在关系建模中,您可以新建SDI层和DWI层两个模型,模型最终是通过物理建模进行落地的。除了将逻辑模型转换外为物理模型外,您也可以参考本章节直接新建一个物理模型。
本章节主要介绍以下内容:
- 物理模型设计时的考虑事项
- 新建物理模型
- 新建表并发布
物理模型设计时的考虑事项
- 物理模型要确保业务需求及业务规则所要求的功能得到满足,性能得到保障。
- 物理模型要确保数据的一致性及数据的质量。
- 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。
新建物理模型
1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
2.在数据架构控制台,单击左侧导航树中的“关系建模”。
3.在“关系建模”页面,如果当前未创建过关系模型,系统会弹出“新建分层治理模型”提示框。如果不是首次创建,单击加号按钮新建模型。
4.在弹出窗口中配置如下参数,然后单击“确定”。
下表为参数描述
参数名称 | 说明 |
---|---|
模型名称 | 只能包含中文、英文字母、数字和下划线。 |
数据连接类型 | 下拉选择数据连接类型。 |
数仓分层 | 下拉选择SDI或DWI分层。 SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 |
描述 | 描述信息。支持的长度0~600字符。 |
新建表并发布
当您完成DLI/POSTGRESQL/DWS/MRS_HIVE类型的关系模型的创建之后,您就可以在关系模型中新建业务表。
1.在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。
2.选择所需要建表的物理模型,单击进入,然后单击上方“新建”按钮新建一个表。
3.在“新建表”页面,根据页面提示完成建表的配置。
1)填写基本配置参数。
下表为基本配置
参数名称 | 说明 |
---|---|
所属主题 | 单击“选择主题”选择所属的主题信息。 |
表名称 | 表的名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文或英文字母开头。 |
表英文名称 | 表的英文名称。只能包含英文字母、数字、下划线、$、{、},且不能以数字开头。 |
数据连接类型 | - |
数据连接 | 选择所需要的数据连接。同一个关系模型一般建议使用统一的数据连接。 如果您还未创建与数据源之间的数据连接,请前往DataArts Studio管理中心进行创建。 |
数据库 | 选择数据库。 |
队列 | DLI队列。该参数仅DLI模型的表有效。 |
Schema | DWS和POSTGRESQL的模式。该参数仅DWS和POSTGRESQL模型的表有效。 |
表类型 | DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW:视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型仅支持HIVE_TABLE。 |
数据格式 | 该参数仅DLI模型的表有效。DLI模型的表支持以下数据格式: Parquet:DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV:DLI支持读取不压缩、gzip压缩的csv数据。 ORC:DLI支持读取不压缩、snappy压缩的orc数据。 JSON:DLI支持读取不压缩、gzip压缩的json数据。 Carbon:DLI支持读取不压缩的carbon数据。 Avro:DLI支持读取不压缩的avro数据。 |
高级配置 | 设置自定义项,以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。 |
标签 | 标签是用户自定义的标识,它可以帮助用户对数据资产进行分类和搜索。添加标签后,您就可以在DataArts Studio数据目录模块中通过标签搜索相关的数据资产。 单击按钮可以为表添加标签,在弹出框中可以选择一个或多个已有的标签,或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签,然后再返回此页面,就可以在标签的下拉列表中选择新添加的标签。 |
资产责任人 | 在下拉列表中选择用户,可以手动输入名字或直接选择已有的责任人。 |
描述 | 描述信息。支持的长度1~600字符。 |
2)在“表字段”页面添加所需要的字段。
下表为表字段参数
参数名称 | 说明 |
---|---|
名称 | 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文或英文字母开头。 |
英文名称 | 只能包含英文字母、数字、下划线,且以英文字母开头。 |
数据类型 | 设置字段的数据类型。如果在下拉列表中未找到所需要的数据类型,您可以参考管理配置中心章节中的“字段类型管理”添加数据类型。 |
数据标准 | 如果您已创建数据标准,单击按钮可以选择一个数据标准与字段相关联。在“配置中心>功能配置”页面中的“模型设计业务流程步骤>创建质量作业”勾选的情况下,将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未创建数据标准。 |
主键 | 选中时为主键。 |
分区 | 选中时为分区字段。 |
不为空 | 是否限制该字段不为空。 |
标签 | 单击按钮可以为表字段添加标签。 在弹出框中可以选择一个或多个已有的标签。如果尚未添加标签,您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签。 在弹出框中,您也可以输入一个新的标签名称然后按回车键。标签名称只能包含中文、英文字母、数字和下划线,且不能以下划线开头。 |
描述 | 描述信息。 |
3)(可选)在“关系”页面,单击“新建”新建关系。
关系用于两个父、子表(有时也称为主、从表)之间的主外键关联关系,即描述表与表是以何种形态关联在一起,或者描述一个表本身的行为会对另外一个表产生何种影响。数据模型内表之间的关系尤为重要,必须要对其准确定义。否则,无法在数据模型中准确描述实际的业务规则,而且很大程度上破坏数据的一致性。
例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则其关系为:
−子表:成绩表
−子表字段FK:学号
−子对父:
−父表:学生表
−父表字段PK:学号
−父对子:
下表为新建关系参数说明
参数名称 | 说明 |
---|---|
名称 | 通过名称来描述该关系。 |
子表 | 单击该字段可在下拉列表中选择表。单击 可设置当前表为子表。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则子表应为“成绩表”,对应父表应为“学生表”。 |
子表字段FK | 选择子表的字段,FK表示外键Foreign Key。该子表的字段应为父表的外键。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则此子表字段FK应为“成绩表”的“学号”。 |
子对父 | :表示每条子表数据在父表中有且只有一条数据与之对应。 :表示每条子表数据在父表中最多有一条数据与之对应。 :表示每条子表数据在父表中可能有多条数据与之对应。 :表示每条子表数据在父表中至少有一条数据与之对应。 |
父对子 | :表示每条父表数据在子表中有且只有一条数据与之对应。 :表示每条父表数据在子表中最多有一条数据与之对应。 :表示每条父表数据在子表中可能有多条数据与之对应。 :表示每条父表数据在子表中至少有一条数据与之对应。 |
父表 | 选择与所选子表对应的父表。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则父表应为“学生表”,对应子表应为“成绩表”。 |
父表字段PK | 选择父表的字段,PK表示主键Primary Key。该父表的字段应为父表的主键。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则此父表字段PK应为“学生表”的“学号”。 |
角色名称 | 可以自定义一个角色名称,用于标识该关系。 |
操作 | 单击可删除一条关系。单击可编辑关系。 |
4)(可选)在“映射”页面,单击“新建”可以新建一个映射,通过新建映射设计当前表的数据来源。
−如果表中的字段数据来源于不同的关系模型,您需要创建多个映射。
当前支持表数据来源于不同连接类型的关系模型。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。
例如,假设当前表的前面5个字段和后5个字段数据来源于2个不同的模型,您可以新建如下两个映射:
- map1 :设置“来源”为关系模型A的表table01,在“字段映射”中依次设置第1~5个字段的源字段为table01中含义相同的相应字段,后5个字段不用设置。
- map2 :设置“来源”为关系模型B的表table02,在“字段映射”中依次设置第6~10个字段的源字段为table02中含义相同的相应字段,前5个字段不用设置。
−如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。
在该映射的“源表”中,您可以将多个表设置Join,然后在“字段映射”区域依次为表中的字段设置源字段,所选择的源字段应与表中的字段代表相同含义,一一对应。
例如,假设当前表的字段都来源于关系模型d1,第1个字段来源于表vendor,第2个字段来源于表payment_type,第3个字段来源于表rate,其余字段来源于dwd_taxi_trip_data。
您可以新建一个映射,如图所示,设置表dwd_taxi_trip_data和vendor、payment_type、rate做Join,然后在字段映射中,依次设置源字段。
新建映射的参数说明,可以参考下表。
参数名称 | 说明 |
---|---|
映射名称 | 只能包含中文、英文字母、数字和下划线。 |
来源模型 | 在下拉列表中选择一个已创建的关系模型。如果未创建关系模型,请参见物理模型设计进行创建。 |
源表 | 选择数据来源的表,如果数据来源于一个模型中的多个表,可以单击表名后的按钮为该表和其他表之间设置JOIN。 1. 选择一种“JOIN方式”,“JOIN方式”从左到右依次表示left JOIN、right JOIN、inner JOIN、outer JOIN。 2. 在“JOIN字段”中设置JOIN条件,JOIN条件一般选择源表和JOIN表中含义相同的字段,单击或按钮增加或删除JOIN条件。JOIN条件之间是and的关系。 3. 单击“确定”完成设置。 4. 设置JOIN后,如果想删除JOIN表,单击所需删除的表名后的按钮就可以删除该JOIN表。 |
字段映射 | 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 |
在映射区域的右上角,单击删除按钮,可以删除指定的映射,单击收起可以收起映射区域。
5)(可选)新建表的“表类型”为“DWS_VIEW”时,在“视图定义”页面,单击“新建”可以新建一个视图。
下表为视图定义参数
参数名称 | 说明 |
---|---|
映射名称 | 只能包含中文、英文字母、数字和下划线。 |
源表 | 选择数据来源的表,如果数据来源于一个模型中的多个表,可以单击表名后的按钮为该表和其他表之间设置JOIN。 1. 选择一种“JOIN方式”,“JOIN方式”从左到右依次表示left JOIN、right JOIN、inner JOIN、outer JOIN。 2. 在“JOIN字段”中设置JOIN条件,JOIN条件一般选择源表和JOIN表中含义相同的字段,单击或按钮增加或删除JOIN条件。JOIN条件之间是and的关系。 3. 单击“确定”完成设置。 4. 设置JOIN后,如果想删除JOIN表,单击所需删除的表名后的按钮就可以删除该JOIN表。 |
字段映射 | 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 |
在映射区域的右上角,单击删除按钮,可以删除指定的映射,单击收起可以收起映射区域。
4.完成表的配置后,单击“发布”,选择审核人,再单击“确认提交”提交审核。
5.等待审核人员审核。当审核人审批通过后,返回“关系建模”页面可以查看表的“状态”和“同步状态”。
发布是一个异步操作,您可以单击刷新按钮刷新状态。表发布并通过审核后,系统会依据“配置中心 > 功能配置”页面中的“模型设计业务流程步骤”进行创建表、同步技术资产、同步业务资产等操作,在表的“同步状态”一列中将显示同步状态。
- “同步状态”若均显示成功,则说明表发布成功。鼠标移至“同步状态”中的图标之上,若显示“创建表: 创建成功”说明该表在对应的数据源下已经创建成功。
- “同步状态”若显示某一项或某几项失败,可以先刷新状态。如果仍失败,可以单击“更多 > 发布历史”,然后进入“发布日志”页签查看日志。
请根据错误日志定位失败原因,问题解决后,再单击“发布日志”页面中的“重新同步”再次下发同步命令。如果仍同步失败,请联系技术支持人员协助解决。