归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。
新建事实表并发布
- 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
- 在数据架构控制台,单击左侧导航树中的“维度建模”,选择“事实表”页签。
- 在左侧主题树中选中一个主题,然后单击“新建”按钮。
- 在“新建事实表”页面,完成如下配置:
a. 设置“基本配置”参数:
下表为基本配置参数说明
参数名称 | 说明 |
---|---|
所属主题 | 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 |
表名称 | 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 |
表英文名称 | 只能以英文字母开头,支持英文字母、数字、下划线。 |
数据连接类型 | 在下拉框中选择对应的数据连接类型。 |
数据连接 | 在下拉框中选择对应的数据连接。维度建模建议使用统一的数据连接。 |
数据库 | 在下拉框中选择对应的数据库。 |
队列 | DLI队列。该参数仅DLI连接类型有效。 |
Schema | DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 |
表类型 | DWS连接类型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。MRS_HIVE仅支持HIVE_TABLE类型。 |
DISTRIBUTE BY | 该参数仅DWS连接类型有效,为非必选项。您需要先添加表字段,才能在此下拉列表中选择某一个表字段作为DISTRIBUTE BY字段,可选取多个字段。 DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。 REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。一般情况下大表(1000000条记录以上)定义为Hash表。 |
资产责任人 | 根据下拉框选择对应的资产责任人,可以手动输入名字或直接选择已有的责任人。 |
描述 | 描述信息。支持的长度0~600字符。 |
b. 在“字段配置”区域,单击“新建”添加维度或度量字段。
- 选择新建“维度”字段,可勾选一个或多个已创建的维度,单击“确定”后,会将维度的代理键字段添加到列表中;
- 选择新建“度量”字段,需要新建度量字段。
字段配置参数请参见下表。字段配置完成后,单击字段后的或可以调整字段的顺序。
字段配置参数
参数名称 | 说明 |
---|---|
字段名称 | 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 维度属性的字段会自动显示所添加的维度的代理键名称,一般不需要修改。 |
字段英文名称 | 只能以英文字母开头,支持英文字母、数字、下划线。 |
数据类型 | 显示该维度的数据类型。 |
主键 | 选中时表示该字段为主键。 |
分区 | 选中时表示该字段为分区字段。 |
不为空 | 是否限制该字段不为空。 |
关联数据标准 | 如果您已创建数据标准,在“数据标准”列,单击按钮可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未创建数据标准,请参见新建数据标准进行创建。 |
关联维度 | 只有维度属性的字段需要绑定维度,度量属性的字段不需要进行此操作。 显示当前关联的维度名称。单击可以更换关联的维度。 |
角色 | 只有维度属性的字段被添加多次时需要设置角色区分,度量属性的字段不需要进行此操作。 当同一个维度被添加多次时,需要设置不同的角色来加以区分。 |
描述 | 描述信息。 |
c. 在“映射配置”页签,单击“新建映射”,配置映射参数。
下表为映射参数
参数名称 | 说明 |
---|---|
映射名称 | 只能包含中文、英文字母、数字和下划线。 |
来源模型 | 在下拉列表中选择一个已创建的关系模型。如果未创建关系模型,请参见物理模型设计进行创建。 |
源表 | 选择数据来源的表,如果数据来源于一个模型中的多个表,可以单击表名后的按钮为该表和其他表之间设置JOIN。 1. 选择一种“JOIN方式”,“JOIN方式”从左到右依次表示left JOIN、right JOIN、inner JOIN、outer JOIN。 2. 在“JOIN字段”中设置JOIN条件,JOIN条件一般选择源表和JOIN表中含义相同的字段,单击或按钮增加或删除JOIN条件。JOIN条件之间是and的关系。 3. 单击“确定”完成设置。 4. 设置JOIN后,如果想删除JOIN表,单击所需删除的表名后的按钮就可以删除该JOIN表。 |
字段映射 | 为来源于当前映射的字段,依次选择一个含义相同的源字段。如果表字段来源于多个模型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 |
- 单击“发布”,提交事实表的发布审核。
- 等待审核人员审核事实表。
审核通过后,事实表就会在数据库中自动创建。
- 返回“维度建模 > 事实表”页面,在列表中找到刚发布的事实表,在“同步状态”一列中可以查看事实表的同步状态。
- 如果同步状态均显示成功,则说明事实表发布成功,事实表在数据库中已创建成功。
- 如果同步状态中存在失败,可单击该事实表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在事实表页面勾选该事实表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。
管理事实表
事实表创建好之后,进入数据架构的“维度建模 > 事实表”页面,您可以对事实表进行编辑、发布、下线、查看发布历史或删除操作。
编辑事实表
a. 在事实表列表中,找到需要编辑的事实表,单击“编辑”,进入编辑事实表页面。
b. 根据实际需要编辑相关内容。
c. 单击“保存”,保存设置的信息;单击“发布”,发布设置的信息。
发布事实表
a. 在事实表列表中,勾选需要发布的事实表,单击“发布”按钮,弹出“批量发布”对话框。
b. 在下拉菜单中选择审核人。
c. 单击“确认提交”。
查看发布历史
a. 在事实表列表中,找到所需要的事实表,在右侧单击“更多 > 发布历史”,将显示“发布历史”页面。
b. 在“发布历史”中,您可以查看事实表的发布历史、版本对比信息以及发布日志。
如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”将表同步到DataArts Studio的其他模块中。
关联质量规则
a. 在事实表列表中,勾选所需要的关联质量规则事实表,在上方单击“关联质量规则”,弹出“关联质量规则”对话框。
b. 在“关联质量规则”对话框中,您可以批量给事实表的字段添加规则并关联到字段。
c. 单击“确定”。
预览SQL
a. 在事实表列表中,找到所需要的事实表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。
b. 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。
下线事实表
a. 在事实表列表中,勾选需要下线的事实表,单击“下线”,系统弹出“批量下线”对话框。
b. 在下拉菜单中选择审核人。
c. 单击“确认提交”。
说明
“下线”及“删除”事实逻辑表的前提是无依赖引用,例如事实表未被原子指标等使用时,才能进行删除操作。
删除事实表
如果您不再需要某一个事实表,您可以将它删除。当事实表处于待发布、已发布或待下线状态时,无法删除。
a. 在事实表列表中,勾选需要删除的事实表,在列表上方选择“更多 > 删除”,系统弹出“删除”对话框。
b. 单击“是”。
导入事实表
可通过导入的方式将事实表批量快速的导入到系统中。
a. 在事实表上方,单击“更多>导入”,进入“导入配置”页签。
b. 下载事实表导入模板,编辑完成后保存至本地。
c. 选择是否更新已有数据。
说明如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。
不更新:当数据重复时,不会替换系统中原有的数据。
更新:当数据重复时
系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。
系统中的原有数据为发布状态,则会生成下展数据。
d. 单击“添加文件”,选择编辑完成的导入模板。
e. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。
f. 单击“关闭”。
导出事实表
可通过导出的方式将事实表导出到本地。在事实表上方,单击“更多>导出”,即可将系统中的事实表导出到本地。
事实表关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“事实表”页签,进入事实表页面。
- 在事实表列表中,勾选需要关联质量规则的事实表。单击“关联质量规则”。
- 在弹出的页面中配置关联质量规则参数。配置完成单击确定。
- 更新已有规则 :若勾选此项,新添加的规则会覆盖旧规则。
- 匹配字段 :此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。
- Where条件 :可依据用户输入的where条件对字段进行过滤。
- 生成异常数据 :开启此项,表示异常数据讲按照配置的参数存储到规定的库中。
- 数据库或Schema :开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema。
- 表前缀 :开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
- 表后缀 :开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
- 添加规则 :单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。
- 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处的“关联质量规则”对话框中,每个质量规则的“告警参数”以按钮形式列出。
事实表新建字段
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“事实表”页签,进入事实表页面。
- 在事实表列表中,查找需要新建字段的表名称,单击其“编辑”,进入编辑页。
- 单击字段配置处的新建,在展开的下拉框选择新建字段类型,并配置相关参数。
- 配置完成后,单击“确定”,完成事实表新建字段。
事实表字段关联数据标准
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“事实表”页签,进入事实表页面。
- 在事实表列表中,单击需要关联数据标准的事实表名称。
- 在事实表的详情页的表字段列表中,查找需要关联数据标准的字段,单击其所属的,配置单个表字段关联数据标准。数据标准的来源请参考新建数据标准。
- 配置完成后,单击“确定”,完成事实表字段关联数据标准。
事实表字段单个关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“事实表”页签,进入事实表页面。
- 在事实表列表中,单击需要关联质量规则的事实表名称。
- 在事实表的详情页的表字段列表中,单击配置单个表字段关联质量规则。
- 配置完成后,单击“确定”,完成事实表字段关联质量规则。
事实表字段批量关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“事实表”页签,进入事实表页面。
- 在事实表列表中,单击需要关联质量规则的事实表名称。
- 在事实表的详情页的表字段列表中,勾选需要关联质量规则的表字段,单击关联质量规则。
- 在弹出的界面中添加规则,完成规则参数配置。
- 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。