汇总逻辑表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度(如会员),汇总逻辑表面向用户提供了以统计粒度(如会员)为主题的所有统计数据(如会员主题集市)。
汇总表分为“手工创建”和“自动汇聚”,此处仅描述手工创建场景。
说明如果在“数据架构 > 配置中心 > 功能配置”页面中开启了“模型设计业务流程步骤 > 创建数据开发作业”(默认为关闭),发布汇总表时,系统将在数据开发中自动创建一个数据开发作业,作业名称以“ *数据库名称_表编码* ”开头。您可以进入“数据开发 > 作业开发”页面查看作业。该作业默认没有调度配置,需要您自行在数据开发模块中设置。
前提条件
在创建汇总表之前,请先确认您已完成维度、维度表、事实表和衍生指标/复合指标的新建、发布与审核。
新建汇总表并发布
- 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
- 在数据架构控制台,单击左侧导航树中的“维度建模”,然后选择“汇总表”页签。
- 在左侧主题目录中选中一个主题,然后单击“新建”按钮,开始创建汇总表。
- 在“新建汇总表”页面,完成如下配置:
a. 设置“基本配置”参数:
下表为基本配置参数说明
参数说明 | 说明 |
---|---|
*所属主题 | 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 |
*表名称 | 设置表名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 |
*表英文名称 | 设置表英文名称。只能包含英文字母、数字和下划线,且以英文字母开头。 |
*统计维度 | 选择统计维度。在下拉列表中只会显示来源于衍生指标的统计维度。如果下拉列表中没有统计维度,请参考新建维度进行创建。 当汇总表完成新建后,“统计维度”指定的维度的所有维度属性,都将被自动添加到汇总表中,成为汇总表中的字段。您可以在完成汇总表的新建后,进入汇总表页面,单击汇总表名称查看详情中的表字段信息。 |
*数据连接类型 | 请选择和维度表、事实表相同的数据连接类型。 |
*数据连接 | 维度建模建议使用统一的数据连接。 |
*数据库 | 选择数据库。 |
队列 | DLI队列。该参数仅DLI连接类型有效。 |
Schema | DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 |
表类型 | DWS连接类型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWS_COLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 MRS_HIVE仅支持HIVE_TABLE类型。 |
DISTRIBUTE BY | 该参数仅DWS连接类型有效。DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。用户可选取多个字段。 REPLICATION方式:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH方式:采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。一般情况下大表(1000000条记录以上)定义为Hash表。 |
*资产责任人 | 在下拉框中选择资产责任人,可以手动输入名字或直接选择已有的责任人。 |
*描述 | 描述信息。支持的长度为1~600个字符。 |
b. 在“时间分区”区域,输入字段编码以及选择数据类型。当表发布成功后,在往表里写数据时,将根据该时间分区字段进行分区。
c. 在“指标配置”区域,单击“添加”,可以添加一个或多个与所指定的“统计维度”相关联的衍生指标或复合指标。
- 单击“发布”,并在弹出框中单击“确认提交”,提交审核。
- 请联系审核人员审核汇总表,等待审核通过。
审核通过后,汇总表就会在数据库中自动创建。
- 返回“维度建模 > 汇总表”页面,在列表中找到刚发布的汇总表,在“同步状态”一列中可以查看汇总表的同步状态。
− 如果同步状态均显示成功,则说明汇总表发布成功,汇总表在数据库中已创建成功。
− 如果同步状态中存在失败,可单击该汇总表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在汇总表页面勾选该汇总表,再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。
管理汇总表
- 在数据架构控制台,单击左侧导航树中的“维度建模”,选择“汇总表”页签,进入汇总表页面。
- 您可以根据实际需要选择如下操作。
当需要... | 则... |
---|---|
新建 | 执行新建汇总表并发布。 |
编辑 | 执行3。 |
发布 | 执行4。 |
发布历史 | 执行5。 |
预览SQL | 执行6。 |
下线 | 执行7。 |
关联质量规则 | 执行8。 |
删除 | 执行9。 |
导入 | 执行10。 |
导出 | 执行11。 |
- 编辑
a. 在需要编辑的汇总表右侧,单击“编辑”,进入编辑汇总表页面。
b. 根据实际需要编辑相关内容。
c. 单击“发布”。
- 发布
a. 在需要发布的汇总表右侧,单击“发布”,弹出“提交发布”对话框。
b. 在下拉菜单中选择审核人。
c. 单击“确认提交”。
- 查看发布历史
a. 在汇总列表中,找到所需要的汇总表,在右侧单击“更多 > 发布历史”,将显示“发布历史”页面。
b. 如果“发布历史”中,您可以查看汇总表的发布历史记录、版本对比信息以及发布日志。
如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”进行重试。
- 预览SQL
a. 在汇总表列表中,找到所需要的汇总表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。
b. 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。
- 下线
a. 在需要下线的汇总表右侧,单击“下线”,系统弹出“提交下线”对话框。
b. 在下拉菜单中选择审核人。
c. 单击“确认提交”。
说明
汇总表下线后,API的如何处理由客户在数据服务中根据实际情况决定,数据架构侧不会对API做任何处理。
- 关联质量规则
a. 在汇总表列表中,勾选所需要的关联质量规则汇总表,在上方单击“关联质量规则”,弹出“关联质量规则”对话框。
b. 在“关联质量规则”对话框中,您可以批量给汇总表的字段添加规则并关联到字段。
c. 单击“确定”。
- 删除
a. 勾选需要删除的汇总表,单击上方“更多 > 删除”,系统弹出“删除”对话框。
b. 单击“是”。
- 导入
可通过导入的方式将汇总表批量快速的导入到系统中。
a. 在汇总表上方,单击“更多>导入”,进入“导入配置”页签。
b. 下载汇总表导入模板,编辑完成后保存至本地。
c. 选择是否更新已有数据。
说明如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。
不更新:当数据重复时,不会替换系统中原有的数据。
更新:当数据重复时
系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。
系统中的原有数据为发布状态,则会生成下展数据。
d. 单击“添加文件”,选择编辑完成的导入模板。
e. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。
f. 单击“关闭”。
- 导出
可通过导出的方式将汇总表导出到本地。
a. 在手工创建或自动汇聚列表选中待导出的汇总表。
b. 在列表上方,单击“更多>导出”,即可将系统中的汇总表导出到本地。
说明
在左侧主题树中选中某个主题,可以导出该主题下的所有汇总表;
当该空间下不超过500条汇总表数据时可以全部导出。
汇总表关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“汇总表”页签,进入汇总表页面。
- 在汇总表列表中,勾选需要关联质量规则的汇总表。单击“关联质量规则”。
- 在弹出的页面中配置关联质量规则参数。配置完成单击确定。
- 更新已有规则 :若勾选此项,新添加的规则会覆盖旧规则。
- 匹配字段 :此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。
- Where条件 :可依据用户输入的where条件对字段进行过滤。
- 生成异常数据 :勾选此项,表示异常数据讲按照配置的参数存储到规定的库中。
- 数据库或Schema :勾选“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema.
- 表前缀 :勾选“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
- 表后缀 :勾选“生成异常数据”时显示此项,表示存储异常数据的表的前缀。
- 添加规则 :单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。告警表达式举例如下:
− 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处的“关联质量规则”对话框中,每个质量规则的“告警参数”以按钮形式列出。
汇总表字段关联数据标准
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“汇总表”页签,进入汇总表页面。
- 在汇总表列表中,单击需要关联数据标准的汇总表名称。
- 在汇总表的详情页的表字段列表中,查找需要关联数据标准的字段,单击其所属的,配置单个表字段关联数据标准。
- 配置完成后,单击“确定”,完成汇总表字段关联数据标准。数据标准的来源请参考新建数据标准。
单个表字段关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“汇总表”页签,进入汇总表页面。
- 在汇总表列表中,单击需要关联质量规则的汇总表名称。
- 在汇总表的详情页的表字段列表中,单击,配置单个表字段关联质量规则。
- 配置完成后,单击“确定”,完成汇总表字段关联质量规则。
- 更新已有规则 :若勾选此项,新添加的规则会覆盖旧规则。
- 添加规则 :单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。
- 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处的“关联质量规则”对话框中,每个质量规则的“告警参数”以按钮形式列出。
表字段批量关联质量规则
- 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。
- 单击“汇总表”页签,进入汇总表页面。
- 在汇总表列表中,单击需要关联质量规则的汇总表名称。
- 在汇总表的详情页的表字段列表中,勾选需要关联质量规则的表字段,单击关联质量规则。
- 在弹出的界面中添加规则,完成规则参数配置。
− 更新已有规则 :若勾选此项,新添加的规则会覆盖旧规则。
− 添加规则 :单击“添加规则”进行设置。例如,添加名称为“字段唯一值”规则,选中该规则后单击“确定”,在“告警条件”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。
− 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。在此处的“关联质量规则”对话框中,每个质量规则的“告警参数”以按钮形式列出。
- 配置完成后,单击“确定”,完成汇总表字段批量关联质量规则。