主题配置
主题配置用于自定义主题设计中的主题层级和自定义属性。系统默认有三个层级,从上到下分别命名为主题域分组(L1)、主题域(L2)、业务对象(L3)。您可以自定义的主题层级限制在最大7层,最少2层。自定义属性最多可以配置10个。
1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
2.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“主题配置”页签。
3.在主题层级区域,可对主题层级进行增加、删除和编辑操作。
−在“操作”栏中单击按钮可以添加自定义主题层级项,完成后单击“确定”。
−在“操作”栏中单击按钮可以删除主题层级项,完成后单击“确定”。
−除最后一层业务对象外,其它层级均可以通过单击对应的层级名称实现“编辑”操作。
4.在属性自定义项区域,可对属性进行增加、删除和编辑操作。
−在“属性自定义项”右侧,单击“新建”可新增一条自定义属性。
−在“操作”栏中单击按钮可以删除一条自定义属性。
−单击对应的属性名称、属性名称(英文),是否必填,实现“编辑”操作。
标准模板管理
标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面,也会显示制定数据标准模板的页面。
1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
2.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“标准模板管理”。
3.如下图所示,在“可选项”中勾选所需要的选项,单击“新建”按钮可以添加自定义项,完成后单击“确定”。
说明
标准模板支持“是否可搜索”、“是否必填”。
保存模板后,在新建数据标准时需要设置此处模板中选中选项的参数值。
功能配置
功能配置用于自定义数据架构中的各项功能。
1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。
2.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“功能配置”。
3.在功能配置页面,可根据用户具体的功能需求配置参数,然后单击“确定”。如果单击“重置”可恢复默认设置。
−模型设计业务流程步骤 :此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。一般建议全部勾选。
- 创建表 :当数据架构中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。
- 同步技术资产 :关系建模或维度建模中的表发布后,同步表到数据目录模块作为技术资产,同时同步标签到对应技术资产。
- 同步业务资产 :同步逻辑模型到数据目录,作为业务资产,同时同步标签到对应业务资产。
- 资产关联 :实现业务资产与技术资产的关联。业务资产与技术资产同步完成后,在数据目录模块中查看对应的业务资产或技术资产详情时,可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。
- 创建质量作业 :当关系建模或维度建模中的表发布并通过审核后,对于关联数据标准(包含数据长度或允许值)或关联质量规则的表,系统将自动在DataArts Studio数据质量模块中创建一个质量作业。
- 创建数据开发作业 :汇总表发布后,自动生成端到端的全流程数据开发作业。
- 发布数据服务API :汇总表发布后,自动生成数据服务API,此功能仅当数据服务支持汇总表的数据连接时生效。
- 数据落库 :码表维度发布后,会自动将码表的数值填入维度表中。
说明若开启“同步技术资产”功能,您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功,否则同步技术资产将会执行失败。
−模型下线流程 :选择当模型下线时,是否同步删除技术资产、业务资产、质量作业、数据开发作业。
−数据表更新方式 :当数据架构中的表在发布后进行了修改,是否同时更新数据库中的表。默认为“不更新”,但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。
- 不更新 :不更新数据库中的表。
- 依据DDL 更新模板 :依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新, 那只有通过重建这种方式更新。
- 重建数据表 :先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。
−数据表不区分大小写 :对于选中的连接类型,在发布相应类型的表时,同步技术资产时名称将不区分大小写,找到相同的即认为已存在。
−业务表映射使用新版本 :系统默认为新版本映射。新版本映射功能支持join等操作,推荐使用新版本映射。
−汇总表自动汇聚 :发布衍生指标或复合指标时,系统支持自动生成汇总表,一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。
−数据标准是否重名 :默认关闭,打开后数据标准可以重名。
−时间限定生成使用动态表达式 :开关打开后,则使用动态时间表达式;如开关关闭,则默认使用原有的静态时间表达式。例如时间限定设置为最近30天:如果使用静态表达式,如果当前为9月,生成的最近30天的数据就是8月,即使当前到了10月,生成的数据还是8月,不能自动更新;如果使用动态表达式,当前到了10月,最近30天自动更新为9月。动态表达式时间函数举例如下所示:
说明如果第一次打开开关,需重置DLL模板中的衍生指标。如之前有修改过DLL模板,请先做好模板备份。重置模板会将原来修改过的模板覆盖,重置后需要将原来修改的内容重新编辑一次。
−信息架构页面表查询时,主题支持并列查询个数 :默认为1个,暂不支持设置。
−码表数据落库并行行数 :码表维度发布后,设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时,会导致落库失败,可以适当调小该参数。
−码表生成质量规则 :下拉选择即可。当码表的数据量较小时,选择“枚举值校验”即可;否则选择字段一致性校验。
模型配置
当您在主题设计、模型设计等过程中,如果需要进行如下操作,您可以通过本页面进行配置:
- 增加主题别名、表模型别名、字段别名。
- 设置维度(维度表)、事实表、汇总表的默认表编码前缀。
- 增加表的自定义字段。
- 增加属性的自定义字段。
在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“模型配置”页签。
- 启用别名。在“模型配置”页面,您可以增加别名。
−选项说明如下:
- 主题设计:选择之后,在新建、编辑主题时,必须输入别名。
- 表模型:选择之后,在新建、编辑表时,必须输入别名。会影响业务表、维度(维度表)、事实表和汇总表等。
- 字段:选择之后,在新建、编辑表字段时,必须输入别名。
- 表名管理。设置维度(维度表)、事实表和汇总表的默认表编码前缀。
- 表自定义项。在新建、编辑表时,可以在表的基本设置中设置自定义的字段。会影响业务表、维度(维度表)、事实表和汇总表等。
字段类型管理
当您执行新建表、逆向数据库或模型转换等操作时,如果系统默认的数据类型或不同数据源之间的数据类型映射关系无法满足需求,您可以增加、删除或修改数据类型。系统默认的数据类型不支持删除。
1.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“字段类型”页签。
2.在“字段类型”页面,您可以查看数据类型及不同数据源之间的数据类型映射关系,其中“创建人”为SYSTEM的类型为系统默认的字段类型。
类型分组说明如下:
- DEFAULT:通用数据类型,未指定数据源类型时建表所用的字段类型。例如,新建逻辑模型的表时,就是使用DEFAULT分组中的数据类型。
- DLI:DLI连接类型的表的数据类型。
- DWS:DWS连接类型的表的数据类型。
- MRS_HIVE:MRS_HIVE连接类型的表的数据类型。
- POSTGRESQL:POSTGRESQL连接类型的表的数据类型。
3.管理字段类型。
- 新建类型
如果要增加数据类型,单击“新建”按钮。在弹出对话框中,配置如下参数,然后单击“确定”。
下表为基本配置
参数名称 | 说明 |
---|---|
类型分组 | 选择新建类型所属的类型分组。 |
名称 | 数据类型的名称。只能包含中文、英文字母、数字、左右括号、空格和下划线,且以中文或英文字母开头。 |
编码 | 数据类型的编码,必须为数仓支持的类型。只能包含大写英文字母和下划线。 |
所属域 | 选择新建类型所属的域。 |
数仓对应类型 | 选择新建类型所映射连接的数据类型。 |
DLI | 选择新建类型所映射的DLI连接的数据类型。 |
DWS | 选择新建类型所映射的DWS连接的数据类型。 |
MRS_HIVE | 选择新建类型所映射的MRS_HIVE连接的数据类型。 |
POSTGRESQL | 选择新建类型所映射的POSTGRESQL连接的数据类型。 |
是否有拓展 | 对于某些数据类型,需要设定数据的长度范围时,可以打开“是否有拓展”开关,并配置对应的拓展。 例如高精度数据类型DECIMAL(p,s),需要分别指定小数的最大位数(p)和小数位的数量(s),则数据类型DECIMAL的默认拓展可填写为“(10,2)”,指的是小数点左侧的位数为2,小数点右侧的最大位数为10-2=8;又如数据类型VACHAR也需要指定位数,当默认拓展填写为“10”,指的是最大长度为10字符。 |
- 编辑类型
在字段类型列表中,找到需要编辑的字段类型,然后单击按钮进行编辑。
- 删除类型
仅支持对于用户新建的数据类型进行删除操作。“创建人”为SYSTEM的类型为系统默认的字段类型,不支持删除操作。
在字段类型列表中,找到需要删除的字段类型,单击按钮,然后在弹出对话框中单击“确定”完成删除。
- 重置
单击“字段类型”页面底部的“重置”按钮,可恢复系统默认配置。
DDL模板管理
在DataArts Studio数据架构中,支持修改各种类型(例如DLI、POSTGRESQL、DWS、Hive)的表或DLI视图的DDL模板。如果您需要将已创建的某一类型的表生成其他数据源的DDL语句,您就可以根据目标数据源的DDL语法,修改该类型的表的DDL模板。
1.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“DDL模板管理”。
2.在“DDL模板管理”页面,您可以配置各种类型的表或DLI视图的DDL模板,您可以参考该页面中的“填写说明”修改DDL模板,修改完成后单击“确定”。如果单击“重置”可恢复默认设置。
如下图所示,说明如下:
−新建:可查看或编辑新建表或DLI视图的DDL模板。
−更新:可查看或编辑更新表或DLI视图的DDL模板。
−删除:可查看或编辑删除表或DLI视图的DDL模板。
−衍生指标:可以查看或编辑衍生指标的SQL模板。
−复合指标:可以查看或编辑复合指标的SQL模板。
−汇总表:可以查看或编辑汇总表的SQL模板。
−“参考数据”区域:显示了一个表详情的示例,示例中的变量定义了表的详细信息。
−“模板代码编辑”区域:可以编辑DDL模板。如果您需要将所选类型的表,生成其他类型的数据库的DDL语句,您可以根据目标数据源的DDL语法,修改DDL模板。
−“预览结果”区域:编辑DDL模板后,可以预览按模板生成的DDL语句。
编码规则
1.在数据架构控制台,单击左侧导航树中的“配置中心”,然后再选择“编码规则”页签。
2.管理编码规则。
−添加编码规则
如果需要自定义编码规则,在“编码规则”列表上方,单击“添加”,在弹出对话框中,配置如下参数,然后单击“确定”。
下表为添加编码规则说明
参数名称 | 说明 |
---|---|
类型 | 选择编码规则的类型,当前支持如下四种: 业务指标,逻辑实体,逻辑属性, 数据标准。 |
生效范围 | 生效范围默认是全局。可以选择 主题、流程、码表、数据标准下一级路径。 |
系统规则 | 是否为系统规则。自定义的编码规则系统预置为否,不能修改。 |
编码规则 | 采用前缀+数字码的方式,不能修改。 |
前缀 | 可以是“英文字符”+“数字”的方式,但不能以数字结尾。支持修改。 |
数字码 | 支持顺序码和随机码两种方式。 |
起始码 | 数字码范围的起始值。 |
结束码 | 数字码范围的终止值。 |
编码示例 | 根据前缀动态修改后,可以更新展示。 |
−删除编码规则
如果需要删除自定义编码规则,在“编码规则”列表勾选待删除的编码规则,单击列表上方的“删除”,在弹出对话框中,单击“是”即可删除。
说明系统预置的四个编码规则(逻辑实体、 数据标准、逻辑实体属性、业务指标),不可以删除。
−编辑编码规则
如果需要修改自定义编码规则,单击“编码规则”列表中待修改编码规则的“编辑”,弹出“修改编码规则”对话框,修改完成后,单击“确定”。