功能概述
数仓分层是结合对业务场景、实际数据、使用系统的综合分析,对数据模型进行的整体架构设计及物理层的详细划分。用于将不同用途的数据,归类划分至不同的分层,便于您更好地组织、管理、维护数据。数仓分层还用于规范表模型的命名。
规划数仓分层
系统默认创建的数仓分层有:
- 数据引入层ODS
ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。
- 维度层DIM
DIM层使用维度构建数据模型。基于实际业务,通过定义维度,确定维度主键,添加维度属性,关联不同维度等操作,构建整个企业一致性数据维表,帮助您降低数据计算口径和算法不统一的风险。
- 明细数据层DWD
DWD层通过企业业务活动构建数据模型。基于具体业务事件特点,构建最细粒度明细数据表。您可以结合企业的数据使用特点,将明细数据表的某些重要维度属性字段适当冗余,即宽表化处理。
- 汇总数据层DWS
DWS层通过分析的主题对象构建数据模型。基于上层的应用和产品的指标需求,构建公共粒度的汇总指标。
- 应用数据层ADS
ADS层用于存放数据产品个性化的统计指标数据,输出各种报表。
如下方前5个分层是系统内置的分层;同时,针对不同业务使用场景和架构规划,也支持新建管理自定义数仓分层。如第6个分层。
创建数仓分层
系统已默认为您创建了五个分层(ODS层、DIM层、DWD层、DWS层、ADS层),可满足绝大部分的场景和需求,如您存在部分需要个性化处理的场景,可参见如下步骤创建新的数仓分层。个性化处理的场景示例:抽象出TMP(临时表)层、TOPIC(专题)层,在创建表时严格将表归属到对应分层,对每个分层设定一些标准和校验规则,譬如命名规范等。
- 进入数仓分层。
点击左上方的,选择全部产品> 数据建模 > 数仓规划 ,进入数仓分层页面。
- 创建数仓分层 。
单击“新建数仓分层” ,在“新建数仓分层”对话框配置分层的基本信息。
参数 | 描述 |
---|---|
英文缩写 | 必填,按照键入前文字规则输入,最大字符数为128。 |
英文名称 | 必填,按照键入前文字规则输入,最大字符数为512。 |
中文名称 | 必填,按照键入前文字规则输入,最大字符数为512。 |
模型类型 | 必选,用于将对应的模型类型挂载至不同的数仓分层。建议挂载关系如下: · 接入表:挂载至数据引入层。 · 维度表:挂载至维度层。 · 明细表:挂载至明细数据层。 · 汇总表:挂载至汇总数据层。 · 应用表:挂载至应用数据层。 · 其他表:挂载至用户自建的数仓分层。 |
负责人 | 必填,默认为当前登录账号,可切换成其他账号,可多选。 |
备注 | 最大字符数为2048。 |
- 方式1:不在命名词典注册,按照上述参数要求填写。点击“确定”后,在新的弹窗点击“不去注册,并确认”,生成“未注册到命名词典”的分层。
- 方式2:先注册命名词典,再建数仓分层,规范命名。
说明
注册命名词典时,应用范围选择“数仓分层”,并按命名词典的填写要求填写各参数;点击“确定”,完成命名词典的创建。
在“新建数仓分层”弹窗,输入英文缩写、英文名称、中文名称任一参数,点击“用命名词典填充”。
根据推荐命名,选择合适的命名。
点击“用已选词典填充,并确认”,则生成符合标准的数仓分层。