一、企业为什么要做数据治理
企业在日常经营管理中,经常遇到指标口径不一致、数据时效性差、数据质量差、数据加工困难、指标统计困难等问题。比如:
- 总经理会经常收到互相矛盾的报告,本应根据分析报告做决策的会议,却变成了对数据口径问题;
- 数据分析师往往要花大量的时间在数据收集和清洗上,占用掉大量本应用来进行数据分析和价值挖掘的时间;
- 受限于数据时效性差,首席运营官也只能凭感觉和经验来开展工作,无法依据数据做决策和管理;
- 另外,由于数据的准确性差、不完整、数据重复等问题,市场总监、首席信息官、财务总监等管理人员也很难基于数据来有效开展工作。
这种情况下,没有经过治理的数据,只能零散地躺在各业务系统里,无法融合起来发挥数据的价值,也无法形成企业的数据资产。因此,数据治理,是企业发挥数据价值、进行数字化转型的必经之路。
二、数据治理概念
数据治理是企业中涉及数据使用的一整套管理体系,包括数据管理相关的组织、制度、流程、工具。通过有效的管控手段,使数据看得见、找得到、管得住、用得好,最终提升数据的利用率和数据价值。
三、数据治理实施路径。
数据治理实施路径通常分为六步走:
第一步:基础调研
第二步:建立数据治理组织制度
第三步:业务流梳理
第四步:数据标准制定
第五步:数仓开发
第六步:数据应用与服务
- 调研
调研是数据治理的首要工作,调研内容包括:业务调研、系统调研、数据调研和需求调研。
比如酒店业务,业务调研需要调研清楚都有哪些业务类型、服务内容、业务过程,系统调研需要调研清楚都有哪些业务系统在支撑运营这些业务过程,系统间的数据联通关系是怎样的,系统数据的存储方式是怎样的;数据调研需要清楚各业务过程中都产生什么数据,数据之间的关系是什么,进行盘点出数据资产台账;需求调研是要了解相关人员的业务需求是什么:比如提高房间出租率、或者提高酒店的综合评分?
调研产出:
(1)业务流程图-数据流程图
基于调研结果,需要梳理出详细的业务流程图和对应的数据流程图,进而梳理出数据地图,为后续的数据标准制定、数据仓库设计提供基础支撑。
(2)数据台账
基于业务流程、业务系统数据说明书等资料,识别核心业务数据表,建立数据台账,记录数据表相关信息,为后续数仓设计、数据集成等工作建立基础。
(3)总线矩阵
基于业务流程图、数据流程图及其他调研信息,设计业务数据总线矩阵,作为后续数仓设计的基础和框架。
(4)需求说明书
总结调研过程中收集的业务方需求描述,提炼数据治理需求,作为数据集成、数据清洗、指标设计、报表开发、接口开发等数据应用服务的依据和参考。
- 建立数据治理组织
数据治理是一种让数据用起来的机制,是企业级战略,需要强有力的组织、流程、机制保障,企业需要在调研基础上,构建统一的数据治理组织和数据运营机制,组织协调各相关部门推进数据应用和数据治理工作。
数据治理组织整体由以下构成:
决策层:数据治理领导小组、数据治理办公室;
管理层:数据认责部门、各职能部门、各业务部门;
执行层:相关责任方、数据治理团队/中心、各层级项目组。
- 业务流梳理
在业务调研基础上,全面梳理业务过程,对相关业务流程进行整合、优化,形成统一的业务流。在此基础上,匹配业务实体,形成完整、清晰的业务总线矩阵,进行业务域的划分和主题域的设计。
- 制定数据标准规范
数据标准制定和落地的基本过程为:标准规划、标准制定、标准发布、标准执行、标准维护。数据标准来源于业务,又应用于业务,所以数据标准的编制、评审、发布、宣贯等,需要所有业务相关方共同参与完成。
数据标准规范包括:主业务数据标准、数仓设计规范、数据指标设计规范、数据接口规范、数据安全管理规范、数据质量管理规范等。
- 数仓设计与开发
基于前述详尽的业务调研与分析工作,进行数据仓库的分层分域设计与开发。包括数据仓库的分层设计、业务域设计、主题域设计、指标体系设计等设计工作,以及数据集成、数据清洗、明细表开发、维度表开发、主题表开发、应用表开发等开发工作。
开发过程中,需要严格遵守数据质量管理规范及数据安全管理规范。
- 数据应用与服务
数据的开发好后,可应用于业务指标分析、数据大屏开发、分析报表开发、自助数据分析、数据挖掘、智能营销等场景,为企业的科学管理、高效决策及业务场景创新提供数据支撑。
比如,开发好的指标存放于指标库中,用户可按需直接取用,无须再找数、找逻辑、再计算,有效解决指标统计难、口径不一致等问题;
另外,基于开发好的数据,业务人员可以通过简单的拖拉拽,实现自助数据分析,以及可视化报表的开发,解决数据使用难、分析难的问题。