大数据管理平台 DataWings是什么?
天翼云大数据管理平台 DataWings,是一站式、开箱即用的大数据开发与数据资产管理工具,包括数据建模、数据集成、数据处理、数据治理、数据地图、数据服务等能力,致力于解决企业在数字化转型时面临的数据采集、开发、管理、治理等方面的问题,帮助企业高效上云,实现数据驱动业务增长。
如何使用大数据管理平台 DataWings进行作业开发?
DataWings提供了开箱即用、高安全保障的标准化产品,作业开发前可参考如下流程进行配置。
- 开通产品并在控制台查看各资源组运行状态。
- 注册大数据集群并创建引擎。
- 开始创建数据作业(按需开展数据建模、数据集成、数据处理等数据作业)。
如何治理我的数据?
- 数据建模:提供全面的数仓规划、数据标准(含命名词典、字段标准、表名规范等)、数据指标及维度建模能力,为后续的数据使用提供标准规范及治理依据。
- 数据处理:支持加入数据质量节点,及时对调度任务中的数据质量问题进行治理。
- 数据质量:支持与数据开发联动,提供强弱规则校验,提供近40种以上质检模板规则以及自定义规则。
- 数据治理360:从多维度评估数据治理水平,为客户提供全面的治理能力打分,提示用户及时治理系统健康问题。
如何查看我的数据?
用户可以通过“数据地图”功能了解数据资产,不仅提供数据发现、数据总览功能,还支持自定义数据资产编目(自定义数据目录),同时跟数据建模打通,支持按建模分层及类目查看,有效进行数据资产管理和查看。
如何进行数据处理/分析工作?
用户可以在“数据处理”模块进行数据的处理与分析工作,数据处理功能支持丰富的存算引擎,包含Spark、Hive、Python、Shell、JDBC等开发节点,支持画布式自由编排工作流。
如何分享我的数据?
用户可以通过“数据服务”功能进行数据分享。数据服务功能提了供全面的服务发布及共享能力,帮助企业统一管理面向内外部的API服务。通过标准、规范的服务开发过程,实现API开发、API测试、API发布、API管理、API授权等全流程,为上层业务提供灵活的数据查询。
如何进行权限配置与管控?
管理员可通过“权限管理-角色管理”功能,创建所需角色,并将角色分配给相应子用户以实现权限的配置与管控。若子用户有权限需求,也可通过“流程中心-权限申请”功能,主动发起权限申请,经管理员审批通过后,可使用相关权限。