与对象存储服务(OBS)的关系
对象存储服务(Object Storage Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下四种。
• 数据来源:数据湖探索服务提供API,支持将OBS对应路径的数据导入到数据湖探索。
• 存储数据:数据湖探索中支持创建OBS表,该类型表在数据湖探索服务中只有元数据,实际数据在该表对应的OBS路径中。
• 备份数据:数据湖探索提供导出API,支持将数据湖探索的数据导出到OBS中备份。
• 存储查询结果:数据湖探索提供API供用户将日常作业的查询结果数据保存到OBS。
与统一身份认证服务(IAM)的关系
统一身份认证服务(Identity and Access Management)为数据湖探索提供了天翼云统一入口鉴权功能。
与云审计服务(CTS)的关系
云审计服务(Cloud Trace Service)为数据湖探索提供对应用户的操作审计。
与云监控服务的关系
云监控(Cloud Eye)为数据湖探索提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。
与消息通知服务(SMN)的关系
消息通知服务(Simple Message Notification)可以在数据湖探索发生作业运行异常时给用户发送通知。
与云数据迁移服务(CDM)的关系
云数据迁移服务(Cloud Data Migration)可以将OBS的数据迁移到数据湖探索中。
与数据接入服务(DIS)的关系
数据接入服务(Data Ingestion Service)通过通道将数据导入到数据湖探索。
与表格存储服务的关系
表格存储服务(CloudTable Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从CloudTable中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。
与关系型数据库服务(RDS)的关系
关系型数据库(Relational Database Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从RDS中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。
与数据仓库服务的关系
数据仓库服务(Data Warehouse Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从数据仓库中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到数据仓库服务表中。
与云搜索服务的关系
云搜索服务(Cloud Search Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从云搜索服务中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到云搜索服务表中。
与分布式缓存服务(DCS)的关系
分布式缓存服务(Distributed Cache Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。
与文档数据库服务(DDS)的关系
文档数据库服务(Document Database Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。
与翼MapReduce服务(MRS)的关系
MapReduce服务(MapReduce Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。
• 数据来源:数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。
• 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。
与数据治理中心的关系
在数据湖治理中心(Data Lake Governance Center)中,数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。