数据仓库服务GaussDB(DWS)是基础架构和平台的在线数据分析处理数据库,以下是对其的详细介绍:
一、概述
GaussDB(DWS)提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL、Oracle、Teradata、MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。
二、产品形态
GaussDB(DWS)提供存算一体、存算分离两种产品形态:
- 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。
- 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比。采用多逻辑集群(Virtual Warehouse)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。
三、技术架构
GaussDB(DWS)基于Shared-nothing分布式架构,具备MPP(Massively Parallel Processing)大规模并行处理引擎,由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行,并行地完成大规模的数据处理工作,实现对数据处理的快速响应。
四、关键特性
- 高性能:GaussDB(DWS)后台通过算子并行执行、指令在寄存器并行执行,以及LLVM动态编译剪枝冗余的条件逻辑判断,助力数据查询性能提升。支持行存储和列存储两种存储模型,用户可以根据应用场景在建表时选择行存储还是列存储表。行列混合存储引擎可以同时为用户提供更优的数据压缩比(列存)、更好的索引性能(列存)、更好的点更新和点查询(行存)性能。
- 高扩展性:GaussDB(DWS)支持大规模扩展,满足企业不断增长的数据存储和分析需求。
- 高可靠性:GaussDB(DWS)提供数据备份和恢复功能,确保数据的安全性和可靠性。
- 易用性:GaussDB(DWS)提供丰富的管理工具和功能,降低数据库管理和维护的复杂性。
五、应用领域
GaussDB(DWS)可广泛应用于金融、车联网、政企、电商、能源、电信等多个领域,为企业提供高效、可靠的数据分析服务。
六、兼容性和迁移
GaussDB(DWS)兼容PostgreSQL生态,且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向GaussDB(DWS)平滑迁移。支持应用程序通过标准JDBC和ODBC连接GaussDB(DWS)。
七、集群逻辑架构
- 全局事务管理器(GTM):负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。整个集群只有一组GTM,包括主GTM和备GTM各一个。
- 工作负载管理器(WLM):控制系统资源的分配,防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。不需要在安装过程中指定主机名称,安装程序会自动在各主机上安装此模块。
- 协调节点(Coordinator):负责接收来自应用的访问请求,并向客户端返回执行结果;负责分解任务,并调度任务分片在各DN上并行执行。集群中CN有多个,且CN的角色是对等的,执行DML语句时连接到任何一个CN都可以得到一致的结果。
- 数据节点(Datanode):负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及向CN返回执行结果。在集群中DN有多个,每个DN存储了一部分数据。GaussDB(DWS)对DN提供了高可用方案,包括主DN、备DN、从备DN。
综上所述,GaussDB(DWS)是一种功能强大、易于使用且可扩展的数据仓库服务,适用于各行业的大数据分析需求。