腾“云”驾“数”!天翼云TeleDB for AnalyticDB助力企业高效搭建数仓!
2023-12-08
随着智能时代的到来,全球在线数据量快速增长,企业希望从海量数据中获得有价值的信息,使得数据分析需求日益增长。然而,传统数据库,以及基于Hadoop架构的数据库产品难以满足企业快速增长的需求,业界急需一款在性能、经济、安全可靠性方面都表现优秀的分析型数据库(数据仓库)。
针对市场需求,天翼云推出了新一代云原生分析型数据库TeleDB for AnalyticDB(简称TeleDB-ADB),为国内数据分析市场提供了一款新的解决方案。目前,TeleDB-ADB已经在中国电信内部的数据分析、清单查询等生产场景实践应用,助力用户高效组织、存储和管理数据。
TeleDB-ADB自上而下由三层独立的可扩展组件组成:元数据、计算集群和存储层,基于独立的可扩展组件设计,TeleDB-ADB可处理超大规模数据的存储、管理和高并发、高性能的数据查询需求,各组件的功能如下:
元数据:基于分布式KV设计,负责处理和保存系统元数据,如表结构、索引、分区信息、数据类型等,可管理亿级以上数据库对象;
计算集群:采用MPP Shared-Nothing架构,允许多个用户通过不同的计算集群访问存储层的公共数据,并执行高性能的加载、查询等工作。因为计算层不存储用户数据和元数据,所以该组件是无状态的、可按需调配的;
存储层:基于云架构的对象存储系统,可存取大量各种结构化和半结构化数据,实现数据对全局计算集群共享,以及在不同集群的写入数据在其他集群立即可见,有效避免了多集群数据冗余存储、数据迁移带来的额外影响和资源消耗。
除上述组件外,TeleDB-ADB还配有高效的集群管控,管控集群采用图形化配置,管理数据库提供包括运维管理、权限管理、监控告警、参数配置等能力,并通过ETCD提供的Raft一致性算法处理,解决了整个数据库分布式系统中关键配置的一致性问题。依托该设计方式,TeleDB-ADB能够更好地支持复杂的数据分析任务,提高数据处理效率和准确性,以及可扩展性,使能用户按需创建、删除、伸缩计算集群。同时,集群间资源完全隔离,用户可采用不同配置、不同品牌、不同架构的硬件混合部署在私有云平台或物理服务器上。
TeleDB-ADB聚焦“性能、成本、弹性、安全”四大核心要素,为用户提供海量数据分析以及处理复杂计算任务等服务。
性能卓越,业内领先
TeleDB-ADB采用先进的分布式架构,能够轻松应对PB级海量数据,拥有近乎GB/s的数据导入速率。无论是结构化数据、半结构化数据还是非结构化数据,TeleDB-ADB都能实现高效存储和查询。
在TPC-DS(分析型数据库性能测试基准)的标准测试数据集下的1~99个查询SQL集中,TeleDB-ADB比某知名数据库平均性能优秀约5%(如下图)。
在某个混合数据仓库(后称数仓)大数据能力开放平台CDAP项目中,TeleDB-ADB解决了用户在数据在线应用时遇到的复杂分析和高并发问题。该企业原有系统在面对复杂数据分析时,难以在合理的时间内给出结果,业务方不得不将一张大表拆分成数张小表,再进行数据分析、结果汇总和检查,而TeleDB-ADB则可在分钟级时间内产出正确结果。
比如,在该企业的多表关联查询的业务场景中,需要进行42张表的联接操作,其中主表包含2400万条数据,关联表数据量在1000万~4000万之间,分析需求需要通过左连接方式进行关联,TeleDB-ADB在2分钟左右就获取了正确结果,帮助用户迅速解决业务中各类复杂分析需求。
自动调配资源,实现降本增效
据多个用户的最佳实践显示,TeleDB-ADB的投入比传统数仓节省约1/3,给予用户极致的TCO(总体拥有成本)。这是由于传统数仓需要基于计算和存储峰值准备资源,而企业的实际分析需求是波动的(如下图灰线所示),这意味着在某些时刻,这些数仓的计算和存储资源有可能被浪费。TeleDB-ADB采用计算与存储完全解耦的优秀架构,在基于对象存储提供近乎无限的延展性和高弹性的同时,可自动扩缩容计算资源,在业务不需要的时候释放计算资源,需要的时候再添加,其TCO在不同时期是波动的(如下图红色模块所示)。
另外,TeleDB-ADB的元数据系统,可保障数据全局可见,从而支持多个计算需求使用同一份数据进行计算,而不需要额外的副本。例如在大数据分析、多年历史分析和海量日志分析等需要存储和使用大量历史数据的场景中,元数据系统大大了提高存储资源利用率,以及数据的治理效率。
此外,TeleDB-ADB基于SQL:2003标准,可提供完整的事务能力,兼容PostgreSQL和Greenplum协议语法,支持标准的JDBC和ODBC接口。这意味着TeleDB-ADB可与市场上大多数成熟的BI或ETL工具兼容,由此企业几乎可以无缝迁移到TeleDB-ADB。
无限弹性,轻松应对海量数据
在面对企业打通部门数据墙、构建统一数据中台的需求时,TeleDB-ADB可同时为众多部门和分支机构提供访问,让不同应用需求共享一个数据仓库系统。相对于传统数仓,TeleDB-ADB具有更优秀的并发能力、扩展性能,以及更高的容量。
相较来说,传统数仓虽弹性可扩展,但其架构中的计算和存储是紧耦合的。在扩容涉及到数据的重分布时,数仓通常存储的数据量达TB或PB级别,完成一次数据重分布需要花费至少几个小时甚至更长时间。有些传统数仓在重分布期间也无法正常写入数据,这将对部分业务的正常运行造成影响。这也意味着大多数传统数仓仍然需要基于峰值准备资源。
而TeleDB-ADB可对计算和存储资源进行单独的扩缩容,使得数据库在扩展过程中仍能提供服务。它能够根据存储和计算资源的不足进行扩展,在实现分钟级扩展的同时保证二者互不影响。当没有计算任务时,TeleDB-ADB还可在不影响数据持久性和可访问性的情况下释放计算资源,极大地提高了公司计算资源的使用效率。
安全为先,守护数据宝藏
TeleDB-ADB作为分析型数据库,高度重视数据安全能力打造,通过了国家等保三级备案和密评检查,提供多重身份认证、强制访问控制、数据加密、安全审计等多种安全特性,以及精确到行、列级的权限,有效保障用户的安全和隐私。
TeleDB-ADB具备高可用性和容灾备份能力,支持跨地域的多地多中心部署架构,即使在极端情况下,依托故障自愈能力和数据强一致性,也能保障用户数据的完整性和数据安全。
总体来说,TeleDB-ADB依托先进的架构,具备强大的数据处理能力、灵活的可扩展性、可靠的安全性以及完善的用户服务体系,并在实践中积累了丰富的落地经验。对于希望提升数据处理效率、降低成本并获得更多商业洞察的企业来说,通过TeleDB-ADB,企业可以更好地挖掘数据价值,为业务决策提供有力支持。