无法成功创建数据仓库集群时怎么处理?
请检查用户账户余额是否少于100元,是否已经没有配额创建新的数据仓库集群,以及是否存在网络问题。
如账户余额、配额、网络均未发现问题,请联系客户经理,请客户经理联系后台服务人员为您排查原因并解决问题。
如何清理与回收存储空间?
DWS 数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费、创建及恢复快照性能下降等问题,如何清理?
清理与回收存储空间对系统的影响如下:
- 删除无用的脏数据,释放存储空间。
- 数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。
- 数据库的存储空间越大,即数据可能越多,清理的时间越长。
清理与回收存储空间操作步骤如下:
1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。
2.执行以下命令,清理与回收存储空间。
VACUUM FULL;
默认清理当前用户在数据库中,拥有权限的每一个表。没有权限的表则直接跳过回收操作。
当系统显示以下内容时,表示清理完成:
VACUUM
- VACUUM FULL回收所有过期的行空间,但是它需要对每个正在处理的表进行独占锁定,并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL,若需要对整个数据库执行VACUUM FULL,建议在数据库维护期间操作。
- 使用FULL参数会导致统计信息丢失,如果需要收集统计信息,请在语句命令中加上analyze关键字。例如,执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。
为什么扩容后已使用存储容量比扩容前减少了很多?
原因分析
扩容前,如果您没有执行vacuum清理和回收存储空间,DWS 数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。
而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执行一次vacuum,从而释放了存储空间,因此,扩容后已使用存储容量减少了很多。
处理方法
建议您定期做vacuum full清理与回收存储空间,防止数据膨胀。
如果执行vacuum后,已使用存储容量仍然占用过高,请分析现有集群规格是否满足业务需求,若不满足,建议您对集群进行扩容。
如何查看DWS各节点的指标?例如CPU使用率、内存使用率、磁盘利用率、磁盘使用量等?
集群已使用容量指标,可通过云监控管理控制台查看。查看方法:
1.登录DWS管理控制台,单击集群列表中某个集群右侧的“查看监控指标”进入云监控管理控制台。
2.单击返回云服务监控界面,默认显示“数据仓库节点”,再单击对应节点右侧的“查看监控指标”,可查看某个节点的“磁盘使用量”。
DWS的磁盘空间/容量是如何统计的?
1.DWS的磁盘总容量统计:以3个数据节点为例,假设每个节点320G,总容量为960G。当存入一个1G的数据,DWS因为副本机制会将这1G的数据在两个节点中都各存一份,共占2G的空间,如果再加上元数据、索引等,实际1G的数据,存入DWS后占用的空间不止2G。所以总容量为960G的3节点集群,总量能存480G的数据。因为存储硬盘本身不贵,客户数据才珍贵。
客户在云的DWS控制台上搭建的时候,页面已经是按照一个节点的真正容量空间来统计的。比如dws.m3.xlarge,在搭建页面是160G,但实际这个节点的磁盘是有320G的,已经将这个320G显示为160G了,便于客户按实际落盘数据进行搭建。
2.单个节点磁盘的使用情况的确认:
同样的,以总容量为960G,3个数据节点为例,那么每个节点的磁盘容量就是320G。
登录DWS控制台,选择“监控>节点监控>概览”显示每个节点的磁盘以及其他资源占用情况。
说明l 节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。
l 如果已确定由于磁盘空间不足导致集群状态只读,告警磁盘不可用的异常场景时,可参考“扩容集群”章节进行节点扩容处理。
增加CN和扩容集群分别在什么场景下使用?
CN并发介绍
CN全称协调节点(Coordinator Node)。是和用户关系最密切也是DWS内部非常重要的一个组件,它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果。CN是外部应用的接口,CN的并发能力直接决定了业务的并发度。
单CN的并发能力受如下几个参数控制:
- max_connections : 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。默认值与集群规格有关,具体参见 “管理数据库连接”章节。
- max_active_statements :设置全局的最大并发数量。此参数只应用到CN,且针对一个CN上的执行作业。默认值60,最多允许60个作业同时运行,其余作业将会排队。
选择增加CN还是扩容集群
- 连接数不足:初次创建集群时,集群默认的CN节点数是3,能基本满足客户的连接需求。当集群属于高并发请求,各CN节点的连接数很大,或CN节点的CPU明显高于DN节点的CPU时,建议增加CN节点数量,具体参见“管理CN节点”章节。
- 存储容量和性能不足:随着您的业务规模扩张,对数据存储容量和性能有更高的要求时,或者集群整体CPU不足时,建议通过扩容集群进行集群节点的扩容。详情请参见 “扩容集群”章节。
随着业务规模扩大,集群扩容到一定节点规模后,也必然需要增加相应的CN节点,满足DWS的分布式要求。简言之,增加CN,不一定需要扩容集群,但是扩容集群后,会伴随着增加CN节点的需求。