规格变更
在购买数据仓库服务(DWS)集群时,有多种节点规格供您选择,您可根据业务需要选择合适的节点规格。当集群创建成功后,随着业务量的增长,您可以对集群进行扩容,从而增加集群节点。
扩容集群
随着用户的数据仓库容量和性能需求的变化,您可以在管理控制台调整已有集群的大小,以便充分利用数据仓库服务(DWS) 提供的计算资源和存储资源。
说明
新增的节点默认是按需计费。
云数仓集群扩容时使用与当前集群相同的存储规格。
如果您是因集群存储容量不足而扩容集群,建议您在扩容前先执行VACUUM清理和回收存储空间,数据仓库服务(DWS)数据仓库中保存的数据在删除后,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。如果执行VACUUM后,已使用存储容量仍然占用过高,您再进行扩容。
扩容对系统的影响
-
扩容前,需退出创建了临时表的客户端连接,因为在扩容过程中及扩容成功之前创建的临时表将会失效,操作临时表也会失败。但是扩容后创建的临时表不受影响。
-
在执行“扩容”操作后,集群会进行一次自动快照,快照创建成功后进行集群扩容。
-
正在扩容的集群将禁用重启集群、扩容集群、创建快照、重置集群管理员密码和删除集群的功能。
-
扩容过程中,集群会自动重启,因此集群会有一段时间变为“不可用”状态,重启成功后集群变回“可用”状态。然后在扩容结束阶段,系统会将集群中用户数据在全部节点重新动态分布。
-
离线扩容(离线重分布模式)过程中,用户应该停止所有业务或运行少量查询语句。表重分布期间会对表加共享锁,所有插入、更新、删除操作和表DDL操作都会长时间阻塞,会出现等锁超时情况。一旦表重分布完成,用户可以正常访问该表。在重分布执行过程中,用户应当避免执行超过20分钟的查询(在重分布执行时申请写锁的默认时间为20分钟)。否则可能导致重分布出现等待加锁超时失败的问题。
-
在线扩容(在线重分布模式)过程中,表重分布期间用户可以对该表执行插入、更新、删除,但重分布过程仍然会短时间阻塞用户的数据更新操作,会影响用户语句的执行性能。扩容重分布过程会消耗大量的CPU和IO资源,因此会对用户作业性能影响较大,用户应该尽可能在停止业务情况下或业务轻载的情况下执行扩容重分布。用户也可以考虑分段扩容重分布策略,在系统负载很小的情况下采用高并发进行扩容重分布,在系统负载大的情况下停止扩容重分布或采用低并发进行扩容重分布。
-
扩容后,如果集群创建新快照,将包含扩容节点上的数据。
-
如果集群扩容失败,数据库会在后台自动执行扩容回滚操作,集群会恢复到扩容前的节点个数。
-如果回滚成功,集群仍可以正常使用,用户可以重新执行“扩容”操作,如果仍扩容失败,请及时联系技术支持人员进行处理。
-如果数据库因为某些异常原因后台回滚失败,则集群可能会变为“不可用”状态,此时无法再执行“扩容”或重启集群的操作,请及时联系技术支持人员进行处理。
-扩容重分布过程中(包括离线重分布和在线重分布模式),不支持创建、修改、删除数据库和表空间。
-离线重分布模式的扩容过程中,数据库不支持DDL和DCL操作,正在重分布的表只支持DQL操作,在线重分布模式的扩容过程中,数据库支持部分DDL和DCL操作。
-在线重分布模式下在重分布的表支持插入、删除、更新和部分DDL,支持的功能为:
a.重分布过程中用户可进行正在重分布的本地表的INSERT、DELETE、UPDATE、MERGE INTO、OVERWRITE、UPSERT业务。
b.重分布过程中用户可进行正在重分布的本地表跨节点组的关联查询业务。
c.重分布过程中用户可进行正在重分布的本地表的DROP、TRUNCATE、TRUNCATE-PARTITION业务。
d.在线重分布模式下正在重分布的本地表不支持如下功能:
-表正在重分布过程中用户不能执行ALTER TABLE语句,典型的包括增加、删除字段,重命名,修改schema,但TRUNCATE PARTITION除外。
-表正在重分布过程中用户不能创建、修改、删除索引。
-表正在重分布过程中用户不能对该表执行vacuum full和cluster语句。
-表正在重分布过程中用户不能修改字段依赖的SEQUENCE对象,包括创建和修改字段依赖的SEQUENCE对象,典型的语句是CREATE/ALTER SEQUENCE ... OWNED BY。
前提条件
- 请确定需要扩容的集群处于“可用”或者“非均衡”任意一种状态。
- 请确定计划扩容的节点数小于等于用户节点数的剩余配额,否则系统会无法进行扩容操作。
扩容集群
说明
离线扩容期间集群将变为只读状态,请谨慎操作。
为保证您的数据安全我们建议您在开始扩容操作之前创建手动快照或在扩容页面打开自动备份按钮。
- 登录数据仓库服务(DWS) 管理控制台。
- 单击“集群管理”。
默认显示用户所有的集群列表。
- 在集群列表中,在指定集群所在行的“操作”列,选择“更多 > 节点变更 > 扩容”。显示扩容页面,“自动备份”按钮默认关闭。
- 在“扩容到”选择一个扩容后的节点数。
-
扩容后的节点数量,在原节点数量的基础上,须至少增加3个节点,最多可增加的节点个数为节点剩余配额的最大值。并且,此处设置的扩容后的节点数量不能超过256个节点。
如果可使用的节点配额不足,用户可以单击“申请扩大配额”,以提工单的形式申请更多节点配额。
-
如果有符合业务需求的折扣套餐的节点,建议先使用折扣套餐节点,可以节约费用。如果没有,可以单击“购买折扣套餐”进行购买。
-
扩容增加的节点规格,默认与集群当前各节点的规格相同。
-
扩容后的集群与原集群的虚拟私有云、子网和安全组也相同。
- 设置高级配置。选择“自定义”时,您可以设置以下高级配置参数进行在线扩容操作,即打开“在线扩容”以及“自动重分布”按钮,“重分布模式”选择“在线重分布”,并在弹出的警告页面单击“确认”即可;重分布支持设置并发数量。
若选择“默认配置”,“在线扩容”默认关闭,“自动重分布”默认开启,“重分布模式”默认为离线模式。
- 请您仔细阅读“温馨提示”内容,勾选“我已确认”单击“下一步:确认”。
- 勾选服务协议,单击“提交”。
说明
提交扩容申请后,集群的“任务信息”显示为“节点扩容”,扩容需要时间请耐心等待。扩容过程中,集群会自动重启,因此会有一段时间“集群状态”显示为“不可用”,重启成功后“集群状态”会变成“可用”。然后在扩容结束阶段,集群将重新分布数据,重分布过程中“集群状态”为“只读”。
只有“集群状态”显示为“可用”且“任务信息”显示的“节点扩容”状态结束,才表示扩容成功,用户可以开始使用集群。
如果集群的“任务信息”显示为“扩容失败”,表示集群扩容失败。
使用空闲节点扩容
对于大规模的集群扩容,基于可靠性的考虑,可通过添加节点提前准备好需要扩容的ECS或BMS节点,在扩容时选择使用空闲节点扩容。
说明
在大规模扩容时建议关闭自动重分布,有利于扩容阶段失败重试,从而增加可靠性。
扩容完成后,再手动执行重分布操作,保证重分布阶段也可进行多次失败重试。
注意
集群内必须提前添加好一定数量的可用节点才可以使用空闲节点扩容。
在反亲和部署模式下,使用空闲节点扩容的节点数量只能是安全环的整数倍。
操作步骤
- 登录数据仓库服务(DWS) 管理控制台。
- 单击“集群管理”。默认显示用户所有的集群列表。
- 集群列表中,在指定集群所在行的“操作”列,选择“更多 > 节点变更 > 扩容”。
如果集群内存在空闲节点,系统将显示“是否从已添加节点扩容”的页面,否则直接显示常规扩容页面。
- 扩容页面用户可根据自身需求选择,详情请参见扩容集群。
配置好扩容和重分布参数后,单击“下一步:确认”。
- 确认无误后,单击“提交”开始扩容。
查看扩容详情
- 登录数据仓库服务(DWS) 管理控制台。
- 单击“集群管理”,默认显示用户所有的集群列表。
- 集群列表中,在指定集群所在行的“任务信息”列,选择“查看详情”。
- 进入“任务详情”页面,用户可查看集群此时的扩容状态。
缩容集群
随着用户的数据仓库容量和性能需求的变化,您可以在管理控制台调整已有集群的大小,以便充分利用数据仓库服务(DWS) 提供的计算资源和存储资源。
特别提示
当前版本暂不支持缩容。
注意当前版本暂不支持缩容,此功能将在更高阶版本实现。