快照概述
快照是对DWS集群在某一时间点的一次全量数据或增量数据的备份,记录了当前数据库的数据以及集群的相关信息,其中包括节点数量、节点规格和数据库管理员用户名称等。快照创建方式包括手动创建快照和自动创建快照。
当选择将快照恢复到新集群时,DWS会根据快照记录的集群信息来创建新集群,然后从快照记录的数据中还原数据库信息。
当选择将快照恢复到原集群时,DWS会清除当前集群的数据,然后从快照记录的数据中将数据库信息还原到当前集群。
其中,快照备份和恢复速率如下(此速率为实验室测试环境下数据,介质为SSD本地盘,仅供用户参考。在实际使用中,由于磁盘、网络、带宽等因素可能会产生一定的差异):
- 备份速率:200 MB/s/DN
- 恢复速率:125 MB/s/DN
说明
OBS快照存储空间:GaussDB(DWS)提供的免费存储空间等于集群存储空间,即单节点存储空间大小 * 节点数。
快照服务依赖及部署说明:
快照管理功能依赖于OBS、NFS的备份介质。
备份设备为NFS的备份介质时,使用挂载盘的方式,依赖云上SFS-Tubor服务。具体配置步骤请参见11.1.3.2-自动快照策略配置备份介质。
当前快照恢复到新集群时仅支持OBS介质。
DWS根据快照创建的新集群与生成快照的原始集群具有相同的配置,即节点的数量和规格、内存、磁盘与原集群一致。
根据快照创建新集群时,如果没有指定其他值,则参数默认与生成快照时的备份信息保持一致。
快照生成期间,请避免进行Vacuum Full操作,否则可能会导致集群只读。
创建快照时因备份数据会降低磁盘I/O性能,建议在业务相对空闲的时期进行快照操作。
快照期间会保留一些中间文件,需额外占用磁盘空间,因此请避开业务高峰期并保证磁盘容量在70%以下。
手动快照
创建手动快照
前提条件
集群快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。用户根据业务需要备份集群数据时,可以在“快照管理”页面创建集群的快照。
手动快照可以随时创建,在创建成功后会一直保存,直到在DWS控制台将此快照删除。由于创建手动快照采用全量备份的方式,因此备份时间较长。
说明
手动创建的集群粒度快照支持备份到OBS服务、NFS介质。
待创建集群粒度快照的集群状态必须为“可用”、“待重启”或“非均衡”中的任意一种,当集群版本低于8.1.3.101时,“只读”状态的集群也可创建集群粒度的快照。
系统影响
正在创建快照的集群,暂时无法提供完整服务,如无法执行重启、扩容、重置密码、修改集群配置信息等操作。
说明为了保证快照数据的完整性,建议创建快照时暂停写入新数据。
操作步骤
- 登录DWS管理控制台。
- 在左侧导航栏中,单击“快照管理”。
- 进入“快照管理”页面,单击右上角的“创建快照”,也可在集群管理页面选择指定集群所在行操作列“更多>创建快照”。
- 在快照创建页面完善快照信息:
- “集群名称” :选择一个指定的DWS 集群。只有状态为“可用”的集群会在下拉列表中显示。
- “快照名称” :填写快照的名称。快照名称长度为4~64个字符,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。
- “快照级别”: 选择快照的级别,创建集群粒度的快照,快照级别需要选择为“cluster”。
- “ 快照描述” :填写快照的描述信息。此参数为可选参数。快照描述的字符长度为0~256,不支持特殊字符!<>'=&"。
- 确认无误后,单击“立即创建”,集群开始创建快照。
创建快照时,正在创建快照的集群任务状态变为“创建快照中”。同时正在创建的快照,状态显示为“创建中”。快照创建完成后,快照的状态为“可用”。
说明如果快照大小明显大于集群当前存储数据的大小,可能存在数据仅标记为删除但未真实清理回收,建议执行vacuum并重新创建快照。
删除手动快照
用户需要删除状态为“不可用”的快照,或者需要释放快照所占用的存储空间时,可以在 “快照管理” 中删除不再使用的快照。
注意成功删除的快照无法恢复,请谨慎操作。
操作步骤
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“快照管理”。默认显示用户所有的快照。
- 在快照列表中,在需要删除的快照所对应的“操作”列,单击“更多 > 删除”按钮。
说明用户可以对手动快照进行删除,自动快照不支持删除。
- 确认无误后,输入“DELETE”,并单击“确定”,删除此快照。
自动快照
自动快照概述
自动快照采用差异增量备份,第一次创建自动快照为全量备份,以后每间隔一段时间做一次全量备份,全量备份作为基础版本。两次全量备份之间都是做增量备份,增量备份基于前一次备份所发生的更改进行记录。
在恢复快照时,DWS会将最近一次的全量备份到本次备份之间的所有备份一起用于恢复集群,因此不会产生数据丢失。
为了保证每个增量快照都能够正常进行数据恢复,如果增量快照的保存时间超过了保留天数,DWS不会立即删除过期的增量快照,而是仍然保留这部分快照,以便提供给后续其他增量快照恢复集群时使用,直到完成下一次全量快照,DWS才会一并删除已过期的上一次的全量自动快照和相关的增量快照。
集群创建成功后,自动快照默认处于启用状态。当集群启用了自动快照时,DWS将按照设定的时间和周期以及快照类型自动创建快照,默认为每8小时做一次增量备份,每周做一次全量备份。用户也可以对集群设置自动快照策略,并根据自身需求,对集群设置一个或多个自动快照策略。DWS管理控制台设置集群的自动快照策略,具体操作请参见设置自动快照策略。
自动快照有保留期,可设置为1~31天,默认为3天,系统会在保留期结束时删除到期快照。如果需要将自动快照保留更长时间,可以创建一份副本作为手动快照。自动快照会保留至保留期结束,而手动快照在手动删除前将会一直保留。
设置自动快照策略
用户可根据自身需求,选择快照类型对集群设置一个或多个自动快照策略。自动快照策略开启后,系统将按照设定的时间和周期以及快照类型自动创建快照。
操作步骤
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“集群 > 专属集群”。
- 在集群列表中,单击指定集群的名称,进入“集群详情”页面。
- 切换至“快照”页签,再单击二级页签中的“策略列表”。在“策略列表”页面,会展示当前集群所有的策略(包括默认的自动快照策略),单击 “自动快照” 开关,开启自动快照策略。
- 表示开启自动创建快照策略。自动快照默认为开启状态,保留天数默认为3天。
- 表示关闭自动创建快照策略,默认为关闭状态。
- 开启后可以设置自动快照的保留天数以及修改当前集群使用的备份设备,各参数配置原则如表所示。
参数名 | 参数解释 |
---|---|
保留天数 | 设置自动创建的快照的保留天数,可设置范围为1~31天。 说明 用户不允许手动删除自动创建的快照,自动快照保留天数超期后,系统会自动删除。 |
备份设备 | 下拉框,支持OBS、NFS。 |
备份NFS文件系统地址(NFS参数) | NFS的共享地址IP。填写弹性文件服务共享路径IP地址,挂载成功后默认在集群实例的“/var/chroot/nfsbackup”目录下创建挂载目录。 |
- 开启自动创建快照策略后,可以对参数进行设置,各参数配置原则如表所示。
参数名 | 参数解释 |
---|---|
快照策略名称 | 策略名称要求在4位到92位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或者下划线,不能包含其他特殊字符,并且名称唯一。 |
快照类型 | 可选择全量和增量。 15次增量快照会触发一次全量快照。 增量快照恢复是以全量快照为基础,增量快照为辅恢复数据到增量快照时间点的全部数据。 增量快照记录基于前一次快照所发生的更改,备份时间快;全量快照是对整个集群的数据进行备份,时间较长。在恢复快照期间,DWS会将最近一次的全量快照到本次快照之间的所有快照一起用于恢复集群。 |
快照策略 | 可选择周期性或一次性。 只有快照类型选择全量时,才可选择一次性快照策略。 |
一次性快照策略设置 | 可设置在未来某一个具体时间点创建一次全量备份,时间为UTC时间。 |
快照执行周期 | 可根据需求设置周期性的快照触发策略: 天数设置:可以指定星期或指定日期,选择星期后不可再选择日期。在选择日期时,若当前月份没有所选日期,直接顺延到之后的月份。 时间设置:可以选择指定时间,含义为指定周期性策略当天具体的触发时间。增量快照类型可以指定开始时间以及间隔,可选间隔为4-24小时,表示从某个时间开始每隔多少小时做一次快照。 当增量数据量较大时,如果设置的备份周期太长会出现备份慢的情况,建议可以适当地增加备份频率。 |
说明快照策略时间需要设置为UTC,同时需要考虑业务所在时区的时差。
- 快照类型为全量快照时,快照策略可选择一次性和周期性:
**周期性:**设置全量周期性快照策略,可指定星期或日期,选择触发时间点。
注意29号、30号、31号为月末日期,会存在漏备,请谨慎选择。具体策略和执行请以实际月份日期为准。
**一次性:**设置全量一次性快照策略,可指定具体日期和触发时间。
- 快照类型为增量快照时,快照策略只能选择周期性:
设置增量周期性快照策略,可以指定星期或日期,并且可以选择触发时间点,或设置开始时间以及时间间隔。
- 确认无误后,单击“确定”。
说明一个集群最多可设置三个快照策略。
- (可选)用户可根据自身需求在指定自动快照策略中单击“修改”按钮对已经开启的自动创建快照策略进行修改。
- (可选)用户可单击“预览快照策略”按钮,预览当前集群使用中的快照策略,显示集群未来7次的快照情况。如果集群没有设置全量策略,系统将默认使用每进行15次增量快照进行一次全量快照的策略。
说明由于集群的操作不可预期,需注意:
参考策略预览时间,集群将在预设时间1小时内触发快照任务。
当集群在扩容、升级、修改快照介质等操作之后,进行下一次自动快照时,系统默认做全量自动快照。
当集群使用周期性策略时,上次自动快照结束后4小时内不允许再次自动备份,不符合要求的触发时间将被跳过。
当多个策略的下次触发时间发生冲突时,优先级关系为一次性>周期性、全量>增量。
当进行备份恢复时,支持从任意一种快照类型恢复资源的全量数据,无论快照类型是全量快照还是增量快照。
复制自动快照
用户可以对自动快照进行复制,生成手工快照以便长期保留。
复制自动快照
- 登录DWS管理控制台。
- 在左侧导航栏中,单击“快照管理”。
默认显示用户所有的快照。用户可以对自动快照进行复制。
- 在快照列表中,在需要复制的快照所对应的“操作”列,单击“复制”。
- “快照名称”:填写新快照的名称。
快照名称长度为4~64个字符,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或者下划线,不能包含其他的特殊字符。
- “快照描述”:填写快照的描述信息。
此参数为可选参数。快照描述的字符长度为0~256,不支持特殊字符!<>'=&"。
- 单击“确定”,开始为集群复制快照。
系统提示“快照复制下发成功”。快照复制完成后,复制快照的状态为“可用”。
说明如果快照大小明显大于集群当前存储数据的大小,可能存在数据仅标记为删除但未真实清理回收,建议清理回收存储空间后重新创建快照。
删除自动快照
自动快照不支持手动删除,仅DWS系统能够删除自动快照。
DWS会在如下情况下删除自动快照:
- 自动快照保留期结束
- 删除集群
注意为防止用户误执行删除集群操作,DWS将提供以下策略(该功能仅在8.2.0及以上集群版本支持):
若最新一次的快照为自动快照,则系统会将自动快照保留一天时间。
若最新一次的快照为手动快照,则会删除相应集群已有的自动快照。
查看快照信息
用户创建快照后,可以在“快照管理”页面查看集群快照的信息。
查看快照信息
- 登录DWS管理控制台。
- 在左侧导航栏中,单击“快照管理”。
在快照列表中,默认显示用户所有的快照。
- 在快照列表中,查看快照的“ 快照名称” 、 “快照状态” 、 “集群名称” 、 “备份方式” 、 “快照类型” 、 “快照介质” 和“ 快照创建时间” 。
用户也可以在快照列表的右上角,输入快照名称或集群名称并单击,搜索指定的快照。支持模糊搜索名称的部分字符。如表所示。
状态 | 说明 |
---|---|
“可用” | 表示当前快照工作正常。 |
“创建中” | 表示当前快照正在创建中。 |
“不可用” | 表示当前快照无法提供服务。 |
备份方式如下表所示。
类型 | 说明 |
---|---|
手动 | 用户通过DWS管理控制台或者API接口手动创建的快照。用户可以删除手动快照。 |
自动 | 用户为集群开启快照自动备份策略后,系统自动创建的快照。用户不能删除自动快照,自动快照的保留天数超期后,系统会自动进行删除。 |
快照类型如表所示。
类型 | 说明 |
---|---|
全量 | 该快照为全量备份。 |
增量 | 该快照为增量备份。 |
快照介质如表所示。
快照介质 | 说明 |
---|---|
OBS | 策略中配置备份设备为:OBS,则创建出的快照为OBS快照,备份数据保存在OBS服务器上。 |
NFS | 策略中配置备份设备为:NFS,则创建出的快照为NFS快照,备份数据保存在NFS服务器上。 |
恢复快照
恢复快照约束
集群粒度快照恢复
集群粒度恢复分为两个主要步骤:
- 恢复数据:即备份工具将备份集中的数据并行的恢复到各个实例的数据目录中,实例包括主CN,主DN等。
- 重建备DN:即主DN恢复完之后,备DN使用全量Build的方式重建出来,这个过程也是并行执行。
说明
综上恢复过程要比备份过程耗时要久一些,通常需要备份时间1.5~2倍的耗时。
集群级恢复后参数与备份时一致,恢复到新集群时需保证和原集群规格一致,如果新集群规格小的话可能会导致恢复失败。
恢复快照到新集群
操作场景
用户需要查看集群过去某个时刻的快照数据时,必须先恢复快照到新集群。
恢复快照到新集群时,恢复时长是由快照备份的数据量所决定的。如果快照备份的数据量大,恢复就比较慢。如果快照备份的数据量小,恢复就相对比较快。
自动快照是增量备份,在恢复快照时,DWS会将最近一次的全量备份到本次快照之间的所有快照一起用于恢复集群。自动快照的备份频率是可以设置的,如果一周只备份一次,当增量数据量较大时,就会出现备份慢的情况,因此,建议适当地增加备份频率。
说明
恢复快照到新集群的功能目前仅支持备份设备为OBS的快照。
恢复快照时默认创建一个与原始集群规格相同、节点数也相同的新集群。
当前恢复到新集群操作可保证原业务不中断。
使用冷热表后,不支持使用快照将冷数据恢复到新集群。
暂不支持细粒度恢复绝对表空间或相对表空间下的表。
不支持恢复逻辑集群与资源池到新集群。
前提条件
- 恢复到新集群时创建所需的资源小于或等于用户剩余配额。
- 用户进行恢复快照到新集群操作时,请确保快照状态为“可用”状态。
操作步骤
- 登录DWS管理控制台。
- 在左侧导航栏中,选择 “快照管理” 。默认显示用户所有的快照。
- 在快照列表中,找到所需恢复的快照,在该快照所在行的“操作”列,单击“恢复”按钮。
- 进入“恢复快照”页面,选择“新集群”并填写新集群的配置参数。
- 选择恢复到单AZ集群。
恢复快照时,参数支持重新定义,具体请参见下表,其他参数默认与快照中的备份信息保持一致。
配置类型 | 配置名称 |
---|---|
基础配置 | 区域、可用分区、节点规格、集群名称、数据库端口、虚拟私有云、子网、安全组、公网访问、企业项目。 |
高级配置 | 当配置为“自定义”时,设置以下参数: 标签:如果原集群开启了“加密数据库”,可设置“密钥名称”。 |
- 单击“立即恢复”,进入“规格确认”页面。
- 规格确认无误后,单击“提交”,开始恢复快照到新集群。
等待新集群状态变为“可用”,表示快照已恢复成功。
集群快照恢复成功后,新集群的内网地址和弹性IP地址(如果“公网访问”设置为“自动分配”)会重新分配。
说明如果申请的节点数(个)、vCPU(核)或内存(GB)超过了用户的剩余配额,系统会弹出警告窗口提示用户配额不足并显示详细的剩余配额和当前申请配额信息。用户可以在警告窗口单击“申请扩大配额”,以提工单的形式申请扩大配额。在通过审理之后,服务会更新您的配额并进行通知。
查看恢复详情
- 登录DWS管理控制台。
- 选择“集群 > 专属集群”,默认显示用户所有的集群列表。
- 集群列表中,集群状态为“恢复中”,单击下方“查看详情”按钮。
- 进入“任务详情”页面,用户可查看集群此时的恢复快照进度。
说明
任务详情预估时长仅作为参考,实际时长依赖当前数据量大小。
“执行恢复”阶段单击“查看”可查看内核恢复过程。需要注意的是,任务详情的任务时间与内核执行时间由于任务调度和集群重启等原因,存在一定的时间间隔。
恢复快照到原集群
操作场景
恢复到原集群时,可以指定快照恢复到本集群。通常在集群故障或者需要将数据回滚到指定快照版本时,用户使用该功能。
说明
该功能仅8.1.3.200及以上集群版本支持。
该功能目前支持备份设备为OBS的快照。
快照状态为“可用”时,用户才可以进行快照恢复。
不支持恢复逻辑集群与资源池到当前集群。
操作步骤
- 登录GaussDB(DWS)管理控制台。
- 在左侧导航栏中,选择“集群 > 专属集群”。
- 单击任意集群名称,进入集群管理页面,单击“快照”。
- 单击“恢复”按钮进入快照恢复页面。
- 选择对应的快照进行就地恢复。
说明快照就地恢复期间,集群不可用。
快照参数配置
快照参数配置可以指定创建快照和快照恢复的参数信息,以便对快照功能进行优化调整。
说明
该功能仅8.2.0及以上集群版本支持(对于8.2.0之前的集群版本,仅支持个别参数的配置)。
配置参数后该集群所有的快照、恢复都将以所配置的参数下发命令。
操作步骤
- 登录DWS管理控制台。
- 在左侧导航栏中,选择“集群 > 专属集群”。
- 在集群列表中,单击指定集群的名称,进入“集群详情”页面。
- 切换至“快照”页签,再单击二级页签中的“参数配置”。在“参数配置”页面,会展示当前集群所有的可配参数。
- 根据用户不同的参数要求填入合适的参数值,详情请参见快照参数详情。
- 单击保存即可。
快照参数详情
参数名称 | 参数类型 | 参数描述 | 默认值 |
---|---|---|---|
parallel-process | 备份参数 | 指定Roach备份时每个节点的并发进程。 须知: 该参数支持8.2.0之前版本集群配置。 |
为本节点主DN个数 |
compression-type | 备份参数 | 压缩算法类型:zlib、LZ4 须知: 该参数支持8.2.0之前版本集群配置。 |
LZ4 |
compression-level | 备份参数 | 压缩级别,取值范围为0~9: · 0代表快速或无压缩。 · 9代表慢速或最大压缩。 须知 该参数支持8.2.0之前版本集群配置。 |
6 |
buffer-size | 备份参数 | 指定Roach上传介质的buffer大小,取值范围为256~16384,单位是MB。 | 256 |
buffer-block-size | 备份参数 | 指定Roach读取数据文件的数据块大小,取值范围为5242880~268435456,单位是Byte。 | 67108864 |
cpu-cores | 备份参数 | Roach启动多线程并发时,可以使用的CPU核数。 | 为节点CPU逻辑核数总和的1/2 |
master-timeout | 备份参数 | 指定Roach master节点和agent节点的通信超时时间,取值范围为600~3600,单位是s。 | 3600 |
max-backup-io-speed | 备份参数 | 指定Roach备份时的IO流控,取值范围为0~2048,单位是MB/s。必须大于buffer-block-size,0表示不限制。 | 0 |
backup-mode | 备份参数 | 全量备份的模式: 0:一阶段的备份 1:两阶段的备份 |
0 |
cbm-parse-mode | 备份参数 | 增量备份的模式: 0:一次扫描cbm(内存占用大,性能快) 1:多次扫描cbm(内存占用稳定,性能差) |
0 |
parallel-process | 恢复参数 | 指定Roach备份时每个节点的并发进程,默认当前节点主DN数+ 1 | 1 |
cpu-cores | 恢复参数 | Roach启动多线程并发时,可以使用的CPU核数。 | 默认是1/2 cpu核数 |
logging-level | 恢复参数 | 日志级别: · FATAL(致命):导致系统停止工作的、无法恢复的故障。该级别为最严重级别。 · ERROR(错误):重大错误。 · WARNING(警告):异常情况。系统在该情况下可能会继续处理任务。 · INFO(提示):日志记录过程中的提示性日志。 · DEBUG(调试):用于调试的详细信息。 · DEBUG2(调试2):最详细的日志信息,通常会过滤不显示。该级别严重程度最轻。 |
INFO |
停止快照
用户创建快照开始后,可以根据需求在“快照管理”页面手动停止本次快照。
说明
停止快照功能仅8.1.3.200及以上集群版本支持。
若快照即将完成,停止快照命令将不再生效,快照会正常结束。
前提条件
停止快照仅支持快照状态显示为“创建中”的快照。在快照创建启动时与快照即将创建完成时无法进行停止快照操作。
操作步骤
- 登录DWS管理控制台。
- 在左侧导航栏中,单击“快照管理”。
在快照列表中,选择指定“创建中”快照所在行的“操作”列,单击“停止快照”按钮。
- 在弹出的提示框中,单击“是”将停止本次快照,快照停止后状态将变为“不可用”状态。