1、增量备份
备份策略可以分为全量备份、差异备份、增量备份。
(1)全量备份(Full Backup),备份所有指定的文件夹和文件,不做文件筛选,对某个时间点上的所有数据进行完全拷贝。好处是每次备份数据相对独立,不依赖历史备份数据,恢复时无需查找和计算历史数据的引用关系;缺点是每次备份的数据量较大,历史备份数据之间可能有一定的重复数据量。
(2)差异备份(Differential Backup),在一次全量备份后到进行差异备份的这段时间内,备份增加或修改的数据。数据恢复只需对第一次全量备份和最后一次差异备份进行恢复,兼顾另两种备份策略的特点。
(3)增量备份 (Incremental Backup ),备份自上一次备份(包含全量备份、差异备份、增量备份)之后有变化的数据。好处是没有重复的备份数据,每次备份的数据量不大,备份所需的时间较短;缺点是数据恢复时需要历史的备份数据的关系。
天翼云备份采用全量备份和增量备份。在第一次备份需要做一次全量备份,后续执行增量备份。在文件备份时,对数据做切片保存并计算数据指纹;在下次备份时,根据数据指纹的异同决定是否需要备份:如果指纹不存在,则对该文件做全量备份;如果指纹存在且相同,只需更新元数据,用于数据恢复;否则,对数据做切片保存并更新指纹信息。
2、断点续传
在任务执行过程中,如果网络异常中断,客户端的心跳异常,触发链路管理模块持续监测网络状态,在网络恢复正常后会自动发起链路重建。
在链路恢复前,任务请求会被缓存;在链路恢复后,心跳恢复正常,如果在指定的时间范围内,缓存的请求会自动重新发送到目标端,如果链路中断时间太长,为避免资源无效占用,备份系统会主动放弃缓存的请求,此次备份任务失败。恢复任务的处理类似。
任务在网络链路异常恢复之后会自动继续执行,此过程无需用户额外操作。允许链路中断的时间可配置。
3、重复数据删除
基于备份策略进行备份的备份数据通常会保存多个数据副本,并且会留存较长一段时间。保存所有数据源的所有副本的备份数据会消耗巨大的存储空间。但是备份数据中通常有大量的相同数据,同一个数据源的多个副本,或不同数据源有大量相似数据。例如,备份多个Linux系统,操作系统和部分软件都是相同的。
天翼云备份通过重复数据删除技术,可节省用户备份数据的存储空间占用量,降低用户的使用成本。数据处理流程:(1)将备份数据流切片;(2)计算切片数据块指纹;(3)在指纹库中比对查询;(4)仅将未重复指纹的数据块存储。