DistCp的快照功能是其一个重要特性，用于保证数据在数据复制过程中的一致性，可以极大降低目录文件扫描时间，提高迁移效率。采用普通distcp迁移hdfs目录时，作业每次执行会全量对比HDFS目录迁移前后的文件，在增量迁移阶段，如果迁移源目录文件量较大、大部分已全量迁移到目标目录、增量数据较少时，这会导致整个迁移过程耗时很长、大部分耗时在文件比对上。而基于快照功能的迁移能够仅拷贝这些有差异的文件，避免扫描目录下全部文件而耗费较长时间，从而减少整个迁移作业的执行时间。

HDFS快照概况

定义

在Hadoop文件系统（HDFS）中，快照是文件系统状态的一个只读镜像。快照可以在任何时间点创建，用于记录文件系统或指定目录在某一刻的状态。快照一旦创建就会保持不变，即使源文件系统发生了改变。快照的一些常见用例包括数据备份、防止用户错误和灾难恢复。

可快照目录

• 当HDFS目录被设置为snapshottable ，就可以在该目录上生成快照。
• 一个可快照目录能够同时容纳 65,536 个快照。
• 一个HDFS里可快照目录的数量没有限制，任何目录设置都为可以设置为可快照目录。
• 如果可快照目录中存在快照，则在删除所有快照之前，既不能删除该目录，也不能重命名该目录。
  
• 目前可快照目录不允许嵌套。即如果目录的父目录或子目录是可快照目录，则无法将其设置为可快照目录。
  

存放路径

对于可快照目录，其快照存放在目录下的“.snapshot”路径。常用的 API 和 CLI都可以使用“.snapshot”路径。
示例：假设/foo是一个可快照的目录，/foo/bar是/foo中的文件/目录，并且/foo有一个快照s0。则路径/foo/.snapshot/s0/bar代表/foo/bar的快照s0。

注：在支持快照功能HDFS版本中，.snapshot是个保留名称（reserved name），但是在不支持快照功能的旧版本HDFS中不是，因此当该旧版本升级到新版本时，需要首先重命名或删除名为.snapshot的已存在路径，以避免与新版本的保留路径冲突。

特点

HDFS快照的实现是高效的：

• 快照创建是瞬时的：成本为O(1)，不包括 inode 查找时间。
• 仅当相对于快照进行修改时才会使用额外的内存：内存使用量为O(M)，其中M是修改的文件/目录的数量。
• datanode中的块不会被复制：快照文件记录块列表和文件大小。没有数据复制。
• 快照不会对常规 HDFS 操作产生不利影响：修改按时间倒序记录，以便可以直接访问当前数据。快照数据是通过从当前数据中减去修改来计算的。

操作

允许快照

切换到root用户下，执行以下命令，可允许指定目录创建快照

hdfs dfsadmin -allowSnapshot <路径>

• <路径>: 允许创建快照目录的路径

禁止快照

切换到root用户下，执行以下命令，可禁止目录创建快照

hdfs dfsadmin -disallowSnapshot <path>

注：如果快照目录包含快照，需要首先删除所有的快照后再禁止快照功能

创建快照

使用目录的所有者或者hdfs超级用户账号来执行创建快照命令，可为一个目录创建快照

hdfs dfs -createSnapshot <path> [<snapshotName>]

删除快照

使用目录的所有者或者hdfs超级用户账号来执行删除快照命令，可删除该目录的指定快照

hdfs dfs -deleteSnapshot <path> <snapshotName>

重命名快照

使用目录的所有者或者hdfs超级用户账号来执行重命名快照命令，可重命名该目录的指定快照

hdfs dfs -renameSnapshot <path> <oldName> <newName>

获取快照目录列表

获取当前用户有权限创建快照的所有快照目录

hdfs lsSnapshottableDir

获取快照差异报告

获取两个快照之间或快照与目录当前状态之间的差异。此操作需要执行用户有两个快照中所有文件/目录的读取访问权限。

hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

返回结果符号说明：

符号	说明	示例
+	文件/目录已新增	+ ./text1.txt
-	文件/目录已被删除	- ./text1.txt
M	文件/目录已被修改	M ./foo/bar
R	文件/目录已重命名	R ./foo -> ./foo2

DistCp快照拷贝功能

DistCp提供-diff选项，实现将快照之间的差异部分从源集群同步到目标集群。该接口能够复制、重命名和删除快照差异列表中的文件。

使用方法

执行以下命令，将目录从快照<from_snapshot>到快照<to_snapshot>的差异拷贝到

hadoop distcp -update -diff <from_snapshot> <to_snapshot> <source> <destination>

要求：

• 使用-diff时必须包含-update，不能包含-delete
• 目录需要同时包含名为和的快照，不需要为当前状态的快照
• <to_snapshot>创建时间需要晚于<from_snapshot>
• 目录需要包含名为<from_snapshot>的快照，且必须为当前状态的快照

使用示例

测试源目录/src下包含两个快照snap1（旧）和snap2（新），两个快照包含的内容如下
snap1->snap2的差异为新增了./3

测试目标目录/dst为空目录，当前快照为snap1，包含的内容为

运行以下命令，将src目录的snap1->snap2快照差异拷贝到dst

hadoop distcp -update -diff snap1 snap2 /src /dst

查看/dst目录，成功新增了子目录./3

用例测试

测试数据

本地准备4个测试数据文件1.txt、2.txt、3.txt、4.txt

测试环境

在HDFS里创建测试目录/tmp/distcp_test，包含三个子目录，其中src目录为源目录，所有者为hdfs；dst和dst2为目标目录，所有者分别为hdfs和metahouse，目录均开启了快照功能；
首先为src目录创建一个快照，按snap_yyyyMMdd-HHmmss格式命名。
将部分测试数据文件上传到src目录，并在每次变更后，为src目录创建一个快照

总共包含如下4个快照：

测试采用dst和dst2目录为目标目录，目录初始均为空，且不包含快照：

测试内容与结果

源文件的时间、用户名等权限信息是否会拷贝

测试用例	结果
基础命令（只包含-update -diff选项）	仅同步快照差异数据，不同步权限信息。
含-p选项	采用-p[rbugpcaxt]命令可同步所有权限信息，其中u（所有者）权限，需要采用超级用户执行命令。

基础命令（只包含-update -diff选项）

目标：采用metahouse租户执行基础命令，将src从snap_20240320-193130到snap_20240320-193300的快照差异同步到dst2

为dst2的当前状态创建一个和src同名的快照

hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130

将快照差异同步到dst2

hadoop distcp -update -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

查看dst2目录下文件，src目录下文件进行比对
可以看到快照差异已经同步到dst2，但是源文件的权限信息都没有拷贝

含-p命令

目标：采用metahouse租户执行含-p命令，将src从snap_20240320-193130到snap_20240320-193300的快照差异同步到dst2
清空/tmp/distcp_test/dst2下文件

hdfs dfs -rm -r /tmp/distcp_test/dst2/*
# hdfs dfs -deleteSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
# hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130

首先采用含-prbugpcaxt命令将快照差异同步到dst2

hadoop distcp -update -prbugpcaxt -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

由于metahouse用户不是超级用户，没有权限修改owner，distcp任务报错。但是快照变更数据依然同步到了dst2目录下，和不添加-prbugpcaxt参数（即步骤a）的同步效果一致

再次清空/tmp/distcp_test/dst2下文件，再次采用含-prbgpcaxt（去掉u）命令将快照差异同步到dst2

hadoop distcp -update -prbgpcaxt -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

任务执行成功，快照差异成功同步，同时保留了除所有者信息外的其他权限信息

同名文件是否会覆盖

测试用例	结果
同名文件内容相同（同一文件）	内容不会覆盖；权限信息由-p参数单独控制是否修改覆盖，且需要执行租户有修改相关文件的权限
同名文件内容相同（不同文件）	内容不会覆盖；权限信息由-p参数单独控制是否修改覆盖，且需要执行租户有修改相关文件的权限
同名文件内容不同	会被覆盖；权限信息由-p参数单独控制是否修改覆盖，且需要执行租户有修改相关文件的权限

同名文件内容相同（同一文件）

目标：将src从snap_20240320-193130到snap_20240320-193300的快照差异（+1.txt,+2.txt）同步到dst2，重复两次，查看第二次2.txt是否被覆盖
清空/tmp/distcp_test/dst2下文件（如果有），删除dst2已有的snap_20240320-193130快照（如果有），为dst2的当前状态创建一个快照snap_20240320-193130，将快照差异同步到dst2

# hdfs dfs -rm -r /tmp/distcp_test/dst2/*
# hdfs dfs -deleteSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hadoop distcp -update -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

运行成功后可以看到快照变更已同步

再次执行一遍相同的命令，dst2删除并生成新快照snap_20240320-193130、将快照差异同步到dst2

结果可以看到，两个文件都跳过了拷贝，并且文件时间等信息都没有改变

同名文件内容相同（不同文件）

目标：dst2目录下创建与src目录下2.txt同名且内容相同的新文件。采用metahouse用户将src从snap_20240320-193130到snap_20240320-193300的快照差异（+1.txt,+2.txt）同步到dst2，查看2.txt是否被覆盖
清空/tmp/distcp_test/dst2下文件（如果有），切换到hdfs用户，创建文件2.txt，将2.txt信息追加进去

# hdfs dfs -rm -r /tmp/distcp_test/dst2/*
hdfs dfs -touchz /tmp/distcp_test/dst2/2.txt
hdfs dfs -appendToFile /tmp/test/2.txt /tmp/distcp_test/dst2/2.txt
hdfs dfs -cat /tmp/distcp_test/dst2/2.txt

删除dst2的snap_20240320-193130快照（如果有），重新为dst2的当前状态创建一个快照snap_20240320-193130，将快照差异同步到dst2

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hadoop distcp -update -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

从DistCp Counters里可以看到，有一个文件跳过拷贝，同时dst2目录下2.txt的所有者仍为hdfs，说明2.txt没有被覆盖拷贝

如果加上-prbgpcaxt同步权限执行相同的操作，会出现失败，原因是metahouse用户没有权限修改2.txt（所有者hdfs）

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130

hadoop distcp -update -prbgpcaxt  -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

从结果可以看到，1.txt同步成功且权限与src保持一致（除了所有者），但2.txt同步失败，被跳过了拷贝，没有被覆盖

切换到hdfs用户下，再次执行相同的命令，可以看到虽然两个文件都跳过了拷贝，但是权限信息已同步。因此，同名文件内容相同情况下（如2.txt），文件不会覆盖/重复拷贝，权限信息由-p参数控制可单独同步

同名文件内容不同

目标：dst2目录下创建与src目录下2.txt同名且内容不同的新文件，将src从snap_20240320-193130到snap_20240320-193300的快照差异（+1.txt,+2.txt）同步到dst2，查看2.txt是否被覆盖
清空/tmp/distcp_test/dst2下文件（如果有），采用metahouse租户，将4.txt文件上传到dst2目录下，并命名为2.txt

hdfs dfs -put /tmp/test/4.txt /tmp/distcp_test/dst2/2.txt

dst2/2.txt文件和src/2.txt同名但内容不同

为dst2的当前状态创建一个和src同名的快照snap_20240320-193130

# hdfs dfs -deleteSnapshot /tmp/distcp_test/dst2 snap_20240320-193130
hdfs dfs -createSnapshot /tmp/distcp_test/dst2 snap_20240320-193130

将快照差异同步到dst2

hadoop distcp -update -diff snap_20240320-193130 snap_20240320-193300 /tmp/distcp_test/src /tmp/distcp_test/dst2

查看dst2目录下文件，并和src目录下文件进行比对，可以看到快照差异已经同步，并且dst2/2.txt文件内容已经和src/2.txt一致，说明同名文件内容不同会被覆盖

目标目录若存在多余的文件是否会被删除

测试用例	结果
目标目录中包含快照差异报告之外的文件	不会删除差异报告之外的文件；如果目标目录不包含差异报告内的文件，程序不会报错
目标目录中包含快照差异报告中删除的同名文件	会被删除
目标目录中包含快照差异报告中删除的同名子目录，子目录下包含多余文件	子目录及其包含的所有文件都会被删除

目标目录中包含快照差异报告之外的文件

目标：src目录删除2.txt文件并创建新快照，dst目录上传4.txt文件，将src目录-2.txt的快照差异同步到dst目录，查看4.txt文件状态
切换到hdfs用户下，将src目录2.txt文件删除，创建新快照snap_20240321-135650，当前src目录下内容及快照信息如下

确认snap_20240320-193400到snap_20240321-135650的快照差异为-2.txt

hdfs snapshotDiff  /tmp/distcp_test/src snap_20240320-193400 snap_20240321-135650

将4.txt文件上传至dst目录，创建快照snap_20240320-193400

hdfs dfs -put /tmp/test/4.txt /tmp/distcp_test/dst
# hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240320-193400
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240320-193400

将src目录snap_20240320-193400到snap_20240321-135650的快照差异同步到dst目录

hadoop distcp -update -diff snap_20240320-193400 snap_20240321-135650 /tmp/distcp_test/src /tmp/distcp_test/dst

从运行结果可以看到，即使dst不存在2.txt文件，程序也可以正常运行；4.txt文件没有被删除，说明快照差异报告之外的文件不会被删除

目标目录中包含快照差异报告中删除的同名文件

目标：src目录删除2.txt文件并创建新快照，dst目录上传4.txt文件命名为2.txt，将src目录-2.txt的快照差异同步到dst目录，查看2.txt文件状态
继续采用a中snap_20240320-193400到snap_20240321-135650的快照差异（- ./2.txt）进行同步测试

hdfs snapshotDiff /tmp/distcp_test/src snap_20240320-193400 snap_20240321-135650

将4.txt文件上传至dst目录，命名为2.txt，删除并重新创建快照snap_20240320-193400

hdfs dfs -put /tmp/test/4.txt /tmp/distcp_test/dst/2.txt
hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240320-193400
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240320-193400

将src目录snap_20240320-193400到snap_20240321-135650的快照差异同步到dst目录

hadoop distcp -update -diff snap_20240320-193400 snap_20240321-135650 /tmp/distcp_test/src /tmp/distcp_test/dst

从运行结果可以看到，dst目录下2.txt同名文件被删除，即使dst中的2.txt文件和src中2.txt文件内容不一致

目标目录中包含快照差异报告中删除的同名子目录，该子目录下包含多余文件

目标：dst目录下包含src同名子目录./3和多余文件./3/4.txt，将src目录- ./3的快照差异同步到dst目录，查看4.txt文件状态
src目录删除子目录3（及目录下的3.txt）并创建新快照，dst目录创建3子目录并上传4.txt到子目录3中

hdfs dfs -put /tmp/test/4.txt /tmp/distcp_test/dst/3
hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-135650
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-135650

hdfs snapshotDiff /tmp/distcp_test/src snap_20240321-135650 snap_20240321-142500

将src目录snap_20240321-135650到snap_20240321-142500的快照差异同步到dst目录

hadoop distcp -update -diff snap_20240321-135650 snap_20240321-142500 /tmp/distcp_test/src /tmp/distcp_test/dst

查看结果，发现dst下的子目录./3全部被删除了，包括其中的多余文件4.txt

同步过程中，源目录/目标目录变化是否有影响

测试用例	结果
源目录/目标目录新增文件	任务能够正常运行退出
源目录/目标目录修改文件	任务能够正常运行退出

源目录/目标目录新增文件

目标：同步快照差异时，在源目录/目标目录新增文件，查看distcp任务是否能成功运行

# Difference between snapshot snap_20240321-144730 and snapshot snap_20240321-161910 under directory /tmp/distcp_test/src:
# M	.
# +	./1GB_file

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-144730
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-144730
hadoop distcp -update -diff snap_20240321-144730 snap_20240321-161910 /tmp/distcp_test/src /tmp/distcp_test/dst

任务执行后，在源目录/目标目录新增文件5.txt，查看任务是否能成功完成

hdfs dfs -touchz /tmp/distcp_test/dst/5.txt
hdfs dfs -touchz /tmp/distcp_test/src/5.txt

distcp成功完成，新增文件对任务运行没有影响

源目录/目标目录修改文件

目标：同步快照差异时，在源目录/目标目录修改文件，查看distcp任务是否能成功运行
初始状态

待同步的快照差异，其中第2、第3个快照差异(M ./1GB_file）中的具体操作是为1GB_file文件追加了1G的数据

先后提交四个连续的快照差异diff1-4

# Difference between snapshot snap_20240321-165100 and snapshot snap_20240321-190000 under dir
# M	.
# +	./1GB_file
# +	./5.txt
# M	./3
# -	./3/1GB_file

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-165100
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-165100
hadoop distcp -update -diff snap_20240321-165100 snap_20240321-190000 /tmp/distcp_test/src /tmp/distcp_test/dst

# Difference between snapshot snap_20240321-190000 and snapshot snap_20240321-190040 under dir
# M	./1GB_file

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-190000
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-190000
hadoop distcp -update -diff snap_20240321-190000 snap_20240321-190040 /tmp/distcp_test/src /tmp/distcp_test/dst

# Difference between snapshot snap_20240321-190040 and snapshot snap_20240321-190525 under dir
# M	./1GB_file

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-190040
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-190040
hadoop distcp -update -diff snap_20240321-190040 snap_20240321-190525 /tmp/distcp_test/src /tmp/distcp_test/dst

# Difference between snapshot snap_20240321-190525 and snapshot snap_20240321-191130 under dir
# M	.
# R	./1GB_file -> ./3/1GB_file
# M	./3

hdfs dfs -deleteSnapshot /tmp/distcp_test/dst snap_20240321-190525
hdfs dfs -createSnapshot /tmp/distcp_test/dst snap_20240321-190525
hadoop distcp -update -diff snap_20240321-190525 snap_20240321-191130 /tmp/distcp_test/src /tmp/distcp_test/dst

4个distcp都运行成功，执行完成顺序为diff1、diff2、diff4、diff3，查看结果可以发现最终dsc目录和src目录不一致，表明执行顺序对同步最终结果有影响

注：不采用-diff选项时，运行distcp任务过程中修改拷贝的源文件，会导致任务报错；修改目标文件，不影响任务运行

场景应用：增量数据迁移

distcp的-diff选项能够将两次快照之间的差异操作同步到目标集群，适用于增量迁移的场景

使用步骤

以源目录sourceDir迁移到目标目录targetDir为例

• 第一次迁移采用全量迁移：先在sourceDir创建一个快照s0，利用DistCp拷贝整个目录数据到目标目录targetDir，并在targetDir创建快照s0
• 后续的每次迁移仅迁移增量数据：
  • 以每天迁移一次为例，在迁移前先为sourceDir生成一个快照sn，结合前一天迁移生成的快照sn-1，通过-diff选项将两个快照之间的差异操作同步到targetDir
  • 迁移完成后在targetDir创建快照sn，并删除前一天迁移生成的快照sn-1，这样就完成了每天增量数据同步
• 等全部迁移工作完成后，删除所有快照

迁移工具解决方案

采用周期策略按天调度，每次调度时自动创建新快照，与上一次调度快照对比，通过distcp同步两次快照之间的差异操作，差异完成后删除上一次调度的快照