操作场景
当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。
管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。
对系统的影响
启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
前提条件
- 拷贝数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。
- 对于安全模式的集群,集群之间需要配置系统互信。
操作步骤
1.登录其中一个集群的FusionInsight Manager。
2.选择“集群 > 待操作集群的名称 > 服务> Yarn > 配置”,单击“全部配置”。
3.左边菜单栏中选择“Yarn > 集群间拷贝”。
4.修改参数“dfs.namenode.rpc-address”,在“haclusterX.remotenn1”右侧填写对端集群其中一个NameNode实例的业务IP和RPC端口,在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。
“haclusterX.remotenn1”和“haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“8020”,不支持通过Manager修改。
修改后参数值例如:“10.1.1.1:8020”和“10.1.1.2:8020”。
说明
如果本集群数据要备份至多个集群的HDFS中,可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。
5.单击“保存”,并在确认对话框中单击“确定”。
6.重启Yarn服务。
7.登录另外一个集群的FusionInsight Manager,重复2~6。