原因:
原来使用的是aliyun-sdk-oss-2.8.3.jar,后来调查因为阿里的JindoFS SDK针对oss做了加速缓存,就替换成jindofs-sdk.jar,然后使用hadoop distcp复制数据到oss的时候报错如下:
hadoop distcp hdfs://换成自己环境的IP:9000/group/user/tools/meta/hive-temp-table/kstj_os/tp_device/* oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/kstj_os/tp_device
解决方案:
各个节点上传jindofs-sdk.jar到/root/目录下
使用以下命令复制到目录:
cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-mapreduce/
cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/lib/
cp jindofs-sdk.jar /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/
在yarn的界面操作以下
然后在执行命令进行操作:
以上代表成功了。