使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。
- 以客户端安装用户登录安装了HDFS客户端的节点。
- 执行以下命令,切换到客户端安装目录。
cd ${client_home}
- 执行以下命令配置环境变量。
source bigdata_env
- 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。
kinit 组件业务用户
- 在hdfs命令行显式添加要访问的OBS文件系统。
例如:
- 使用以下命令访问OBS文件系统。
hdfs dfs -ls obs:// OBS 并行文件系统名称 /路径
- 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。
hdfs dfs -put /opt/test.txt obs:// OBS 并行文件系统名称/ 路径
说明OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下:
cd ${client_home}/HDFS/hadoop/etc/hadoop
vi log4j.properties
在文件中添加OBS日志级别配置
log4j.logger.org.apache.hadoop.fs.obs=WARN
log4j.logger.com.obs=WARN