"""
参考资料:
hadoop安装指导:
1.伪分布式
2.分布式
"""
# 1.查看版本,hdfs目录:/ytest
hdfs version
# 2.列出目录下的文件和目录,在路径/前增加-R 参数列出目录下所有的文件
hdfs dfs -ls /
# 3.新建文件夹
hdfs dfs -mkdir -p /ytest/
# 45G新公参切换.查看文件内容
hdfs dfs -cat /ytest/testdata/123.txt
# 5.删除文件
hdfs dfs -rm -f /ytest/testdata/123.txt
# 6.删除文件夹
hdfs dfs -rm -r /ytest/testdata
# 7.上传文件
hdfs dfs -put /opt/123.txt /ytest/testdata
# 8.下载文件
hdfs dfs -get /ytest/testdata/123.txt /root
# 9.hdfs文件映射到HIve表:
msck repair table table_name;
# 10.mkdir报错:
hdfs dfs -mkdir /ytest/test001/tset_son
# 报错:
mkdir: `hdfs://Master:9000/ytest/test001': No such file or directory
# 解决办法: -mkdir 后加个-p
hdfs dfs -mkdir -p /ytest/test001/tset_son
# 11.Python上传文件到hdfs报错requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x00\x00\x00|{\x08ÿÿÿÿ\x0f\x10\x02\x18\t")org.apache.hadoop.ipc.RPC$VersionMismatch*>Server IPC version 9 cannot communicate with client version 470\x0e:\x00@\x01'))
# 报错:
使用Python的hdfs库进行文件上传时,报错如上
# 解决办法
确认通信的端口号,可以查看hdfs的配置文件hdfs-site.xml 的 dfs.namenode.http-address.mycluster.nn1(NameNode HTTP Server端口) 配置下的端口号