1.如下图,此节点的datanode为两块磁盘,两块磁盘的数据放置不均衡导致hdfs、yarn、hive等服务均呈挂起状态,CDH上一片红
2.参考CDH的官网,说明如下图,支持单点磁盘级别的平衡,另外,贴出Apache hadoop 2.x和Apache hadoop3.x的官网对此参数的说明:
上图是hadoop2.6-cdh5.16.1截图
上图是Apache hadoop 3.2.1版本截图,而Apache hadoop 2.x暂不支持此参数,如下图所示:
3.生产上操作步骤 1)如第2步的截图,dfs.disk.balancer.enabled 此参数默认是被禁用的,首先需将此参数设置为true,CDH版本的操作如下:
2)执行.hdfs diskbalancer -plan hadoop006(需要均衡的机器) 会在 hdfs文件的/system/diskbalancer/2020-Jun-26-18-10-14文件夹下生成一个主机名.plan.json文件 3)hdfs diskbalancer -execute /system/diskbalancer/2020-Jun-26-18-10-14/hadoop006.plan.json,执行平衡磁盘的任务 4)中途使用hdfs diskbalancer -query 主机名查看执行的任务状态 ,结果为DONE的时候表示已经执行完毕最后:在生产上建议写一个计划任务调度每天晚上去执行磁盘平衡,而不是等生产真正出现事故再去执行