HDFS(Hadoop分布式文件系统)是Hadoop生态圈中一个很重要的组件，它是专门为分布式大数据量存储而设计的文件系统。
HDFS的核心思想是将数据以块的形式分布在集群各节点上存储，每个块默认为128M。它采用主备复制机制保证数据的可靠性，默认每个块会被复制3份存储在不同的DataNode上。
HDFS的架构主要包含NameNode和DataNode两个组件：
-
NameNode负责管理整个文件系统中文件和目录的名字空间，并记录每个文件被切分成的块以及这些块在DataNode节点上的映射关系。
-
DataNode负责实际存储数据块，并按NameNode的指令执行数据块的读取、写入操作。
客户端通过 contacting NameNode 获取文件块所在DataNode的信息，然后直接与DataNode通信读取或写入数据。
HDFS适用于大数据量的存储，比如日志数据、网站访问记录等。开发者可以使用HDFS客户端API或Hadoop集群进行开发。
也可以使用Hive直接操作HDFS中的数据，开发Spark程序等。
HDFS通过分布式和容错机制，很好地支持PB级以上大数据量的存储与计算需求。它是大数据处理的基础设施之一。
在实际项目开发和应用中，HDFS还有以下几点需要注意：
-
数据本地化。尽量让计算任务运行在数据所在节点，减少网络传输。
-
Block大小选择。根据数据特征合理设置Block大小，一般128M-256M。
-
多版本副本。可以设置更多的副本数来提高容错能力。
-
NameNode高可用。NameNode单点故障，使用Secondary NameNode或QJM实现高可用。
-
DataNode故障处理。DataNode宕机会重新选择其他节点备份数据。
-
HDFS客户端选择。根据场景选择MapReduce、Spark、Flink等计算框架的HDFS客户端。
-
元数据存储。NameNode元数据存储在磁盘，大量小文件问题严重。
-
HDFS访问压力。读写热点问题，使用MapReduce缓存机制优化。
-
文件权限控制。HDFS支持POSIX权限，也可以使用Ranger等进行更细粒度控制。
-
HDFS监控。使用NameNode和DataNode提供的WebUI或者第三方监控系统监控HDFS集群运行状态。
-
HDFS与对象存储整合。将部分冷数据迁移到更经济的对象存储中。
正确使用HDFS能有效支撑PB级以上大数据量的高性能处理与分析任务。
