1 版本信息
2 core-site.xml配置文件详解
<-- 描述集群中NameNode结点的URI(包括协议、主机名称、端口号) -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp101:8020</value>
<final>true</final>
</property>
<-- 启用 s3a 快速上载机制 -->
<property>
<name>fs.s3a.fast.upload</name>
<value>true</value>
</property>
<-- 所有数据上传缓存在磁盘中 -->
<property>
<name>fs.s3a.fast.upload.buffer</name>
<value>disk</value>
</property>
<-- upload或copy操作，当文件超过多大时，即拆分。 -->
<property>
<name>fs.s3a.multipart.size</name>
<value>67108864</value>
</property>
<-- 检查点之间的时间间隔， 单位为分钟， 此属性可以在服务器和客户端上配置，如果服务器上被禁用，则检查客户端配置，如果服务器上被启用，则忽略客户端配置。-->
<property>
<name>fs.trash.interval</name>
<value>360</value>
</property>
<-- zookeeper 失败切换控制器的重试次数设置 -->
<property>
<name>ha.failover-controller.active-standby-elector.zk.op.retries</name>
<value>120</value>
</property>
<-- zookeeper ACL认证 -->
<property>
<name>ha.zookeeper.acl</name>
<value>sasl:nn:rwcda</value>
</property>
<-- zookeeper -->
<property>
<name>ha.zookeeper.quorum</name>
<value>client:2181,namenode:2181,snamenode:2181</value>
</property>
<-- 允许跨域的方法列表 -->
<property>
<name>hadoop.http.cross-origin.allowed-methods</name>
<value>GET,PUT,POST,OPTIONS,HEAD,DELETE</value>
</property>
<-- 允许跨域访问的来源 -->
<property>
<name>hadoop.http.cross-origin.allowed-origins</name>
<value>*</value>
</property>
<-- 一个逗号分隔的类名列表，他们必须继承于org.apache.hadoop.http.FilterInitializer，相应的过滤器被初始化后，将应用于所有的JSP和Servlet网页 -->
<property>
<name>hadoop.http.filter.initializers</name>
<value>org.apache.hadoop.security.AuthenticationFilterInitializer,org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value>
</property>
<-- hdfs 代理用户 -->
<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>*</value>
</property>
<-- hive 代理用户组 -->
<property>
<name>hadoop.proxyuser.hive.groups</name>
<value>*</value>
</property>
<-- hdp102 上的hive用户可以以superuser 的方式模拟hadoop组的任务用户 -->
<property>
<name>hadoop.proxyuser.hive.hosts</name>
<value>hdp102</value>
</property>
<-- 通过 httpfs 接口访问的用户获得的群组身份 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<-- 通过 httpfs接口hdfs的IP地址限制 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>hdp101</value>
</property>
<-- 将 kerberos主题映射到本地用户名 -->
<property>
<name>hadoop.security.auth_to_local</name>
<value>DEFAULT</value>
</property>
<-- 是否启用service级别的授权 -->
<property>
<name>hadoop.security.authorization</name>
<value>false</value>
</property>
<-- 指示是否需要管理员 ACL才能访问 -->
<property>
<name>hadoop.security.instrumentation.requires.admin</name>
<value>false</value>
</property>
<-- 逗号分割的压缩编码器类列表，可以用于压缩 /解压 -->
<property>
<name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<-- 在序列文件中使用的缓冲区大小。这个缓冲区的大小应该是页大小（英特尔x86上为4096）的倍数，它决定读写操作中缓冲了多少数据。 -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<-- 可用于获取序列化和反序列化的序列化类的列表。 -->
<property>
<name>io.serializations</name>
<value>org.apache.hadoop.io.serializer.WritableSerialization</value>
</property>
<-- 客户端重新建立服务器连接的重试次数 -->
<property>
<name>ipc.client.connect.max.retries</name>
<value>50</value>
</property>
<-- 空闲连接断开时间 -->
<property>
<name>ipc.client.connection.maxidletime</name>
<value>30000</value>
</property>
<-- 定义连接的阈值数量，之后检查连接是否空闲 -->
<property>
<name>ipc.client.idlethreshold</name>
<value>8000</value>
</property>
<-- 关闭Nagle’s算法，此算法可以延迟小数据包发送，从而达到网络流量更有效利用。但是这对小数据包是不利的。默认关闭。建议false，即开启Nagle算法 -->
<property>
<name>ipc.server.tcpnodelay</name>
<value>true</value>
</property>
<-- 设为true，则JT和NN的tracker网页会出现杀任务删文件等操作连接，默认是false -->
<property>
<name>mapreduce.jobtracker.webinterface.trusted</name>
<value>false</value>
</property>
<-- 机架感知，当 datanode 注册时和 heartbeat 时，会把 datanode 的 ip 作为参数传入，返回信息为此datanode 的机架信息 -->
<property>
<name>net.topology.script.file.name</name>
<value>/etc/hadoop/conf/topology_script.py</value>
</property>
