一、hdfs配置:
进入hdfs---配置---搜:hdfs-site.xml 的 HDFS 服务高级配置代码段(安全阀)
xml的配置hdfs以下信息:
xml信息
<property>
<name>dfs.client.failover.proxy.provider.offline</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.nameservice1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.offline</name>
<value>true</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>offline,nameservice1</value>
</property>
<property>
<name>dfs.ha.namenodes.nameservice1</name>
<value>namenode223,namenode305</value>
</property>
<property>
<name>dfs.namenode.rpc-address.nameservice1.namenode223</name>
<value>prod-data-lake-002:8020</value>
</property>
<property>
<name>dfs.namenode.servicerpc-address.nameservice1.namenode223</name>
<value>prod-data-lake-002:8022</value>
</property>
<property>
<name>dfs.namenode.http-address.nameservice1.namenode223</name>
<value>prod-data-lake-002:9870</value>
</property>
<property>
<name>dfs.namenode.https-address.nameservice1.namenode223</name>
<value>prod-data-lake-002:9871</value>
</property>
<property>
<name>dfs.namenode.rpc-address.nameservice1.namenode305</name>
<value>prod-data-lake-003:8020</value>
</property>
<property>
<name>dfs.namenode.servicerpc-address.nameservice1.namenode305</name>
<value>prod-data-lake-003:8022</value>
</property>
<property>
<name>dfs.namenode.http-address.nameservice1.namenode305</name>
<value>prod-data-lake-003:9870</value>
</property>
<property>
<name>dfs.namenode.https-address.nameservice1.namenode305</name>
<value>prod-data-lake-003:9871</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.nameservice1</name>
<value>true</value>
</property>
2.点击以 XML 格式查看
3.复制以上代码点击保存
4.搜hdfs-site.xml 的 HDFS 复制高级配置代码段(安全阀),占击以xml查看。
5.复制代码块的hdfs配置信息,点击保存
6.搜hdfs-site.xml 的 HDFS 客户端高级配置代码段(安全阀),点南以xml查看
7.复制代码块的hdfs配置信息,点击保存
8.hdfs-site.xml 的 HttpFS 高级配置代码段(安全阀)
9.复制代码块的hdfs配置信息,点击保存
10.搜hdfs-site.xml 的NameNode 高级配置代码段(安全阀)
11.复制代码块的hdfs配置信息,点击保存
以上hdfs配置完成。
二、配置mysql数据库
1.进入hive配置--点击Hive Metastore 数据库–选择非默认
输入datalke(数据湖的mysql元数据的账号和密码信息)
点击保存