前提条件
- 已购买翼MapReduce(以下简称翼MR)数据湖集群。
操作步骤
- 进入翼MapReduce控制台。
- 点击已购买的数据湖集群。
- 点击“翼MR Manager”页签,再点击“前往翼MR Manager”按钮,进入集群管理。
翼MR集群信息获取
获取翼MR集群配置文件
获取core-site.xml
操作步骤
1)点击运维与配置-配置管理。
2)所属集群服务选择HDFS。
3)下载default文件夹下core-site.xml文件。
获取hdfs-site.xml
1)点击运维与配置-配置管理。
2)所属集群服务选择HDFS。
3)下载default文件夹下hdfs-site.xml文件。
获取yarn-site.xml
1)点击运维与配置-配置管理。
2)所属集群服务选择YARN。
3)下载default文件夹下yarn-site.xml文件。
获取hive-site.xml
1)点击运维与配置-配置管理。
2)所属集群服务选择Hive。
3)下载default文件夹下hive-site.xml文件。
获取spark-defaults.conf
1)点击运维与配置-配置管理。
2)所属集群服务选择Spark。
3)下载default文件夹下spark-defaults.conf文件。
获取krb5.conf
1)点击运维与配置-配置管理。
2)所属集群服务选择Kerberos。
3)下载default文件夹下krb5.conf文件。
获取hive.keytab
为保证数据安全,翼MapReduce数据湖集群已强制启用Kerberos认证,DataWings下发大数据计算任务时,将通过代理用户的方式提交,建议您手动创建一个hive用户的keytab。
1)点击租户与资源-Kerberos安全凭证。
2)点击新建按钮,输入hive并点击确定,即可创建hive用户的Principal和keytab。
3)点击下载,即可下载keytab文件。
获取翼MR集群配置属性
获取Kerberos账号信息
Kerberos账号可填写hive@BIGDATA.CHINATELECOM.CN,keytab使用上节下载的hive.keytab即可。
注意Kerberos账号需要与keytab一一对应,否则后续认证会不通过。
获取翼MR集群网络配置信息
进入Manager管理平台,点击进入主机页面,即可看到所有的主机信息。
手动创建集群时,您需要复制所有主机的主机IP-主机名称对,配置在集群注册表单中,以确保资源组能成功访问大数据集群,例如: