集群配置管理支持新建、编辑或删除Hadoop集群配置。
Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,详见下图:使用集群配置前后对比
CDM支持的Hadoop类型连接主要包括以下几类:
- MRS集群:MRS HDFS,MRS HBase,MRS Hive。
- FusionInsight集群:FusionInsight HDFS,FusionInsight HBase,FusionInsight Hive。
- Apache集群:Apache HDFS,Apache HBase,Apache Hive。
操作场景
当需要新建Hadoop类型连接时,建议先创建集群配置,以简化复杂的连接参数配置。
前提条件
- 已创建集群。
- 已参见下表:集群配置文件和Keytab文件获取方式获取相应Hadoop集群配置文件和Keytab文件。
获取集群配置文件和Keytab文件
不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见下表获取相应Hadoop集群配置文件和Keytab文件。
集群配置文件和Keytab文件获取方式
Hadoop类型连接 | 集群配置文件获取方式 | Keytab文件获取方式 |
---|---|---|
MRS集群 MRS HDFS MRS HBase MRS Hive |
针对MRS 3.x版本集群: 1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”,界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”,平台类型和服务端保持一致,单击确认后进行本地下载。 4. 获取下载的tar包,此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群: 1. 登录MRS管理控制台。 2. 选择“集群列表>现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 3. 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 4. 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档-访问FusionInsight Manager(MRS 3.x及之后版本)。 |
针对MRS 3.x版本集群: 1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”,选择所需用户所在行,点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包,此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群: 1. 登录MRS服务的Manager,单击“系统设置”。在“权限配置”区域,单击“用户管理”。 2. 在需导出keytab文件用户所在的行,选择“更多>下载认证凭据”下载认证文件,待文件自动生成后指定保存位置,并妥善保管该文件。 具体可参见MapReduce服务文档-访问FusionInsight Manager(MRS 3.x及之后版本)。 |
FusionInsight集群 FusionInsight HDFS FusionInsight HBase FusionInsight Hive |
1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”,界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”,平台类型和服务端保持一致,单击确认后进行本地下载。 4. 获取下载的tar包,此即为FusionInsight集群配置文件。 具体可参见FusionInsight文档-FusionInsight Manager操作指导(适用于3.x)。 |
1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”,选择所需用户所在行,点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包,此即为FusionInsight集群Keytab文件。 具体可参见FusionInsight文档-FusionInsight Manager操作指导(适用于3.x)。 |
Apache集群 Apache HDFS Apache HBase Apache Hive |
Apache集群场景下,此处仅说明需要哪些配置文件与打包原则,各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包: − hosts − core-site.xml − hdfs-site.xml − yarm-site.xml − mapred-site.xml − krb5.conf(可选,安全模式集群使用) HBase需要将以下文件压缩为无目录格式的zip包: − hosts − core-site.xml − hdfs-site.xml − yarm-site.xml − mapred-site.xml − hbase-site.xml − krb5.conf(可选,安全模式集群使用) Hive需要将以下文件压缩为无目录格式的zip包: − hosts − core-site.xml − hdfs-site.xml − yarm-site.xml − mapred-site.xml − hive-site.xml − hivemetastore-site.xml − krb5.conf(可选,安全模式集群使用) |
Apache集群场景下,此处仅说明认证凭据文件打包原则,认证凭据文件具体获取方式请参见对应版本说明文档。 1. 将用户的认证凭据文件重命名为user.keytab。 2. 将user.keytab文件压缩为无目录格式的zip包:user.keytab.zip。 |
说明
集群配置文件包含集群的配置参数。如果修改了集群的配置参数,需重新获取获取配置文件。
Keytab文件为认证凭据文件。获取Keytab文件前,需要在集群上至少修改过一次此用户的密码,否则下载获取的keytab文件可能无法使用。另外,修改用户密码后,之前导出的keytab将失效,需要重新导出。
Keytab文件在仅安全模式集群下使用,普通模式集群下无需准备Keytab文件。
操作步骤
1.进入CDM主界面,进入集群管理界面。选择CDM集群后的“作业管理 >连接管理 > 集群配置管理”。
2.在集群配置管理界面,选择“新建集群配置”,配置参数填写详见下图
- 集群配置名:根据连接的数据源类型,用户可自定义便于记忆、区分的集群配置名。
- 上传集群配置:单击“添加文件”以选择本地的集群配置文件,然后通过操作框右侧的“上传文件”进行上传。
- Principal: 仅安全模式集群需要填写该参数 。Principal即Kerberos安全模式下的用户名,需要与Keytab文件保持一致。
- 上传Keytab文件: 仅安全模式集群需要上传该文件 。单击“添加文件”以选择本地的Keytab文件,然后通过操作框右侧的“上传文件”进行上传。
- 描述:用户可添加对此集群配置的描述,用于标识和区分该集群配置。
3.确认后集群配置新建成功。后续在新建Hadoop类型连接时,认证模式根据实际情况选择,将“是否使用集群配置”选择为“是”,然后选择对应的“集群配置名”,即可快速完成Hadoop类型连接创建。
详见下图:使用集群配置