本章节指导用户在创建后,将现有集群的Hive元数据切换为本地数据库或者RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Hive元数据的迁移。
说明
不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考 管理数据连接章节-[配置数据连接](https://www.ctyun.cn/document/10000070/10121165)中的 数据连接前置操作新建用户并为该用户进行赋权。
对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考 管理数据连接章节-[配置数据连接](https://www.ctyun.cn/document/10000070/10121165)中的 数据连接前置操作新建用户并为该用户进行赋权。
配置Hive数据连接
该功能在MRS 3.0.5版本暂不支持。
1.登录MRS控制台,在导航栏选择“集群列表 > 现有集群”。
2.单击集群名称,进入集群详情页面。
3.在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
4.在“数据连接”页面显示集群已关联的数据连接,单击“编辑”或“删除”可对数据连接进行编辑或删除。
5.若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。
说明一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。
配置Hive数据连接
参数 | 说明 |
---|---|
组件名称 | Hive |
模块类型 | Hive元数据 |
连接类型 | RDS服务MySQL数据库 本地数据库 |
连接实例 | 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考配置数据连接中的创建数据连接。 |
6.单击“测试”,测试此数据连接和集群的连通性。
7.连接成功后单击“确定” 完成配置数据连接。
说明
配置了Hive元数据后,请重启Hive服务,Hive会在指定的数据库下创建Hive必须的数据库表(如表已经存在则不会创建)。
重启Hive服务前,请确保已安装对应驱动包到所有MetaStore实例所在节点中。
Postgres:使用开源驱动包替换集群已有的驱动包。将postgres驱动包postgresql-42.2.5.jar上传至所有MetaStore实例节点${BIGDATA_HOME}/third_lib/Hive目录下(开源驱动包下载地址:[https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/](https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/ " "))。
MySQL:进入MySQL官网(https://www.mysql.com/),选择“Downloads > Community > MySQL Connectors > Connector/J”下载对应版本的驱动包,将MySQL对应版本的驱动包上传至所有Metastore实例节点“/opt/Bigdata/FusionInsight_HD_ */install/FusionInsight-Hive-* /hive-*/lib/”目录下。