MRS的数据连接是用来管理集群中组件使用的外部源连接,如Hive的元数据使用外部的关系型数据库,可以通过数据连接来关联Hive组件实现。
- 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。
- 数据连接:可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库,元数据将存储于关联的数据库中,不会随当前集群的删除而删除,多个MRS集群可共享同一份元数据。
说明不同集群间Hive元数据切换时,MRS当前只对Hive组件自身的元数据数据库中的权限进行同步。这是由于当前MRS上的权限模型是在Manager上维护的,所以不同集群间的Hive元数据切换,不能自动把用户/用户组的权限同步到另一个集群的Manager上。
数据连接前置操作
1.登录RDS管理控制台。
2.选择“实例管理”,选择MRS数据连接使用的RDS实例所在行的操作列的“更多 > 登录”,以root用户登录该实例。
3.在实例“首页”即可单击“新建数据库”创建新的数据库。
4.在页面顶部选择“账号管理 > 用户管理”。
说明当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考步骤4-步骤6操作。
5.单击“新建用户”,创建一个非root用户。
6.在页面顶部选择“SQL操作 > SQL查询”,在“库名”处切换对应数据库,然后执行如下SQL命令为该数据库用户进行赋权,其中{db_name}与{db_user}为MRS待连接的数据库名和新建的用户名。
grant SELECT, INSERT on mysql.* to '${db_user}'@'%' with grant option;
grant all privileges on ${db_name}.* to '${db_user}'@'%' with grant option;
grant reload on *.* to '${db_user}'@'%' with grant option;
flush privileges;
7.参考下方 创建数据连接。
创建数据连接
1.登录MRS控制台,在导航栏选择“数据连接”。
2.单击“新建数据连接 ”。
3.参考下表配置相关参数。
数据连接
参数 | 说明 |
---|---|
类型 | 选择外部源连接的类型。 RDS服务MySQL数据库,支持Hive或Ranger组件的集群支持连接该类型数据库。 |
名称 | 数据连接的名称。 |
数据库实例 | RDS服务数据库实例,该实例需要先在RDS服务创建后在此处引用,且已创建数据库,具体请参考管理数据连接章节-配置数据连接中的 数据连接前置操作。单击“查看数据库实例”查看已创建的实例。 说明 为了保证集群和PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 该实例的安全组入方向规则需要放通3306端口(可通过在RDS控制台单击实例名称进入实例基本信息页面,在“连接信息”区域单击“安全组”右侧的安全组名称进入安全组控制台,在入方向规则页签中添加一个“协议端口”为TCP 3306,“源地址”为Hive的MetaStore实例所在的所有节点IP的规则)。 当前MRS支持的RDS上Postgres数据库版本号为PostgreSQL9.5/PostgreSQL9.6。 当前MRS仅支持RDS上MySQL数据库版本为MySQL 5.7.x。 |
数据库 | 待连接的数据库的名称。 |
用户名 | 登录待连接的数据库的用户名。 |
密码 | 登录待连接的数据库的密码。 |
当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考 管理数据连接章节-配置数据连接 中的 数据连接前置操作操作。
4.单击“确定”完成创建。
编辑数据连接
1.登录MRS控制台,在导航栏选择“数据连接”。
2.在数据连接列表的“操作列”,单击待编辑数据连接所在行的“编辑 ”。
3.参考上表 数据连接 修改参数。
如果选择的数据连接已经关联了集群,编辑后会将修改后的配置同步到对应的集群中。
删除数据连接
1.登录MRS控制台,在导航栏选择“数据连接”。
2.在数据连接列表的操作列,单击待删除数据连接所在行的“删除 ”。
如果选择的数据连接已经关联了集群,删除动作不会影响对应的集群。
创建集群时配置数据连接
1.登录MRS管理控制台。
2.单击“创建集群”,进入“创建集群”页面。
3.在创建集群页面,选择“自定义创建”。
4.在软件配置中,参考下表配置“元数据”,其他参数请参考创建自定义集群进行配置并创建集群。
数据连接参数说明
参数 | 参数说明 |
---|---|
元数据 | 是否使用外部数据源存储元数据。 本地元数据: 元数据存储在集群本地。 数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 |
组件名 | 当“数据连接”功能开启时,该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger |
数据连接类型 | 当“数据连接”功能开启时,该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 |
数据连接实例 | 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时,该参数有效。用于表示MRS集群与RDS服务数据库连接的名称,该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考 管理数据连接章节-配置数据连接中的 数据连接前置操作 和 创建数据连接进行操作。 |
详见下图: 创建集群时配置数据连接