searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

翼MR实现跨VPC访问的方案

2023-12-12 01:41:00
23
0

EMR中使用跨区访问解决了两个问题,一是提供给用户从用户VPC拉取yum源,二是从预置区完成用户区大数据集群的部署。然而,通常情况霞,我们是无法做到跨区访问的,而VPC终端节点这个产品提供给我们一种跨区访问的实现方案,本文我们就是从VPC终端节点在翼MR产品中的落地方法提供一个简单的描述及参考。从下图中我们可以看出,实现双向访问我们需要分别构建正向/反向两种服务(预置区),同理,节点也需要两个(用户区)。

正向服务

什么是正向服务?正向,即提供服务方为预置区(我们能够操作的VPC),从用户区访问预置区则为正;正向服务需要有白名单(将使用该服务的用户email加入到白名单中),端口映射(服务端口,终端端口),vpce终端节点(正向)

白名单:创建终端节点时将当前用户白名单加入到正向服务中

端口映射:即向用户提供服务的端口,一个是真正提供服务端口,如80;另外一个是终端端口,可以任意定义,例如8089,用户区访问预置区的80服务即可以通过8089来实现。

反向服务

什么是反向服务?反向,即提供服务方为预置区(我们能够操作的VPC),从用户区访问预置区则为反;反向服务同样需要有白名单(将使用该服务的用户email加入到白名单中),中转ip,vpce终端节点(反向),反向规则

白名单:创建终端节点时将当前用户白名单加入到反向服务中

中转ip:即通过此IP向用户区发起访问。

反向规则:中转ip,中转端口;服务ip,服务端口。中转ip即创建的虚拟访问ip,中转端口即映射服务端口的端口;服务ip即用户区要部署服务的ip,服务端口则是提供对外服务的端口等。

使用问题

  • 反向服务规则中的服务ip,服务端口要唯一,如果产生冲突则该规则无法建立,所以我们在此项目中一个用户vpc创建一个服务,确保ip+端口不冲突
  • 及时释放终端节点,此服务收费
  • 服务和节点在vpc下的配额数是有限制的,不符合自身要求时需要提工单申请配额

 

VPCE模块在emr中的调用链路

业务调用链路

 

数量关系

业务数量关系

一个资源池:一个正向服务

一个vpc:一个反向服务

一个反向服务:一个中转端口

0条评论
0 / 1000
徐****倩
8文章数
0粉丝数
徐****倩
8 文章 | 0 粉丝
原创

翼MR实现跨VPC访问的方案

2023-12-12 01:41:00
23
0

EMR中使用跨区访问解决了两个问题,一是提供给用户从用户VPC拉取yum源,二是从预置区完成用户区大数据集群的部署。然而,通常情况霞,我们是无法做到跨区访问的,而VPC终端节点这个产品提供给我们一种跨区访问的实现方案,本文我们就是从VPC终端节点在翼MR产品中的落地方法提供一个简单的描述及参考。从下图中我们可以看出,实现双向访问我们需要分别构建正向/反向两种服务(预置区),同理,节点也需要两个(用户区)。

正向服务

什么是正向服务?正向,即提供服务方为预置区(我们能够操作的VPC),从用户区访问预置区则为正;正向服务需要有白名单(将使用该服务的用户email加入到白名单中),端口映射(服务端口,终端端口),vpce终端节点(正向)

白名单:创建终端节点时将当前用户白名单加入到正向服务中

端口映射:即向用户提供服务的端口,一个是真正提供服务端口,如80;另外一个是终端端口,可以任意定义,例如8089,用户区访问预置区的80服务即可以通过8089来实现。

反向服务

什么是反向服务?反向,即提供服务方为预置区(我们能够操作的VPC),从用户区访问预置区则为反;反向服务同样需要有白名单(将使用该服务的用户email加入到白名单中),中转ip,vpce终端节点(反向),反向规则

白名单:创建终端节点时将当前用户白名单加入到反向服务中

中转ip:即通过此IP向用户区发起访问。

反向规则:中转ip,中转端口;服务ip,服务端口。中转ip即创建的虚拟访问ip,中转端口即映射服务端口的端口;服务ip即用户区要部署服务的ip,服务端口则是提供对外服务的端口等。

使用问题

  • 反向服务规则中的服务ip,服务端口要唯一,如果产生冲突则该规则无法建立,所以我们在此项目中一个用户vpc创建一个服务,确保ip+端口不冲突
  • 及时释放终端节点,此服务收费
  • 服务和节点在vpc下的配额数是有限制的,不符合自身要求时需要提工单申请配额

 

VPCE模块在emr中的调用链路

业务调用链路

 

数量关系

业务数量关系

一个资源池:一个正向服务

一个vpc:一个反向服务

一个反向服务:一个中转端口

文章来自个人专栏
徐倩的专栏
8 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
1
1