数据湖场景提供更高效、灵活的管理集群,更快地运行大数据的计算引擎,更好地提供数据分析能力。在创建数据湖集群前,需要先创建虚拟私有云。
快速创建数据湖集群步骤
-
登录翼MapReduce控制台。
-
在“我的集群”页面,单击“创建集群”,进入页面进行配置与订购。
-
软件配置页面如下图所示,参数说明如下:
a. 区域集群:集群节点ECS实例所在的物理位置,根据需要选择区域及可用区,也可以使用默认值。
b. 业务场景:此处选择“数据湖”。
c. 产品版本:选择使用的产品版本,默认值即可。
d. 服务高可用:翼MapReduce默认启用服务高可用且不可关闭高可用模式。
e. 可选服务:由可选组件和必选组件组成,根据业务场景而定。您可根据自身业务场景对可选组件进行选择。
f. Hive元数据:需先确认是否已有CT-RDS MySQL实例,若尚未创建,可点击提示链接,前往“关系数据库MyDQL版”进行开通。若已创建实例,请勾选该选项并进行元数据配置。
g. Hive元数据配置:勾选“使用已有CT-RDS for MySQL”后,请在展开信息中填写所需的5项配置信息。
注意请提前在“关系型数据库MySQL版”中新建数据库,并确保所填用户具备该数据库的权限。
Ranger元数据配置可参考Hive元数据配置填写方式,填写前请先完成新建数据库。
h. Kerberos身份认证:集群中的软件以Kerberos安全模式启动,此选项不可关闭。
i. 软件配置选择完成后,点击“下一步”进入硬件配置页面。
-
硬件配置页面如下图所示,参数说明如下:
a. 计费模式:默认为包年包月。
b. 购买时长:可按需选择订购时长。
c. 自动续费:可按需开启自动续费功能。
d. 虚拟私有云:不同虚拟私有云(VPC)网络之间的逻辑彻底隔离。根据需要选择自己的VPC。如果目前没有VPC可以点击“创建虚拟私有云”跳转到虚拟私有云页面创建。
注意为保障网络互通,请选择与软件配置中所填数据库相同的虚拟私有云(VPC)。
e. 子网:选择虚拟私有云后,子网可以根据需要进行选择 。若所选子网已开通IPv6,可按需选择是否开启IPv6访问实例资源的功能。
f. 安全组:设置集群内ECS实例的网络访问控制。当前天翼云虚拟私有云安全组策略强安全要求,默认服务器内网互相不通,需要客户勾选安全组规则自动配置授权,翼MR会默认添加下述安全组中相关的规则。
g. 节点组:根据您自身需要选择集群节点规格及数量,包括对节点组类型、选项配置、云盘参数和性能的选择,可根据需要对task节点进行增加/删除。
说明当前翼MapReduce创建集群时,每个节点的数据盘块数默认为1块,如需增加数据盘块数,可在订购环节选择所需数量,并在支付与集群创建后,参考多数据盘-服务配置修改建议进行配置。
h. 硬件配置选择完成后,左下角会计算当前配置需要费用。点击右下角“下一步”按钮进入基础配置页面。
-
基础配置页面如下图所示,参数说明如下:
a. 集群名称:集群名称可由大写字母、小写字母、数字及特殊符号组成,最大28字符。
b. 登录方式:默认密码。
c. 登录账号:默认为root。
d. 登录密码:密码长度为12-26字符,需包含大写字母、小写字母、数字和特殊符号(仅包括:~!@#$%^*_-+{[]}:,.?),不能包含root、toor相关大小写变形字符串和3位及以上连续数字或字符。
e. 确认密码:与登录密码相同。
f. 基础配置填写完成后,点击右下角“下一步”按钮,进入确认订单页面。
-
确认订单页面如下图所示,配置清单说明如下:
a. 软件配置:确认内容是否有误,点击画笔图标,即可回退到“软件配置”页面,修改集群信息。
b. 硬件配置:确认内容是否有误,点击画笔图标,即可回退到“硬件配置”页面,修改集群信息。
c. 基础配置:确认内容是否有误,点击画笔图标,即可回退到“基础配置”页面,修改集群信息。
d. 节点组清单:确认内容是否有误,点击画笔图标,即可回退到“硬件配置”页面,修改集群信息。
e. 勾选“我已阅读并同意《天翼云翼MapReduce服务协议》 《天翼云翼MapReduce服务等级协议》”,“立即购买”按钮变成高亮显示,进入支付页面,购买后即可租用当前配置的集群。