本章节为您介绍如何快速创建一个Hadoop分析集群,Hadoop完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框架等Hadoop生态圈的组件,进行海量数据分析与查询。
快速创建Hadoop分析集群
1.登录MRS管理控制台。
2.单击“创建集群”,进入“创建集群”页面。
3.在创建集群页面,选择“快速创建”页签。
4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。
- 区域:默认即可。
- 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs_20180321”。
- 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。
- 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。
- 组件选择:选择“Hadoop分析集群”。
- 可用区:默认即可。
- 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。
- 子网:默认即可。
- CPU架构:默认即可。
- 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。
- 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。
- 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。
- 密码:设置root用户和admin用户密码。
- 确认密码:再次输入设置的root用户和admin用户密码。
5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。
6.单击“立即申请”。
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。
7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。
集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。
集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。