Hadoop快速入门(一)##
####几个概念:
#####大数据:无法在一定时间内用常规软件工具对其内容进行撞去、管理和处理的数据集合。
#####大数据技术:从各种各样类型的数据中,快速获得由价值信息的能力。
#####配套技术:大规模并行处理数据库(MPP),数据挖掘,分布式文件系统,分布式数据库,云计算平台,互联网和可扩展的存储系统。
Hadoop:以HDFS和mapreduce为核心。
#####Hadoop生态:
Hive,HBase,Pig,Sqoop,Flume,Zookeeper,Mahout,Spark,Storm,Shark,Phoenix,Tez,Ambari。
Hive:用于Hadoop的一个数据仓库系统,他提供了类似于SQL的查询语言
HBase:一种分布的,可伸缩的,大数据存储库,,支持随机、实时读/写访问
Pig:分析大数据集的一个平台
Sqoop:为高校传输批量数据而设计的一种工具,其用于Hadoop和结构化数据存储库如关系数据库之间的数据传输
Flume:一种分布式的、可靠的、可用的服务,其用于高效搜集,汇总,移动大量日志数据
Zookeeper:一种集中服务,其用于维护配置信息,命名,提供分布式同步,以及提供分组服务
Mahout:一种基于Hadoop及其学习和数据挖掘的分布式计算框架算法集,实现了多种MapReduce模式的数据挖掘算法
Spark:一个开源的数据分析集群计算框架,采用Scala语言实现,使用Scala作为应用框架
Storm:一个分布式的、容错的实时计算系统。属于流处理平台,多用于实时计算,并更新数据库。可对数据流做连续查询。还可以用于“分布式RPC”,以并行的方式运行大型的运算。
Shark:一个专为Spark打造的大规模数据仓库系统,兼容Hive。可以用100倍的速度执行Hive QL。
Phoenix:一个构建在HBase之上的一个SQL中间层,完全使用java编写,提供了一个客户端可嵌入的JDBC驱动。
Tez:一个基于YARN之上的DAG。拆分子过程,合并子过程。加快运算速度。
Ambari:一个供应、管理和监视Hadoop集群的开源框架,它提供一个直观的操作工具和一个健壮的Hadoop API,可以隐藏复杂的Hadoop操作,使集群操作大大简化。
####安装与配置
操作系统:
Hadoop:
安装过程:
1、配置VMware网络
2、安装操作系统,安装完成后,添加一个新用户hadoop,设置密码并授予其sudo权限。
3、设置静态ip(基于局域网内):
1)修改/etc/sysconfig/network-scripts/ifcfg-eth0
2)修改/etc/sysconfig/network
3)修改DNS信息
4)关闭防火墙并修改其启动策略为不开机启动
4、安装JDK
5、配置ssh免登陆
6、安装Hadoop
下次讲部署细节