活动
Spark Core：Scala单词计数
1、实验描述 利用Scala语言开发Spark WordCount程序实验时长：45分钟主要步骤：创建spark项目编写wordcoun
Spark安装部署：Standalone模式
1、实验描述 以spark Standalone的运行模式安装Spark集群实验时长： 45分钟主要步骤： 解压安装Spark添
frequency file /var/lib/ntp/drift/ntp.drift.TEMP: Permission denied 的解决方案
问题背景： 测试服务器上部署ambari大数据平台后，发现METRICS COLLECTOR 服务出现问题，该服务不能启动成功，有博文指
hadoop:MapReduce之 shuffle过程详解
hadoop:MapReduce之 shuffle过程详解
记录一次hive on saprk执行报错处理的过程
今天早上来到公司，看了一下hue平台执行的时候，出现以下报错，然后我就去平台上查看日志，找了半天也没有找到，以为是spark的问题。然后在去hive上去看日志，发现了报错如下（原来是与atlas集成的时候，把阿里的oss的jar也移了过来，
hadoop案例：groupcomparable（分组排序）
hadoop案例：groupcomparable（分组排序）
hadoop案例：Mapjoin
hadoop案例：Mapjoin
【presto】presto如何对字段换行处理？chr(10）
【presto】presto如何对字段换行处理？chr(10）
hadoop案例:自定义inputformat
hadoop案例:自定义inputformat
hadoop案例:NLine (分行统计)
hadoop案例:NLine (分行统计)
Hadoop案例：Reduce join
Hadoop案例：Reduce join
Centos7安装hadoop
1 问题VMWare下centos7，通过官网下载hadoop的linux版本并解压配置环境后运行hadoop version显示bash：hadoop:未找到命令，在确定安装和环境配置上没问题后开始逐渐查找问题2 方法在先把网上常见的方法
hive 默认队列修改
目录 一、Ambari 修改hive 默认的任务执行队列 1、Ambari 修改hive 配置项 2、Ambari 修改tez 配置项 3、执行h
日志抽取框架 flume 简介与安装配置
一：flume 简介与功能二：flume 安装与配置与简单测试一：flume 的简介与功能架构1.1 flume 的简介：1.2 flume 的功能：1.3 flume 结构图 ：1.4 flume 的结构图解释：1.5 Channel/E
hive 表的常用操作
使用load 方式加载数据到Hive 表中，注意分区表加载数据的特殊性如何保存HiveQL 查询结果：保存到表中，保存到本地文件（注意指定列分隔符）常见查询练习，如group by、having、join、sort by、order by
hive 的功能和架构
Hive 能做什么，与mapreduce 相比优势在哪里（相对于开发）为什么说Hive 是Hadoop 的数据仓库，从【数据存储和分析】 方面理解Hive 架构，分为三个部门来理解，画图理解1.Hive 能做什么，与mapreduce 相比
hive2.1.1的安装与配置
1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装一： hive 的简介1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装
linux 下面配置eclipse 与搭建maven 环境
linux 下面配置eclipse 与搭建maven 环境linux 下面配置eclipse与搭建 maven 环境1.1 上传安装处理1.2 配置maven 环境2.2安装配置eclipse （整个过程要联网）2.3配置maven 环境处
hive 的支持的文件类型与 压缩格式
MapReduce 的数据压缩hive 的数据压缩hive 支持的文件格式hive日志分析,各种压缩的对比hive 的函数HQL 查询一： mapreduce 的压缩二： hive 的压缩：三： hadoop 的检查 是否支持压缩命令3.1
Hadoop常用命令
Hadoop常用命令 1、实验描述 熟悉HDFS的命令行接口 2、实验环境 虚拟机数量：3 系统版本：Centos 7.5 Had
热门文章
从hadoop2.2，HBase0.96 mapreduce操作
2023-02-16 08:53:34
SSH免密钥登录 ------Hadoop学习（2）
2023-04-21 03:11:35
Apache hdfs日常操作
2023-07-04 07:10:17
日志抽取框架 flume 简介与安装配置
2023-05-15 10:01:56
hive 默认队列修改
2023-05-31 08:48:11
flinkcdc+hudi0.10+hive(自动同步分区+压缩)
2024-09-25 10:14:48
- APP
