活动
Hive面试题
Hive面试题
Hadoop启动报错NoClassDefFoundError: javax/activation/DataSource解决方案
Hadoop启动报错NoClassDefFoundError: javax/activation/DataSource解决方案
截止今天学习大数据技术的笔记
截止今天学习大数据技术的笔记
【已解决】初始化 Hive 元数据库报错slf4j-log4j12-1.7.25.jar包冲突
【已解决】初始化 Hive 元数据库报错slf4j-log4j12-1.7.25.jar包冲突
CDH6.3使用JindoFS SDK无法使用hadoop distcp的问题解决
原因：原来使用的是aliyun-sdk-oss-2.8.3.jar，后来调查因为阿里的JindoFS SDK针对oss做了加速缓存，就替换成jindofs-sdk.jar，然后使用hadoop distcp复制数据到oss的时候报错如下：
hive修复所有表
众所周知 hive是hive ，hdfs是hdfs，mysql是mysql。 但是某种意义上来说hive=hdfs(数据文件)+mysq
hive创建udf函数流程
1.编写udf函数 引入pom文件 <dependencies> <dependency> <
hive中如何计算字符串中表达式
比如 select ' 1+(2-3)+(-4.1-3.1)-(4-3)-(-3.3+4.3)-1 ' col ,1
MapReduce 概述及核心思想
MapReduce 概述及核心思想
统计hbase中某张表中数据条数
统计hbase中某张表中数据条数
core-site.xml配置文件详解
目录 1 版本信息 2 core-site.xml配置文件详解 1 版本信息 2 core-site.xml配置文件详解 <-- 描述集
【Hadoop】HDFS回收站与安全模式
文章目录一、HDFS回收站二、HDFS安全模式 一、HDFS回收站 HDFS在core-site.xml中进行配置后，会为每一个用户在“/user/用户名/.Trash/”地址创建一个回收站目录，每个被用户使用Shell命令行
【Hadoop】HDFS体系结构分析
文章目录1. NameNode2. Secondary NameNode3. DataNode HDFS主要包含NameNode、Secondary NameNode和DataNode三部分，且这三部分在分布式文件系统中分属不同的机器，
【Hadoop】HDFS的常见Java操作
【Hadoop】HDFS的常见Java操作
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Hadoop】HDFS+Shell实践（定时上传数据至HDFS）
这篇博客是一个结合HDFS的Shell练习，相对简单。现有需求：每天1:00需要从系统上传一份昨天的日志文件到HDFS，日志文件的格式为access_2023_01_01.log，HDFS目录格式为20230101。这个需求是
【Hadoop】HDFS高可用与高扩展原理分析（HA架构与Federation机制）
文章目录一、HDFS的高可用性（HA架构）二、HDFS的高扩展性（Federation机制）三、HA架构 + Federation机制 一、HDFS的高可用性（HA架构） 为保证HDFS的高可用性，即当NameNode节点机器
Java: Hadoop文件系统的读写操作
所需jar包路径：java代码实例备注： URI的端口号一定要和配置文件中的端口号一致问题：log4j:WARN Please initialize the log4j system properly可参考：log4j:WARN Ple
hadoop启动后 jps 查不到namenode的解决办法（日志报：ulimit -a for user root）
问题：hadoop启动后 jps 查不到namenode start-dfs.sh jps查不到 namenode , 查看日志，报了这个 错误，
11、hadoop环境下的Sequence File的读写与合并
文章目录Hadoop系列文章目录一、Sequence File的读写1、Sequence File的格式1）、未压缩格式2）、基于record压缩格式3）、基于block压缩格式2、Sequence File文件读写1）、pom.xml2
热门文章
从hadoop2.2，HBase0.96 mapreduce操作
2023-02-16 08:53:34
SSH免密钥登录 ------Hadoop学习（2）
2023-04-21 03:11:35
Apache hdfs日常操作
2023-07-04 07:10:17
日志抽取框架 flume 简介与安装配置
2023-05-15 10:01:56
hive 默认队列修改
2023-05-31 08:48:11
flinkcdc+hudi0.10+hive(自动同步分区+压缩)
2024-09-25 10:14:48
热门标签
- APP
