活动
HDFS常用命令整理
HDFS 文件系统提供了相当多的shell 操作命令，大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。
hive——创建表不支持新增字段问题
创建hive表后，可能会遇到需要增加字段的情况，我们可能会想当然的像mysql或其他数据库那样，直接添加一个字段。
记一次生产上单点DataNode其中一块磁盘空间不足的处理
记一次生产上单点DataNode其中一块磁盘空间不足的处理
Python实现pandas的dataframe写入hdfs
Python实现pandas的dataframe写入hdfs
Python使用hdfs上传文件至hadoop报错
Python使用hdfs上传文件至hadoop报错
HDFS安装及常用命令
HDFS安装及常用命令
使用juicefs 做为dremio 的分布式存储
dremio 包含了一个分布式存储的配置（默认使用本地存储），分布式存储在一些数据查询中是比较重要的
hdfs批量删除某日期文件
hdfs批量删除某日期文件
数据湖的环境共享datalake元数据共享方案
一、hdfs配置：进入hdfs---配置---搜：hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀）xml的配置hdfs以下信息： xml信息2.点击以 XML 格式查看3.复制以上代码点击保存4.搜hdfs-site.
Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法
问题描述：yarn开启ACL用户认证之后，日志只有在任务执行的时候能看到，SPARK任务跑完之后，在去看日志报User[yarn] is not authorized to view the logs for container的提示解决方
hdfs提示/tmp/.cloudera_health_monitoring_canary_file
一、查看hdfs的tmp文件夹是否存在sudo su - hdfshdfs dfs -ls /发现hdfs的根目录下没有tmp文件夹新建tmp文件夹hdfs dfs -mkdir /tmphdfs dfs -chmod -R 775 /
【Hadoop】HDFS回收站与安全模式
文章目录一、HDFS回收站二、HDFS安全模式 一、HDFS回收站 HDFS在core-site.xml中进行配置后，会为每一个用户在“/user/用户名/.Trash/”地址创建一个回收站目录，每个被用户使用Shell命令行
【Hadoop】HDFS体系结构分析
文章目录1. NameNode2. Secondary NameNode3. DataNode HDFS主要包含NameNode、Secondary NameNode和DataNode三部分，且这三部分在分布式文件系统中分属不同的机器，
【Hadoop】HDFS的常见Java操作
【Hadoop】HDFS的常见Java操作
【Flume】高级组件之Channel Selectors及项目实践
【Flume】高级组件之Channel Selectors及项目实践
【Hadoop】HDFS+Shell实践（定时上传数据至HDFS）
这篇博客是一个结合HDFS的Shell练习，相对简单。现有需求：每天1:00需要从系统上传一份昨天的日志文件到HDFS，日志文件的格式为access_2023_01_01.log，HDFS目录格式为20230101。这个需求是
【Hadoop】HDFS高可用与高扩展原理分析（HA架构与Federation机制）
文章目录一、HDFS的高可用性（HA架构）二、HDFS的高扩展性（Federation机制）三、HA架构 + Federation机制 一、HDFS的高可用性（HA架构） 为保证HDFS的高可用性，即当NameNode节点机器
Java: Hadoop文件系统的读写操作
所需jar包路径：java代码实例备注： URI的端口号一定要和配置文件中的端口号一致问题：log4j:WARN Please initialize the log4j system properly可参考：log4j:WARN Ple
11、hadoop环境下的Sequence File的读写与合并
文章目录Hadoop系列文章目录一、Sequence File的读写1、Sequence File的格式1）、未压缩格式2）、基于record压缩格式3）、基于block压缩格式2、Sequence File文件读写1）、pom.xml2
NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
文章目录Apache NiFi系列文章一、实现流程1、模板2、处理流程二、处理器说明1、EvaluateJsonPath1）、描述2）、属性配置3）、动态属性4）、应用场景2、ReplaceText1）、描述2）、属性配置3）、应用场景三、
热门文章
Apache hdfs日常操作
2023-07-04 07:10:17
CDH之hdfs的常规优化项
2023-04-06 06:35:14
hive on spark参数调整
2023-06-14 09:12:57
Yarn开启ACL用户认证之后无法查看Yarn历史任务日志解决办法
2023-08-09 06:41:04
hadoop3.3.1 版本安装部署及常见问题
2023-06-27 10:02:10
Hadoop出现DataXceiver error processing WRITE_BLOCK operation
2023-07-04 06:59:05
- APP
