活动
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Hadoop】MapReduce小文件问题解决方案（SequenceFile，MapFile）
【Flume】高级组件之Channel Selectors及项目实践
【Flume】高级组件之Channel Selectors及项目实践
Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/12/index r【已解决】
亲测 2022/08/16 BJ文章目录异常原因解决异常原因集群存储资源高水位异常，默认当磁盘空间大于95%时，就会禁止写入。解决首先让es节点腾出足够的空间、删除磁盘数据 ; 扩容。执行恢复命令让es恢复到
elasticsearch分组求平均值
亲测，入门DSL语句文章目录DSL语句名词解释突击面试先通过 country 分组，再取score的平均数。先看结果。DSL语句名词解释size 表示展示多少条命中结果，这里是0，表示只展示聚合结果。doc_
11、hadoop环境下的Sequence File的读写与合并
文章目录Hadoop系列文章目录一、Sequence File的读写1、Sequence File的格式1）、未压缩格式2）、基于record压缩格式3）、基于block压缩格式2、Sequence File文件读写1）、pom.xml2
hadoop 的hdfsapi操作
hdfs 的api 相关操作一： hdfs api 操作1.1 读取内容：1.2 读取hdfs的数据1.3: 在hdfs上面的建立文件###1.4: put写入文件1.5 删除文件
大数据中常见的文件存储格式以及hadoop中支持的压缩算法
大数据中常见的文件存储格式以及hadoop中支持的压缩算法
NiFi FileFlow示例和NIFI模板示例
文章目录Apache NiFi系列文章一、FlowFile生成器示例1、GenerateFlowFile解析1）、描述2）、属性配置3）、应用场景2、ReplaceText解析1）、描述2）、属性配置3）、应用场景3、示例1）、创建Gen
6、NIFI综合应用场景-离线同步Mysql数据到HDFS中
文章目录Apache NiFi系列文章一、实现流程1、模板1）、模板12）、模板22、处理器流程1）、模板1处理流程2）、模板2处理流程二、处理器说明1、QueryDatabaseTable1）、描述2）、属性配置2、ConvertAvr
20、MapReduce 工作流介绍
文章目录Hadoop系列文章目录一、MapReduce 工作流介绍二、使用示例1、实现2、验证 本文介绍MapReduce 工作流。 本文前提：hadoop环境可用。一、MapReduce 工作流介绍多个MR作业，先后依次执行来计算得出
17、MapReduce的分区Partition介绍
文章目录Hadoop系列文章目录一、介绍1、数据分区2、Partition默认规则3、分区使用二、示例 本文介绍MR的分区Partition。 本文分为2个部分，即介绍与示例。 前提依赖：hadoop环境可正常使用。一、介绍1、数据分区
OpenStack排错记录---ResourceProviderCreationFailed和You are not authorized to perform the requested actio
前言： 最近在研究云原生里面的OpenStack，因此，使用脚本打算搭建一套测试学习用的OpenStack平台，但OpenStack平台
SpringBoot统一返回结果
引言在后台开发时，控制台得到的数据格式会有不同，这时我们需要设置统一返回结果，方便我们分析数据以及对数据进行管理。一、方法定义统一的返回格式有利于提高开发效率。1、定义code状态码，和返回message200：请求成功400：请求失败40
pandas高级处理-数据离散化
pandas高级处理-数据离散化 1 为什么要离散化 连续属性离散化的目的是为了简化数据结构，数据离散化技术可以用来减少给定连续属性值
Hadoop生态圈的了解？
该项目包括以下模块： 1.Common(公共工具) 支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统） 提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布
大数据测试过程、策略及挑战
什么是大数据大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。对于大数据的测试则需要不同的工具、技术、框架来进行处理。大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术
Cypress命令行基础
掌握Cypress命令行选项，是真正掌握Cypress的基础，如果你对Cypress命令和命令选项不是很了解，那你就不足以利用Cypress在企业实践中很好地产出。废话少讲，直接上Cypress命令选项表：命令格式 cypress run
大数据测试之ETL测试入门
概述在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。什么是BI？BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或商业数
JMeter监听器10
前言在jmeter中，通过监听器组件来提供查看、保存、和读取已保存的测试结果功能。默认情况下，测试结果将被存储为xml格式的文件，文件的后缀: ".jtl"。另外一种存储格式为CSV文件，该格式的好处就是效率更高，但存储的信
大数据系列之数据质量浅探
先看一下数据质量管理的定义： 数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系
热门文章
java159-两个线程共同完成1到100计算
2023-03-13 09:29:37
java163-同步方法锁
2023-03-07 10:04:03
58如何调出eclipse左边文件栏
2023-03-13 09:32:12
java156-序列化
2023-03-10 10:21:07
java162-同步对象锁
2023-03-10 10:21:07
java157-线程的引入
2023-03-13 09:29:37
- APP
