天翼云大数据知识文档专栏是天翼云为开发者提供的互联网技术内容平台。内容涵盖大数据相关内容资讯。开发者在大数据专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
什么是大数据大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。对于大数据的测试则需要不同的工具、技术、框架来进行处理。大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术
掌握Cypress命令行选项,是真正掌握Cypress的基础,如果你对Cypress命令和命令选项不是很了解,那你就不足以利用Cypress在企业实践中很好地产出。废话少讲,直接上Cypress命令选项表:命令格式 cypress run
概述在我们学习ETL测试之前,先了解下business intelligence(即BI)和数据仓库。什么是BI?BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据(原始数据或商业数
前言在jmeter中,通过监听器组件来提供查看、保存、和读取已保存的测试结果功能。默认情况下,测试结果将被存储为xml格式的文件,文件的后缀: ".jtl"。另外一种存储格式为CSV文件,该格式的好处就是效率更高,但存储的信
先看一下数据质量管理的定义: 数据质量管理(Data Quality Management),是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系
Redis 拥有高性能的数据读写功能,被我们广泛用在缓存场景,一是能提高业务系统的性能,二是为数据库抵挡了高并发的流量请求。 把 Red
MySQL的自增id都定义了初始值,然后不断加步长。虽然自然数没有上限,但定义了表示这个数的字节长度,计算机存储就有上限。比如,无符号整
Mapping类似数据库中的schema的定义,作用如下: 定义索引中的字段的名称定义字段的数据类型,例如字符串,数字,布尔等字段,倒排
前言: 在自动化运维工作中,常常需要编写自动化安装脚本,而脚本的通用性是一个重要的指标,通用性指的是脚本在同类型的平台下都可以正常的运行
一:flume 简介与功能二:flume 安装与配置与简单测试一:flume 的简介与功能架构1.1 flume 的简介:1.2 flume 的功能:1.3 flume 结构图 :1.4 flume 的结构图解释:1.5 Channel/E
使用load 方式加载数据到Hive 表中,注意分区表加载数据的特殊性如何保存HiveQL 查询结果:保存到表中,保存到本地文件(注意指定列分隔符)常见查询练习,如group by、having、join、sort by、order by
Hive 能做什么,与mapreduce 相比优势在哪里(相对于开发)为什么说Hive 是Hadoop 的数据仓库,从【数据存储和分析】 方面理解Hive 架构,分为三个部门来理解,画图理解1.Hive 能做什么,与mapreduce 相比
1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装一: hive 的简介1.1 hive的简介1.2 hive 的特点1.3 hive 的架构1.4 hive-2.1.1 安装
linux 下面配置eclipse 与搭建maven 环境linux 下面配置eclipse与搭建 maven 环境1.1 上传安装处理1.2 配置maven 环境2.2安装配置eclipse (整个过程要联网)2.3配置maven 环境处
MapReduce 的数据压缩hive 的数据压缩hive 支持的文件格式hive日志分析,各种压缩的对比hive 的函数HQL 查询一: mapreduce 的压缩二: hive 的压缩:三: hadoop 的检查 是否支持压缩命令3.1
大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战 select sum_all(age)
大数据Spark “蘑菇云”行动第91课:Hive中Index和Bucket案例实战及存储类型实战详解 索引:例如每行扫描,假如1
大数据Spark “蘑菇云”行动第94课:Hive性能调优之Mapper和Reducer设置、队列设置和并行执行、JVM重用和动态分区
1. 通配符匹配模式Topic Exchange-将路由键和某模式进行匹配。此时队列儒要绑定要一个模式上符号"#
Hadoop常用命令 1、实验描述 熟悉HDFS的命令行接口 2、实验环境 虚拟机数量:3 系统版本:Centos 7.5 Had
2023-03-13 09:29:37
2023-03-13 09:32:12
2023-03-07 10:04:03
2023-03-10 10:21:07
2023-03-10 10:21:07
2023-03-13 09:29:37