apache kyuubi + dremio 集成试用
主要是一个玩法的集成，使用apache kyuubi 简化spark 的使用，而且如果我们集成数据库存储格式也是很方便的
安装pyspark kernel
安装pyspark kernel
介绍 Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 是一个开源的分布式计算系统，它旨在处理大规模数据集并提供高性能和易用性。Spark 提供了一个统一的编程模型，可以在多种编程语言中使用，包括 Scala、Java、Python和R。
202_Spark编程工具：使用IDEA
202_Spark编程工具：使用IDEA
spark-2.2.2的安装部署
spark-2.2.2的安装部署
【大数据篇】Spark转换算子（Transformations）和行动算子（Actions）详解
Apache Spark 提供了大量的算子（操作），这些算子大致可以分为两类：转换算子（Transformations）和行动算子（Actions）。转换算子用于创建一个新的RDD，而行动算子则对RDD进行操作并产生结果。
【大数据篇】一文带你入门Spark
Apache Spark是一个开源的分布式计算系统，被广泛应用于大数据处理和分析领域。由于其出色的性能，易用性和广泛的功能集，Spark已经成为了大数据技术生态系统中的一个关键组成部分。下面我们详细介绍Spark的特点、核心功能、应用场景以及核心组件。
【大数据篇】Spark运行时架构详解
Apache Spark的运行时架构是设计来高效处理大规模数据的。它包含多个组件，每个组件各司其职，共同协作完成数据处理任务。
大数据篇（二） Spark运行环境
所谓的 Local 模式，就是不需 要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等。
大数据篇（五） Spark SQL简介
Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。
apache spark kubernets 部署试用
spark 是一个不错的平台，支持rdd 分析stream 机器学习。
windows编译hadoop源码2.4.0
windows编译hadoop源码2.4.0
CDH6.3.0 SPARK-SHELL启动报错
CDH6.3.0 SPARK-SHELL启动报错
spark-submit报错
spark-submit --class \ --master yarn \ --deploy-mode
Spark has no access to table `dwiadata`.`b_profile_all_model_rels`.
集群为cdp 7.1.1 hive版本为3.1.1 可以看到是由权限访问hive的metastore的。 这里hive默认是acid
cdp搭建测试spark功能 遇到问题
公司集群由cdh换成了cdp。 用spark代码测试 读取hive内的ods数据经过map等算子转化，然后存取到另外一个dw表里。代码都
hive on spark 解决分区表目录下多个空文件
现象 datax执行hdfsreader->mysqlwriter的时候发现 2w+task 然后oom。 首先思考下为啥又2
java如何解析命令行参数
参考文章【笔记】JCommander解析命令行参数_MrXionGe的博客-CSDN博客 很多时候我们的程序都是通过main方法启动，同
spark的JdbcRDD的源码修改--创建JdbcRDD时可以不加条件进行查询
在我们使用JdbcRDD时系统默认的参数如下：根据其注释的说明：由上上面的内容可以发现，JdbcRDD中的主构造函数中这几个参数是必不可少的，且没有辅助构造函数可以使用，于是我们在查询时就不得不输入上下界，即必须输入有查询条件的sql，然后
CDH常用优化配置
1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.
热门文章
spark启动失败：requirement failed: No output operations registered, so nothing to execute
2023-04-13 09:31:18
大数据spark 蘑菇云行动前传 第1课：大数据时代的黄金语言scala
2023-04-23 09:44:23
原因: java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/FlatMapFunction
2023-04-13 09:31:18
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
2023-06-14 09:13:14
hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案
2023-06-14 09:13:14
Spark Core：Scala单词计数
2023-06-20 09:13:20
- 天翼云APP
- 微信公众号
