天翼云大数据知识文档专栏是天翼云为开发者提供的互联网技术内容平台。内容涵盖大数据相关内容资讯。开发者在大数据专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
数据不再仅仅是一种竞争优势,它对组织的运营状况 (很多时候甚至是生存)至关重要。 当企业这 样的高管和数据负责人:他们希望使用数据构建适应 能力,以建立一种数据文化,让每个人都有能力应对 甚至最复杂的业务挑战
ETL测试工具和面试常见的问题及答案
Flink大数据实时计算系列-案例初体验:OrderTimeoutWithoutCep
Storm 是一个免费并开源的分布式实时计算系统。利用 Storm 可以很容易做到可靠地处理无限的 数据流,像 Hadoop 批量处理大数据一样,Storm 可以实时处理数据。
ElasticSearch - 基于 JavaRestClient 查询文档(match、精确、复合查询,以及排序、分页、高亮)
elasticsearch 是面向文档存储的,可以是数据库中的一条商品数据,也可以是订单数据... 这些东西都会被序列化成 json 的格式,存储在 es 中.
Patroni不是使用etcd的选举机制,而是利用etcd的原子性写的机制,来决定主库。
ES分布式搜索-索引库操作
Windows操作系统是大小写不敏感的,Linux操作系统是大小写敏感的。
前面学习了reduceFunction 和aggregateFunction 现在来学习processFunction 两者的区别是什么
注意源码注意,reduce就是combine两个value成为一个value,注意类型是一样的, 特性是 流式函数中数据是连绵
需求:每隔10s统计每个url的访问量。 需求分析 1.每隔10s 那么需要开窗 2.每个url 需要key by 3.统计访问量 需要
1.测试flink sql的时候 Exception in thread "main" org.apache.flink
众所周知 hive是hive ,hdfs是hdfs,mysql是mysql。 但是某种意义上来说hive=hdfs(数据文件)+mysq
flink local模式下启动 sink2kafka报错,具体报错如下 提取报错信息 Failed to construct kaf
1.kafka能不能发送null消息? 能! 2 flink能不能发送null消息到kafka? 不能! 这里就
HBase 逻辑结构 HBase 物理存储结构 数据模型 1)Name Space 命名空间,类似于关系型数据库的 Data
问题描述如下: 出现此问题可能是zookeeper不稳定造成的,采用的是虚拟机,经常挂起的状态,使用hbase的list命令出现下面错误,这个可能是hbase的稳定性造成的,解决办法有两种。这里使用第一种办法就解决了。 解决方法:
文章目录1. NameNode2. Secondary NameNode3. DataNode HDFS主要包含NameNode、Secondary NameNode和DataNode三部分,且这三部分在分布式文件系统中分属不同的机器,
【Flume】Flume原理简述及示例实践
2023-03-13 09:29:37
2023-03-07 10:04:03
2023-03-13 09:32:12
2023-03-10 10:21:07
2023-03-10 10:21:07
2023-03-13 09:29:37