天翼云分布式知识文档专栏是天翼云为开发者提供的互联网技术内容平台。内容涵盖分布式相关内容资讯。开发者在分布式专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
Apache Spark 提供了大量的算子(操作),这些算子大致可以分为两类:转换算子(Transformations)和行动算子(Actions)。转换算子用于创建一个新的RDD,而行动算子则对RDD进行操作并产生结果。
Apache Spark是一个开源的分布式计算系统,被广泛应用于大数据处理和分析领域。由于其出色的性能,易用性和广泛的功能集,Spark已经成为了大数据技术生态系统中的一个关键组成部分。下面我们详细介绍Spark的特点、核心功能、应用场景以及核心组件。
分布式消息队列是一种在多个服务器、应用或服务之间进行消息传递的技术。它使得各个独立的组件可以通过异步消息进行通信,提高了系统的可扩展性、解耦性和可靠性。
分布式事务是指事务参与者、资源服务器、事务管理器分布在不同的分布式系统的多个节点之上的事务。在微服务架构、大型分布式系统和云计算等环境中,由于系统间调用和资源访问的复杂性,分布式事务变得尤为重要。
提到分布式算法,就不得不提 Paxos 算法,在过去几十年里,它基本上是分布式共识的代 名词,因为当前最常用的一批共识算法都是基于它改进的。比如,Fast Paxos 算法、 Cheap Paxos 算法、Raft 算法、ZAB 协议等等。
Poxos算法详解(二)
在 Raft 算法中,副本数据是以日志的形式存在的,领导者接收到来自客户端写请求后,处 理写请求的过程就是一个复制和提交日志项的过程。
全链路压测是指在真实的业务场景下,模拟用户真实请求,对整个系统或业务流程进行的一种压力测试。这种测试可以覆盖整个系统的各个环节,包括前端应用、后端服务、数据库、中间件、网络等,目的是发现系统在高负载情况下的瓶颈和潜在问题。
Gossip 协议,顾名思义,就像流言蜚语一样,利用一种随机、带有传染性的方式,将信息传播到整个网络中,并在一定时间内,使得系统内的所有节点数据一致。对你来说,掌握这个协议不仅能很好地理解这种最常用的,实现最终一致性的算法,也能在后续工作中得心应手地实现数据的最终一致性。
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
Kafka安装记录
服务被别人攻击,不断刷新页面,怎么解决这个问题?
多维快查多维查询系统,你了解的解决方案都有哪些?
雪花算法对System.currentTimeMillis()优化真的有用么?
惰性队列是为了解决消息堆积问题,当生产者生产消息的速度远高于消费者消费消息的速度时,消息会大量的堆积在队列中,而队列中存放的消息数量是有限的,当超出数量时,会造成消息的丢失。
RabbitMQ是一门异步通讯技术,使用异步通讯技术,可解决同步通讯的一些问题。
分布式事务是指在分布式系统中涉及到多个独立的数据源(如数据库)的一系列操作,要求这些操作要么全部成功提交,要么全部回滚。在分布式系统中,由于涉及到多个独立的服务或数据源,各个服务之间的操作是相互独立的,并且可能存在网络延迟、部分服务失败等情况,因此保证分布式事务的一致性变得复杂。
分布式数据库是一种将数据存储在多个计算机节点上的数据库系统。它提供了高可用性、可伸缩性和容错性,可以处理大量数据和高并发访问。
RabbitMQ【路由模式(概念、编写生产者 、编写消费者 ) 通配符模式(概念、编写生产者、编写消费者) 】(四)-全面详解(学习总结---从入门到深化)
Zookeeper【概念(集中式到分布式、什么是分布式 、CAP定理 、什么是Zookeeper、应用场景、为什么选择Zookeeper 、基本概念) 】(一)-全面详解(学习总结---从入门到深化)
2023-04-18 14:14:56
2023-06-13 08:29:57
2023-05-08 10:00:50
2023-05-29 10:45:37
2023-06-01 06:30:49
2023-05-23 01:22:38