searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享

【分布式消息服务】——Kafka——基本原理

2022-06-28 10:18:12
178
0

Kafka——分区存储

分区存储起源

分区存储策略

分区数据结构
在Kafka中消息是利用日志型设计存储的,也就是每个消息实际上最后会被写入一个.log的文件里面,当这个文件达到1GB(可以自己指定),然后扩容到第二个文件;每个文件都一段索引范围维护在ConcurrentSkipListMap中

在这里插入图片描述

每个log文件中存储的就是一行行的消息;

在这里插入图片描述

存储方式汇总

 

Kafka——副本冷备

一个分区的副本数量,可以在创建borker的时候为其指定,或者配置文件中指定,具体可以看Kafka集群搭建篇

Kafka——常见调优

Kafka——消费组机制

Kafka——消费位移

自动提交

手动提交

其他概念

Kafka——Rebalance

Group Coordinator

消费基准与Rebalance

__consumer_offsets

Kafka——常见问题

 

————————————————

版权声明:本文为CSDN博主「GodSchool」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/weixin_44275259/article/details/107039242

0条评论
0 / 1000
天翼云文档找茬小助手
41文章数
7粉丝数
天翼云文档找茬小助手
41 文章 | 7 粉丝

【分布式消息服务】——Kafka——基本原理

2022-06-28 10:18:12
178
0

Kafka——分区存储

分区存储起源

分区存储策略

分区数据结构
在Kafka中消息是利用日志型设计存储的,也就是每个消息实际上最后会被写入一个.log的文件里面,当这个文件达到1GB(可以自己指定),然后扩容到第二个文件;每个文件都一段索引范围维护在ConcurrentSkipListMap中

在这里插入图片描述

每个log文件中存储的就是一行行的消息;

在这里插入图片描述

存储方式汇总

 

Kafka——副本冷备

一个分区的副本数量,可以在创建borker的时候为其指定,或者配置文件中指定,具体可以看Kafka集群搭建篇

Kafka——常见调优

Kafka——消费组机制

Kafka——消费位移

自动提交

手动提交

其他概念

Kafka——Rebalance

Group Coordinator

消费基准与Rebalance

__consumer_offsets

Kafka——常见问题

 

————————————————

版权声明:本文为CSDN博主「GodSchool」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/weixin_44275259/article/details/107039242

文章来自个人专栏
云知识的搬运工
224 文章 | 7 订阅
0条评论
0 / 1000
请输入你的评论
0
0