日志聚类主要在智能运维场景中用的比较多，比如异常检测告警，告警合并，日志类型统计，安全场景下的入侵检测，日志统计分析，数据挖掘等方面。

Kafka 作为一个消息系统，其中很大的一个用途就是作为业务上的解耦，而它实现的模式就是经典的生产者消费者模式。

Flink Checkpoint 是一种容错恢复机制，保证了实时程序运行时，即使突然遇到异常也能够进行自我恢复。Checkpoint 对于用户层面，是透明的，用户会感觉程序一直在运行

Clickhouse中有众多表引擎，不同的表引擎在底层数据存储上千差万别，在功能和性能上各有侧重。但实际生产中，使用最广泛的表引擎就是MergeTree系列

每个consumer group 都会选择一个broker作为自己的coordinator，它是负责监控整个消费组里的各个分区的心跳，以及判断是否宕机，和开启rebalance

本文介绍了日志模板挖掘的重要性及其在日志处理中的作用，详细阐述了一种名为Spell的在线流式日志解析方法。Spell基于最长公共子序列(LCS)动态提取日志模板，通过前缀树预过滤和倒排索引查找优化查找效率。实验表明，Spell能有效解析大规模日志数据，提高日志处理效率

事务可以保证读写操作的原子性，要么全部成功，要么全部失败，即使该生产或消费跨多个<Topic, Partition>。尤其对于Kafka Stream应用而言，典型的操作即是从某个Topic消费数据，经过一系列转换后写回另一个Topic，保证从源Topic的读取与向目标Topic的写入的原子性有助于从故障中恢复。

本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度

在 Broker 启动时，每个 Broker 都会启动一个 GroupCoordinator 服务，但只有 __consumer_offsets 的 partition 的 leader 才会直接与 Consumer Client 进行交互，也就是其 group 的 GroupCoordinator，其他的 GroupCoordinator 只是作为备份，一旦作为 leader 的 Broker 挂掉之后及时进行替代

Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区

Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN和Kubernetes，但也可以设置作为独立集群甚至以库的形式运行

Apache Spark的Kubernetes Operator遵循了最近的趋势，即利用Operator模式来管理Kubernetes集群上Spark应用程序的生命周期。Operator允许以声明的方式（例如，在YAML文件中）指定Spark应用程序，并在不需要处理Spark提交过程的情况下运行。它还使Spark应用程序的状态能够像Kubernetes上的其他类型的工作负载一样被跟踪和惯用地呈现

核心Operator控制流（在FlinkDeploymentController和FlinkSessionJobController中实现的） 包含了以下逻辑阶段：1）观察当前部署资源的状态；2）校验新资源的规格；3）按照新规格和观察到的状态来协调任何所需的变化；4）按顺序重复以上操作。

NetworkPolicy 是一种以应用为中心的结构，允许你设置如何允许Pod与网络上的各类网络实体通信，适用于与 Pod的一端或两端的连接，与其他连接无关

Operator是K8S的扩展软件，它利用自定义资源（CustomResource）来管理应用及其组件

时序相关的流式处理过程是有状态流式处理过程的一个扩展。其中，时间扮演了其计算过程的重要角色。此外，其案例包括：时序分析，在特定时间周期内聚合（窗口）计算，或事件发生时间十分重要的事件处理过程

相比通过binlog实现增量同步，使用Logstash同步更简单、灵活，且能同时实现全量、增量同步

在当今的大规模软件系统和服务中，可观测性作为一项关键能力已显得越来越重要。以Slack为代表的行业经验为启发，且作为对数据库研究的号召，本文概述了设计和构建大规模可观测性数据管理系统（Observability Data Management Systems，下文简称ODMS）以处理这种新兴工作负载所面临的挑战与机遇。

VM作为开源时序数据库，可用于Prometheus远端存储，在集群使用过程中，很容易碰到性能问题。本文也提供了常见问题的排查路径

在Clickhouse早期的版本里面，Zookeeper作为其协调系统，其协调算法ZAB (ZooKeeper Atomic Broadcast) 不能提供linearizable读取的保证。但CH Keeper使用RAFT算法的一种开源实现，允许linearizable读写