Mooncake 是由月之暗面创建的超人气智能助手 Kimi的底层推理平台。 本篇主要讨论 Mooncake 的分离式架构，讨论点包括但不限于 TBT or TPOT，Prefill 节点应不应当独立存在以及独立的话如何多节点并行处理，KVCache cache 全局调度的原理和调度策略，Decode 还能不能进一步分离等等。

策略工厂模式实现

JVM调优通常涉及到对堆内存、垃圾回收策略和线程堆栈大小等方面的调整。

HTTP SSE（Server-Sent Events，服务器发送事件）在大模型场景中的使用和协议介绍

k0s入门介绍

处理高并发的六种方法

百万级、千万级数据处理，个人认为核心关键在于数据存储方案设计，存储方案设计的是否合理，直接影响到数据CRUD操作

该算法主要包含两个改进点：1、为了减少前面所提到的domain-shift，在梯度回传时只将和预训练模型所基于的训练数据尺寸相对应的ROI的梯度进行回传。

Github上的开源工程Semantic Segmentation Suite（语义分割套件），由来自美国建筑智能服务公司的机器学习工程师George Seif创建