月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

IT之家最新消息指出，月之暗面 Kimi 和清华大学MADSys实验室联手发布了Kimi底层Mooncake推理系统设计方案，该系统基于KVCache为核心的PD分离和存换算架构，有效提升了推理吞吐量。

最近，为进一步推进该技术框架的推广与应用，月之暗面Kimi和清华大学MADSys实验室与9#AISoft、阿里云、华为存储、面壁智能、趋境科技等合作，共同发布了开源项目Mooncake，共同构建以KVCache为核心的大模型推理架构。

截至11月28日，Mooncake技术框架已在GitHub平台上开源，地址如下：

https://github.com/kvcache-ai/Mooncake

据悉，Mooncake开源项目从研究论文扩展发展，以大规模KVCache缓存池为核心，创新性地采用存换算理念，大幅减少算力成本，从而提高推理吞吐量。

这次开源将采用分阶段方式，逐步公开高性能KVCache多级缓存Mooncake Store的实现，同时兼容各类推理引擎以及底层存储/传输资源。其中，传输引擎Transfer Engine部分已经在GitHub上全球开放源代码。

Mooncake开源项目的终极目标是为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。

广告声明：文内包含的外部链接（如超链接、二维码、口令等形式）旨在提供更多信息，节省时间，仅供参考。