月之暗面：一年前就验证过长思维链，因成本高先搞了长文本

在二月十八日上午，月之暗面研究员Flood Sung分享了k1.5模型开发的完整思考过程，并提到在2024年9月12日，OpenAI o1的发布给他带来了震撼，促使他对Long-CoT的有效性进行深刻反思。一年多前，月之暗面Kimi的联合创始人Tim周昕宇就已验证了Long-CoT的有效性。他利用一个微型模型进行基础的加减乘除运算，通过整合细致的运算过程生成较长的CoT数据进行SFT，取得了显著的成果。

Flood Sung回忆道：“我至今仍然记得当时看到的效果是多么令人震撼。”公司意识到长上下文的重要性，因此开始探索如何延长上下文，不过对于Long-CoT的重视程度仍显不足，这主要是受成本因素的影响。“长上下文主要用于处理长文本输入，结合Prefill预填充和Mooncake的支持，成本和速度都是可控制的；而Long-CoT则是长文本输出，这涉及的成本显著更高，速度也更慢，因此延长输出并没有被优先考虑。”

Flood Sung进一步反思说：“还有什么比性能（Performance）更为重要的呢？成本和速度受到摩尔定律的支持，会持续下降。如果我们能提升性能，那么其他问题便相对不那么重要。因此，我们必须关注Long-CoT和o1。”“总的来说，我们的目标是训练模型使其能够像人类一样进行自由的思考。”Flood Sung提到。

在月之暗面Kimi的官方网站上，Flood Sung发表了一篇详细解读o1破解过程的长文，标志着公司开始对o1的关注，并实施相关研究的实质性进展。

广告声明：文中包含的外部链接（如超链接、二维码、口令等），目的是为提供更多信息，节省您筛选信息的时间，仅供参考。