月之暗面发布开源模型 Kimi K3：2.8 万亿参数

月之暗面在 7 月 17 日 正式发布了其最新的开源大模型 Kimi K3，这是全球首个参数规模达到 3 万亿级别 的开源模型，具体参数为 2.8 万亿。

从技术架构来看，Kimi K3 基于 KDA 混合线性注意力机制（Kimi Delta Attention）和 注意力残差（Attention Residuals）技术构建。这些设计旨在优化长序列处理的计算效率与模型性能。同时，该模型原生支持 视觉理解 能力，并拥有 100 万 token 的上下文窗口，这意味着它可以一次性处理超长文本或代码，为复杂任务提供连贯的推理基础。

在应用场景上，Kimi K3 主要瞄准 长程编程、知识工作和推理 等前沿智能领域。长上下文窗口使其在处理大型代码库、长篇学术研究或复杂逻辑链时具备天然优势。

此次发布将开源模型的参数规模推升至万亿级别的新高度，直接加剧了与 SpaceXAI（原 xAI）旗下 Grok、Meta 的 Llama 以及 DeepSeek 等主流开源及闭源模型的竞争。对于开发者生态而言，一个高性能、原生多模态且完全开源的万亿级模型，可能降低前沿 AI 应用的开发门槛，并推动社区围绕其技术路线进行二次创新。月之暗面此举也表明了其在开源领域争夺话语权的意图。