Kimi K3 架构概览与笔记
Hacker News 摘要原标题：Kimi K3 Architecture Overview and Notes
这篇文章详细介绍了由 Sebastian Raschka 撰写的关于 Kimi K3 架构的研究笔记。Kimi K3 是目前体积最大的开源权重模型，参数量从前代的 48B 大幅提升至 2.8T。以下是该架构的核心观察和技术细节：
1. 架构演进与规模
Kimi K3 在本质上是去年发布的 Kimi Linear 模型的生产级放大版本。其规模扩展极其显著，达到了 2.8 万亿参数，是目前开源领域顶级的模型。
2. 引入 LatentMoE 组件
与 Kimi Linear 相比，K3 新增了 LatentMoE 组件。这一设计与 Nemotron 3 Ultra 类似，其核心思想是通过降维投影来压缩大型线性层，这与多头潜变量注意力（Multi-head Latent Attention）的原理有相似之处。
3. 推理效率的优化趋势
Kimi K3 的整体设计趋势是追求更高的推理效率，这与 Nemotron 3 和 DeepSeek V4 等主流模型一致。它通过多个改进版组件替换了传统组件：
• 使用 LatentMoE 替代传统的 MoE。
• 使用多头潜变量注意力和 Kimi Delta Attention 替代常规注意力机制。
4. 注意力残差机制
与大部分为了提升效率的改进不同，注意力残差（Attention Residuals）旨在提升模型性能。
• 虽然 DeepSeek V4 是通过流形约束超连接（mHC）来加宽残差路径，但 Kimi K3 的注意力残差（继承自 Kimi Linear）是跨层连接残差。
• 这种连接本身使用注意力得分作为权重，用于衡量贡献度或重要性。
• 根据技术报告，这种设计能持续改善验证集损失和下游任务表现，其代价是增加约 4% 的训练成本和 2% 的推理成本。
5. 全面移除 RoPE 层
Kimi K3 完全弃用了旋转位置嵌入（RoPE），转而在所有层中采用 NoPE（无位置嵌入）方案。
• 在其他架构中，常见的趋势是在局部注意力层使用 RoPE，在全局层使用 NoPE。
• Kimi K3 是目前已知的第一款在所有层都仅使用 NoPE 的顶尖前沿模型。
6. 多模态与 benchmarks 表现
Kimi K3 现在具备了原生多模态支持。在发布时的 benchmark 基准测试对比中，该模型展现出了极强的竞争力。作者认为这是一个非常出色的开源发布，标志着开源权重模型在架构复杂度和性能上的进一步突破。
原文：https://sebastianraschka.com/blog/2026/kimi-k3-architecture-notes.html