领读Kimi K3技术报告：从架构创新聊起，注意力美学、多教师蒸馏和开源MoE

合集 · 技术之美 (8)

Description

【论文链接】
[Microsoft] RetNet：最初的data-independent decay与chunk-recurrent递归形式（https://www.microsoft.com/en-us/research/publication/retentive-network-a-successor-to-transformer-for-large-language-models/）
[NVIDIA] Gated DeltaNet：引⼊gated delta rule（https://research.nvidia.com/publication/2025-04_gated-delta-networks-improving-mamba2-delta-rule）
[Moonshot] Kimi Linear：fine-grained decay及其带来的infra变化（https://arxiv.org/abs/2510.26692）
[Qwen] Gated Attention for Large Language Models：attention gating与训练稳定性（https://arxiv.org/abs/2505.06708）
[Microsoft] On Layer Normalization in the Transformer Architecture：Pre-LN、Post-LN与训练稳定性（https://arxiv.org/abs/2002.04745）
[ByteDance Seed] Hyper-Connections：残差连接的新维度（https://arxiv.org/abs/2409.19606）
[Moonshot] Attention Residuals：以跨深度attention取代固定残差累积，使各层选择性聚合此前表⽰（https://arxiv.org/abs/2603.15031）
[NVIDIA] LatentMoE：通过latent expert space降低MoE通信与权重访问成本（https://arxiv.org/abs/2601.18089）
[OpenAI] GPT-OSS：以clamped SwiGLU控制激活值（https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf）
[Moonshot] Moonlight / Muon is Scalable for LLM Training：更好的优化表现及随之突出的 activation outlier问题（https://arxiv.org/abs/2502.16982）
[科学空间] 《MoE环游记：6、最优分配促均衡》：从最优分配推导Quantile Balancing（https://kexue.fm/archives/11619）
[OpenBMB] MiniCPM：WSD的训练预算扩展、稳定阶段复⽤、继续训练与提前停⽌（https://arxiv.org/abs/2404.06395）
[Cohere] RNoPE：交替使⽤RoPE与NoPE，兼顾位置建模与长上下⽂检索（https://arxiv.org/abs/2501.18795）
[Moonshot] Kimi K1.5：提出partial rollout，通过复⽤未完成轨迹降低长CoT rollout开销（https://arxiv.org/abs/2501.12599）
[Moonshot] Kimi K2.5：reasoning-effort budget control 与 Agentic Generative Reward Model（https://arxiv.org/abs/2602.02276）
[Microsoft Research] MiniLLM：基于student-generated samples的on-policy distillation（https://arxiv.org/abs/2306.08543）
[FLA] Flash Linear Attention：KDA kernel与线性注意⼒⾼效实现（https://github.com/fla-org/flash-linear-attention）
[DeepSeek] DeepSeek-V3 Technical Report：DualPipe与细粒度MoE communication–computation overlap（https://arxiv.org/abs/2412.19437）