逐篇讲解DeepSeek、Kimi、MiniMax注意力机制新论文——“硬件上的暴力美学”

合集 · 技术之美 (7)

Description

长篇技术科普超级无敌找虐版本又来啦！
（含论文投屏）

希望和你一起感受技术之美！2025我们和AI共同进步！

------

今天这集节目延续我们的论文系列。我邀请MIT计算机科学与人工智能实验室的在读博士松琳，来给大家解读上个星期DeepSeek和Kimi发布的全新技术报告。

DeepSeek和Kimi又一次技术对垒。在同一天发布论文，两篇集中在改进注意力机制以处理长文本任务上。而春节前，MiniMax也发布了一篇注意力机制相关的论文。

松琳将带领大家阅读这3篇注意力机制有关的文章，解析不同模型公司的技术哲学和路线选择。

我们希望能让更多人领略AI技术平权，体验技术之美。

我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）

02:30 讲解开始前，先提问几个小问题

15:36 DeepSeek最新论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》讲解
论文中文名：《原生稀疏注意力：硬件对齐且原生可训练的稀疏注意力》
路线：稀疏注意力机制
本篇工作最大亮点：Native Sparse Attention 全线压制 Full Attention

01:19:14 Kimi最新论文《MoBA: Mixture of Block Attention for Long-Context LLMs》讲解
论文中文名：《MoBA：面向长文本上下文的块注意力混合架构》
路线：稀疏注意力机制

01:44:42 MiniMax春节前的论文《MiniMax-01: Scaling Foundation Models with Lightning Attention》讲解
论文中文名：《MiniMax-01：利用闪电注意力扩展基础模型》
路线：线性注意力机制

02:30:07 最后强化学习一下

往期【技术之美】系列：
逐句讲解DeepSeek-R1、Kimi K1.5、OpenAI o1技术报告——“最优美的算法最干净”
逐篇讲解DeepSeek关键9篇论文及创新点——“勇敢者的游戏”

【更多信息】
影片来源：影视飓风

Comments

Elixir-Rorschach 2025-02-24

太棒啦姐，作为ai方向的在读博士生，听了非常受用[打call][打call][打call]

♥ 52 ↩ 2

bigbossjiang 2025-02-25

论文中文名不重要，arxiv 链接比较重要[笑哭] - DeepSeek 《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》 https://arxiv.org/pdf/2502.11089 - Kimi 《MoBA: Mixture of Block Attention for Long-Context LLMs》 https://arxiv.org/pdf/2502.13189 - MiniMax 《MiniMax-01: Scaling Foundation Models with Lightning Attention》 https://arxiv.org/pdf/2501.08313

♥ 40