小模型训练避坑：冷启动数据与厄运循环 - AI Engineer - 中配

Liquid AI预训练负责人Maxime Labonne分享训练前沿小模型的心得：小模型不是大模型的缩水版，面临内存、知识容量和延迟等独特挑战。他详解LFM2.5架构的短卷积块优化、冷启动SFT数据的重要性，以及如何通过偏好对齐和可验证奖励的强化学习破解“厄运循环”。最后探讨小模型在离线、低延迟、隐私场景的优势，并指出简单蒸馏不足以解决灾难性循环问题。
----------------------------------------------------------------
00:00:00 开始
00:00:15 Liquid AI前沿小模型介绍
00:00:17 特性：内存受限、任务特定、延迟敏感
00:02:03 架构：为何大型嵌入层效率低下
00:03:28 LFM2架构：使用门控短卷积提升速度
00:05:14 LFM 2.5 训练方案：28T 词元与后训练阶段
00:07:25 后训练：SFT、偏好对齐与强化学习最佳实践
00:09:18 识别推理模型中的“恶性循环”
00:10:00 解决方案：通过偏好对齐和强化学习缓解循环问题
00:13:26 未来焦点：使用智能工具突破记忆限制
00:15:30 问答：小模型与大模型的实际应用场景
----------------------------------------------------------------
原标题：Everything I Learned Training Frontier Small Models — Maxime Labonne, Liquid AI
原作者：AI Engineer
发布日期：2026-04-29
视频链接：https://www.youtube.com/watch?v=fLUtUkqYHnQ