但交叉熵是什么？｜压缩即智能第2部分 - 3Blue1Brown - 中配

合集 · 神经网络 - 3Blue1Brown (10)

Parts

Description

本视频从用 gzip 压缩文档来还原语言谱系树讲起，引出交叉熵；指出大模型的下一个 token 预测，本质是压缩，而不只是预测。交叉熵作为损失函数衡量预测分布与真实数据的差距，并自然引出 KL 散度；最后以知识蒸馏说明大模型输出如何训练小模型。
----------------------------------------------------------------
00:00:00 语言树与压缩
00:02:56 回顾最优编码
00:05:05 定义交叉熵
00:07:56 直觉与示例
00:12:13 语言树的应用
00:14:01 预训练大语言模型
00:19:42 什么使该损失函数最优？
00:25:13 蒸馏
00:29:09 3b1b人才
00:30:31 KL散度
----------------------------------------------------------------
原标题：But what is cross-entropy? | Compression is Intelligence Part 2
原作者：3Blue1Brown
发布日期：2026-07-16
视频链接：https://www.youtube.com/watch?v=GlYgs6v2YfU