Transformer：大语言模型背后的技术 | 深度学习第5章 - 3Blue1Brown - 中配

合集 · 神经网络 - 3Blue1Brown (10)

Parts

Description

3Blue1Brown《深度学习》第五章从线性回归讲到ChatGPT等大语言模型背后的Transformer：输入被切成token、映射成向量，经过注意力模块和前馈网络，用softmax输出下一个词的概率；并以GPT-3为例说明参数规模。预训练与微调、反复预测与采样、系统提示词，以及嵌入空间、上下文长度、温度参数等概念也串联起来，为下一章讲注意力做铺垫。
----------------------------------------------------------------
00:00:00 预测、采样、重复
00:02:56 Transformer内部
00:06:21 章节布局
00:07:03 深度学习的前提
00:12:04 词嵌入
00:17:46 词之外的嵌入
00:19:43 解嵌入
00:21:44 带温度的Softmax
00:25:13 接下来
----------------------------------------------------------------
原标题：Transformers, the tech behind LLMs | Deep Learning Chapter 5
原作者：3Blue1Brown
发布日期：2024-04-01
视频链接：https://www.youtube.com/watch?v=wjZofJX0v4M