【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章

所以，既然线性代数如此重要，而计算矩阵乘法或者行列式也需要大量技巧和工作量，为啥高考20题不能用线代取代功能相似的圆锥曲线，建议高考考纲添加线性代数，remove圆锥曲线。省得大部分大学生在对线代一点概念都没有的情况下一学期甚至一天速通[doge]

♥ 1641 ↩ 129

吴恩达+李宏毅+李沐+3B1B，足够初学者对AI达到相当程度的理解。需要的数学基础是线代+微积分+概率论知识，基本大学水平够了

♥ 809 ↩ 16

变形金刚的原理原来这么神奇

♥ 902 ↩ 14

既然是前排那我就推荐一个 LLM 的可视化教学网站吧。图和动画做得很好，作为入门科普很棒(〜￣△￣)〜 https://bbycroft.net/llm

♥ 594 ↩ 16

终于发噜[星星眼]官号每次都好慢，你们还缺人翻译不

♥ 345 ↩ 13

贰鼠太忙了吧，草，真理元素和3B1B等等N头跑

♥ 167 ↩ 9

0:00 - 预测，采样，重复：预训练/生成式/Transformer模型 3:03 - Transformer 的内部结构 6:36 - 本期总述 7:20 - 深度学习的大框架 12:27 - GPT的第一层：词嵌入为向量(embedding) 18:25 - 嵌入空间不仅代表词，还能包含上下文信息 20:22 - GPT的最后一层：向量解码为词(Unembedding) 22:22 - 带温度的 Softmax 函数 26:03 - 下期预告：深入注意力机制

♥ 150

数据科学专业读研的表示很亲切[doge]，现在整个实验室都移到大模型相关上了

♥ 108 ↩ 5

视频的可视化好赞。还想深入一点的话，深度学习讲中文的老师强烈推荐李宏毅，我称之为入门级深度学习课程神级的老师。

♥ 94 ↩ 8

想不到吧，我在学英语app里学数学，还带翻译文章

♥ 80 ↩ 97

这么看来汉语这种高度分析性的语言特别适合于训练语义

♥ 82 ↩ 9

感觉已经get到了为什么规模和深度能制造智能的原因了，从理论上来说，一个维度足够高的网络，就能出现所谓的智能，只要表意向量足够复杂，就能把含义表示清楚，如果规模和深度超过了人脑，理论上就会诞生比人类更高级的智能

♥ 68 ↩ 4

这个科普水平低于3B1B之前的作品啊？也可能是我累得要睡着了Orz总体上还是不错的，就是需要线代知识，至少对向量之间的关系有一定感性认知。 单词向量化（用一组数来表示一个词），然后含义相似的词对应的向量点积比较大，这个好理解。 15:00开始展示了一些向量（男）-向量（女）≈向量（国王）-向量（皇后），这个就比较强大了。 还会根据之前2048个词来改变下一个输出的可能性，这样就避免了一些过短的拟合。 呃，求概率的softmax函数居然就是统计热力学里的配分函数……哈哈哈然后真的有温度因子，不允许超过2 K。那确实，高温下概率都差不多。

♥ 166 ↩ 12

[打call][打call][打call]虽然但是隔壁的翻译出了快一个月了（

♥ 49 ↩ 6

GPT这么强，想必GFW也是一项能改变世界的发明吧👍🏻

♥ 87 ↩ 11

德国 - 日本 + 寿司的结果可能是指将德国的元素减去日本的影响，然后加上寿司这一日本美食的概念。这可能意味着在德国享受寿司，或者是德国对寿司的独特诠释和风味。在德国，寿司已经变得非常流行，很多超市甚至提供制作寿司所需的材料。寿司在德国的流行也反映了当地人对健康饮食和有机食品越来越重视的趋势。 如果你对寿司的历史和种类感兴趣，可以了解一下寿司的起源和它在日本文化中的重要性。寿司起源于公元前4世纪左右的东南亚，最初是用来保存鱼肉的一种发酵食品。经过长时间的演变，寿司发展成了今天我们熟知的形式，包括握寿司、卷寿司、散寿司等多种类型。 总的来说，德国 - 日本 + 寿司 = 可能代表了一种跨文化的美食体验，即在德国享受具有日本传统特色的寿司。🍣

♥ 54 ↩ 2

好难，这玩意估计得多看几次才能看懂

♥ 27 ↩ 14

看完视频一个感受：同时学好数学和英语的人真的无敌了

♥ 25

看完全视频，我唯一明白的就是《黑客帝国》为什么英文是《matrix》了[笑哭]

♥ 24 ↩ 2

谢谢 作为劳动者也得劳动的打工人，这是最特别的五一礼物

♥ 19