关于 AI 的深度研究：ChatGPT 正在产生心智吗？

以前一直疑惑，为什么人类从出生到记事以来，接触到的语言文字的数量明明没有到gtp千亿的量级，甚至还未到达亿这个纬度，就已经产生了所谓的智能。今天看到这个视频，突然才意识到，作为人类，是生活在三维世界里的，我们除了拥有语言系统，还拥有视觉、听觉、嗅觉、味觉、触觉、本体觉等多维度的感知，我们人类仅仅用少量的语言参数就到达机器难以抵达的智慧程度，我想除了语言这个载体外，更重要的是我们拥有多维度的感知系统，可以说正是这些庞大的感知系统，构成了比拟万亿级参数的语言数据底座。我无法想象，当gtp拥有多维度的感知后，它会达到如何惊人的智慧程度；当它融合了视觉、听觉、嗅觉，甚至是融合了人类从未拥有过的感知纬度，它会造就怎样的人类世界。这一切，从科学家剖析人类思维创造出gpt后，想象的边界已经抑制不住了。

♥ 2303 ↩ 147

我的科研方向目前就是基于神经网络的深度学习 1.首先，视频中提到“神经网络只会做一件事情，数据分类”。然而事实上分类只是机器学习的算法之一，此外还有回归、聚类和异常检测等等； 2.其次，视频提到“注意力层负责提取话语中的意义”。准确的说法是提取话语的”特征“而非“意义”，“意义”这个说法已经上升到“理解”这个层面了，单个神经网络层没有这个能力； 3.此外，视频提到“是压缩产生了智能”。我实在不明白作者是什么意思，事实上所谓的压缩的只是模型中的一个公式，对于模型起到了优化作用，但”压缩即智能“这个表述很不准确，学术界目前认为，所谓“智能”仍然是“涌现”带来的特性，同时涌现的黑盒理论本身就决定了过程无法量化，不明白作者为什么一定要勉强找一个“可以量化机器学习的角度”。 4.然后，视频最后给出的区分人和机器的方法，是gpt不会回答“我不知道”，机器不会犯错而人会犯错。但事实上这个角度有很大的逻辑谬误，首先gpt在原理上完全可以回答“我不知道”，只要在模型预训练时给模型模板就行，只不过gpt并不是以“通用人工智能”的目的来开发的，回答“我不知道”与开发者的目的相违背，简单的例子是搜索引擎就可以返回“我不知道”。 5.最后，视频结尾用人的“想”和“说”是不同，这个点来升华主题，确实有点僵硬，“想”与“说”不过是机器学习里的两个层，也就是说可以给gpt的模型中加入一个层来自我监督，让它判断出到“我说错了”或者改变原有输出来达到“出错”的效果，作者在对人和机器的理解的输出上比较浅显。 我觉得最为一个科普视频非常优秀，但同时我也有一些个人的见解放在这里，仅仅是为了锻炼思维共促进步，所以对于视频的表扬就不表达更多了，任何观点无论正确与否都值得被讨论，希望喝大家理性且友善地交流。

♥ 2207 ↩ 141

我的感觉是，gpt和类似它的产品进步的最大障碍就是盲目相信他的人。我在询问他有关有审美话题的时候，他的回答给我的感觉是有理有据，然而当我询问一些地理知识的时候（我比较擅长）我马上就发现它漏洞百出（在很多我认为常识性的知识上面犯了严重错误）如果不是我在这方面知识储量够，我真的会信！！ 所以我认为，一个利用ai提升工作，思考效率的人，一定不是懒人和傻子，正相反。他要比任何人都要勇于求证。刻苦钻研。才能和ai交相辉映！！所以我很期待，因为这是一个更加内卷，但是更有希望的人类社会。

♥ 2114 ↩ 110

ai没有各种激素调节情绪，真的能产生和人一样有心智吗[思考]

♥ 1695 ↩ 64

太深刻了，研究生菜鸡在读，一直在追前沿的大模型，看完直呼作者的理解太深刻了。没有尬吹一些子虚乌有的神迹，而是很克制地通过科学事实来解释大模型的能力。提出的压缩思维是我之前从来没有调研到的说法，果然还是不够努力了

♥ 1570 ↩ 40

所以人类最小时没有什么记忆，都是学着他人做，因为还没有达到那个量理解世界，而记忆中突然清晰的那一刻就是涌现的发生？真的好奇妙

♥ 1342 ↩ 73

大佬能否在百忙之中抽空整合下论文链接并在视频简介里面呢，目前是一个个去屏幕识别地址栏的论文地址，查询效率太低了[崩坏3·光辉矢愿_不可以看]； 希望能得到回复，再次表示由衷的感谢与衷心的祝福[崩坏3·光辉矢愿_比心]

♥ 876 ↩ 22

以后会使用GPT也是一种非常重要的技能

♥ 680 ↩ 154

其实，训练模型的过程，就是机器 学习、出错、沉思的过程。但是令人惊讶的是，为什么人类的大脑在运行这些过程的时候，功耗可以这么低。我想可能需要我们从最简单的单细胞生物进化开始计算我们消耗的所有能量，这样才公平吧。

♥ 542 ↩ 35

最近读了《失控》这本书，里面提到了一个概念叫“涌现”。我们可以理解为蜂群智慧，一只蜜蜂是很笨的，但是组成一个群体就可以完成很多超越个体智慧的决策。当然我不觉得ai的单片是愚笨的，而是会不会这种“意识”，也会因为大量功能迭代，学习，突然涌现出来，就像人类的进化，不知怎么的就有了意识。

♥ 514 ↩ 41

这一期对人工智能专业的做NLP领域研究真的有很大帮助，也是真正的做到了从溯源注意力机制开始探索研究，参考了OpenAI和谷歌技术部门的论文，干货很多，值得反复观看。[热词系列_吹爆]

♥ 514 ↩ 23

也许明早我就会忘记视频的观点，但我仍会记得这个视频带给我的震撼。我不是专业人士，说不出什么有价值的东西，就连视频的内容也是一知半解，但这不妨碍我得到我想要的东西，甚至我事先未曾想过的东西：体验。一种舒爽的，艺术的，震撼的，体验。就像看完一部小有名气的独立电影导演的科幻电影一般。这43分钟，我就把它当做一部科幻电影，无所谓多专业的研究，对于一个电影观众而言，它好看，这已足够。对于小凡，除了他的研究外，我对他的视频制作力更加钦佩，43分钟让我目不转睛，精彩，震撼，艺术，宛若一个超长的MAD。也许小凡也有意识地在做“一个好看的视频”而非一篇论文，所以要在结尾以本人社死出镜，用刻意的荒诞奠定整个视频的浪漫色彩。而我就喜欢这种浪漫。

♥ 455 ↩ 6

要机器犯错其实很容易，人类面对新智能不能寄期望于自己的不完美。谢谢UP的视频分享。我也补充一些信息。 1. Attention里的Q和K在训练阶段不是固定的。Q是文字位置信息的权重，K是文字内容信息的权重。Attention的创新就在于在训练内容权重的同时，也训练位置权重。 2. 根据泄露的GPT4信息，GPT4的规模大约是GPT3的10倍。 3. Chain of thoughts的逻辑性其实不强，所以分步骤效果才会更好。我们应该很快会看到基于Tree of thoughts的语言模型，理论上能提高逻辑性。 4. 中文房间的思想实验不是构建性的，不能告诉我们智能是什么。但它是批判性的，足以说明感官上的现智能不代表真的具有智能。 我也有分享一些关于GPT的思考，但是视频制作水平很差[笑哭]希望将来有机会可以合作。

♥ 342 ↩ 11

我之前就在想，为什么是大语言模型？ 看了这个视频我想，如果gpt模型是对语言的压缩，那么语言就是对人思维活动的压缩。人创造了语言，能够让思维活动通过语言继承和传播，不断开发出更新的知识，拓展文明的边界。 语言是人类的工具，现在人类教会机器使用这种工具。但是机器仅仅是学会了工具，无法用这种方式成为新的人类，因为人类还有继续创造工具的能力。 或者说，AI会成为新的、效率更高的工具。猿人花了几十万年才进化成智人，智人发明语言后才几万年就发展出了现代社会这样复杂的文明，进化速度何止千万倍，如果人类掌握了比语言效率更高的工具，未来的上限又在哪里？ 也许未来人类真有伟力去创造一个跟现代人类思维能力类似的“物种”，那时的人类还算人类吗？

♥ 201 ↩ 7

这个视频让我更加的理解了大脑的运作方式。 是的，这么一个讲ai，讲ChatGPT的视频我的注意力竟然主要放在讲人类大脑的那一部份。😂

♥ 181 ↩ 22

听不懂chatgpt的模型的话，你可以把chatgpt当作是放大版的输入法，不断预测你输入的这个词、这句话，接在后面最高概率的是哪一个词[doge]所以输入法是不是可以说是每个人专属的chatgpt呢[doge]

♥ 115 ↩ 12

感谢花 40 分钟看完视频的每一个观众！大家的评论我都看了，也学到很多。AI 这个主题实在是太过庞杂，而且背后是一个专业的学科体系，以至于我在写稿时不得不面对大量专业性、通俗性和内容深度之间的取舍，说实话非常痛苦。即便如此，目前有些部分还是显得晦涩难懂，非常惭愧！制作过程中青工所全组一度陷入巨大的自我怀疑，好在我们最终还是完成了这个视频。关于 AI ，这就是我们全部的东西了，如果能给你带来一点点帮助或者启发，光剑就没有白白挥舞。

♥ 99 ↩ 7

也就是说，al脑和人脑的区别在于量，al是通过大量的学习与分类，它的量还没有达到预测世界的程度，而我们人脑接受的信息更多，皮肤感知冷热，粗糙程度，眼睛视觉，耳朵声音等等，如果未来al能够拥有这些感觉数据并且拥有更多的单元，也许al能够接近或超越人类。 或许那些预测未来的超能力在未来可能成为现实

♥ 96 ↩ 6

真的是高知识浓度的高质量视频，是我见过的把gpt原理讲的最直观清晰的了

♥ 76 ↩ 4

看了一些所谓的内行对ai的理解仍然停留在传统机器学习视角，远不如up主深刻。我也是做了比较久的机器学习工业应用，现在语言大模型在参数量级提升后涌现出来的推理能力，不是传统的回归，分类这些低纬度角度能解释的，从深度学习刚开始爆发的时候，可解释性弱就是一直存在的问题，openai自己的工程师和科学家都没办法很好的解释涌现能力。Up结合论文和自己的思考，最后提出压缩智能的概念很有趣也很新颖，还有大量的特效去展示去解释gpt的原理，可以看到下了很大的功夫，这种程度远不是一般人可以做的。那些自以为是的业内人，真的让人觉得很low[tv_doge]

♥ 48 ↩ 6