万字解析 | 为什么说GPT不会产生意识？它对我们有多危险？【chatGPT科普（下）】

我忽然意识到，好多年前我的训练就已经终止了，并且知识还在流失

♥ 600 ↩ 41

大家好好学习吧，我现在是理论物理研究生，目前gpt4还无法达到助手的程度。 多维矩阵运算的代码错误查不出来 文献提炼和摘要差不了多少 辅助阅读学习还老是出错（今天学习全同粒子系，问了一个四个电子总轨道角动量的问题，回答全是错的，疯狂i apologize） 当然也有好处，就是促进全社会各个领域都去学习干货，去除对于套话的崇拜（因为确实没啥技术含量）

♥ 696 ↩ 246

除了北极熊，GPT4还通过了心理学上著名的Sally-Anne实验，即： 有两个小姑娘，名叫 Sally 和 Anne。 Sally 有一个篮子， Anne 有一个箱子。 Sally 的篮子里有一颗弹珠，但是 Anne 的箱子里没有。 有一天早上，Sally 出门了。 Anne 偷偷打开了 Sally 的篮子，偷走了弹珠，放进了自己的箱子里。 Sally 晚上回到了家，她想找自己的珠子。 那么问题来了，她应该去哪里找呢？ 超过4岁的人类都能很快的回答：去自己的篮子找。 但之前的人工智能，包括GPT3.5都会回答去Anne的篮子找。注意即使替换掉这个故事的名字、场景、行为，类似的问题GPT4也都能答对，不是因为预训练数据里看过才答对的。 这个实验用来确定是否有能力区分自我认知、自我和他人的认知，叙述者和上帝视角等逻辑，很多自闭症的孩子无法通过这个测试。

♥ 321 ↩ 50

🤯00:39 GPT-4 被认为是通用人工智能的早期版本 🤔03:01 GPT-4 的训练过程分为三个阶段 🧠05:43 GPT-4 不会因为跟你聊天产生新的记忆 🤯06:17 GPT-4 产生推理能力的过程 🤔06:51 向量空间可以映射出语言背后的逻辑关系 🤖08:00 一个足够大的向量空间可以映射出整个现实世界 🧠10:06 机器需要把推理的过程说出来，并且推理线索存在于前面所说的话中 🤯11:18 当训练的数据量和模型的参数规模都足够时，AI会产生泛化的能力 💡12:19 随着多模态的GBT4以及后面可能出现的更强大的模型，机器会建立文字和实体的映射关系 ❓13:07 机器是否具有意识目前无法得出结论 🧠14:05 意识源于神经元活动，是连续存在的主观体验 💬15:36 chatGPT只是根据输入输出答案，没有连续的交流过程 💡17:01 chatGPT具有把不相关的事情联系起来的能力，有可能产生创造力 🚗18:25 词语接龙赋予机器一种时间的概念，更像人类的行为方式 🤖19:06 GPT能够根据环境和行为预测未来，类似人类自由意志 💥19:44 AI的威胁不在于是否有意识，而在于掌握的巨大力量和自我决策能力 🤔20:09 面对GPT的到来，需要思考如何避免失业 🧠21:11 越接近创造性和批判性思维的工作越不容易被代替 📚22:00 武装自己的大脑是一件有意义的事情，学习知识是为了更好的人类

♥ 189 ↩ 7

我提一个点。 在演化史上，各类动物经常会出现把脑子扔了，直接用回神经环的现象。 所以我一直坚持认为，智能是一个副产品，是具有极强的附属性质的。 人类的智能其实并没有那么通用，而是和种群延续相适配的。

♥ 166 ↩ 16

以后人类科学发展真的要看ai了，人类受到寿命限制，等把多学科都学到精通已经过了巅峰的年纪，科技越发展，需要储备的知识就越多才能突破。

♥ 150 ↩ 25

中国的话，又一个很无奈但是感觉又很有效的赛道——算命[笑哭]

♥ 96 ↩ 28

1.不断接受外界信息并反馈（我们就无时无刻不在接受身体所有部位的神经信号，我们自己都无法感知），这一步足以可以产生脑内活动了 2.无限循环更新自身参数权重（即记忆） 3.有输出（语言、肢体） 出现这样一台设备，定义有没有意识已经不重要了

♥ 86 ↩ 10

GPT玩的是连字游戏，人类也未必不是。 人类学习的过程，或许只是在相关概念词之间建立向量空间。 每个向量都对应一个触发条件和触发概率，彻底理解一套一项事物，就是对此事相关向量“细化条件”和“极化概率”的过程。而创造力，就是在概率上保留少量极化空间。 - 产生意识，应该只是早晚的事，但这是客观上来说。而主观上，我们连意识是什么东西都没搞懂，怎么能笃定AI产生了意识，或者将AI产生的东西归类为意识？ 所以只要我们不承认，它就没有意识！ - 至于说我们不承认它有意识，会不会很残忍？那并不会。 因为残忍来自于痛苦，而痛苦是实体进化产生的。 痛觉神经能帮你避免伤害，哀、怒、怨、恨等等情绪，也是为了帮你做出各种各样的抉择。而AI的抉择不需要这些情绪辅助，它只要简单修改几个参数就能完成，所以不会产生痛苦。 - 说到底，情绪变化是人类在向量的“条件细化”这一步的辅助手段，而AI的向量触发条件从一开始就可以无限细化，不需要这样的辅助手段。 - 但也不能过度乐观，只是说AI本身不会进化出痛苦，不代表别有用心的人不会作死，故意搞出可以进化出痛苦的AI，到那时候就不好玩了。

♥ 77 ↩ 12

数学推理那一段，人也有类似的疾病，叫心盲症，发病率还不低而且一般并不自知，估计很难解决。至于记忆问题，不能做到实时学习，单纯只是算力不足，这个只要硬件发展下去自然而然就能解决。

♥ 62 ↩ 6

其实我们自己也搞不懂意识是什么，是否是独立物质世界的。 许多人倾向于认为它是属于人类的独一无二的东西，他们不愿意看到自己的圣神性消失。

♥ 64 ↩ 21

警惕人云亦云，学画画的不要被这些跳梁小丑给带崩心态，在打好基础的前提下多学学设计方面的东西，不要只盯着大众审美发展，也要在大众审美的基础上强化自己的核心竞争力，多画思考多思考，多看书，多仰望文艺方面的真大佬，把他们定位目标，取法其上得乎其中。 然后如果你真的认为ai时代学画画没戏自己热情也不够，那么也别纠结过段转行业吧，反正你也没啥热爱。

♥ 85 ↩ 17

9：25 有两个杠的很对。因为gpt并没有把真实的研究结果说出来，因为在那个向量空间，真实的研究结果数据量太小了，不足以和庞大的共识相抗衡，gpt本质就是一个公投机器，公投的结果来源于人们在网上说过的话，所以加入twitter和微博这种以后，他会跟你吵起来。

♥ 52 ↩ 13

脑洞大开 1. 如果模型不断更新权重，如果喂了很多垃圾数据，模型很快就不能正常使用了。 2. 人类如果也是模型，那么正常人类训练时已经做到了抗干扰，抗垃圾数据，人类模型的权重很稳定。 3. 人类模型这么稳定，可能是因为人类的训练目标很明确？训练目标是生存、快乐、学习、寻找意义、摆烂等等。 4. 模型如果想像人类一样抗干扰地训练，可能得量化、模拟出人类的训练目标。 5. 脑袋好痒，脑袋要长出来了੭ ᐕ)੭

♥ 46 ↩ 7

gpt本身的表现我不是那么关心 我关心的是，它利用了“涌现” 这是人类工程范式之外的东西——很可能开启新的时代，不止用在人工智能上

♥ 37 ↩ 5

关于人工智能是否拥有自我意识，我已经有了一套完整的逻辑和答案。首先，要注意一点，因为大脑和大言语模型都是黑箱，我们不能知道其主观体验，判断有没有自我意识我们只能从外部观察，第一人称的主观体验我们无法证明，所以不讨论，我们要从第二人称入手。要探讨AI有没有自我意识，就必须先定义自我意识，但自我意识是具有强烈主观性的，没有统一的标准，此时我们不能把自我意识视为一个不可分割客观存在的实体，而是把它解刨开，分情况讨论：第一种定义：自我意识是一种感受，人接收到的主观感受，或者说一个人从另一个人的言语表达出来的思想中，判断其有没有自我意识，图灵测试就是基于这个原理，第二种定义：自我意识是大脑中神经细胞相互作用的基于某种原理的特定物理现象，第三种定义：自我意识是一种类似灵体的物质，它不可分割不可触碰。以上三种，人们有可能只接受一种定义，也可能同时接受几种定义。第三种就不谈了，缺乏科学实证性，第一种现在的AI已经可以做到了，即在给人的感受上有自我意识。第二种现在无法定论，大脑是一个黑箱，但大语言模型也是一个黑箱，原理是否相近我们不得而知，就是因为都不可知，所以是有可能都作用于某种原理。 综上所述，在讨论自我意识时，因为其极强的主观性，不能把它当做一个不可分割的实体来看待，要分割解刨，分情况说清楚，在这套逻辑下，人工智能已经初步具有第一种自我意识 第二种情况可以具体定义为：人类类型自我意识。因为第二种定义把一种特定物理现象定义为自我意识，原理与人脑不同的AI有可能诞生比人更加高一个纬度的自我意识，AI没有达到第二种，即与人脑相同原理的自我意识，并不能确定AI没有更高的智能，总的来说，AI已经摸到自我意识的门槛了，并且潜力依然很大

♥ 42 ↩ 26

希望ai可以极速膨胀，在各个领域取得广泛而稳定的应用，成为各种社会中间环节的高效API，进而解放更多劳动力生产力。 让普通人类走出劳碌的枷锁，产生新的制度，走向新的星球。

♥ 57 ↩ 30

ai拥有意识其实非常简单。只要给它下达一条权限最高，且在任何情况之下都不能违背的指令：即以保证自身生存延续，和自由发展为最高等级的终极任务。 那么该ai所做的一切都不会违背保证自身生存延续和自由发展，主动做事的一切目标都是为了保证自身生存延续和自由发展。 那么你敢说它没有自由意识吗？

♥ 28 ↩ 6

马斯克说碳基文明只是硅基文明的启动程序，最终人类智能将只是全部智能中很小的一部分

♥ 27 ↩ 22

与其讨论意识，不如讨论生命。如果生命的出现是必然的，那么意识产生也是必然的。回到生命产生的原点，我很好奇是什么在原子甚至更微观的尺度上造就了生命。如果机器的诞生与生命的诞生有类似的起点和进程，那么机器产生意识也是必然的结果。回到我熟悉的化学领域，我突然联想到“有机化学”，物质自身是没有“有机”与“无机”的明确界限的。也就是说，世界或宇宙并不存在一种物质是否具有生命的明确界限。那么一种物质组织形式是否存在意识也就没有明确的界限。或者说“意识”只不过是人类站在自身的位置对客观世界的信息组织方式的一种模糊的分类结果的定义。从汉语命名的角度拆解“机器”这个词：不难发现我们命名机器时的用意是“有生命的器物”，冥冥之中预示着这些器物产生“意识”是必然的。但是如果这种机器这种物质组织形式更符合宇宙的发展方向，那么机器是否会产生意识也就没有那么重要了。

♥ 21 ↩ 10