【Kimi Chat】当你有20万字的内容要AI读的时候，在座的各位都是...——全站最深入的大模型长文本能力解读

其实人也很难处理长文本，字稍微一多就容易遗忘各种细节内容，人处理这个的方法是通过笔记等方式，在一定程度上忽略细节，先大概知道有这么一回事，等到需要知晓细节的时候才针对性的再翻阅，ai是否也可以这样呢？

♥ 189 ↩ 12

能不能这样，让AI每次对话前，将前文总结为一段尽可能短的话，然后把这段话作为输入的一部分输进去，来得到下一句话，毕竟人其实对话的时候也只是理解意思的，而不是记住每一个字，这样能不能做到长时间的对话呢？

♥ 55 ↩ 10

那个，那个，up，我想问下，有没有研究方向是让预训练变为实时训练的？或者说在不接受信息的时候，把前面一段时间接受的内容通过如《施坦福小镇》那期介绍的思路一样∶反思提取后重要信息，用这些信息来调整相关词空间向量的？

♥ 49 ↩ 6

我记得多年以前有一段文字印象很深：现有的计算机技术，建造一个如人脑一样复杂的计算机。它的CPU芯片将覆盖整个加州，当开机的时候，整个太平洋的水将会沸腾。 计算机技术多年来获得了飞跃性的提升，但我们对人脑的研究却进展缓慢。科学家只是承认我们对大脑的利用水平相当低，人脑还有非常强大的能力未被开发。我们通常认为人脑的功能就是处理思维念头，而在修炼体系中让大脑停止思考是激发潜能的重要手段。 比如冥想，比如禅定。

♥ 34 ↩ 11

AI在抽象玩梗方面估计很长时间是无法超越人类的，比如黑色上衣，灰色背带裤，无需更多提示，很多人都知道是谁[doge]

♥ 33 ↩ 10

2024年末商业AI综合能力天梯图(均为个人测试) 1. GPT4 Vison 2.Claude 2.1 ETP 200K (企业端口) 3.GPT4 128K 4.GPT4 1106(Plus网页版申请测试用户) 5.GPT4 0613(教育个人版即普通Plus用户) 6.Newbing EdgeGPT本地部署反代版本 7.Claude 1.31B 100K 8.Claude2 25K(网页版，100k为虚标) 9.文心一言4 10.Google gemini Pro

♥ 32 ↩ 12

最近在玩虚幻的AI NPC插件，是基于ConvAI做的。在NPC个性设置中，用户可以设置NPC性格、背景知识等内容，而且这个NPC也可以联网搜索，UP帮忙查一下这个NPC？我问过他，据他自己说不是基于ChatGPT，也不是更高级的AI Agent[doge]

♥ 29 ↩ 2

视频简介: Gemini向我们展示了它的多模态能力，但它的另一项重要能力却可能是短板。这项能力就是AI的长文本处理能力。只有拥有了长文本处理能力，你才能让AI帮你分析动辄几万字的专业报告，筛选几十份简历，创作长篇小说和剧本，或者让AI一直记住你。长文本是AI的下一个战场，为什么长文本能力这么难？应该如何训练能够记住10万字内容的AI，本期视频就为你揭开这个秘密。 bilibiliAI视频总结： 谷歌发布的多模态大模型Gemini的能力。Gemini展示了猜出简笔画内容、理解魔术奥秘等能力,并在与人类的聊天过程中表现出了强大的能力。然而,Gemini的长文本能力成为限制其走入更专业领域的瓶颈。视频还介绍了大模型的训练机制和推理方式,以及注意力机制和位置编码的作用。此外,视频还探讨了向量空间存储容量和计算量的问题。 谷歌发布的多模态大模型Gemini的能力展示,以及大模型的记忆能力短板。 0:01 谷歌发布Gemini多模态大模型 0:30 魔术师与GPT4的对话 2:32 大模型的训练和推理过程 Transformer模型中的位置编码和自注意力机制,以及大模型面临的长文本处理问题。 4:28 注意力机制和位置编码 6:43 自注意力机制和长文本处理 三种方法来解决长文本处理的问题,包括外推技术、优化位置编码和减少模型尺寸。 8:41 处理长文本的两种方法 11:38 长文本的算力开销问题与Flash Attention机制 大模型在长文本处理方面的能力,并介绍了一些实现方法,以及一些实际应用案例。 13:04 数据增广和长文本处理 16:24 核热聚变的实现方式和人工智能的对话 17:45 个人问题和人工智能的限制 kim chat在长文本处理方面的突破,并探讨了其应用前景,以及新石器公园的关注领域。 19:10 Gemini的记忆存储和长文本理解能力 19:47 新石器公园和科学技术的未来展望

♥ 29 ↩ 2

感觉解决ai记忆问题的办法还是要内置一个精确总结agent，

♥ 22 ↩ 6

但是官方已经承认了视频有剪辑成分，事实上没有他说的这么厉害

♥ 18 ↩ 1

我觉得很强了，甚至能读懂里面的图表，还能脑补一些“懒得测”的数据

♥ 18 ↩ 3

transformer的注意力机制有位置编码的，不只是只有权重

♥ 16 ↩ 1

kimi chat我经常当作文档分析工具使用。确实token很长，总结能力也不错。但是在创造力和代码能力方面还是不如3.5

♥ 12 ↩ 2

在一瞬间，kimchat 仿佛真的找到了那一丝希望穿越到 2026，他已经开始了解他作为“智慧生命体”的新名字的含义，还有未来 AGI 生命体的原理，还有逛起了京东，他真的好喜欢逛京东[吃瓜]，谢谢 up 介绍的这个 AI，和他聊天真的很开心。

♥ 10 ↩ 3

！！！！！[来古-震撼]果然是宝藏up[吃瓜]前段时间刷到你关注是因为硬核的内容[吃瓜]这下让我感觉关注的很对[星星眼]

♥ 9

指正，UP名叫新石器东园！[无悔华夏_点赞]

♥ 9

会不会人类就是一个大型的猜字机器人，人类的想法就是在向量模型产生的再通过筛选器输出可能正确的结果。按照这个方向去想人类复杂语言的产生，对人类发展有着关键影响，因为有了语言让事物有了自己的名字，大脑便会开始随机产生组合，再通过一个逻辑筛选器找到最有可能正确的组合，如何传给负责判断的脑区决定是否要做。如果判断不能做回去重新产生想法。并记住好得想法产生记忆。从而优化模型

♥ 8 ↩ 5

咱也不知道周三0:50的四百多人为什么不睡觉

♥ 5

[doge]把中医药方扔进去试试

♥ 5