律动的沙盘 2024-05-23 早期神经网络层数少，对复杂问题拟合能力差。而增加层数又会出现权重梯度消失的问题。但是后来的人们提出了抑制梯度消失的激活函数。于是神经网络层数大幅度提高。对于这种神经网络，相对于早期的来说就叫深度神经网络了。只是更多的意思，也不叫忽悠。但是这种神经网络再强大也只能进行回归拟合，这必须要人去指定数据关联方式。于是谷歌的科学家就开发了一个自注意力机制，然后产生了transformer。有了这个我们只需要给输入输出，里面的关联由自注意力机制自动完成。于是我们对训练数据的处理要求就没那么高了，大量的互联网语料可以直接喂给基础模型。但是基础模型学习了很多知识，却不知道怎么用来和人类沟通，于是openai就用了人类标识数据集对基座模型进行微调，让基座模型学会了如何根据人类的意图去检索信息，这就是第一代chatGPT。当然后面还出现了两个编码器没有解码器的bert，通过猜词训练来获取更强大的意图理解能力。不过transformer主要是编码和解码，这样不仅仅是针对语言，对于所有的数据流都可以进行训练。于是拥有视觉和声音的多模态大模型就诞生了。其实并没有什么忽悠。这是一个发展过程。 ♥ 12
随便看看613 2024-05-22 首先，李飞飞那句话是在回应人工智能威胁论。世界上也有很多像陶哲轩这样的顶级数学家把AI纳入工作流，没头没尾搬几个大佬的言论又能证明什么呢？小学生写作文看你名人名言数量啊？你不是给人工智能祛魅，你是给“哲学”祛魅。 ♥ 10 ↩ 5
露露陆月行 2024-05-21 跨行还是别说了吧 漏洞太多了。深度学习只是用来去解决一个回归问题的方法， 正因为这个方法拟合效果很好所以被广泛使用。至于想探究这种方法的可解释性，我理解是对更高维度的某些函数的分布的近似。不需要数据标注的场景也有很多无监督的方法，到您这里变成了剥削人类了。 ♥ 7 ↩ 4
我在B站听广播 2024-06-17 人一定要对不甚了解的事物保持敬畏 徐老师在文史哲方面的造诣毋庸置疑 但仅通过该视频，我看不出来徐老师能理解监督学习和无监督学习的区别，也看不出来徐老师能理解穷举法与梯度下降的区别，也看不出来徐老师能理解统计学与深度学习的区别。。。 不要小看数量或拓扑结构的变化 一个不太恰当的例子，人类大脑中的神经元数量和结构与黑猩猩想比也没有神经元结构层面上的质的差别，但两者在智能的表现上的的确确有质的差别 ♥ 5
卡迪安屹立不倒 2024-05-27 不是我说，你哲学就老老实实搞哲学吧，愣挤那计算机干啥？[辣眼睛] “所谓的深度学习和传统神经网络的区别，仅仅是网络结构更复杂，中间层多一点，仅此而已。”你要不要看看你在说什么？？？你比那个普通本科生就是更老一些，看过的书更多一些（也可能没有），是这么概括的对吗？？ 神经网络走的是仿生流派，早就不是需要背板的聊天机器人了，它的黑盒子解释不清，你的黑盒子就解释的清了？主流出版商有几个不想部署自己的GPT4？请你过去得了呗？都是猜，复旦教授猜的一定很准吧。 我是觉得能爬到这个位置的都不容易，你要真心实意想科普，想结合哲学谈AI，你抓你们大学几个计算机学院的教授过来访谈呗，不会抓不到吧？你就贴脸骂他们，你们所有人工智能研究都是不是科学基础上的突破，就完事儿了[星星眼] ♥ 5
我的失误是 2024-05-26 CNN LSTM这种都算好的了，至少网络还是人工设计的，有时候训练出来的结果还能有几层非常好解释的层。现在大模型基本上都是指transformation架构，几乎不需要人工设计网络，因此可以做到非常大的规模。生物神经网络也分基因决定的高度设计的部分和后天无监督训练出的部分，像视神经前几层就是典型的CNN，不同人的脑区分布也基本相同。而后天习得的部分则可以在结构完全不同的情况下达到相同性能 ♥ 3
鸡非鸡 2024-05-22 换个角度想，这个不可解释性才是获得突破的关键。其实人脑学习事物时候的机制也是不可解释的，以前用可解释的方式设计AI进展缓慢，改成用拟合的方式去模拟（机器学习）才取得了突破性的进展。 ♥ 3
玩恐龙的理查德 2024-06-10 无可否认，up比一般人对人工神经网络的理解稍深刻一点，但这纯粹就是一个连微积分，矩阵和人工神经网络基础都没搞过，一行代码都没写过的人在瞎扯，实践出真知，不是搞这个的人一知半解最好别瞎说 ♥ 2
尼特利内心弄 2024-06-09 看到第二部分发现你连超参数和参数这种基本的概念都搞不清楚，真是唐完了，一个连微积分都没学过的人在这大放厥词。你无非是在网络上看到了部分人自嘲电子炼丹的声音就在视频中瞎比喻。在你的视频中第二部分所说的计算机自己“猜”参数完全是瞎说，bp算法是有严格的数学证明的，对于当前的batch的参数调整是绝对正向的。 ♥ 2
星浩瀚海无垠 2024-05-25 对于知识的理解和讲述有种蜻蜓点水的美，不如ChatGPT3.5的总结，更别提延伸，你可能都不一定使用过较为先进的人工智能，看来你并非是想把自己的观点讲述给大家，而是进行一种炫耀的行为。 ♥ 1
setsunashiugi 2024-05-22 我看新的GPT4o发布会演示里，AI的说话声音的情绪是和对话的意思是关联的，比如听到一个笑话她会带着笑意来回答，这算不算AI的某种跨领域模型已经成功了？ ♥ 1 ↩ 2
Comments
对我这个科班的人而言，老师您说的每个问题，比如标注问题，黑盒可解释性问题都是学界业界已经在解决的了。比如标注问题，自监督都发展多久
♥ 22 ↩ 12
作为一个学过ai课程的人觉得这个视频还是挺中肯的，人工智能和深度学习这俩名词绝对误导了绝大部分吃瓜群众，只是技术乐观主义的狂热下很少容得下理性的声音
♥ 16 ↩ 2
早期神经网络层数少，对复杂问题拟合能力差。而增加层数又会出现权重梯度消失的问题。但是后来的人们提出了抑制梯度消失的激活函数。于是神经网络层数大幅度提高。对于这种神经网络，相对于早期的来说就叫深度神经网络了。只是更多的意思，也不叫忽悠。但是这种神经网络再强大也只能进行回归拟合，这必须要人去指定数据关联方式。于是谷歌的科学家就开发了一个自注意力机制，然后产生了transformer。有了这个我们只需要给输入输出，里面的关联由自注意力机制自动完成。于是我们对训练数据的处理要求就没那么高了，大量的互联网语料可以直接喂给基础模型。但是基础模型学习了很多知识，却不知道怎么用来和人类沟通，于是openai就用了人类标识数据集对基座模型进行微调，让基座模型学会了如何根据人类的意图去检索信息，这就是第一代chatGPT。当然后面还出现了两个编码器没有解码器的bert，通过猜词训练来获取更强大的意图理解能力。不过transformer主要是编码和解码，这样不仅仅是针对语言，对于所有的数据流都可以进行训练。于是拥有视觉和声音的多模态大模型就诞生了。其实并没有什么忽悠。这是一个发展过程。
♥ 12
首先，李飞飞那句话是在回应人工智能威胁论。世界上也有很多像陶哲轩这样的顶级数学家把AI纳入工作流，没头没尾搬几个大佬的言论又能证明什么呢？小学生写作文看你名人名言数量啊？你不是给人工智能祛魅，你是给“哲学”祛魅。
♥ 10 ↩ 5
跨行还是别说了吧 漏洞太多了。深度学习只是用来去解决一个回归问题的方法， 正因为这个方法拟合效果很好所以被广泛使用。至于想探究这种方法的可解释性，我理解是对更高维度的某些函数的分布的近似。不需要数据标注的场景也有很多无监督的方法，到您这里变成了剥削人类了。
♥ 7 ↩ 4
人一定要对不甚了解的事物保持敬畏 徐老师在文史哲方面的造诣毋庸置疑 但仅通过该视频，我看不出来徐老师能理解监督学习和无监督学习的区别，也看不出来徐老师能理解穷举法与梯度下降的区别，也看不出来徐老师能理解统计学与深度学习的区别。。。 不要小看数量或拓扑结构的变化 一个不太恰当的例子，人类大脑中的神经元数量和结构与黑猩猩想比也没有神经元结构层面上的质的差别，但两者在智能的表现上的的确确有质的差别
♥ 5
不是我说，你哲学就老老实实搞哲学吧，愣挤那计算机干啥？[辣眼睛] “所谓的深度学习和传统神经网络的区别，仅仅是网络结构更复杂，中间层多一点，仅此而已。”你要不要看看你在说什么？？？你比那个普通本科生就是更老一些，看过的书更多一些（也可能没有），是这么概括的对吗？？ 神经网络走的是仿生流派，早就不是需要背板的聊天机器人了，它的黑盒子解释不清，你的黑盒子就解释的清了？主流出版商有几个不想部署自己的GPT4？请你过去得了呗？都是猜，复旦教授猜的一定很准吧。 我是觉得能爬到这个位置的都不容易，你要真心实意想科普，想结合哲学谈AI，你抓你们大学几个计算机学院的教授过来访谈呗，不会抓不到吧？你就贴脸骂他们，你们所有人工智能研究都是不是科学基础上的突破，就完事儿了[星星眼]
♥ 5
为什么要可解释 可解释只是人类为自己不可理解的东西找的借口罢了
♥ 3
CNN LSTM这种都算好的了，至少网络还是人工设计的，有时候训练出来的结果还能有几层非常好解释的层。现在大模型基本上都是指transformation架构，几乎不需要人工设计网络，因此可以做到非常大的规模。生物神经网络也分基因决定的高度设计的部分和后天无监督训练出的部分，像视神经前几层就是典型的CNN，不同人的脑区分布也基本相同。而后天习得的部分则可以在结构完全不同的情况下达到相同性能
♥ 3
目前的技术重点在于用数学统计学方法进行拟合，这对应到人身上其实更像是基于经验感觉的练习，而非基于逻辑思维方式的学习，
♥ 3
换个角度想，这个不可解释性才是获得突破的关键。其实人脑学习事物时候的机制也是不可解释的，以前用可解释的方式设计AI进展缓慢，改成用拟合的方式去模拟（机器学习）才取得了突破性的进展。
♥ 3
期待下期，徐老师怎么还不出啊，都快9个月了[笑哭][笑哭][笑哭]
♥ 2
无可否认，up比一般人对人工神经网络的理解稍深刻一点，但这纯粹就是一个连微积分，矩阵和人工神经网络基础都没搞过，一行代码都没写过的人在瞎扯，实践出真知，不是搞这个的人一知半解最好别瞎说
♥ 2
看到第二部分发现你连超参数和参数这种基本的概念都搞不清楚，真是唐完了，一个连微积分都没学过的人在这大放厥词。你无非是在网络上看到了部分人自嘲电子炼丹的声音就在视频中瞎比喻。在你的视频中第二部分所说的计算机自己“猜”参数完全是瞎说，bp算法是有严格的数学证明的，对于当前的batch的参数调整是绝对正向的。
♥ 2
又到了我最爱看的：文科教授以为自己很牛 b 之：文史哲锐评理工环节
♥ 2
大家看的是效果，GPT-4o就在那里，就像可回收火箭成功之前说两句不看好的话没毛病，但是都已经搞出产品了还在叨叨叨这是个资本骗局，那就是笑话。
♥ 2
举亿反三[doge]
♥ 2
[吃瓜][吃瓜][吃瓜]ai 普及了[笑哭][笑哭][笑哭][笑哭]是不是不用考试了[笑哭][笑哭][笑哭][笑哭][笑哭][呲牙][呲牙][呲牙]
♥ 1
对于知识的理解和讲述有种蜻蜓点水的美，不如ChatGPT3.5的总结，更别提延伸，你可能都不一定使用过较为先进的人工智能，看来你并非是想把自己的观点讲述给大家，而是进行一种炫耀的行为。
♥ 1
我看新的GPT4o发布会演示里，AI的说话声音的情绪是和对话的意思是关联的，比如听到一个笑话她会带着笑意来回答，这算不算AI的某种跨领域模型已经成功了？
♥ 1 ↩ 2