【官方双语】压缩即智能：Part1，重新发明熵

看完了… 再看一遍 看完了… 再看一遍

♥ 929 ↩ 22

信息论，熵为数据压缩的下界，信道容量为无差错传输上界[doge]

♥ 574 ↩ 34

从高中的时候在地铁上看这个打发时间，到现在快读博了，基本上天天见，3b1b老师伴我成长啊[笑哭]

♥ 338 ↩ 6

昨_晚_，我和_学去一_ _烤店，吃_二_几串羊_ _，还_ _烤牛_ _、_ 茄_、_韭_、_藕_，喝_ 五_啤_，花_ 一_多，挺便_。 这一想自然语言都可以挖很多空然后信息能还原个八九不离十了，虽然有些空有各种可能性，但是如果再加上“必须填可能性最大的那个”那基本上就不会有偏差了。这个感觉自己毛估估的压缩还是太保守了，有些字替换成一个声母估计也够猜了。

♥ 210 ↩ 16

一直很好奇系统论控制论信息论这种东西到底是怎么出现在这些人大脑的。

♥ 180 ↩ 31

学电气的感觉看了一遍就跟看了一遍一样[笑哭]好久没感受过这么纯粹的左脑子进右脑子出了，上次有这种感受还是在看整理元素讲孪生素数猜想的时候

♥ 196 ↩ 11

理解压缩即智能有一个很简单的例子，试想一下圆周率的压缩极限是什么，显然是一种计算圆周率的算法，通过圆周率算法可以100%预测出圆周率下一位是什么，所以计算圆周率就是解压缩还原圆周率。

♥ 189 ↩ 9

地球人截取三体人电报：说好的思维透明呢？怎么都是加密的二进制噪声 三体人：我们只是做了完美压缩。。。

♥ 97

我觉得最爽的还得是学会了再来看[doge_金箍]，不然纯小白根本看不懂，只是假装看懂而已。另外别开弹幕，弹幕至少60%是无用信息和类似上课瞎聊天的情况[笑哭]

♥ 95 ↩ 1

诶，以前老师说书越读越厚，然后越读越薄，是不是也暗示了这个规律

♥ 120 ↩ 30

没记错的话，香农的信息论好像是他的研究生论文吧，太厉害了

♥ 71 ↩ 5

看完感觉脑子被压缩了怎么还是没有出现足以理解视频的智能呢[墨镜]

♥ 68 ↩ 1

作曲家Vincent Rubinetti免费提供3blue1brown无损音频下载，但Bandcamp在国内无法访问。作者本人得知后，特意开放了这个直链：https://vincentrubinetti.com/audio/（请不要商用或在自己的视频中使用，商用或使用请访问https://vincerubinetti.github.io/using-the-music-of-3blue1brown/）。

♥ 68

太有意思了，香农简直是个天才，用采样人类智能语言模型的方式来逼近理论信息模型，太天才了

♥ 65 ↩ 3

省流：压缩到最终形态是yes工程师

♥ 56

所以概率的概率3和拉普拉斯变换4多久更owo

♥ 41 ↩ 4

一开始哪个编码的选择区间应该有这样一个曲线，像是倒置的对数函数

♥ 37 ↩ 1

如果预测的准确率是100%，就说明把所有训练数据压缩到了权重中。 传统意义上的压缩是保证正确率维持100%，尽可能缩小文件体积。LLM训练是维持文件体积（权重大小）不变，尽可能提高正确率。 从这个角度看压缩和预测的确是一体两面的。

♥ 27

前缀码是一种“规则”，而哈夫曼编码是遵循这种规则的一种“最优实现”。它们不是并列关系，而是“设计原则”与“具体算法”的关系。前缀码（Prefix Code），又称前缀无关码，是一种编码方式，其核心要求是：任何一个字符的编码，都不能是另一个字符编码的前缀。哈夫曼编码是一种特定的、最优的前缀码构建算法。它通过统计每个字符在文本中出现的频率（或概率），然后自底向上构建一棵二叉树，使得出现频率越高的字符，其编码路径越短；频率越低的字符，编码路径越长。

♥ 26

香农的妻子有幸作为第一个LLM被人训练[doge][doge][doge]

♥ 25