【无痛线代】彻底搞懂SVD！矩阵究竟怎么就奇异了？

万人血书讲若当标准型（1/10000）[跪了][跪了]@漫士沉思录

♥ 482 ↩ 62

讲一下李群吧，这应该重要性和大众知名度相差最大的数学概念了。微分几何和广义相对论的关系都被科普烂了，但是李群和量子场论，粒子物理的关系没见到什么人科普。

♥ 365 ↩ 16

漫士您上会了[doge]

♥ 90 ↩ 5

中国互联网要有自己的3B1B

♥ 83 ↩ 3

恭喜您，您本堂课的教学质量超越了全国99.97%的讲师

♥ 78 ↩ 2

刚想说漫士更新了，给了个三连[委屈]结结果才发现我没学过线性代数[笑哭]

♥ 54 ↩ 23

[tv_腼腆]一位美东技校研究方向为代数几何和analytic schemes的选手看完下一期有一些想法： 首先请大家想一个从漫士视频里的SVD拓展的例子： X= FBx,如果我们只有X，如何得到唯一的F和B，事实上，x 是任意的（也就是说x是在一个open set上滑动的，不落在任何受额外约束的闭集内），我们只用X也永远无法得到FB这个乘积的分解。这就是SVD失败的一种情形。 很多初等线性代数课程几乎完全跳过了一个关键过渡： 从向量空间 V 的基，到对偶空间 V* 以及 dual basis 的构造过程。学生往往只看到“列向量”和“行向量”，却没有真正经历：V → V* → V* ⊗ V这个结构生成过程。 尤其是 evaluation map ev : V* × V → F 几乎被视为显然，但它实际上是线性代数的核心机制，它揭示了向量如何成为可被测量的对象。如果没有这一层理解，矩阵就只会被当成一个二维数字表，而不是一个二阶张量，也不是一个属于 V* ⊗ W 的几何对象。 在这个阶段，适度引入张量代数和多线性结构，会让二维矩阵的性质变得透明。特别是当学生接触到三阶张量（order-3 tensor）时，他们会第一次意识到：高阶张量不是“多维矩阵”，rank 也不是像维数那样简单。从三阶张量开始，generic rank 与 subgeneric rank 的出现打破了二维情形的特殊性。 这时再回头看矩阵的 rank 与 SVD，就会发现它们是一个极其特殊、几何上高度退化的情形。换句话说， 矩阵理论的许多“神奇性质”并不是线性代数的本质，而是二阶张量的偶然幸运。一旦进入一般张量的世界，再回望二维情况，理解会变得异常顺滑。

♥ 49 ↩ 7

线性代数学累了，给您拜年啦[tv_doge] 施瓦兹不等式，均值不等式，柯西不等式，权方和不等式，舒尔不等式，琴生不等式，贝努利不等式，契比雪夫不等式，排序不等式，闵可夫斯基不等式，赫尔德不等式帮您精打细算、财源滚滚。[呲牙] 重心，垂心，外心，内心，界心，旁心，伴心，陪心让您心宽体胖、事事顺心。[打call] 五点圆、六点圆，七点圆，八点圆，九点圆，阿波罗尼斯圆，外接圆，旁切圆，内切圆，蒙日圆，萨蒙圆，形心圆，凡利圆，莱莫恩圆，图克圆，余弦圆，三乘比圆，重圆，泰勒圆，富尔曼圆，极圆，逆相似圆……让您顺顺利利、圆圆满满。[吃瓜] 调和点列，调和线束，调和四边形，调和数列，调和平均数，调和级数帮您在新的一年里事业鹏程、阖府安康[星星眼]

♥ 41 ↩ 2

我想到一个叫pca的玩意(主成分分析),感觉跟这个视频里的东西有些相似的地方

♥ 28 ↩ 11

提一下计算物理上的应用张量网络。 拿MPS举例，多体的量子态可以写成 |Ψ> = |ψ1>⊗|ψ2>⊗|ψ3>⊗···的d^n的高维张量，那么我们先把|Ψ>reshape成d*d^(n-1)的矩阵|ψ1>⊗|ψ2ψ3···>做svd，可以得到USV^dagger，|ψ1>的状态就被encode到U中了，继续对SV^dagger做reshape（d^2*d^(n-2)）然后svd的操作，就可以把这个量子态转换为一系列unitary矩阵的乘积。 而做截断这点就非常有物理上的意义，在这个持续做svd的过程中，我们对singular values S做截断（考虑一下玻尔兹曼分布Pi~exp(-βEi)，也就是能量最低的eigen states保存了最重要的信息），在实践上就能用一般几百维的矩阵乘积来足够精确得表达指数增长的量子态。这个就是DMRG（密度矩阵重整化群） 临时打的可能有误[兔年吉祥東雪蓮_哭哭]，具体可以看这篇非常详细的review https://arxiv.org/pdf/1008.3477

♥ 24 ↩ 1

SVD？连狙？[害羞]

♥ 24 ↩ 2

学乐理学到线性代数了[辣眼睛]

♥ 19 ↩ 4

印象里线性代数课堂里没学SVD 特地翻了一下老师的PPT，确实没学 考研数学的考纲里也没有 是最近才加的新内容吗

♥ 15 ↩ 20

SVD不是射手步枪么

♥ 12 ↩ 4

发现很久之前自己做过类似的内容，虽然没这么深入，但是来偷偷蹭个热度 [妙啊]【7分钟快速了解基于奇异值分解（SVD）的图像压缩-哔哩哔哩】 https://b23.tv/fgJJZbr

♥ 12 ↩ 1

我搞竞赛的时候要是早点遇到这个视频该多好_(:з」∠)_

♥ 14

[tv_doge][tv_doge][tv_doge]其实SVD是非线性代数和张量代数里的一个特例，其实我一直觉得本科学完SVD之后应该附加一些Veroneses Embedding的知识

♥ 10

作者您好，我发现：前面都是把矩阵A当成线性变换来讲的，A后面总是跟着一个向量x。但后面就把矩阵当成一个信息系统(如：图像)来讲了，而不是线性变换。矩阵A后面也不再跟向量x了。请问作者是怎么看待这种区别呢？（矩阵被理解成线性变换 or 信息系统）

♥ 8 ↩ 3

第一次看这个系列时我还在高中，现在我已经学完线代了[doge]

♥ 7

SVD分解非常好用，解释了矩阵的本质，把矩阵拆解成特征值，特征向量，而且特征向量之间还是正交的，这玩意可不得了，直接对两个抽象空间的拉伸程度有了概念。输入空间的这个向量的变化会导致输出空间的什么变化，变化的大小如何，都清晰可见。我用他做了基于雅可比分解和零空间分析的机械臂操作，有很明显的感受。

♥ 6