深入理解残差网络(二)-为什么残差网络有效?
Description
涉及相关论文 Deep Residual Learning for Image Recognition •Identity Mappings in Deep Residual Networks •Residual Networks Behave Like Ensembles of Relatively Shallow Networks •Learning Strict Identity Mappings in Deep Residual Networks •The Shattered Gradients Problem: If resnets are the answer, then what is the question? •Why ResNet Works? Residuals Generalize •SKIP CONNECTIONS ELIMINATE SINGULARITIES •Deep Pyramidal Residual Networks
Comments
网络结构： 网络加深，路径长度变长，梯度消失，层数多的反而误差比层数少的要大 残差连接可以解决问题，残差连接使得路径的个数变多，去掉其中的一些网络层的影响会相对于没有残差连接的要小， 参数分布： 添加残差连接可以消除网络权重中的奇异，就是消除冗余，不要那么多线性相关的权重，变相地提高了网络参数的利用率。 发现通过正则化消除奇异性，能提高网络的性能，说明网络的性能和奇异性有关系，那么利用残差消除奇异性也能提高网络性能。
♥ 12 ↩ 3
对残差网络有一个非常深刻的理解，超过大多数生搬硬套的解读，如果不夸张的话，甚至有超过原作的新理解。
♥ 11 ↩ 4
从原神看到ResNet来了
♥ 11 ↩ 4
残差一直当做闭环控制想的[藏狐]
♥ 6
受益匪浅，自己原来只知道残差网络很厉害 但从未想过为什么准确率高
♥ 3
在测试集上删掉一些比较小的层应该会降低泛化性把！
♥ 1
tql！
♥ 1
先赞再听讲，喜欢知识讲解系列！
好！
讲的很好！看了一部分对残差的理解深刻很多
讲的很好，看的人竟然很少[脱单doge][脱单doge][脱单doge]
残差网络的长度是指残差块的个数吗？
感谢
UP 我哦啊
随着层数增加，由于链式法则，浅层的导数很小 非常接近于0，梯度消失
确实[支持]
三连了，这是我看过的最好的resnet讲解，向大佬膜拜
感谢，讲解非常深入。不够没有提到MRN，up能不能出一个视频讲一讲呀[喜欢]