ResNet简介
ResNet（残差网络）是一种深度卷积神经网络，以其很高的图像识别准确率而闻名。它解决了深度网络训练过程中的退化问题，即随着网络层数的增加，训练难度会增大，并且容易出现梯度消失和爆炸的情况。
残差学习结构
ResNet的核心思想是残差学习，即在传统的卷积网络中加入恒等映射（identity mapping），将输入直接传递到输出端。这种结构被称为跳跃连接（skip connections）或捷径连接（shortcut connections）。
从生活角度理解
我们可以将残差学习类比于人类识别物品的过程。当我们触碰一个杯子时，我们会首先判断其是否烫手。如果烫手，我们会形成结论“杯子里的水烫”。如果再次触碰一个不烫手的杯子，我们会陷入困惑，无法得到有效的参数。这时，我们不仅会再次触碰，还会拿起杯子仔细观察，寻找更多的细节以帮助判断。这个过程与神经网络在训练过程中进行残差学习类似。
从网络结构角度理解
当梯度消失时，模型会退化为一个过滤器，记住特定模式的输入。通过叠加残差单元，即使梯度消失，模型仍可以保留输入的原始信息，相当于在浅层网络上堆叠了复制层。残差学习增加了模型学习到新特征的概率。
从数学角度理解
残差学习可以表示为：
y = F(x) + x
其中，F(x)代表经过训练的参数化的模型，x代表输入。导数为：
dy / dx
本文原创来源：电气TV网，欢迎收藏本网址，收藏不迷路哦！
添加新评论