十、AI学习笔记|残差网络ResNet-CSDN博客

网站介绍:文章浏览阅读335次。1、残差网络由于梯度爆炸和梯度消失的问题,导致越深的神经网络越难训练好,所以即使有足够的计算力和数据,也难以得到很深很深的优秀神经网络。残差网络:使用跳跃连接,用它来讲前面的激活值跳过中间的网络层,而直接传递到更后面的网络层去,由此来避免梯度爆炸和梯度消失。使用此种跳跃连接构建出来的网络,称之为残差网络。残差网络由一个个的残差块组成的。(1)残差块:如下两个神经网络层如果发生梯度爆炸(梯度消失),激活值会越来越大(越来越小),为了解决这种问题,可以将的公式变成,将跳到了后面的