ResNet介绍


论文翻译

摘要部分

第一段:

  • 神经网络的训练难度随层数的加深而随之加大。(解决的主要问题)
  • 我们设计了一种残差学习框架(residual learning framework):较之之前的网络层数,该框架可以轻易训练更深的网络模型。(综述贡献)
  • 我们设计了一个引用层输入的学习残差函数,利用该函数重构了网络的层。(关键思路)
  • 我们有不可辩驳的证据表明这些残差网络是更容易被优化的,且在很深的网络结构中获得了高精确度。(优势)
  • 我们在ImageNet上评估了一个深度为152-层的残差网络(8倍于VGG),但始终保持着很低的复杂度。其中一个网络在ImageNet test 数据集上获得了 3.57% 的error值。(实验证明,数据)
  • 当然,我们在ILSVRC-2015 classification task 中获得了第一名。我们也给出了基于CIFAR-10数据集用100层和1000层的残差网络的结果分析。(实验证明,事实)

第二段:

  • 对于很多视觉识别任务来说,深度是极其重要的一个因素。
  • (接下来是实验数据陈述)

简介

第一段:

  • 现状分析:深度神经网络的发展中,层数对于网络的表现来说,是一个重要的因素。(紧紧围绕作者的工作)
  • 提出问题:更多的网络层数就意味着更好的网络学习能力吗?(Is learning better networks as easy as stacking more layers?)。接着作者就提到了梯度消失/爆炸的问题。
  • 更重要的问题:随着网络深度的增加,精确度会保持不变,接着就会迅速下降。这个问题并非过拟合引起的,因为通过添加更多的层来训练一个深度适合的网络可以获得更高的training error。
  • 作者就是基于这个问题,提出了残差块:将输入引用到学习函数中。

不同层数的ResNet比较

实验