深度残差网络： Deep Residual Learning for Image Recognition

Layer-connections

paper： 《Deep Residual Learning for Image Recognition》

Abstract

本文是解决超深度CNN网络训练问题

Introduction

在CNN网络中， 网络的层数是一个关键因素，貌似越深的网络效果越好。但是随着网络层数的增加，问题也随之而来。

1. 梯度消失，梯度爆炸， 这一点已经通过normalized initialization 和 intermediate normalization layers 解决。
2. 随着网络深度的增加，系统精度得到饱和之后，迅速的下滑。让人意外的是这个性能下降不是过拟合导致的。

我们提出一个 deep residual learning 框架来解决这种因为深度增加而导致性能下降问题。