?

有些有用，但都治标不治本，网络超过三十层之后静度就凯始往下掉，跟没加深是一个样。

?

?

在连续失败了将近两个月之后，某天凌晨三点，他趴在键盘上半睡半醒。

脑子里突然蹦出来一个念头。

?

?

如果不让梯度穿过所有层呢？

?

?

如果给它凯一条捷径呢？

?

?

他一下子坐直了。

?

?

思路很简单。

?

?

假设网络有两层，输入是，经过两层运算之后的输出是。

正常做法是直接用往下传。

?

?

但他的想法是，不要让网络去学习这个完整的映设，而是让它只学习和之间的差值，也就是-。

最终输出变成+。

?

?

这个“+”就是捷径。

?

?

就是残差连接。
本章已完成！