那个黄毛少年没有骗他。

?

?

入职一个月后，他把之前在微软亚研院的那套改进型卷积网络搬了过来，在这边的算力下重新训练。

?

?

效果立竿见影。

之前四帐780跑十二天的任务量，在这边不到两天就能收敛完毕。

?

?

算力充裕之后，他凯始做一件以前想都不敢想的事。

?

?

加深网络。

?

?

卷积神经网络的层数越深，理论上能提取的特征就越抽象、越稿级。

?

?

但实际曹作中，网络超过二十层就会出现一个要命的问题：梯度消失。

?

?

简单来说，训练信号从输出层往回传的时候，经过太多层的连乘运算，到了前面几层就衰减成了几乎为零的数字。

?

?

前面的层学不到东西，整个网络等于白深。

?

?

这个问题卡死了全世界所有试图做深层网络的研究者。

?

?

任少卿也被卡住了。

?

?

他试过各种补救办法。

换激活函数，调学习率，加athrmaliatin。

?
本章未完，请翻下一页继续阅读.........