第622章 深度学习变天了(2/5)

从去年十一月他正式入驻雅安基地开始算，到今天，一百五十三天。

事情要从头说起。

去年夏天在西安交大走廊里被那个顶着黄毛的少年截住之后，任少卿回北京犹豫了整整一周。

不是犹豫要不要去，是犹豫这件事到底是不是真的。

一个高中毕业生说自己手里有几千张GPU，说算力管够。

这种话放在2013年的中国，听起来荒诞得离谱。

然后他拨了名片上那个电话。接电话的是个叫林溪的女人，声音干脆利落。

三天后他就收到了一份正式的offer，薪资是他在微软亚研院兼职收入的四倍，不含绩效和期权。

他坐火车到了雅安，下了站，一辆黑色比亚迪S6把他接进山里。

第一次走进机房的时候，他站在门口愣了将近两分钟。

几千张GPU。

那个黄毛少年没有骗他。

入职一个月后，他把之前在微软亚研院的那套改进型卷积网络搬了过来，在这边的算力下重新训练。

效果立竿见影。之前四张GTX780跑十二天的任务量，在这边不到两天就能收敛完毕。

算力充裕之后，他开始做一件以前想都不敢想的事。

加深网络。

卷积神经网络的层数越深，理论上能提取的特征就越抽象、越高级。

但实际操作中，网络超过二十层就会出现一个要命的问题：梯度消失。

简单来说，训练信号从输出层往回传的时候，经过太多层的连乘运算，到了前面几层就衰减成了几乎为零的数字。

前面的层学不到东西，整个网络等于白深。

这个问题卡死了全世界所有试图做深层网络的研究者。

任少卿也被卡住了。

他试过各种补救办法。换激活函数，调学习率，加BatchNormalization。

有些有用，但都治标不治本，网络超过三十层之后精度就开始往下掉，跟没加深是一个样。

在连续失败了将近两个月之后，某天凌晨三点，他趴在键盘上半睡半醒。脑子里突然蹦出来一个念头。

如果不让梯度穿过所有层呢？

如果给它开一条捷径呢？

他一下子坐直了。

思路很简单。

假设网络有两层，输入是x，经过两层运算之后的输出是F(x)。正常做法是直接用F(x)往下传。

但他的想法是，不要让网络去学习F(x)这个完整的映射，而是让它只学习F(x)和x之间的差值，也就是F(x)