晓查 发自 凹非寺

量子位 报道 | 民众号 QbitAI

LSTM之父Schmidhuber又来了，他和深度学习三巨头的战争从来没有住手过。

这次他把枪口瞄准了最德高望重的Hinton。

这一切要从半年前的一次颁奖提及。

去年9月，Hinton获得了昔时的“本田奖”，该奖由本田汽车创始人设立，用于表彰对科技做出重大孝敬的人士。而Hinton获奖的缘故原由当然是他在AI领域做出的先驱性研究。

毫无意外，Schmidhuber又站出来反对了。

经由半年的准备，Schmidhuber引经据典，用近百篇参考文献证实，本田奖颁给Hinton就是个错误。

Schmidhuber说：“我们必须住手将某个发现错误地归于某人。”上次他和GAN之父Goodfellow的论战也是这个主题，总之万物基于LSTM。

细数本田奖“六宗罪”

Schmidhuber在这篇长文中指出，AI中的一些主要手艺，好比反向流传、无监视算法、Dropout等等都并非Hinton的首创。

本田奖的颁奖词言过其实，把其他人的研究功效算在了Hinton头上，存在着六处严重错误。

一

Hinton缔造了许多手艺，使AI得以更普遍地应用，其中包罗反向流传算法，该算法构成了AI深度学习方式的基础。

Schmidhuber：

Hinton和他的同事们为深度学习做出了某些主要的孝敬。然则，上述说法是完全错误的。

他是反向流传论文的三位作者中的第二位，但他没有提到3年前Paul Werbos建议用这种方式训练神经网络。

而且Hinton的文章甚至都没有提及Seppo Linnainmaa，这是网络中著名的信用分配算法（1970年）的发现者，该算法也被称为“自动微分的反向模式”。

二

2002年，他为受限玻尔兹曼机（RBM）引入了一种快速学习算法，使他们可以学习单层分布式示意，而无需任何符号数据。这些方式使深度学习能够更好地事情，并引发了当前的深度学习革命。

Schmidhuber：

Hinton的无监视深度神经网络预训练与当前的深度学习革命无关。在2010年，我们的团队解释，可以通过简朴的反向流传对前馈神经网络（FNN）举行训练，而且对于主要的应用基本不需要举行无监视的预训练。

三

2009年，Hinton和他的两名学生使用多层神经网络在语音识别方面取得了重大突破，直接导致了语音识别的显著改善。

Schmidhuber：

这是异常具有误导性的。我的实验室有两篇论文都应用到了神经语音识别中，分别是LSTM和CTC。

我们的团队在2007年 乐成地将经由CTC训练的LSTM应用于识别。到2015年，当算力变得足够廉价时，CTC-LSTM大大改善了Google的语音识别，险些所有的智能手机都支持这种功效。

四

2012年，Hinton和另外两名学生证实了深度学习比现有的最新手艺识别图像中的工具要好得多，彻底改变了计算机视觉。

Schmidhuber：

计算机视觉革命靠的是Fukushima、LeCun等一大批70年代学者生长的卷积神经网络。Hinton团队2012年在ImageNet上的乐成很大程度上要归功于GPU加速CNN运算，

我们的瑞士团队于2011年初创建了第一个基于GPU的顶级CNN――DanNet，在Hinton之前就证实了本田奖说明的这一点。

在IJCNN 2011上，DanNet赢得了竞赛，并成为第一个在国际竞赛中跨越人类的视觉识别模子，而与Hinton经常互助的LeCun团队获得了第二名。

五

Hinton还发现了一种被普遍使用的新方式，称为“dropout”，该方式通过防止特征检测器的庞大配合来削减神经网络的过拟合。

Schmidhuber：

然则，“dropout”实际上是Hanson早先的随机Delta规则的一种变体。Hinton在2012年揭晓的论文并未引用这一点。

此外，我们已经在2011年证实，dropout对于赢得计算机视觉竞赛并获得跨越人类的成就并不是需要的 ，唯一真正主要的义务是使CNN在GPU上更深、更快。

六

“在全球无数的基于AI的手艺服务中，绝不夸张地说，若是没有Hinton缔造的效果，那将是不可能的。”

Schmidhuber：

大多数著名的AI应用都是其他人的功效，好比计算机视觉、语音识别、语言处置、手写识别、机械人手艺、游戏、医疗影像等。

其中2~6都依赖于我们的LSTM。2016年，谷歌数据中心TPU四分之一以上算力都用于处置LSTM。LSTM已经成为20世纪引用最多的AI论文。

最后，Schmidhuber一定了Hinton和他的同事们对神经网络和深度学习做出了重大孝敬。

然则他以为：

Hinton最引人注目的事情是推广了其他人缔造的方式，而且在论文里没有引用泉源，一个主要的发现者应该奖励发现它的人，而不是是推广它的人。

本田应该纠正这一点，而不应让企业公关行为扭曲了科学事实。

不幸的是，Hinton不信任前人的主要事情，这不应该成为博士生的楷模，做研究要不惜一切代价制止丝毫的剽窃。这篇文章也是对Hinton和某些其他奖项的蕴藉指斥。

网友怎么看

很快这篇长文就在Reddit上的机械学习板块引起热议，而这已经不是第一次网友为Schmidhuber争论，都快要成为AI界的“月经贴”了。

有些网友早已对Schmidhuber的自说自话感应厌烦。

他以为上次来Reddit宣传Schmidhuber看法就是小号，这类文章实在太多了，一遍遍看到类似话题让人感应乏味，建议将讨论关闭。

也有网友上来就硬核“打脸”：

好比ResNet赢得ImageNet竞赛时，Schmidhuber就出来发文说ResNet不外是HighwayNets的一种变体，实际上只是前馈LSTM。他还说Hochreiter在1991年首次发现梯度消逝问题。

厥后，有人挖出Lang和Witbrock在1988年揭晓的一篇论文已经发现了这一点。

每个人的想法都是对现有事物的改善，若是一直追溯下去，那么神经网络的源头是不是还要追溯到牛顿和莱布尼兹身上呢。

不外也有一些人对Schmidhuber示意明白，由于LSTM确实被普遍用在语音识别义务中。而本田奖的表彰词里把他的首创归功于Hinton，简直让人难以接受。

可以预料，未来Schmidhuber关于AI首创性研究的争论还会继续下去，你支持他吗？

参考链接：

http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/