谁是「反向流传之父」？实正提出者大概是那个刚获 IEEE 认证的大佬

呆板之心报道

编辑：蛋酱

但真正的光彩应该归于头脑自己，纷歧定是某小我私家。

问家人们一个题目：谁是反向流传之父？

恐怕 AI 社区的浩繁人都市想到 Geoffrey Hinton。

纵然谷歌要害词「father of backpropagation」，得到的答案也是 Geoffrey Hinton。

但究竟并非云云。

克日，美国粹者 Paul J. Werbos 得到了 IEEE Frank Rosenblatt Award，来由是「因对反向流传进展及强化进修和时间序列阐发的根本奉献」。

Paul J. Werbos 诞生于 1947 年，是呆板进修范畴的先驱，也是自顺应智能体系范畴的国际着名专家。在维基百科的词条中，Paul J. Werbos 因在 1974 年的哈佛大学博士论文中初次提出通过反向流传算法来练习人工神经网络而有名，被称为「反向流传之父」。

同时，他也是轮回神经网络（RNN）的先驱。1995 年，Werbos 因提出反向流传和自顺应动态计划等根本神经网络进修框架而得到 IEEE 神经网络先驱奖（IEEE Neural Network Pioneer Award）。

人们更为熟知的反向流传范畴先驱是 Geoffrey Hinton。1986 年，Hinton 和 David Rumelhart、Ronald Williams 颁发了一篇论文，细致先容了名为「反向流传」的技能。一向以来，反向流传被以为是深度进修的基本，也是第三次人工智能海潮的紧张推动身分。

但谁才是真正的「反向流传之父」？他们连续进场，又分别做出了哪些奉献？

Jürgen Schmidhuber：反向流传非 Hinton 原创

2019 年，Geoffrey Hinton 曾得到本田奖，该奖项旨在表扬「为引领生态技能范畴的下一代新知识而做出奉献的小我私家或团体」。其时，本田奖在通告中称：Hinton 发明白许多要领并由此推动了人工智能的更遍及应用，此中就包罗奠基了人工智能深度进修要领底子的反向流传算法。

厥后，同为盘算机科学范畴的先驱 Jürgen Schmidhuber 发文质疑了 Hinton 的获奖资格，而且枚举了六大来由，此中第一条便是「反向流传并非 Hinton 原创」。

在他看来，当代反向流传是由 Linnainmaa 在 1970 年起首提出来的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，而且 Hinton 只是第二作者。别的，Ivakhnenko 的深度前馈网络（1965）早在 Hinton（1980 年月）之前就可以或许进修内部表征了，并且 Hinton 提出的网络深度不如前者。

对此，Hinton 也给出了正式回应：

我从未说过反向流传是我发明的。David Rumelhart 独立提出了反向流传，在那之前已经有许多其他范畴的人提出了它。我们第一次公然颁发相干研究时简直不知道反向流传的汗青，是以没有引用之条件出者的事情。

但 Hinton 表现，是本身明白提出了反向流传可以进修有味的内部表征，并让这一想法推广开来：「我通过让神经网络进修词向量表征，使之基于之前词的向量表征猜测序列中的下一个词实现了这一点。」

这个案例便是 Nature 1986 年颁发的那篇论文《Learning representations by back-propagating errors》。

论文链接：http://www.nature.com/articles/323533a0

在 Martin Ford 2018 年出书的《Architects of Intelligence》一书中，Hinton 曾经说过：

「在 David Rumelhart 之前，许多人提出了差别版本的反向流传。此中大部门是独立提出的，我以为我蒙受了过多的表彰。我看到媒体说我提出了反向流传，这是完全错误的。科研职员以为他由于某事得到了过多表彰，如许的情形不常见，但这便是此中之一！我的重要奉献是展示怎样利用 BP 算法进修漫衍式表征，是以我要做出澄清。」

反向流传，该是谁的原创？

反向流传的底子知识是由多位研究者 1960 年月在操纵理论和链式规章的配景下提出的。不外这一术语简直定，以及被人们遍及所知简直要比及 1986 年《天然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文颁发之后。

据 Jürgen Schmidhuber 的考据，反向流传算法的前身是 Henry J. Kelley 于 1960 年颁发的，迄今已有半个多世纪。

当代反向流传算法在 1970 年由芬兰硕士生 Seppo Linnainmaa 初次颁发。在这篇硕士论文中，Linnainmaa 初次形貌了在恣意、分离的希罕毗连情形下的类神经网络的高效偏差反向流传，只管此中没有提及神经网络。这种反向流传也被称为主动微分的反向模式。到 2020 年，全部用于神经网络的当代软件包（比方 Google 的 Tensorflow）都是基于 Linnainmaa 1970 年的要领。

Seppo Linnainmaa。

直到 1974 年今后，反向流传才开始在神经网络的配景下应用。Jürgen 以为，Paul J. Werbos 是在 1982 年明白提出了上述反向流传算法的首个面向神经网络的应用（但在他 1974 年的论文中还没有）。到了 1986 年，盘算本钱险些仅有 1970 年的千分之一，于是 Hinton、Rumelhart 等人的盘算试验证明白反向流传可以在神经网络的隐蔽层中孕育发生有效的内部表征。这素质上是对已知要领的试验阐发。

明显，反向流传算法的故事自己是相对庞大的，而关于「反向流传之父」的争议也还没有定论。正如 DeepMind 科学家 Oriol Vinyals 所发起的：「我们该当把光彩归于头脑自己，而不是人。」

参考链接：

http://people.idsia.ch/~juergen/who-invented-backpropagation.html