2018图灵奖：深度学习三巨头Hinton、Bengio、LeCun，30年坚持有回报

【导读】美国时间3月27日，计算机协会（ACM）公布了2018年图灵奖得主，他们是在深度学习领域的三位巨头：Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun。由于他们三十年始终如一的坚持，从基础技术研究到近几年的工程应用，使得深度学习也成为医疗、天文、材料科学等领域的科学家研究的新型工具。AI的快速发展离不开基础研究的源头突破，在此向三位贡献者致敬！

十年中图灵奖第三次授予机器学习领域研究者

当地时间3月27日，计算机协会的官方公告宣布，因在深度神经网络概念和工程上的突破，Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun三位学者使得 DNN 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。

图源：https://amturing.acm.org/byyea  网页得奖消息

这是图灵奖十年来第三次颁给机器学习领域的杰出贡献者了：2011 年图灵奖得主为 Judea Pearl，他开发的概率与因果推理微积分（calculus for probabilistic and causal reasoning）为人工智能发展做出了重大贡献。Leslie Gabriel Valiant 获得了 2010 年图灵奖，他为计算理论的发展作出了变革性贡献，包括 PAC 学习理论、并行与分布计算理论等。

相信读者对这三位巨头的名字已经耳熟能详。

Yoshua Bengio 是蒙特利尔大学教授、魁北克人工智能机构 Mila 的科学主管。Geoffrey Hinton 是谷歌副总裁、工程研究员，也是 Vector Institute 的首席科学顾问、多伦多大学 Emeritus 荣誉教授。Yann LeCun 是纽约大学教授、Facebook 副总裁和首席 AI 科学家。

或是独立或是协作，Hinton、LeCun 和 Bengio 开发了深度学习领域的概念基础，并通过实验验证了令人惊讶的现象，此外，他们还贡献了一些工程进展，展示了深度神经网络的实用优势。近年来，深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。

30年来不惧质疑，人工神经网络成为主导范式

虽然在 20 世纪 80 年代，研究者就引入了人工神经网络帮助计算机识别模式、模拟人类智能，但一直到 21 世纪初，LeCun、Hinton 和 Bengio 这样一小撮研究者仍然坚持这种方法。虽然一开始，他们重燃人工智能社区对神经网络兴趣的努力遭到了怀疑，但如今他们的想法带来了重大的技术进步，他们的方法也已成为该领域的主导范式。

图灵奖是计算机协会（ACM）于 1966 年设立的奖项，专门奖励对计算机事业作出重要贡献的个人，有「计算机界诺贝尔奖」之称，奖金为 100 万美元，由谷歌公司赞助。图灵奖的名称取自英国数学家艾伦·图灵（Alan M. Turing），他奠定了计算机的数学基础和局限性。

ACM 主席 Cherri M. Pancake 表示，“人工智能如今是整个科学界发展最快的领域之一，也是社会上讨论最广的主题之一。AI 的发展、人们对 AI 的兴趣，很大程度上是因为深度学习的近期进展，而 Bengio、Hinton 和 LeCun 为此奠定了重要基础。”这些技术如今已被数十亿人使用。通过口袋中的手机，人们能够体验到 10 年前不可能体验的自然语言处理和计算机视觉技术。除了我们每天使用到的产品，深度学习的最新进展也为医疗、天文、材料科学等各个领域的科学家们带来了强大的新型工具。

“深度神经网络促进了现代计算机科学的极大进步，在解决计算机视觉、语音识别和自然语言处理领域中的长期问题方面取得了极大进展。”Google AI 负责人 Jeff Dean 表示，“该进展的核心得益于今年图灵奖得主 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 30 多年前开发的基础技术。深度神经网络显著提升了计算机感知世界的能力，它不仅改变了计算领域，也几乎改变了科学和人类奋斗的所有领域。”

图灵奖，全称“A.M. 图灵奖（A.M Turing Award）”  ，被称为“诺贝尔计算机奖”，由谷歌提供财务支持，奖金为100万美元

从机器学习、神经网络到深度学习，三人协作中彼此影响

传统计算中，计算机程序使用明确的一步步指令指引计算机。而在深度学习这一 AI 研究子领域中，计算机并未得到关于如何解决特定任务的显式说明。深度学习使用学习算法从数据中提取输入数据与期望输出的关联模式，比如输入数据为图像像素，输出为标签“猫”。研究者面临的挑战是开发出高效的学习算法，修改神经网络中连接的权重以使它能够捕捉到数据中的关联模式。

自 20 世纪 80 年代开始，Geoffrey Hinton 就开始提倡使用机器学习方法进行人工智能研究，他希望通过人脑运作方式探索机器学习系统。受人脑的启发，他和其他研究者提出了“人工神经网络（artificial neural network）”，为机器学习研究奠定了基石。

在计算机科学领域，“神经网络”指由多个简单计算元素（神经元）层所组成的系统。这些“神经元”仅仅大致地模仿了人脑中的神经元，但却能通过加权连接互相影响。通过改变连接的权重来改变神经网络所执行的计算。Hinton、LeCun 和 Bengio 认识到使用多层深度网络的重要性，即“深度学习”。

由于 GPU 计算机的普及和海量数据的获取，Hinton、LeCun 和 Bengio 在 30 年中所奠定的概念基础和工程实践得到了极大提升。近年来，多种因素导致计算机视觉、语音识别和机器翻译等技术出现了跳跃式发展。

Hinton、LeCun 和 Bengio 也曾合作过。LeCun 曾在 Hinton 的指导下完成博士后工作，20 世纪 90 年代，LeCun 和 Bengio 都在贝尔实验室工作。即使不在一起工作的时候，他们的研究中也存在协同和相互关联性，他们对彼此产生了巨大的影响。

这三位大牛目前继续探索机器学习与神经科学和认知科学之间的交叉领域，最著名的是他们共同参与了加拿大高级研究所（CIFAR）的“机器与大脑学习计划（Learning in Machines and Brains program）”。

三人除了AI技术的突破，成果并不限于此

今年图灵奖得主的技术成就带来了 AI 技术的极大突破，包括但不限于以下成果。

Geoffrey Hinton

ACM 表示 Geoffrey E Hinton 主要有三大重要贡献：

●反向传播

●玻尔兹曼机

●对卷积神经网络的修正

在 1986 年的一篇论文中，Hinton 与 David Rumelhart 和 Ronald Williams 提出了反向传播，这篇论文即著名的《Learning Internal Representations by Error Propagation》。Hinton 等研究者表示反向传播算法允许神经网络探索数据内部的深层表征，因此神经网络才能解决以前被认为无法解决的问题。反向传播目前已经成为训练深度神经网络所必需的算法。

1983 年，Hinton 和 Terrence Sejnowski 提出了玻尔兹曼机，它是第一个能学习神经元内部表征的深度神经网络，这种表征既不是输入也不是输出的一部分。

到了 2012 年，Hinton 与他的学生 Alex Krizhevsky 和 Ilya Sutskever 为卷积神经网络的发展做出了重要贡献。他们率先使用修正线性神经元（ReLU）和 Dropout 正则化大大提升了深度卷积神经网络的性能。在当年的 ImageNet 竞赛中，Hinton 和他的学生几乎将图像识别的误差率减半，这一次挑战赛重塑了计算机视觉领域。

Yoshua Bengio

ACM 表示 Yoshua Bengio 主要有三大重要贡献：

●序列的概率建模

●高维词嵌入与注意力机制

●生成对抗网络

在上个世纪九十年代，Bengio 提出将神经网络与序列的概率建模相结合，例如隐马尔可夫模型这种序列的概率建模方法。这些创新观点被 AT&T/NCR 所接受，并用于阅读手写支票，该系统被认为是九十年代神经网络研究的巅峰之作，现代基于深度学习的语音识别系统都是在这些概念上继续扩展的。

在 2000 年，Bengio 等研究者发表了一篇具有里程碑意义的论文《A Neural Probabilistic Language Model》，该论文引入了高维词嵌入作为词义的表征方法。Bengio 的观点对自然语言处理任务产生了巨大而持久的影响，包括机器翻译、知识问答、视觉问答等等。他的研究团队还提出了一种注意力机制，该方法直接导致了机器翻译领域的突破，并构成了深度学习序列建模的关键组成部分。

自 2010 年以来，Bengio 非常关注生成式深度学习，特别是他与 Ian Goodfellow 等研究者提出的生成对抗网络（GAN），这项研究引起了计算机视觉和计算机图形学的革命。这项工作令人惊奇的地方在于，计算机能生成与原始图像相媲美的图像，这难免让人联想到人类水平的创造力。

Yann LeCun

ACM 表示 Yann LeCun 主要有三大重要贡献：

●提出卷积神经网络

●改进反向传播算法

●拓宽神经网络的视角

20 世纪 80 年代，LeCun 构建了卷积神经网络，这是该领域的一项重要理论，对于提高深度学习效率至关重要。20 世纪 80 年代后期，LeCun 就职于多伦多大学和贝尔实验室，也是在这一时期，它利用手写数字图像训练了第一个卷积神经网络系统。如今，卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用，如自动驾驶、医学图像分析、语音助手和信息过滤等。

改进反向传播算法，LeCun 提出了一个早期版本的反向传播算法（backprop），并基于变分原理给出了一个清晰的推导。他加速反向传播算法的工作包括描述加快学习速度的两个简单方法。

LeCun 的贡献还包括拓宽神经网络的研究视角，他将神经网络发展为一种计算模型，用到一系列任务中，他早期工作中的一些概念已成为 AI 发展的基石。例如，在图像识别领域，他研究了如何在神经网络中学习分层特征表征——这一概念现在经常用于许多识别任务。他和 Leon Bottou 一起提出：学习系统可以被构建为复杂的模块网络，在这个网络中，反向传播通过自动微分来执行，这一理念用在每一个现代深度学习软件中。他们还提出了可以处理结构化数据的深度学习架构，如“图（graph）”。

原文链接：https://awards.acm.org/about/2018-turing

来源：经机器之心微信公众号授权，略有改编

作者：机器之心

编辑：袁圣艳

责编：李念

*独家稿件，转载请注明出处。