苦涩的教训

苦涩的教训 (The Bitter Lesson)
作者：理查德·萨顿 (Rich Sutton) 发布时间：2019年3月13日原文链接：Incomplete Ideas

核心观点

从70年的人工智能研究中可以汲取的最重要教训是：利用计算能力的通用方法最终是最有效的，而且优势非常明显。

其根本原因在于摩尔定律（Moore's Law），或者更确切地说，是单位计算成本持续呈指数级下降的普遍趋势。大多数人工智能研究都假设智能体可用的计算能力是恒定的（在这种情况下，利用人类知识将是提升性能的唯一途径之一），但随着时间的推移，更大规模的计算能力必然会大幅提升，远超一般研究项目所需。为了在短期内取得显著改进，研究人员试图利用他们对该领域的人类知识，但从长远来看，真正重要的是利用计算能力。

这两者并非必然相互矛盾，但在实践中却往往如此。投入到其中一种方法的时间就意味着无法投入到另一种方法中。研究人员往往对某一种方法有心理上的投入。以下是AI研究中几个由于未及时吸取这一苦涩教训而导致发展滞后的典型实例。

历史实例

计算机象棋

在象棋领域，1997年击败世界冠军卡斯帕罗夫的 IBM 计算机 Deep Blue（深蓝）主要依赖于大算力的**搜索方法**。

当时，研究人员对此感到失望，因为他们原本希望通过人类理解象棋结构的方法来取得胜利。
但事实证明，人类基于特殊策略的大量知识和努力，在面对大规模、分布式、基于算力的硬件搜索时，最终败下阵来。

围棋

20年后，相似的剧本在围棋界上演。

早期，研究人员投入了巨大努力，试图将人类对围棋的理解（如棋形、势能等专家知识）塞进人工智能中。
然而，当基于深度学习和**大规模强化学习（搜索与学习相结合）**的 AlphaGo 出现时，所有的个人规则和棋谱知识都变得微不足道。
纯粹通过自我博弈进行学习的方法，彻底超越了所有人类知识。

语音识别

在20世纪70年代，由国防高级研究计划局（DARPA）资助的一场语音识别竞赛中，出现了明显的路线之争。

传统的语言学派主张利用人类知识，如音素、音节和语法规则。
另一派则主张应用隐马尔可夫模型（HMM）等更具数学和计算属性的统计方法。
最终，基于算力和大数据的统计方法全面胜出。这催生了那句著名的行业名言（由弗雷德·杰里尼克提出）：“每当我开除一个语言学家，语音识别系统的性能就会提升。”

计算机视觉

计算机视觉领域最近也重复了同样的轨迹。

早期的视觉研究依靠人类设计特征（如 SIFT 特征），或通过人类对线条、边缘、光流的理解来构建系统。
当基于 GPU 算力和大规模数据集（ImageNet）的深度卷积神经网络（CNN）出现时，这些由人类精心设计的特征瞬间被颠覆。
如今，网络直接通过大量数据的**学习**来提取特征，其效果远超人类的想象。