苦澀的教訓

苦澀的教訓 (The Bitter Lesson)
作者：理查德·薩頓 (Rich Sutton) 發布時間：2019年3月13日原文連結：Incomplete Ideas

核心觀點

從70年的人工智能研究中可以汲取的最重要教訓是：利用計算能力的通用方法最終是最有效的，而且優勢非常明顯。

其根本原因在於摩爾定律（Moore's Law），或者更確切地說，是單位計算成本持續呈指數級下降的普遍趨勢。大多數人工智能研究都假設智能體可用的計算能力是恆定的（在這種情況下，利用人類知識將是提升性能的唯一途徑之一），但隨着時間的推移，更大規模的計算能力必然會大幅提升，遠超一般研究項目所需。為了在短期內取得顯著改進，研究人員試圖利用他們對該領域的人類知識，但從長遠來看，真正重要的是利用計算能力。

這兩者並非必然相互矛盾，但在實踐中卻往往如此。投入到其中一種方法的時間就意味着無法投入到另一種方法中。研究人員往往對某一種方法有心理上的投入。以下是AI研究中幾個由於未及時吸取這一苦澀教訓而導致發展滯後的典型實例。

歷史實例

計算機象棋

在象棋領域，1997年擊敗世界冠軍卡斯帕羅夫的 IBM 計算機 Deep Blue（深藍）主要依賴於大算力的**搜索方法**。

當時，研究人員對此感到失望，因為他們原本希望通過人類理解象棋結構的方法來取得勝利。
但事實證明，人類基於特殊策略的大量知識和努力，在面對大規模、分布式、基於算力的硬件搜索時，最終敗下陣來。

圍棋

20年後，相似的劇本在圍棋界上演。

早期，研究人員投入了巨大努力，試圖將人類對圍棋的理解（如棋形、勢能等專家知識）塞進人工智能中。
然而，當基於深度學習和**大規模強化學習（搜索與學習相結合）**的 AlphaGo 出現時，所有的個人規則和棋譜知識都變得微不足道。
純粹通過自我博弈進行學習的方法，徹底超越了所有人類知識。

語音識別

在20世紀70年代，由國防高級研究計劃局（DARPA）資助的一場語音識別競賽中，出現了明顯的路線之爭。

傳統的語言學派主張利用人類知識，如音素、音節和語法規則。
另一派則主張應用隱馬爾可夫模型（HMM）等更具數學和計算屬性的統計方法。
最終，基於算力和大數據的統計方法全面勝出。這催生了那句著名的行業名言（由弗雷德·傑里尼克提出）：「每當我開除一個語言學家，語音識別系統的性能就會提升。」

計算機視覺

計算機視覺領域最近也重複了同樣的軌跡。

早期的視覺研究依靠人類設計特徵（如 SIFT 特徵），或通過人類對線條、邊緣、光流的理解來構建系統。
當基於 GPU 算力和大規模數據集（ImageNet）的深度卷積神經網絡（CNN）出現時，這些由人類精心設計的特徵瞬間被顛覆。
如今，網絡直接通過大量數據的**學習**來提取特徵，其效果遠超人類的想像。