假設您一生都在亞利桑那州鳳凰城的道路上行駛，然后您搬到了紐約。需要重新學車嗎?可能不是。您只需要更加謹慎地駕駛并適應新環境。

同樣不能約說深度學習算法，人工智能的最前沿，這也是自主駕駛的主要組成部分之一。盡管近年來推動了人工智能領域的發展，但深度學習及其基礎技術深度神經網絡仍存在一些基本問題，無法復制人腦的一些最基本功能。

深度學習的這些挑戰是眾所周知的，越來越多的科學家承認這些問題可能會給人工智能的未來帶來嚴重的障礙。

在今年的神經信息處理系統會議 (NeurIPS 2019) 上，深度學習的三位先驅之一Yoshua Bengio發表了主題演講，闡明了可以讓我們更接近人類級人工智能的可能方向。Bengio 的演講題為“從系統 1 深度學習到系統 2 深度學習”，非常具有技術性，并借鑒了他和其他人近年來所做的研究。

深度學習在今天處于什么位置?

Bengio 在 NeurIPS 2019 的開場白中說：“有些人認為，利用我們擁有的東西，增加數據集的大小、模型大小、計算機速度可能就足夠了——只是讓大腦變得更大。”

這個簡單的句子簡潔地代表了當前人工智能研究的主要問題之一。人工神經網絡已被證明在檢測大量數據中的模式方面非常有效。他們可以以可擴展的方式做到這一點。在大多數情況下，增加神經網絡的規模并在更大的帶注釋的數據集上訓練它們將提高它們的準確性(盡管是以對數方式)。

這種特性造成了一種“越大越好”的心態，促使一些人工智能研究人員通過創建越來越大的人工智能模型和數據集來尋求改進和突破。

雖然可以說，大小是一個因素，而且我們仍然沒有任何與人腦 1000 億個神經元結構相匹配的神經網絡，但當前的人工智能系統存在一些缺陷，無法通過將它們放大來修復。

“我們擁有以非常狹窄的方式學習的機器。他們需要比人類智能示例更多的數據來學習任務，” Bengio 說。

例如，經過訓練可以玩棋盤游戲或視頻游戲的AI 系統將無法做任何其他事情，甚至無法玩另一種略有不同的游戲。此外，在大多數情況下，深度學習算法需要數百萬個示例來學習任務。一個例子是OpenAI 的 Dota-playing 神經網絡，它需要 45,000 年的游戲時間才能擊敗世界冠軍，這比任何一個人(或十個或一百個)一生可以玩的游戲都要多。雅集，由艾倫研究所AI開發的系統，所需要的科學文章和知識圖的300千兆字節要能夠回答8個年級水平的選擇題科學問題。

最后，Bengio 評論說，當前的深度學習系統“犯了愚蠢的錯誤”并且“對分布的變化不是很穩健”。這是當前人工智能系統的主要關注點之一。神經網絡容易受到對抗樣本的影響，數據中的擾動會導致 AI 系統以不穩定的方式行事。

對抗性漏洞很難堵塞，并且在敏感域中尤其具有破壞性，在這些域中錯誤可能會產生致命的后果。

深度學習中的注意力和組合性

幫助 AI 系統更一致地運行的概念之一是它們如何分解數據并找到重要的位。該領域已經完成了一些工作，Bengio 本人參與了其中的一些工作。

該領域的一項關鍵工作是“注意力機制”，這是一種使神經網絡能夠專注于相關信息位的技術。注意力機制在自然語言處理 (NLP) 中變得非常重要，自然語言處理是處理機器翻譯和問答等任務的人工智能分支。

但是目前的神經網絡結構大多基于向量計算來執行注意力。數據以定義其特征的數值數組的形式表示。下一步是使神經網絡能夠基于名稱-值對執行注意力和表示，類似于基于規則的程序中使用的變量。但它應該以深度學習友好的方式完成。

遷移學習領域已經取得了很大進展，這是將一個神經網絡的參數映射到另一個神經網絡的學科。但是更好的組合性可以導致深度學習系統可以提取和操作其問題域中的高級特征，并動態地使它們適應新環境，而無需額外的調整和大量數據。高效的組合是朝著無序分布邁出的重要一步。

具有因果結構的深度學習系統

眾所周知，因果關系是當前機器學習系統的主要缺點之一，其中心是在數據中查找和匹配模式。Bengio 認為，擁有可以組合和操縱這些命名對象和語義變量的深度學習系統將有助于將我們推向具有因果結構的 AI 系統。

“為了促進因果結構的學習，學習者應該嘗試推斷出干預是什么，對哪個變量進行了改變。這是我們一直在做的事情，”他在 NeurIPS 的演講中說道。

整個演講包含了很多關于意識、語言在智能中的作用以及神經科學與機器學習的交叉等主題的非常有價值的信息。不幸的是，所有這些都無法在一個帖子中涵蓋和解開。我建議觀看整個視頻(兩次)。

Bengio 是眾多試圖將人工智能領域從預測和模式匹配轉向像人類一樣思考的機器的科學家之一。看看這些努力如何演變和融合將會很有趣。