上周，谷歌研究院舉辦了一場關于深度學習概念理解的在線研討會。該研討會由屢獲殊榮的計算機科學家和神經科學家進行演講，討論了深度學習和神經科學的新發現如何幫助創建更好的人工智能系統。

雖然所有的演講和討論都值得一看(我可能會在接下來的幾周內再次回顧它們)，但對我來說特別突出的是：克里斯托斯·帕帕迪米特里烏 (Christos Papadimitriou) 的一次關于大腦中單詞表征的演講，他是紐約大學計算機科學教授。哥倫比亞。

在他的演講中，哥德爾獎和 Knuth 獎的獲得者 Papadimitriou 討論了我們對大腦中信息處理機制的日益了解如何幫助創建在理解和參與對話方面更加穩健的算法。Papadimitriou 提出了一個簡單而有效的模型，該模型解釋了大腦的不同區域如何相互通信以解決認知問題。

“現在發生的事情可能是世界上最偉大的奇跡之一，”帕帕迪米特里歐說，指的是他如何與觀眾交流。大腦將結構化知識轉化為電波，通過不同的媒介傳輸并到達聽眾的耳朵，在那里它們再次被大腦處理并轉化為結構化知識。

“毫無疑問，所有這些都發生在尖峰、神經元和突觸上。但是如何?這是一個很大的問題，”Papadimitriou 說。“我相信我們將對未來十年這種情況如何發生的細節有更好的了解。”

大腦中神經元的集合

認知和神經科學界正試圖弄清大腦中的神經活動如何轉化為語言、數學、邏輯、推理、計劃和其他功能。如果科學家們成功地根據數學模型構建大腦的工作原理，那么他們將為創建可以模擬人類思維的人工智能系統打開一扇新的大門。

許多研究集中在單個神經元水平上的活動。直到幾十年前，科學家們還認為單個神經元對應單個想法。最流行的例子是“祖母細胞”理論，它聲稱大腦中有一個神經元，每次看到祖母時都會出現尖峰信號。最近的發現駁斥了這一說法，并證明了大量神經元與每個概念相關，并且連接到不同概念的神經元之間可能存在重疊。

這些腦細胞群被稱為“集合體”，帕帕迪米特里烏將其描述為“一組高度連接、穩定的神經元，代表某些東西：一個詞、一個想法、一個物體等。”

屢獲殊榮的神經科學家 György Buzsáki 將程序集描述為“大腦的字母表”。

大腦的數學模型

為了更好地理解程序集的作用，Papadimitriou 提出了一種稱為“交互循環網絡”的大腦數學模型。在這個模型下，大腦被分成有限數量的區域，每個區域包含數百萬個神經元。每個區域內都有遞歸，這意味著神經元之間相互作用。這些領域中的每一個都與其他幾個領域有聯系。可以激發或抑制這些區域間連接。

該模型提供隨機性、可塑性和抑制性。隨機性是指每個大腦區域的神經元是隨機連接的。此外，不同的區域之間有隨機的連接。可塑性使神經元和區域之間的連接能夠通過經驗和訓練進行調整。抑制意味著在任何時候，都會有有限數量的神經元被激發。

Papadimitriou 將其描述為基于“生命的三種主要力量”的非常簡單的數學模型。

大腦組件

隨著一批來自不同學術機構的科學家，PAPADIMITRIOU詳述在這個模型紙在去年的國家科學院的同行評議的科學期刊出版論文集。裝配是該模型的關鍵組成部分，并實現了科學家所謂的“裝配演算”，這是一組可以處理、存儲和檢索信息的操作。

“這些行動不僅僅是憑空而來的。我相信這些行動是真實的，”Papadimitriou 說。“我們可以用數學方法證明并通過模擬驗證這些操作對應于真實行為……這些操作對應于 [在大腦中] 觀察到的行為。”

Papadimitriou 和他的同事假設組裝和組裝演算是解釋大腦認知功能(例如推理、計劃和語言)的正確模型。

帕帕迪米特里歐在谷歌深度學習會議上的演講中說：“很多認知都可以適應這一點。”

帶有匯編演算的自然語言處理

為了測試他們的心智模型，Papadimitriou 和他的同事嘗試實現一個自然語言處理系統，該系統使用匯編演算來解析英語句子。實際上，他們試圖創建一個人工智能系統來模擬大腦中容納與詞匯和語言理解相對應的程序集的區域。

匯編演算自然語言處理

“發生的情況是，如果一系列單詞激發 lex 中的這些程序集，該引擎將生成句子的解析，”Papadimitriou 說。

該系統完全通過模擬神經元尖峰(就像大腦一樣)工作，而這些尖峰是由組裝微積分運算引起的。這些組件對應于內側顳葉、韋尼克區和布羅卡區，這是大腦中高度參與語言處理的三個部分。該模型接收一個單詞序列并生成一個語法樹。他們的實驗表明，就神經元尖峰的速度和頻率而言，他們模型的活動與大腦中發生的情況非常接近。

Papadimitriou 承認，人工智能模型仍然非常初級，缺少語言的許多重要部分。研究人員正在制定計劃以填補存在的語言空白。但他們認為，所有這些部分都可以加上組裝演算，這一假設需要經過時間的考驗。

大腦區域語言處理

“這能成為語言的神經基礎嗎?我們是否都在 [大腦的左半球] 生來就有這樣的東西，”Papadimitriou 問道。關于語言在人類思維中的運作方式以及它與其他認知功能的關系，仍然存在許多問題。但 Papadimitriou 認為裝配模型讓我們更接近于理解這些功能并回答剩下的問題。

語言解析只是測試匯編演算理論的一種方式。Papadimitriou 和他的合作者正在研究其他應用程序，包括像兒童在很小的時候那樣學習和規劃。

“假設是匯編演算——或類似的東西——填補了訪問邏輯的賬單，”Papadimitriou 說。“換句話說，它是我們大腦計算方式的有用抽象。”