2022年2月11日整理發(fā)布：您會(huì)經(jīng)常聽到的是，計(jì)算資源的日益可用性為人工智能的重要進(jìn)步鋪平了道路。通過訪問強(qiáng)大的云計(jì)算平臺(tái)，人工智能研究人員能夠在更短的時(shí)間內(nèi)訓(xùn)練更大的神經(jīng)網(wǎng)絡(luò)。這使得人工智能能夠在計(jì)算機(jī)視覺、語音識(shí)別和自然語言處理等許多領(lǐng)域取得進(jìn)展。

但是你會(huì)少聽到的是當(dāng)前人工智能研究方向的更黑暗的含義。目前，人工智能的進(jìn)步主要與擴(kuò)展深度學(xué)習(xí)模型和創(chuàng)建具有更多層和參數(shù)的神經(jīng)網(wǎng)絡(luò)有關(guān)。根據(jù)人工智能研究實(shí)驗(yàn)室OpenAI的說法，“自 2012 年以來，在最大的 AI 訓(xùn)練運(yùn)行中使用的計(jì)算量呈指數(shù)級(jí)增長(zhǎng)，時(shí)間翻了 3.4 個(gè)月。” 這意味著在七年內(nèi)，該指標(biāo)增長(zhǎng)了 300,000 倍。

這一要求對(duì)人工智能研究施加了嚴(yán)重限制，并且還可能產(chǎn)生其他不那么令人愉快的影響。

目前，越大越好

“在當(dāng)前的許多領(lǐng)域中，更多的計(jì)算似乎可以預(yù)見地帶來更好的性能，并且通常是對(duì)算法進(jìn)步的補(bǔ)充，”OpenAI 的研究人員指出。

我們可以在許多項(xiàng)目中看到這種效果，研究人員認(rèn)為他們的進(jìn)步歸功于在這個(gè)問題上投入了更多的計(jì)算。

2018 年 6 月，OpenAI 推出了一款 AI，可以在專業(yè)級(jí)別上玩 Dota 2，這是一款復(fù)雜的競(jìng)技場(chǎng)游戲。這款名為 OpenAI Five 的機(jī)器人參加了一場(chǎng)大型電子競(jìng)技比賽，但在決賽中輸給了人類選手。該研究實(shí)驗(yàn)室今年返回了 OpenAI Five 的改進(jìn)版本，并能夠從人類手中奪取冠軍。正如AI 研究人員所說：“OpenAI Five 在周六的勝利與在 2018 年國(guó)際邀請(qǐng)賽上的失利相比，是由于一個(gè)重大變化：訓(xùn)練計(jì)算量增加了 8 倍。”

還有許多其他類似的例子，其中計(jì)算資源的增加帶來了更好的結(jié)果。在強(qiáng)化學(xué)習(xí)中尤其如此，這是人工智能研究最熱門的領(lǐng)域之一。

訓(xùn)練大型 AI 模型的財(cái)務(wù)成本

人工智能現(xiàn)狀最直接的影響是訓(xùn)練人工智能模型的財(cái)務(wù)成本。根據(jù) OpenAI 在其網(wǎng)站上發(fā)布的圖表，訓(xùn)練DeepMind 歷史悠久的圍棋 AI AlphaGoZero 需要超過 1,800 petaflop/s-days 。

FLOP 是浮點(diǎn)運(yùn)算。一個(gè) petaflop/s-day (pfs-day) 相當(dāng)于每天大約 10 20次操作。專門用于 AI 任務(wù)的 Google TPU v3 處理器執(zhí)行 420 teraflops(或 0.42 petaflops)，每小時(shí)成本為 2.40-8.00 美元。這意味著訓(xùn)練 AlphaGoZero 模型的成本約為 246,800-822,800 美元。這只是計(jì)算成本。

該領(lǐng)域的其他顯著成就也有類似的成本。例如，根據(jù) DeepMind 發(fā)布的數(shù)據(jù)，其星際爭(zhēng)霸 AI由 18 個(gè)代理組成。每個(gè) AI 代理都使用 16 個(gè) Google TPU v3 訓(xùn)練了 14 天。這意味著，按照目前的定價(jià)，該公司為 18 個(gè) AI 代理花費(fèi)了大約 774,000 美元。