圖靈獎得主Bengio：深度學(xué)習(xí)不會被取代，我想讓AI會推理、計劃和想象

　　而Bengio認(rèn)為需要被進(jìn)一步挖掘深度學(xué)習(xí)的潛力，他此前警示了可解釋因果關(guān)系對深度學(xué)習(xí)發(fā)展的重要性。在他看來，除非深度學(xué)習(xí)能夠超越模式識別并了解因果關(guān)系的更多信息，否則它將無法實現(xiàn)其全部潛力，也不會帶來真正的AI革命。換句話說，深度學(xué)習(xí)需要開始知道事情發(fā)生的因果關(guān)系，這將使現(xiàn)有的AI系統(tǒng)更加智能，更加高效。

　　今年年初，他與其他研究者合作發(fā)表了《通過元遷移目標(biāo)來學(xué)習(xí)理解因果關(guān)系》一文，提出了一種基于學(xué)習(xí)器適應(yīng)稀疏分布變化速度的元學(xué)習(xí)因果結(jié)構(gòu)，還生成了因果關(guān)系的綜合數(shù)據(jù)集。

　　近來德國學(xué)者Bernhard Sch?lkopf發(fā)布的一篇關(guān)于因果關(guān)系的綜述文章也引發(fā)了學(xué)界關(guān)注，作者闡述了一些將因果關(guān)系和機器學(xué)習(xí)結(jié)合的想法，并勾勒出一個更大的研究藍(lán)圖。

　　總之，業(yè)內(nèi)對深度學(xué)習(xí)百家爭鳴的討論，表明現(xiàn)在已到了開啟AI下一個研究進(jìn)程的時候。

　　當(dāng)?shù)貢r間12月11日，Bengio在NeurIPS 2019大會上發(fā)表了類似話題的演講，題目是《從系統(tǒng)1深度學(xué)習(xí)到系統(tǒng)2深度學(xué)習(xí)》。

　　Bengio 介紹，深度學(xué)習(xí)過去的進(jìn)展主要集中于從靜態(tài)數(shù)據(jù)集學(xué)習(xí)，主要用于感知任務(wù)和其他的系統(tǒng)1任務(wù)(人類直觀和無意識地完成的任務(wù))。但是，近年來，研究方向的轉(zhuǎn)變以及諸如軟注意力和深度強化學(xué)習(xí)的進(jìn)步等新工具為解決系統(tǒng)2任務(wù)(有意識地完成)的新型深度架構(gòu)和訓(xùn)練框架的開發(fā)打開了大門。例如自然語言處理和其他應(yīng)用中的推理、計劃、捕獲因果關(guān)系，并獲得系統(tǒng)性概括。

　　在他看來，深度學(xué)習(xí)從系統(tǒng)1任務(wù)到系統(tǒng)2任務(wù)的這種擴展對舊的深度學(xué)習(xí)目標(biāo)實現(xiàn)發(fā)現(xiàn)高級抽象表示很重要，因為系統(tǒng)2的要求將對表示學(xué)習(xí)造成壓力，以發(fā)現(xiàn)人類用語言操縱的高級別抽象概念。

　　為了達(dá)到這個目標(biāo)，他們認(rèn)為軟注意機制是一個關(guān)鍵因素，它將計算一次集中在幾個概念上(“意識思維”)，因為先驗意識及其相關(guān)的假設(shè)是，許多高層次的依賴關(guān)系可以被一個稀疏因子圖近似地捕捉到。

　　他們還討論了深度學(xué)習(xí)中的 agent 視角如何有助于對學(xué)習(xí)的表示形式施加更多約束，以捕獲環(huán)境中的可供性(affordances)、因果變量和模型轉(zhuǎn)換。

　　此外，他們建議元學(xué)習(xí)、先驗意識的模塊化方面以及表征學(xué)習(xí)的主體視角應(yīng)促進(jìn)以新穎的方式重用所學(xué)組件(即使在統(tǒng)計上不太可能，如反事實)，從而實現(xiàn)更強大的組合泛化形式。

　　最后，Bengio 的報告給出了五點結(jié)論和問題：認(rèn)知神經(jīng)科學(xué)之后，機器學(xué)習(xí)去探索意識的時機已經(jīng)成熟;2、能否帶來新的先驗來幫助系統(tǒng)地進(jìn)行良好的歸納?3、認(rèn)知神經(jīng)科學(xué)也會受益嗎?4、允許將深度學(xué)習(xí)從系統(tǒng)1擴展到系統(tǒng)2嗎?5、假設(shè)：需要良好的系統(tǒng)1功能來使系統(tǒng)2有效

　　Bengio 在NeurIPS 2019的演講幻燈片：

　　https://drive.google.com/file/d/1zbe_N8TmAEvPiKXmn6yZlRkFehsAUS8Z/view

　　此外，IEEE Spectrum就類似的話題采訪了Bengio，他從深度學(xué)習(xí)的不足，腦啟發(fā)式計算，物理、語言和常識等方面做出了回應(yīng)。

　　深度學(xué)習(xí)及其不足

　　IEEE Spectrum：您如何看待所有有關(guān)深度學(xué)習(xí)局限性的討論?

　　Yoshua Bengio：太多面向公眾的場所不了解我們在AI和其他學(xué)科中研究的核心內(nèi)容：我們試圖了解當(dāng)前理論和方法的局限性，以擴大智力工具的范圍。因此，深度學(xué)習(xí)研究人員希望找到不理想的地方，以便我們找出需要補充的內(nèi)容和需要探索的地方。 Gary Marcus等人注意到了這一點，發(fā)出了這樣的信息：“看起來，深度學(xué)習(xí)是行不通的?！?但實際上，像我這樣的研究人員正在做的事情是擴大其范圍。當(dāng)我談?wù)撝T如需要AI系統(tǒng)理解因果關(guān)系之類的事情時，我并不是說這將取代深度學(xué)習(xí)。我正在嘗試向“工具箱”中添加新內(nèi)容。 作為科學(xué)家，對我而言重要的是解決這些問題需要探索的東西，不是誰對誰錯了。

　　Spectrum：您如何評估深度學(xué)習(xí)的當(dāng)前狀態(tài)?

　　Bengio：在過去的二十年中，我們在這項工作上取得了很多進(jìn)展，但我認(rèn)為AI今天還沒有擁有接近兩歲孩子的智力水平。但是也許我們有等同于低等動物的算法來進(jìn)行感知。而且，我們在允許實體探索其環(huán)境的工具方面正在逐步攀升。 當(dāng)今最重要的辯論之一是：高級認(rèn)知的要素是什么?因果關(guān)系是其中的一個要素，此外還有推理和計劃、想象力和功勞分配。在經(jīng)典AI中，他們試圖通過邏輯和符號來獲得這些東西。有人說我們可以通過經(jīng)典AI來做到這一點，也許可以通過改進(jìn)來實現(xiàn)。

　　還有像我這樣的人，認(rèn)為我們應(yīng)該采用過去幾年構(gòu)建的工具來創(chuàng)建這些功能，其方式類似于人類進(jìn)行推理的方式， 這實際上與基于搜索的純邏輯系統(tǒng)執(zhí)行操作的方式完全不同。

腦啟發(fā)式計算的曙光

　　Spectrum：我們?nèi)绾蝿?chuàng)建類似于人類推理的功能?

　　Bengio：注意力機制使我們能夠?qū)W習(xí)如何將計算重點放在幾個元素上。人類做到了這一點，這是有意識處理的一個特別重要的部分。當(dāng)你意識到某件事時，您將注意力集中在一些元素上，也許是某個想法，然后繼續(xù)想到另一個想法，這與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)非常不同，后者是大規(guī)模并行處理。

　　由于這些注意力機制，我們在計算機視覺、翻譯和記憶方面取得了重大突破，但是我相信這只是另一種來自腦啟發(fā)式計算的開始。

　　這并不是說我們已經(jīng)解決了問題，但我認(rèn)為我們有很多入門工具。我并不是說這會很容易。我在2017年撰寫了一篇論文，題為《先驗意識》，闡述了這一問題。我有幾個學(xué)生正在從事此工作，我知道這是一項長期工作。

　　Spectrum：您想在AI中復(fù)制人類智慧的其他哪些方面?

　　Bengio：我們還討論了神經(jīng)網(wǎng)絡(luò)想象的能力：推理、記憶和想象力是同一件事在你腦海中發(fā)生的三個部分。你將自己投射到過去或?qū)?，并且按照這些預(yù)測進(jìn)行操作時，你正在進(jìn)行推理。如果你預(yù)計將來會發(fā)生不好的事情，那么會改變路線，這就是你進(jìn)行計劃的方式。而且你也正在使用記憶，因為你會回到已知的事物上來進(jìn)行判斷，可以從現(xiàn)在和過去中選擇相關(guān)的事物。

　　注意力(Attention)是這里的關(guān)鍵組成部分。假設(shè)我正在將一本書翻譯成另一種語言，對于每個單詞，我都必須仔細(xì)閱讀本書的一小部分。注意力使你可以抽象出許多不相關(guān)的細(xì)節(jié)，并集中精力處理重要的內(nèi)容。能挑選出相關(guān)要素，這就是注意力所做的。 Spectrum：這如何轉(zhuǎn)化到機器學(xué)習(xí)?

　　Bengio：你不必告訴神經(jīng)網(wǎng)絡(luò)要注意什么，這就是它的美。它可以自學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)應(yīng)該給予一組可能元素中的每個元素多少注意力或權(quán)重。

　　學(xué)會學(xué)習(xí)(learning to learn)

　　Spectrum：您最近的因果關(guān)系研究與這些想法有何關(guān)系?

　　Bengio：你用來推理的高層次概念往往是因果關(guān)系的變量。你并不會基于像素進(jìn)行推理，而是根據(jù)門或旋鈕或打開或關(guān)閉等概念進(jìn)行推理。因果關(guān)系對于機器學(xué)習(xí)的下一步發(fā)展非常重要。 它與深度學(xué)習(xí)中人們經(jīng)常想到的另一個主題有關(guān)。系統(tǒng)概括是人類必須概括我們所知道的概念的能力，因此它們可以通過新的方式進(jìn)行組合，這與我們所見過的其他任何方式都不一樣。當(dāng)今的機器學(xué)習(xí)不知道該怎么做。因此，你經(jīng)常會遇到與特定數(shù)據(jù)集訓(xùn)練有關(guān)的問題。假設(shè)你在一個國家/地區(qū)訓(xùn)練，然后在另一個國家/地區(qū)進(jìn)行部署。你需要概括和遷移學(xué)習(xí)。你如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)以便將其遷移到新環(huán)境中時，它可以繼續(xù)正常工作或快速適應(yīng)嗎?

　　Spectrum：這種適應(yīng)性的關(guān)鍵是什么?

　　Bengio： 元學(xué)習(xí)是當(dāng)今非常熱門的話題：學(xué)會學(xué)習(xí)。我在1991 年就此發(fā)表了一篇早期論文，但是直到最近我們才獲得實現(xiàn)這種事情的計算能力。它的計算量很大。這個想法是：為了泛化到新環(huán)境，你必須練習(xí)泛化到新環(huán)境。當(dāng)你考慮它時，它是如此簡單。孩子們一直都這樣做。當(dāng)他們從一個房間移動到另一個房間時，環(huán)境不是一成不變的，它一直在變化。孩子們訓(xùn)練自己要善于適應(yīng)。為了有效地做到這一點，他們必須利用過去獲得的知識。我們開始了解此能力，并構(gòu)建能復(fù)制它的工具。

　　對深度學(xué)習(xí)的一種批評是，它需要大量的數(shù)據(jù)。如果你僅在一項任務(wù)上進(jìn)行訓(xùn)練，確實是這樣。但是孩子們有能力根據(jù)很少的數(shù)據(jù)學(xué)習(xí)，他們利用以前學(xué)到的東西。但更重要的是他們正在利用自己的適應(yīng)能力和泛化能力。

　　“還沒準(zhǔn)備要工業(yè)應(yīng)用”

　　Spectrum：這些想法中的任何一個會很快在現(xiàn)實世界中應(yīng)用嗎?

　　Bengio：不。這都是關(guān)于玩具問題(toy problems)的非?；A(chǔ)的研究。那就是我們的狀況。我們可以調(diào)試這些想法，繼續(xù)進(jìn)行新的假設(shè)。這還沒有為工業(yè)應(yīng)用做好準(zhǔn)備。

　　但是行業(yè)關(guān)心兩個實際的局限性，這項研究可能會有所幫助。一個是構(gòu)建對環(huán)境變化更具健壯性的系統(tǒng)，另一個是我們?nèi)绾螛?gòu)建自然語言處理系統(tǒng)，對話系統(tǒng)和虛擬助手?當(dāng)前使用深度學(xué)習(xí)的最先進(jìn)系統(tǒng)的問題在于，它們接受了大量數(shù)據(jù)的訓(xùn)練，但是他們并不太了解他們在說什么。像Gary Marcus這樣的人注意到了這一點會說，“這證明深度學(xué)習(xí)是行不通的?！毕裎疫@樣的人說，“那很有趣，讓我們應(yīng)對挑戰(zhàn)?！?物理、語言和常識

　　Spectrum：聊天機器人如何做得更好?

　　Bengio：有一個叫做“基礎(chǔ)語言學(xué)習(xí)”的想法最近正在引起的關(guān)注。這個想法是，人工智能系統(tǒng)不應(yīng)該僅從文本中學(xué)習(xí)。它應(yīng)該同時學(xué)習(xí)世界如何運轉(zhuǎn)以及如何用語言描述世界。問問自己：如果孩子僅通過文本與世界互動，能否理解世界?我懷疑他們會很困難。

　　這與有意識或無意識知識有關(guān)，我們知道但無法具體命名。直觀的物理就是一個很好的例子。兩歲的孩子懂得直觀的物理，他們不知道牛頓方程，但是他們從具體的意義上理解重力等概念?，F(xiàn)在，有些人正在嘗試構(gòu)建與環(huán)境互動并發(fā)現(xiàn)物理基本定律的系統(tǒng)。 Spectrum：為什么基本的物理知識會有助于對話?

　　Bengio：語言方面的問題是，系統(tǒng)通常并不真正理解單詞所指的復(fù)雜性。例如，在Winograd模式中使用的語句;為了理解它們，你必須掌握物理知識。像這樣的句子：“吉姆想把燈放到他的行李箱里，但是它太大了?！蹦阒?，如果這個物體太大而不能放進(jìn)行李箱，那么“它”一定是第二個短語的主語“它”。你可以用語言交流這種知識，但這不是我們四處說的那種話：“一件行李的典型大小是x乘x?！?我們需要能夠理解世界的語言理解系統(tǒng)。當(dāng)前，人工智能研究人員正在尋找捷徑。但是他們還不夠。人工智能系統(tǒng)還需要獲取世界運作方式的模型。

（轉(zhuǎn)載）