深度學(xué)習(xí)三巨頭齊聚AAAI 2020，辯論現(xiàn)場(chǎng)幽默詼諧深刻恢弘，這是遲來的致敬！

taotao_2016 2020-02-20

展開全文

我們經(jīng)常一同提起 Geoffrey Hinton、Yann LeCun、Yoshua Bengio 這被合稱為「深度學(xué)習(xí)三駕馬車」的三個(gè)名字，但卻并不常見到他們?nèi)齻€(gè)人在同一個(gè)場(chǎng)合出現(xiàn)——甚至在 ICLR 之前，三個(gè)人全都不怎么參與學(xué)術(shù)會(huì)議。如今深度學(xué)習(xí)無可辯駁地在學(xué)術(shù)研究和實(shí)際應(yīng)用中都成為了最炙手可熱的技術(shù)，三人也獲得了 2018 年圖靈獎(jiǎng)，AAAI 2020 設(shè)置了「圖靈獎(jiǎng)得主特殊活動(dòng)」，邀請(qǐng)三人參與演講、圓桌，可以看作對(duì)三人的遲來的致敬。

AI 科技評(píng)論曾在前兩天詳細(xì)整理了 Geoffrey Hinton 在AAAI 2020上對(duì)膠囊網(wǎng)絡(luò)理論的最新研究，在演講中他重新闡釋了膠囊理論，觀點(diǎn)句句深刻。詳情可參看：

Hinton AAAI2020 演講：這次終于把膠囊網(wǎng)絡(luò)做對(duì)了

圓桌環(huán)節(jié)的主持人是機(jī)器人專家、MIT 教授 Leslie Kaelbling，她也是人工智能領(lǐng)域頗負(fù)盛名的《機(jī)器學(xué)習(xí)研究雜志》（JMLR）的創(chuàng)始人兼主編。

AI 科技評(píng)論把圓桌環(huán)節(jié)內(nèi)容整理如下，略有改動(dòng)。

1、如何看待深度學(xué)習(xí)？

Kaelbling：幾位在剛才的演講中都帶來了精彩的見解，觀眾們也已經(jīng)提出了一些很有價(jià)值的問題。我對(duì)這些問題做了一些篩選和和分類，一類是技術(shù)性問題，另一類是更寬泛的關(guān)于研究和想法的問題。我們先從技術(shù)性問題開始吧。

第一個(gè)技術(shù)問題，作為計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)概念的神經(jīng)網(wǎng)絡(luò)，和作為生物計(jì)算、人類大腦計(jì)算的模擬的神經(jīng)網(wǎng)絡(luò)，在你們看來有哪些聯(lián)系？完全還原生物計(jì)算有多重要？

Hinton：生物大腦能給我們啟發(fā)、能提供建議。具體來說，它告訴我們用很多數(shù)據(jù)來調(diào)整權(quán)重，就可以讓一個(gè)系統(tǒng)能夠執(zhí)行復(fù)雜的計(jì)算，而不需要明確的編程。這個(gè)思路其實(shí)不太尋常，如果你沒有見過這樣的例子，你會(huì)很難相信這是可行的。

LeCun：確實(shí)有明確的啟發(fā)作用，卷積網(wǎng)絡(luò)之類的東西也是受到了神經(jīng)科學(xué)中的經(jīng)典研究的啟發(fā)。很多我們現(xiàn)在使用的技巧都可以在神經(jīng)科學(xué)的計(jì)算中找到對(duì)應(yīng)的東西，分割正交化（divisive normalization）都已經(jīng)成了一個(gè)標(biāo)準(zhǔn)的工具了，還有神經(jīng)網(wǎng)絡(luò)、整流器（rectification）。這幾年也有很多不同地方的研究者都發(fā)現(xiàn)可以用聯(lián)合存儲(chǔ)器之類的結(jié)構(gòu)增強(qiáng)神經(jīng)網(wǎng)絡(luò)的表現(xiàn)，然后我們回過頭來看看大腦，其實(shí)和海馬體很類似。雖然不是精確對(duì)應(yīng)的，但幾乎可以肯定有功能上相同的地方。有一個(gè)說濫了的故事和 AI 這里很相似，就是人類學(xué)會(huì)飛行的故事，我們從鳥的飛行獲得了啟發(fā)，但我們?cè)斓娘w機(jī)可以不扇動(dòng)翅膀、可以沒有羽毛；這兒也是一樣的。不過說到底，我覺得包括我們?cè)趦?nèi)的很多研究者在這個(gè)領(lǐng)域內(nèi)做研究最主要還是因?yàn)槲覀兿肓私馊祟惖闹腔邸?/span>

Bengio：他們說的我都同意，我再做一點(diǎn)補(bǔ)充。我做研究的動(dòng)力是，我相信只需要幾條簡(jiǎn)單的原理就可以在很大程度上解釋大腦中的活動(dòng)，我把這個(gè)叫做「驚喜的假說」。大腦中當(dāng)然是存在各種奇妙的東西的，但我相信只要掌握幾條簡(jiǎn)單的原理就可以解決這些復(fù)雜的、通用的任務(wù)。在機(jī)器學(xué)習(xí)、AI領(lǐng)域做研究，就可以檢驗(yàn)這些原理，可以給別的研究人員提供更好的大腦運(yùn)行方式的解釋。所以可以說，在發(fā)掘這些簡(jiǎn)單原理的過程中，機(jī)器學(xué)習(xí)領(lǐng)域和神經(jīng)科學(xué)領(lǐng)域會(huì)共同受益，在制造出更智慧的機(jī)器的同時(shí)，也能更好地理解大腦是如何運(yùn)行的、智慧是什么。

Kaelbling：有好幾個(gè)觀眾都認(rèn)為，你們每個(gè)人都提及了表征和推理的某些方面，而這些方面是做經(jīng)典的 AI 的人很歡迎、愿意使用的，比如可合成性、學(xué)習(xí)隱含表征、稀疏性因子等等，但你們提到經(jīng)典 AI 的時(shí)候又好像不是特別喜歡符號(hào)化 AI 的那一套。所以我和你們幾個(gè)人到底能不能做朋友呢？（觀眾笑）（譯注：Leslie Kaelbling 在機(jī)器人和經(jīng)典 AI 方面有較多研究成果）

Hinton：我和 Leslie 可認(rèn)識(shí)了很久了。上次我給 AAAI 投稿的時(shí)候，得到了這么多年以來最低的一次評(píng)價(jià)，而且用詞很不客氣，他說「Hinton 已經(jīng)研究這個(gè)想法 7 年了，根本沒有人感興趣，該試試別的了」。（觀眾笑）其實(shí)我當(dāng)時(shí)的那個(gè)想法就是想用向量表示詞的含義。從這個(gè)打擊中恢復(fù)心情花了一點(diǎn)時(shí)間，然后現(xiàn)在看起來我們好像其實(shí)做對(duì)了。如今我們處于的位置是，我們可以忘掉以前的事情了，現(xiàn)在看看我們能不能在由很多參數(shù)組成的系統(tǒng)里面做梯度下降，以及能不能推廣這個(gè)思路。其實(shí)我們發(fā)現(xiàn)的最重要的事情就是它，它確實(shí)有效，這很奇妙。我們現(xiàn)在要探索能不能用這個(gè)方法做推理。

Kaelbling：我補(bǔ)充幾句，雖然 AAAI 曾經(jīng)，甚至可能不止一次地對(duì)你很不客氣，這肯定是不對(duì)的。我們不應(yīng)該做這種推定，然后用不好的態(tài)度對(duì)待研究者。

Hinton：完全同意，我只是解釋了一下為什么這里存在一些惡意。

LeCun：我的觀點(diǎn)和 Hinton 很像。在我的 PPT 里講計(jì)算機(jī)視覺的那一頁，我也說到要用向量表示符號(hào)、用連續(xù)函數(shù)表示邏輯。之所以這樣做，是因?yàn)槲覀兿胱屚评砗蛯W(xué)習(xí)兼容。目前唯一成功的學(xué)習(xí)方法是基于梯度的學(xué)習(xí)方法，所以我們需要推理和基于梯度的學(xué)習(xí)兼容。我們需要讓它變得可微，雖然我還不是很確定具體要如何做，但我知道的是，這種想法對(duì)于對(duì)邏輯感興趣的、按原來的方式做邏輯的人來說是討人厭的，甚至是震驚的，因?yàn)檫@意味著需要放棄目前的研究路線中很多已有的東西。就像在 NLP 領(lǐng)域，幾年前 Transformer 等一批模型出現(xiàn)之后，很多語言學(xué)信息就一下子變得不怎么有用了。

Bengio：他倆差不多已經(jīng)把我想說的說完了。也像我在我的演講里說的一樣，我覺得我們應(yīng)該向前看，考慮如何找到最好的方式，能在發(fā)揮深度學(xué)習(xí)的長(zhǎng)處的同時(shí)，也能解決推理、語言理解等等在經(jīng)典方法里通常會(huì)用符號(hào)來解決的問題——這些問題我相信是可以用更現(xiàn)代的方式解決的。我覺得注意力機(jī)制可能可以起到很關(guān)鍵的作用，我也經(jīng)常跟別人說我的這個(gè)觀點(diǎn)。

Kaelbling：你們真的覺得除了基于梯度的學(xué)習(xí)之外就沒有什么別的、好的替代方法嗎？（觀眾笑）

LeCun：人們成功設(shè)計(jì)出來的所有學(xué)習(xí)方法都是基于某種優(yōu)化問題的……

Kaelbling：（打斷）隨機(jī)森林也是嗎？

LeCun：它也算是某種優(yōu)化，它是貪婪優(yōu)化的。然后還有邊緣化、貝葉斯等等各種方法，有的可能值得單獨(dú)討論，但是某種程度上，所有學(xué)習(xí)方法都是基于某種優(yōu)化問題的。如果還有什么其他不一樣的方法的話，那我很樂意知道 —— 這實(shí)際上也帶來了一個(gè)問題，人類的大腦有沒有優(yōu)化某個(gè)目標(biāo)函數(shù)呢？

除此之外，如果你想要優(yōu)化某個(gè)函數(shù)，那你要用什么工具來優(yōu)化它呢？它是零階&無梯度的，還是一階的&有梯度的，還是更高階的，我們還能用梯度，但也還需要?jiǎng)e的工具。對(duì)零階問題做優(yōu)化的效率要比一階問題低太多了，所以如果能找得到梯度，那就用梯度吧。實(shí)際上在強(qiáng)化學(xué)習(xí)中還有這樣的做法：因?yàn)槟繕?biāo)函數(shù)是不可微的，所以就引入了一個(gè)評(píng)價(jià)者（critic），它的目標(biāo)就是用可微的函數(shù)逼近目標(biāo)函數(shù)，讓它仿佛變得可微。所以，梯度下降就是行得通啊。

Kaelbling：雖然你回答的和我問的不一樣，不過我明白你的意思了（觀眾笑）。

另一個(gè)問題，這個(gè)專場(chǎng)一開始我們就聊了卷積、膠囊，以及認(rèn)為 Transformer 很有用，似乎可以說我們整個(gè)領(lǐng)域的人都在設(shè)計(jì)各種的機(jī)制，給模型增加各種結(jié)構(gòu)偏倚等等。你們覺得這樣的東西可能要找到多少個(gè)，才足夠設(shè)計(jì)出人類級(jí)別的智慧？6種？60種？

Bengio：數(shù)字越小越好，但我們現(xiàn)在也不知道。

LeCun：對(duì)，如果只需要6種、10種結(jié)構(gòu)，那當(dāng)然很好了，但我們還不知道是不是真的這樣。讓我們覺得有希望的是，人類大腦皮層是有明顯的統(tǒng)一秩序的，但所有的大腦神經(jīng)元中只有一小部分是屬于大腦皮層的，其它大多數(shù)的看起來似乎沒那么均一、規(guī)律。

2、來自學(xué)生們的問題

Kaelbling：下面看幾個(gè)關(guān)于方法論呀、別的方面的問題吧。聽眾里有很多學(xué)生，所以有很多和學(xué)生相關(guān)的問題。很多學(xué)生問了這樣的問題：現(xiàn)在有很多學(xué)術(shù)研究是在大企業(yè)里面做的，這些大企業(yè)有大量的資源，那么當(dāng)谷歌、Facebook這樣的企業(yè)手握大量的、學(xué)生只有眼饞的份的資源的時(shí)候，大學(xué)扮演的角色是什么樣的呢？

Hinton：我來回答這個(gè)吧。我仍然認(rèn)為，那些真正原創(chuàng)的想法，都來自于很好的大學(xué)院系里、得到了好的建議的研究生們，這樣他們就不會(huì)把歷史上已有的東西重新做一遍，而是真正花好幾年時(shí)間考慮做點(diǎn)新的東西出來。大公司里當(dāng)然也是有可能做到的，但這樣的事情大多數(shù)還是在大學(xué)里發(fā)生的。我覺得這是大學(xué)真正的優(yōu)勢(shì)。（觀眾鼓掌）

Bengio：我補(bǔ)充一下。AI 領(lǐng)域里有很多非常難的問題，是可以考慮在「玩具問題」（譯注：專門設(shè)計(jì)的、非常簡(jiǎn)單的環(huán)境和問題）里放大了仔細(xì)研究的。我覺得我們放棄「研究玩具問題」放棄得太早了，尤其是機(jī)器學(xué)習(xí)這里，大家都在關(guān)注需要在 2000 個(gè) CPU、GPU 上跑兩個(gè)星期的那種非常難的測(cè)試，但其實(shí)對(duì)于很多有意思的問題，你可以做分析，以及用正常規(guī)模的資源做實(shí)驗(yàn)。我也得承認(rèn)，沒有這些資源有時(shí)候會(huì)覺得很沮喪，但使用這么多資源、能源也會(huì)帶來一些環(huán)境問題。

LeCun：所以我建議我們建立一個(gè)新的會(huì)議，The International Conference On Deep Learning On Toy Problems，「玩具問題深度學(xué)習(xí)國(guó)際會(huì)議」。（全場(chǎng)笑，三個(gè)人相視而笑）

Hinton：這讓我想起來一個(gè)我很多年以前提過的建議，我當(dāng)時(shí)提議辦一個(gè)叫「MNIPS」的會(huì)議，所有論文的算法都必須用 MNIST 做實(shí)驗(yàn)。（一本正經(jīng)地。全場(chǎng)笑）

Kaelbling：真棒！我繼續(xù)問和學(xué)生有關(guān)的問題。學(xué)生們很想知道他們應(yīng)該讀什么書、學(xué)習(xí)什么內(nèi)容。其實(shí)你們?nèi)欢继岬搅烁怕式r(shí)代之前出現(xiàn)的一些概念，但你們覺得學(xué)生應(yīng)該讀什么學(xué)什么呢？

Bengio：能確定的是，他們不要都讀、都學(xué)一樣的東西。

Kaelbling：這個(gè)挺重要的，這個(gè)領(lǐng)域不能只有一種聲音。

Hinton：我以前的一位導(dǎo)師的建議是「讀書會(huì)弄昏腦袋」（Reading rods the mind）。所以他說，不要讀文獻(xiàn)，要自己想辦法解決問題；在你有主意了以后，再去讀文獻(xiàn)。（觀眾鼓掌）

LeCun：我記得 Feinman 也給過類似的建議。

Kaelbling：那些大的 AI 公司做研究活動(dòng)的時(shí)候，他們會(huì)找你們預(yù)約嗎？（觀眾逐漸開始笑）

（Hinton 盯著在 FB 的 LeCun 看，想讓他回答；LeCun 反過來指著在谷歌的 Hinton，意思是不應(yīng)該你來回答么；這時(shí)候?yàn)槲④涀鲱檰柕?Bengio 先主動(dòng)開口了）

Bengio：對(duì)，能幫助化石能源產(chǎn)業(yè)的研究是有預(yù)約的

LeCun：實(shí)際上谷歌和 FB 的 AI 研究機(jī)構(gòu)都在逐步削減碳排放，到了今年底 FB 的就可以實(shí)現(xiàn)零排放，不過谷歌我就不清楚了。

Hinton：我覺得 LeCun 他們應(yīng)該多做識(shí)別假新聞的研究，個(gè)人觀點(diǎn)。

Bengio：我覺得有很強(qiáng) AI 能力的企業(yè)不要通過研究軍事應(yīng)用來賺錢就很好。

Hinton：這一點(diǎn)我們?nèi)齻€(gè)人都同意。因?yàn)楣雀枳约河X得不對(duì)，所以取消了一個(gè)國(guó)防部的好幾十億美元的項(xiàng)目，這給我留下了深刻印象，讓我覺得原來谷歌其實(shí)也沒有那么壞（全場(chǎng)笑）。

LeCun：FB 完全不接這種單子，我們從來就沒這個(gè)問題。

3、科研工作心得

Kaelbling：下面我們聊點(diǎn)正常的話題。你們的想法都是從哪里來的？如何決定要研究哪個(gè)想法？

Bengio：每天早上我一睜眼，我就有想法了。

Kaelbling：那你怎么選擇要研究哪個(gè)？全都研究？

Bengio：系統(tǒng)一（System 1）（譯注：Bengio在演講中提到 System 1和 System 2，前者是直覺系統(tǒng)，主要負(fù)責(zé)快速、無意識(shí)、非語言的認(rèn)知；后者是邏輯分析系統(tǒng)，是有意識(shí)、帶邏輯規(guī)劃、有語言表達(dá)能力的）。講真，就是靠直覺，然后你就不停做實(shí)驗(yàn)、不停地失敗，有時(shí)候就會(huì)做出來一些成果。你要跟著自己的直覺走，做科研不就是這樣的嘛。

LeCun：我當(dāng)然也很依賴直覺，不過我覺得你要能夠分析真正的、重要的問題的癥結(jié)。然后你就會(huì)有想法，在做成功實(shí)驗(yàn)以后在你看來就更是更是自然而然的，起碼對(duì)你自己是這樣，世界上別的人可能還要過20年才會(huì)覺得這事一目了然；這個(gè)過程就是這樣。所以我在 1980 年代就有了多層神經(jīng)網(wǎng)絡(luò)的想法，在我看來這是自然而然的；然后我想到了卷積神經(jīng)網(wǎng)絡(luò)，我覺得也是自然而然的。然后過了很長(zhǎng)時(shí)間它們才開始變得流行。

現(xiàn)在我覺得用自監(jiān)督學(xué)習(xí)解決預(yù)測(cè)中的不確定性是自然而然的事情，這些是我們需要解決的重要問題。用各種方法繼續(xù)改進(jìn)已有的實(shí)際系統(tǒng)的表現(xiàn)當(dāng)然是有用的，但我自己對(duì)有長(zhǎng)期影響的事情更有興趣。

Kaelbling：又有一個(gè)和前面的話題相關(guān)的問題，神經(jīng)網(wǎng)絡(luò)曾經(jīng)有段時(shí)間非常不受歡迎，只有很勇敢的人才繼續(xù)研究…

Bengio：（打斷）是「頑固」，只有頑固的人才繼續(xù)研究。

Kaelbling：「頑固」，這個(gè)詞很好。假設(shè)我正在研究某個(gè)特別冷門的課題，我應(yīng)該怎么發(fā)展，別人給我寫了特別不客氣的評(píng)語、沒有人喜歡我的研究怎么辦？

Hinton：我覺得首先要知道的是，大多數(shù)特別冷門的想法之所以特別冷門是因?yàn)樗鼈冃Ч⒉缓茫ㄈ珗?chǎng)笑）。那么這兒有一個(gè)很巧妙的區(qū)別。所以，我也不知道。

Bengio：你要找一些證據(jù)來支持你的想法，它不能完全是直覺。依靠證據(jù)做出判斷，和完全依靠直覺，是有明顯的區(qū)別的。但你也需要有信心才能不斷前進(jìn)。也許你第一次做實(shí)驗(yàn)的時(shí)候失敗了，但是你做了一些變化以后就成功了。

Hinton：我覺得如果你真的對(duì)某個(gè)想法特別有信心，你就永遠(yuǎn)都不應(yīng)該放棄它。所以其實(shí)我到今天都在思考如何讓玻爾茲曼機(jī)發(fā)揮效果。（全場(chǎng)笑）我相信這么一個(gè)邏輯：如果你的直覺是對(duì)的，你就應(yīng)該去研究它；如果你的直覺是錯(cuò)的，那你做什么其實(shí)都影響不大。（全場(chǎng)笑）

4、對(duì)機(jī)器學(xué)習(xí)領(lǐng)域抱有憂慮

Kaelbling：我自己有一個(gè)問題，Jeff 剛才說研究生應(yīng)該花很多時(shí)間考慮很難的問題。但我自己的感覺是，當(dāng)前領(lǐng)域內(nèi)發(fā)表論文的周期特別短，內(nèi)容也比較短視。我很擔(dān)心這對(duì)整個(gè)領(lǐng)域會(huì)造成什么樣的影響。我不知道你們是不是也有一樣的感覺？

Bengio：我覺得很不樂觀。當(dāng)前這一代正在成長(zhǎng)的計(jì)算機(jī)科學(xué)、機(jī)器學(xué)習(xí)的研究人員們，他們的視野似乎非常局限于短期的回報(bào)，做研究的目標(biāo)就是為了趕上下一個(gè)會(huì)議的投稿截稿時(shí)間。我自己的學(xué)生都有的會(huì)來我辦公室問我：接下來的四個(gè)星期里我能做些什么，因?yàn)榈侥莻€(gè)時(shí)候就截稿了。我覺得這對(duì)整個(gè)領(lǐng)域是很糟糕的事情，我們需要做一些結(jié)構(gòu)性的改變，鼓勵(lì)研究者可以冒更大的風(fēng)險(xiǎn)、研究覆蓋更長(zhǎng)的時(shí)間周期的問題。

LeCun：我覺得這里有一個(gè)連續(xù)譜，研究如何在測(cè)試?yán)锬玫礁叩姆謹(jǐn)?shù)，最終肯定也是有好處的，這沒什么問題。實(shí)際上隨著這個(gè)領(lǐng)域發(fā)展，它也越來越偏向?qū)嶋H應(yīng)用，因?yàn)橛性絹碓蕉嗟娜藢?duì)這些實(shí)際應(yīng)用感興趣——這正是他們加入這個(gè)領(lǐng)域的原因。我覺得真正的問題是，在計(jì)算機(jī)視覺會(huì)議、NLP會(huì)議之類的更偏重應(yīng)用的會(huì)議里，研究那些長(zhǎng)時(shí)間周期的問題的人的絕對(duì)數(shù)量和他們的影響力到底如何。我覺得我們需要留一些空間給不那么關(guān)注刷分的會(huì)議，比如剛才隨口說的那個(gè)「玩具問題深度學(xué)習(xí)國(guó)際會(huì)議」。

即便這樣，大家也可能還是會(huì)保持一個(gè)很高的發(fā)文速度，因?yàn)楫?dāng)前的系統(tǒng)下為了找工作之類的需要他們有很多的論文。不過，這樣可以讓他們同時(shí)也能夠研究那些長(zhǎng)期的、復(fù)雜的、有野心的問題。

Bengio：如今發(fā)表論文的壓力要比我念研究生的時(shí)候大多了，現(xiàn)在的學(xué)生需要在讀博期間完成的論文數(shù)量簡(jiǎn)直太可怕了。

LeCun：我們要是想申請(qǐng)自己的博士生恐怕都申請(qǐng)不上。（觀眾笑）

Kaelbling：論文內(nèi)容完整性的要求也不一樣了。

Bengio：對(duì)。實(shí)際上這里還有一個(gè)副作用，大家覺得論文中會(huì)議是有那么點(diǎn)重要的一件事，但經(jīng)常發(fā)生的是，他們的論文被會(huì)議接收以后，他們又轉(zhuǎn)而研究別的課題了。

Hinton：我給這個(gè)過程打過一個(gè)比方。每個(gè)人只花很短的時(shí)間研究問題，做出一點(diǎn)點(diǎn)成果然后就發(fā)一篇論文，就像是拿來一本很難的數(shù)獨(dú)填空書，把整本書翻了個(gè)遍以后，把每個(gè)數(shù)獨(dú)題目里最簡(jiǎn)單的幾個(gè)空都填上了，給別的人攪了個(gè)亂七八糟。（全場(chǎng)笑）

5、觀眾提問時(shí)間

觀眾1：研究AI就是研究科學(xué)嗎？用是或否回答。

Hinton：（復(fù)述問題給其它觀眾）答案「是」。

Bengio：人工智能領(lǐng)域有很多種不同的事情可以做，有一些更偏向于工程，有一些更偏向于理解；偏向于理解的這些更像是「科學(xué)」。

LeCun：也有「工程科學(xué)」，其中的一部分是創(chuàng)造，你會(huì)設(shè)計(jì)一種方法；然后另一部分是科學(xué)，你會(huì)分析它為什么有效、為什么無效，等等。方法的創(chuàng)造領(lǐng)先于能解釋它的理論，這其實(shí)在科學(xué)技術(shù)的歷史中經(jīng)常出現(xiàn)，一個(gè)典型的例子是蒸汽機(jī)，人們花了一百多年時(shí)間才弄明白其中的熱力學(xué)原理以及熱機(jī)的理論限制。現(xiàn)在我們就仿佛是創(chuàng)造出了蒸汽機(jī)了，然后問題就是不知道我們的「熱力學(xué)原理」在哪里、有沒有像熱力學(xué)能解釋蒸汽機(jī)那樣的原理來解釋智慧，這也正是我自己研究的那個(gè)很大的科學(xué)問題。

觀眾2：人類有通用的智慧，而且可以創(chuàng)造出數(shù)學(xué)這樣的抽象的東西，我們可以寫出解析方程，比如 F=ma，或者 e=mc^2，這其中的計(jì)算非常簡(jiǎn)單，就和二乘三等于六一樣簡(jiǎn)單，做這樣的計(jì)算可能就只需要幾個(gè)晶體管，可能是幾瓦、幾毫瓦的能源消耗。相比之下深度學(xué)習(xí)雖然總體來說很厲害，但是需要成千上萬瓦的能源消耗。所以有沒有可能，通過某種神經(jīng)架構(gòu)，我們最終可以不需要這么高的計(jì)算能力、這么復(fù)雜、這么高容量。

Bengio：但是產(chǎn)生了 F=ma 的人類大腦里有數(shù)量龐大的神經(jīng)元、有很高的計(jì)算能力。如果我們想要機(jī)器也有這樣的能力，即便最終產(chǎn)生的結(jié)果可能是一個(gè)非常簡(jiǎn)單的方程，它的背后也先要有很多的計(jì)算、經(jīng)驗(yàn)和學(xué)習(xí)。

觀眾3：看起來你們的想法似乎在很多時(shí)間上出奇地一致，比如需要的先驗(yàn)的本質(zhì)、自監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的價(jià)值等等。我有點(diǎn)好奇，除了這些觀點(diǎn)一致的點(diǎn)之外，對(duì)于這些方法應(yīng)該怎么實(shí)現(xiàn)、哪些元素是重要的，你們有沒有什么意見不同的地方？

Bengio：Leslie已經(jīng)嘗試過這個(gè)問題了，但是沒能讓我們吵起來。

Hinton：我可以講一個(gè)分歧。Yoshua 的電子信箱地址結(jié)尾是「quebec」（julie.mongeau@mila.quebec），我覺得這之后還應(yīng)該再寫一個(gè)國(guó)家碼，但他覺得不需要（觀眾笑）。（譯注：Hinton 認(rèn)為魁北克既然現(xiàn)在還是加拿大的一部分，就應(yīng)該是 mila.quebec.ca）

Kaelbling：這個(gè)環(huán)節(jié)結(jié)束了，謝謝三位嘉賓！

（三位離席，全場(chǎng)鼓掌）

AI 科技評(píng)論說：

三個(gè)人嚴(yán)肅認(rèn)真、信念堅(jiān)定，但同時(shí)又幽默平和、笑對(duì)過往的風(fēng)格再一次展示了他們的大家風(fēng)范；可能也正是有這樣的態(tài)度，他們才能走過之前的寒冬，迎來新時(shí)代的春風(fēng)和深度學(xué)習(xí)的全面綻放。

再次向三位致敬，祝好。

點(diǎn)擊“閱讀原文” 前往 AAAI 2020 專題頁

本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請(qǐng)點(diǎn)擊一鍵舉報(bào)。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： taotao_2016 > 《AI》

舉報(bào)/認(rèn)領(lǐng)