【新智元導讀】人工智能的智力水平一朝一日會和人類平起平坐嗎？圖靈獎得主Yoshua Bengio和Yann LeCun在本屆2020 ICLR大會上發(fā)表觀點稱，自監(jiān)督學習有望使AI產生類人的推理能力。Bengio相信機器最終將習得關于這個世界的各種知識，不需要機器去親身體驗，而是通過習得語言化的知識來實現(xiàn)?！感轮窃逼钢鞴P、高級主任編輯，添加HR微信（Dr-wly）或掃描文末二維碼了解詳情?！?/h5>

在2020的ICLR線上大會上，蒙特利爾學習算法研究所主任、圖靈獎得主Yoshua Bengio和Facebook 的副總裁兼首席人工智能科學家Yann LeCun，坦率地談到了未來AI的研究趨勢。

根據(jù)兩位大咖的說法，自我監(jiān)督學習可能使AI產生類人的推理能力。

交易擔保 新智元 Bengio和LeCun稱自監(jiān)督學習是AI實現(xiàn)人類智力水平的關鍵！ 小程序

自監(jiān)督學習，像人一樣自覺觀察世界

監(jiān)督式學習需要在有標注的數(shù)據(jù)集上訓練AI模型，而 LeCun 認為隨著自我監(jiān)督學習的廣泛應用，這種訓練模式的作用將逐漸減弱。自監(jiān)督學習算法不再依賴標注，而是通過揭示數(shù)據(jù)各部分之間的關系，從數(shù)據(jù)中生成標簽。

             

 

自監(jiān)督學習是一種機器學習的「理想狀態(tài)」，重點在于如何自動生成數(shù)據(jù)標簽，這一步驟被認為對于實現(xiàn)人類水平的智能至關重要。舉一個例子，例如輸入一張圖片，把圖片隨機旋轉一個角度，然后把旋轉后的圖片作為輸入，隨機旋轉的角度作為標簽。

很多網友比較關注的一個問題是，自監(jiān)督學習和無監(jiān)督學習是一個意思嗎？              

自監(jiān)督類似無監(jiān)督學習，都是從沒有明確標簽的數(shù)據(jù)中進行學習。但無監(jiān)督學習側重于學習數(shù)據(jù)的內在關系、結構，比如clustering、grouping、density estimation, or anomaly detection等等，而自監(jiān)督是根據(jù)數(shù)據(jù)集本身生成標簽。

       

為了進一步解釋自監(jiān)督學習，LeCun做了類比，「不管是我們人類，還是動物，在學習大多數(shù)事物時，都是在自我監(jiān)督的模式下進行的，而不是強化學習模式。這個模式本質上就是觀察這個世界，然后不斷與之增進互動，這種觀察是自發(fā)的，而不是在測試條件下完成的?！筁eCun表示， 「這種學習方式，比較難以用機器來復制?！?/section>

其中，不確定性是阻礙自監(jiān)督學習成功的主要障礙。

 

             

連續(xù)分布和離散分布

數(shù)據(jù)的分布是這樣一個表，它將變量所有可能的值與其出現(xiàn)的概率聯(lián)系起來。在變量是離散的情況下，它們可以很好地表示不確定性，這就是為什么像Google BERT這樣的架構如此成功。但目前，研究人員尚未找到一種方法來有效地表示連續(xù)變量的分布。

在斯坦福對話問答數(shù)據(jù)集上測試時，BERT 實現(xiàn)了93.2% 的準確率，分別優(yōu)于最先進的機器學習水平和人類水平 。斯坦福問答數(shù)據(jù)集是一個閱讀理解的數(shù)據(jù)集，包含了一組維基百科文章中提出的問題。在通用語言理解評估基準測試（一個用于培訓和評估NLP系統(tǒng)的資源集合上，BERT的準確率達到了80.4% 。

解決連續(xù)分布問題

LeCun認為，找到一種能表示連續(xù)分布的模型，就會有新突破。

Lecun 指出，連續(xù)分布問題的一個解決方案是利用基于能量的模型（EBM），它能夠學習數(shù)據(jù)集中的數(shù)學元素，并生成類似的數(shù)據(jù)集。

此前，OpenAI開發(fā)了一種基于能量的模型，可以快速學會識別和生成概念，例如附近，上，中，最近和最遠等，并表示為2D點集。模型僅在五次演示后學習了這些概念。

      

從過去的研究中看，這種形式的建模一直難以應用到實際當中，但Open AI 2019年的研究表明，這種基于能量的模型可以支持復雜的拓撲（topologies）。

Bengio 在研討中表示，他相信人工智能研究可以從神經科學領域受益頗多，特別是意識和意識處理的探索方面。當然收益也是雙向的，一些神經科學家正在使用卷積神經網絡作為視覺系統(tǒng)的腹側通路。

Bengio預測，新的研究將闡明高級語義變量與大腦如何處理信息（包括視覺信息）之間的關系。而這些變量是人類語言交流所用的，它們可能會衍生出新一代的深度學習模型。

「通過與基礎語言學習相結合，我們可以取得很多進展，歸根結底我們都在打造能夠理解這個世界的模型，以及高層次的概念是如何相互關聯(lián)的。這是一種聯(lián)合式的分布，」Bengio 說。「我相信，人類的意識處理過程，利用的是有關世界如何變化的假設，這些假設可以理解成為一種更高層次的表達方式。簡單來講，就是我們看到世界的變化，然后想到一句話來解釋這種變化?！?/section>

達到人類智力的另一難題：背景知識

想要實現(xiàn)人類智力，另一大難題就是背景知識。正如 LeCun 所解釋的，大多數(shù)人可以在30小時內學會駕駛汽車，因為他們已經憑借直覺構建了一個關于汽車行動方式的物理模型。相比之下，現(xiàn)在無人駕駛汽車所采用的強化學習模型要從零開始學起---- 他們必須犯上成千上萬次的錯誤，才能做出正確的操作。

       

LeCun表示，「顯然，我們需要能夠構建模型來學習世界，這就是進行自監(jiān)督學習的原因——運行預測世界模型，能夠讓系統(tǒng)進行更快地學習。從概念上講，這相當簡單，除非是在那些我們無法完全預測的不確定環(huán)境中?！?/section>

LeCun 認為，想要實現(xiàn)通用人工智能（AGI），就算有自監(jiān)督學習和神經科學學習的加持，也是不夠的。

通用人工智能（AGI ）是指機器獲得人類水平的智能。一些研究人員將通用人工智能稱為強AI（strong AI）或者完全AI（full AI），或稱機器具有執(zhí)行通用智能行為（general intelligent action）的能力。

他表示，這是因為智力，尤其是人類的智力，是非常特殊的。「AGI 是不存在的，根本沒有通用人工智能這回事。我們可以談論老鼠水平的智力、貓的智力、狗的智力，或者人類的智力，但還根本談不上通用人工智能。」LeCun說。

         

但是Bengio相信機器最終將習得關于這個世界的各種知識，這個過程不需要機器去親身體驗，而是通過習得可以語言化的知識來實現(xiàn)。

「我認為這也是人類的一個巨大優(yōu)勢，相比于其他動物來說，」他說?！肝艺J為，人類之所以聰明，是因為我們有我們自己的文化，讓我們能夠解決這個世界的問題。要想讓人工智能在現(xiàn)實世界中發(fā)揮作用，我們需要它不僅僅是能夠翻譯的機器，而是能夠真正理解自然語言的機器?！?/section>

自監(jiān)督學習是AI的未來

自監(jiān)督學習背后的核心想法，是開發(fā)一種深度學習系統(tǒng)，可以通過學習填補AI未知的領域。

        

LeCun曾在今年四月份AAAI會議演講中談到，「我認為自監(jiān)督學習是AI的未來。這將使我們的AI系統(tǒng)，深度學習系統(tǒng)更上一層樓，或許AI可以通過觀察獲取有關世界足夠多的背景知識，從而形成一些基本常識?！?/section>

自我監(jiān)督學習的主要好處之一是AI能夠主動輸出巨大的信息量。在強化學習中，訓練AI系統(tǒng)是在標量級別執(zhí)行的，模型會收到一個數(shù)值作為對其行為的獎勵或懲罰。在監(jiān)督學習中，AI系統(tǒng)為每個輸入結果預測類別或數(shù)值。

在自監(jiān)督學習中，輸出結果將涉及到整個圖像或是一組圖像，「自監(jiān)督學習輸出的信息量很大。要讓AI學習相同量的有關世界的知識，自監(jiān)督學習需要的樣本量也更少?！?LeCun說。

我們必須弄清楚不確定性問題是如何運作的，當尋到解決方案時，我們將會解鎖AI未來的關鍵。

LeCun說，「如果說人工智能是一塊蛋糕，那么自監(jiān)督學習就是其中最大的一塊。」

參考鏈接：

https:///2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/