如何突破當(dāng)代人工智能（AI）的瓶頸？不同學(xué)者存在不同觀點(diǎn)。

總體來看可以概括為兩類，其一監(jiān)督學(xué)習(xí)者，提倡通過改善數(shù)據(jù)標(biāo)簽質(zhì)量，從而完善監(jiān)督學(xué)習(xí)。代表人物有發(fā)起“以數(shù)據(jù)為中心AI”革命的吳恩達(dá)，提倡設(shè)計(jì)“合成數(shù)據(jù)自帶所有標(biāo)簽”的Rev Lebaredian。

其二，無監(jiān)督學(xué)者，例如Yann LeCun，提倡下一代AI系統(tǒng)將不再依賴于精心標(biāo)注的數(shù)據(jù)集。

近日，Yann LeCun在meta AI（原Facebook）官方博客上以及IEEE采訪中，深度闡述了他的自監(jiān)督學(xué)習(xí)思路，他認(rèn)為AI想要突破現(xiàn)在的瓶頸，必須讓機(jī)器學(xué)習(xí)世界模型，從而能夠填補(bǔ)缺失的信息，預(yù)測(cè)將要發(fā)生的事情，并預(yù)測(cè)行動(dòng)的影響。

這雖然不是革命性的想法，但卻是革命性的行動(dòng)。正如LeCun在在多次演講中提到：這場(chǎng)革命將是無監(jiān)督的（THE REVOLUTION WILL NOT BE SUPERVISED）。具體而言這種革命性體現(xiàn)在對(duì)兩個(gè)問題的思考：

第一，我們應(yīng)該使用什么樣的學(xué)習(xí)范式來訓(xùn)練世界模型？

第二，世界模型應(yīng)該使用什么樣的架構(gòu)？

同時(shí)，他也提到：監(jiān)督學(xué)習(xí)的局限性有時(shí)會(huì)被誤以為是深度學(xué)習(xí)的局限性，這些限制可以通過自監(jiān)督學(xué)習(xí)來克服。

以下是LeCun對(duì)自監(jiān)督的思考與世界模型設(shè)計(jì)，內(nèi)容來源于meta AI與IEEE，AI科技評(píng)論做了不改變?cè)獾木幾g。

LeCun提到，人類和動(dòng)物能夠通過觀察，簡(jiǎn)單的交互，以及無監(jiān)督的方式學(xué)習(xí)世界知識(shí)，因此可以假設(shè)，這里面蘊(yùn)含的潛在能力構(gòu)成了常識(shí)的基礎(chǔ)。這種常識(shí)能夠讓人類在陌生的環(huán)境下完成任務(wù)，例如一位年輕的司機(jī)，從來沒有在雪地里開過車，但是他卻知道如果車開的太猛，輪胎會(huì)打滑。

早在幾十年前，就有學(xué)者研究人類、動(dòng)物甚至智能系統(tǒng)如何“借力”世界模型，自我學(xué)習(xí)。因此，當(dāng)前AI也面臨著重新設(shè)計(jì)學(xué)習(xí)范式和架構(gòu)，使機(jī)器能夠以自我監(jiān)督的方式學(xué)習(xí)世界模型，然后使用這些模型進(jìn)行預(yù)測(cè)、推理和規(guī)劃。

世界模型需要融合不同的學(xué)科的觀點(diǎn)，包括但不限于認(rèn)知科學(xué)、系統(tǒng)神經(jīng)科學(xué)、最優(yōu)控制、強(qiáng)化學(xué)習(xí)以及 '傳統(tǒng) '人工智能。必須將它們與機(jī)器學(xué)習(xí)的新概念相結(jié)合，如自監(jiān)督學(xué)習(xí)和聯(lián)合嵌入架構(gòu)（joint-embedding architectures）。

在上述世界模型思想的基礎(chǔ)上，LeCun 提出了自主智能機(jī)構(gòu)，由六個(gè)獨(dú)立模塊組成，且假設(shè)每個(gè)都可微：可以容易地計(jì)算一些目標(biāo)函數(shù)，以及相對(duì)應(yīng)的梯度估計(jì)，并將梯度信息傳播到上游模塊。

自主智能的系統(tǒng)架構(gòu)：配置器（configurator）是核心，從其他模塊獲取輸入。

LeCun表示：成本模塊是基本的行為驅(qū)動(dòng)和內(nèi)在動(dòng)機(jī)的所在。因此，它將考慮到內(nèi)在成本：不浪費(fèi)能源，以及任務(wù)的具體消耗。成本模塊是可分的，成本的梯度可以通過其他模塊反向傳播，用于規(guī)劃、推理或?qū)W習(xí)。

世界模型架構(gòu)的核心在于預(yù)測(cè)。

構(gòu)建世界模型的一個(gè)關(guān)鍵挑戰(zhàn)是如何使該模型能夠表示多個(gè)模糊的預(yù)測(cè)?，F(xiàn)實(shí)世界并不是完全可以預(yù)測(cè)的：一個(gè)特定的情況可能有多種演變的方式，并且許多與情況相關(guān)的細(xì)節(jié)與手頭的任務(wù)無關(guān)。比如，我可能需要預(yù)測(cè)我開車時(shí)周圍的汽車會(huì)做什么，但我不需要預(yù)測(cè)道路附近樹木中個(gè)別葉子的詳細(xì)位置。那么，世界模型如何學(xué)習(xí)現(xiàn)實(shí)世界的抽象表示，做到保留重要的細(xì)節(jié)、忽略不相關(guān)的細(xì)節(jié)，并且可以在抽象表示的空間中進(jìn)行預(yù)測(cè)呢？

解決方案的一個(gè)關(guān)鍵要素是聯(lián)合嵌入預(yù)測(cè)架構(gòu) (Joint Embedding Predictive Architecture ，JEPA)。JEPA 捕獲兩個(gè)輸入（x 和 y）之間的依存關(guān)系。例如，x 可以是一段視頻，y 可以是視頻的下一段。輸入 x 和 y 被饋送到可訓(xùn)練的編碼器，這些編碼器提取它們的抽象表示，即 sx 和 sy。預(yù)測(cè)器模塊被訓(xùn)練為從 sx 預(yù)測(cè) sy。預(yù)測(cè)器可以使用潛在變量 z 來表示 sy 中存在但 sx 中不存在的信息。JEPA 以兩種方式處理預(yù)測(cè)中的不確定性：（1）編碼器可能會(huì)選擇丟棄難以預(yù)測(cè)的有關(guān) y 的信息；（2）當(dāng)潛在變量 z 在一個(gè)集合上變化時(shí)，將導(dǎo)致預(yù)測(cè)在一個(gè)集合上變化一組似是而非的預(yù)測(cè)。

那么，我們?nèi)绾斡?xùn)練 JEPA 呢？

截至目前為止，研究者所使用的唯一方法就是“對(duì)比”，包括顯示兼容 x 和 y 的示例，以及許多 x 和不兼容 y 的示例。但是當(dāng)表示是高維狀態(tài)時(shí)，這是相當(dāng)不切實(shí)際的。

過去兩年還出現(xiàn)了另一種訓(xùn)練策略：正則化方法。當(dāng)應(yīng)用于 JEPA 訓(xùn)練時(shí)，該方法使用了四個(gè)標(biāo)準(zhǔn)：

這些標(biāo)準(zhǔn)可以以各種方式轉(zhuǎn)化為可微的成本函數(shù)。一種方法是 VICReg 方法，即方差/變量（Variance）、不變性（Invariance）、協(xié)方差正則化(Covariance Regularization）。在 VICReg 中，x 和 y 表示的信息內(nèi)容通過將其分量的方差保持在閾值之上并通過使這些分量盡可能地相互獨(dú)立來最大化。同時(shí)，該模型試圖使 y 的表示可以從 x 的表示中預(yù)測(cè)。此外，潛變量的信息內(nèi)容通過使其離散、低維、稀疏或噪聲來最小化。

JEPA 的美妙之處在于它自然地產(chǎn)生了輸入的信息抽象表示，消除了不相關(guān)的細(xì)節(jié)，并且可以執(zhí)行預(yù)測(cè)。這使得 JEPA 可以相互堆疊，以便學(xué)習(xí)具有更高抽象級(jí)別的表示，可以進(jìn)行長期預(yù)測(cè)。

例如，一個(gè)場(chǎng)景可以在高層次上描述為“廚師正在制作可麗餅”。它可以預(yù)測(cè)廚師會(huì)去取面粉、牛奶和雞蛋，將食材混合，把面糊舀進(jìn)鍋里，將面糊油炸，并翻轉(zhuǎn)可麗餅，然后不斷重復(fù)該過程。在較低層次的表達(dá)上，這個(gè)場(chǎng)景可能是倒一勺面糊并舀均勻，且將其鋪在鍋周圍。一直持續(xù)到每一毫秒的廚師的手的精確軌跡。在低層次的手部軌跡上，我們的世界模型只能進(jìn)行短期的準(zhǔn)確預(yù)測(cè)。但在更高的抽象層次上，它可以做出長期的預(yù)測(cè)。

分層 JEPA 可用于在多個(gè)抽象級(jí)別和多個(gè)時(shí)間尺度上執(zhí)行預(yù)測(cè)。訓(xùn)練方式主要是通過被動(dòng)觀察，很少通過互動(dòng)。

嬰兒在出生后的頭幾個(gè)月主要通過觀察來了解世界是如何運(yùn)作的。她了解到世界是三維的，知道有些物體會(huì)擺在其他物體的前面，當(dāng)一個(gè)物體被遮擋時(shí)，它仍然存在。最終，在大約 9 個(gè)月大的時(shí)候，嬰兒學(xué)會(huì)了直觀的物理學(xué)——例如，不受支撐的物體會(huì)因重力而落下。

分層  JEPA 的愿景在于它可以通過觀看視頻和與環(huán)境交互來了解世界是如何運(yùn)作的。通過訓(xùn)練自己來預(yù)測(cè)視頻中會(huì)發(fā)生什么，它可以生成對(duì)世界的分層表示。通過在世界上采取行動(dòng)并觀察結(jié)果，世界模型將學(xué)會(huì)預(yù)測(cè)其行動(dòng)的后果，進(jìn)而能夠推理和計(jì)劃。

通過將分層 JEPA 訓(xùn)練為世界模型，一個(gè)智能體（機(jī)器人）就可以執(zhí)行復(fù)雜動(dòng)作的分層規(guī)劃，將復(fù)雜任務(wù)分解為一系列不太復(fù)雜和不太抽象的子任務(wù)，一直到對(duì)效應(yīng)器（effector）的低級(jí)動(dòng)作。

一個(gè)典型的感知-行動(dòng)情節(jié)如上。該圖說明了兩級(jí)層次結(jié)構(gòu)的情況。感知模塊提取世界狀態(tài)的分層表示（圖中 s1[0]=Enc1(x) 和 s2[0]=Enc2(s[0])）。然后，在假設(shè)二級(jí)行動(dòng)器提出的一系列抽象動(dòng)作的情況下，多次應(yīng)用二級(jí)預(yù)測(cè)器來預(yù)測(cè)未來狀態(tài)。行動(dòng)器優(yōu)化二級(jí)動(dòng)作序列以將總成本最小化（圖中的C（s2 [4]））。

這個(gè)過程類似于最優(yōu)控制中的模型預(yù)測(cè)控制。對(duì)第二級(jí)潛在變量的多個(gè)繪圖重復(fù)該過程，這可能會(huì)產(chǎn)生不同的高級(jí)場(chǎng)景。由此產(chǎn)生的高級(jí)動(dòng)作并不構(gòu)成真正的動(dòng)作，而只是定義了低級(jí)狀態(tài)序列必須滿足的約束（例如，食材是否正確混合？）。它們確實(shí)構(gòu)成了子目標(biāo)。整個(gè)過程在低層重復(fù)：運(yùn)行低層預(yù)測(cè)器，優(yōu)化低層動(dòng)作序列以將上層的中間成本最小化，并對(duì)低層潛在變量的多個(gè)繪圖重復(fù)該過程。一旦該過程完成，智能體將第一個(gè)低級(jí)動(dòng)作輸出到效應(yīng)器，整個(gè)情節(jié)可以重復(fù)。

如果我們成功構(gòu)建了一個(gè)這樣的模型，那么所有的模塊都是可微的，因此整個(gè)動(dòng)作優(yōu)化過程可以使用基于梯度的方法來執(zhí)行。

LeCun 的愿景需要更深入的探索，而且前方還有許多艱巨的挑戰(zhàn)。其中最有趣又最困難的一項(xiàng)挑戰(zhàn)是為世界模型將架構(gòu)和訓(xùn)練細(xì)節(jié)實(shí)例化。我們甚至可以說，訓(xùn)練世界模型是未來幾十年人工智能可以真正取得進(jìn)展的主要挑戰(zhàn)。

但是架構(gòu)的許多其他方面仍有待定義，包括如何精確地訓(xùn)練Critic（Critic網(wǎng)絡(luò)的作用是衡量一個(gè)Actor在某狀態(tài)下的優(yōu)劣），如何構(gòu)建和訓(xùn)練配置器，以及如何使用短期記憶來跟蹤世界狀態(tài)和存儲(chǔ)世界狀態(tài)與行動(dòng)的歷史，用內(nèi)在成本來調(diào)整Critic。

LeCun 和其他 Meta AI 的研究人員期待在未來數(shù)月和數(shù)年內(nèi)探索這些內(nèi)容，并與該領(lǐng)域的其他人交流想法和學(xué)習(xí)。創(chuàng)造可以像人類一樣有效地學(xué)習(xí)和理解的機(jī)器是一項(xiàng)長期的科學(xué)努力——而且不能保證成功。但我們相信，基礎(chǔ)研究將繼續(xù)加深對(duì)思想和機(jī)器的理解，并將帶來更多造福人類的人工智能突破成果。

IEEE Spectrum：您曾說過，監(jiān)督學(xué)習(xí)的局限性有時(shí)會(huì)被誤認(rèn)為是深度學(xué)習(xí)的內(nèi)在局限，那哪些限制可以通過自監(jiān)督學(xué)習(xí)來克服呢？

Yann LeCun：監(jiān)督學(xué)習(xí)在一些結(jié)構(gòu)穩(wěn)定的領(lǐng)域中表現(xiàn)很出色。在這些領(lǐng)域中，你可以收集大量的標(biāo)記數(shù)據(jù)，并且在部署過程中可以看到，這些輸入類型與訓(xùn)練過程中使用的輸入類型沒有太大區(qū)別。要收集大量且相對(duì)沒有偏差的標(biāo)記數(shù)據(jù)是很難的。我所說的不一定是社會(huì)偏差，而是說系統(tǒng)不應(yīng)該使用數(shù)據(jù)中的相關(guān)性。一個(gè)非常著名的例子是，當(dāng)你在訓(xùn)練一個(gè)能夠識(shí)別奶牛的系統(tǒng)時(shí)，若訓(xùn)練中用的都是草場(chǎng)上的奶牛，那么系統(tǒng)將把草作為奶牛的背景。如果再給它一頭在海灘上的奶牛，它可能就很難識(shí)別出了。

自監(jiān)督學(xué)習(xí) (SSL) 允許我們訓(xùn)練系統(tǒng)以獨(dú)立于任務(wù)的方式學(xué)習(xí)良好的輸入表示。因?yàn)?SSL 訓(xùn)練使用未標(biāo)記的數(shù)據(jù)，所以我們可以使用非常大的訓(xùn)練集，并讓系統(tǒng)學(xué)習(xí)更穩(wěn)健和更完整的輸入表示。然后，它只需要少量的標(biāo)記數(shù)據(jù)就能在監(jiān)督任務(wù)上獲得良好的性能。這大大減少了純監(jiān)督學(xué)習(xí)所特有的標(biāo)記數(shù)據(jù)量，并使系統(tǒng)更加穩(wěn)健，能夠更好地處理與標(biāo)記訓(xùn)練樣本不同的輸入。它有時(shí)還會(huì)降低系統(tǒng)對(duì)數(shù)據(jù)偏差的敏感性——關(guān)于這一改進(jìn)，我們將在未來幾周內(nèi)分享更多關(guān)于研究的見解。

現(xiàn)在在實(shí)際的 AI 系統(tǒng)中正在發(fā)生的事情是，我們正在轉(zhuǎn)向使用 SSL 對(duì)大量未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的更大架構(gòu)。這些可用于各種任務(wù)。例如，Meta AI 現(xiàn)在擁有可以處理幾百種語言的語言翻譯系統(tǒng)。這是一個(gè)單一的神經(jīng)網(wǎng)絡(luò)！我們還有多語種語音識(shí)別系統(tǒng)。這些系統(tǒng)可以處理幾乎沒有數(shù)據(jù)的語言，更不用說帶注釋的數(shù)據(jù)了。

IEEE Spectrum：其他行業(yè)先驅(qū)說，人工智能的前進(jìn)方向是通過更好的數(shù)據(jù)標(biāo)記來改進(jìn)監(jiān)督學(xué)習(xí)。吳恩達(dá)最近和我談到了以數(shù)據(jù)為中心的AI，英偉達(dá) 的 Rev Lebaredian 和我談到了帶有所有標(biāo)簽的合成數(shù)據(jù)。該領(lǐng)域是否存在關(guān)于前進(jìn)道路的分歧？

LeCun：我不認(rèn)為存在哲學(xué)上的分歧。SSL 預(yù)訓(xùn)練是 NLP 中非常標(biāo)準(zhǔn)的做法。它在語音識(shí)別方面表現(xiàn)出了出色的性能改進(jìn)，并且在視覺方面開始變得越來越有用。然而，“經(jīng)典”監(jiān)督學(xué)習(xí)仍有許多未開發(fā)的應(yīng)用，因此人們當(dāng)然應(yīng)該盡可能使用合成數(shù)據(jù)和監(jiān)督學(xué)習(xí)。據(jù)說英偉達(dá)也正在積極開發(fā) SSL。

早在 2000 年代中期，Geoff Hinton、Yoshua Bengio 和我就確信，我們能夠訓(xùn)練非常大和非常深的神經(jīng)網(wǎng)絡(luò)的唯一方法是通過自監(jiān)督（或無監(jiān)督）學(xué)習(xí)。這也是吳恩達(dá)開始對(duì)深度學(xué)習(xí)感興趣的時(shí)候。他當(dāng)時(shí)的工作也集中在我們現(xiàn)在稱之為自監(jiān)督的方法上。

IEEE Spectrum：自監(jiān)督學(xué)習(xí)如何促成具有常識(shí)的 AI 系統(tǒng)？常識(shí)能把 AI 系統(tǒng)帶向人類水平的智能多遠(yuǎn)？

LeCun：我認(rèn)為，一旦我們弄清楚如何讓機(jī)器像人類和動(dòng)物一樣學(xué)習(xí)世界是如何運(yùn)作的，人工智能就會(huì)取得重大進(jìn)展：這主要是通過觀察，并在觀察中采取行動(dòng)。我們了解世界是如何運(yùn)作的，因?yàn)槲覀円呀?jīng)了解了世界的內(nèi)部模型，該模型使我們能夠填補(bǔ)缺失的信息，預(yù)測(cè)將要發(fā)生的事情，并預(yù)測(cè)我們行動(dòng)的影響。我們的世界模型使我們能夠感知、解釋、推理、提前計(jì)劃和行動(dòng)。

但機(jī)器如何學(xué)習(xí)世界模型呢？這歸結(jié)為兩個(gè)問題：我們應(yīng)該使用什么學(xué)習(xí)范式來訓(xùn)練世界模型？世界模型應(yīng)該使用什么架構(gòu)？

對(duì)于第一個(gè)問題，我的答案是 SSL（自監(jiān)督學(xué)習(xí)）。一個(gè)例子是讓機(jī)器觀看視頻，暫停視頻，然后讓機(jī)器學(xué)習(xí)視頻中接下來會(huì)發(fā)生什么的表示。在這樣做的過程中，機(jī)器可以學(xué)習(xí)大量關(guān)于世界如何運(yùn)作的背景知識(shí)，可能類似于嬰兒和動(dòng)物在生命的最初幾周和幾個(gè)月內(nèi)的學(xué)習(xí)方式。

對(duì)于第二個(gè)問題，我的答案是一種新型的深度宏架構(gòu)，我稱之為分層聯(lián)合嵌入預(yù)測(cè)架構(gòu)（H-JEPA）。簡(jiǎn)單解釋，JEPA 不是預(yù)測(cè)視頻剪輯的未來幀，而是學(xué)習(xí)視頻剪輯的抽象表示和剪輯的未來，以便后者能夠基于對(duì)前者的理解很容易地預(yù)測(cè)。這可以使用非對(duì)比 SSL 方法的一些最新發(fā)展來實(shí)現(xiàn)，特別是我和我的同事最近提出的一種稱為“VICReg”的方法。

IEEE Spectrum：幾周前，你回復(fù)了在OpenAI任職的 Ilya Sutskever 的一條推文，他在推文中推測(cè)，今天的大型神經(jīng)網(wǎng)絡(luò)可能有意識(shí)。你的回答是響亮的“不”。在您看來，構(gòu)建一個(gè)有意識(shí)的神經(jīng)網(wǎng)絡(luò)需要什么？那個(gè)系統(tǒng)會(huì)是什么樣子的？

LeCun：首先，意識(shí)是一個(gè)非常模糊的概念。一些哲學(xué)家、神經(jīng)科學(xué)家和認(rèn)知科學(xué)家認(rèn)為這只是一種幻覺，我非常接近這種觀點(diǎn)。

但我對(duì)導(dǎo)致意識(shí)錯(cuò)覺的原因有一個(gè)猜測(cè)。我的假設(shè)是，我們的前額葉皮質(zhì)中有一個(gè)單一的世界模型“引擎”。該世界模型可根據(jù)當(dāng)前情況進(jìn)行配置。我們是帆船的舵手；我們的世界模型模擬了我們船周圍的空氣和水流。我們建了一張木桌；我們的世界模型想象切割木頭和組裝它們的結(jié)果，等等。

我們的大腦中需要一個(gè)模塊，我稱之為“配置器”，它為我們?cè)O(shè)定目標(biāo)和子目標(biāo)，配置我們的世界模型來模擬當(dāng)前的情況，并啟動(dòng)我們的感知系統(tǒng)以提取相關(guān)信息并丟棄贅余信息。監(jiān)督配置器的存在可能是讓我們產(chǎn)生意識(shí)錯(cuò)覺的原因。但有趣的是：我們需要這個(gè)配置器，因?yàn)槲覀冎挥幸粋€(gè)世界模型引擎。如果我們的大腦足夠大，可以容納許多世界模型，我們就不需要意識(shí)。所以，從這個(gè)意義上說，意識(shí)是我們大腦局限的結(jié)果！

IEEE Spectrum：自監(jiān)督學(xué)習(xí)在元宇宙的構(gòu)建中可以扮演什么角色？

LeCun：深度學(xué)習(xí)在虛擬世界中有很多具體的應(yīng)用，比如 VR 護(hù)目鏡和 AR 眼鏡的運(yùn)動(dòng)跟蹤，捕捉和重新合成身體運(yùn)動(dòng)和面部表情等等。

元宇宙中人工智能驅(qū)動(dòng)的新創(chuàng)意工具有很多機(jī)會(huì)，可以讓每個(gè)人在虛擬世界和現(xiàn)實(shí)世界中創(chuàng)造新事物。但元宇宙也有一個(gè)“純AI”的應(yīng)用：虛擬 AI 助手。我們應(yīng)該有虛擬的 AI 助手，可以在日常生活中幫助我們，回答我們的任何問題，并幫助我們處理每天轟炸我們的海量信息。為此，我們需要我們的 AI 系統(tǒng)對(duì)世界如何運(yùn)作（無論是物理還是虛擬）有一定的了解，有一定的推理和計(jì)劃能力，以及一定程度的常識(shí)。簡(jiǎn)而言之，我們需要弄清楚如何構(gòu)建可以像人類一樣學(xué)習(xí)的自主 AI 系統(tǒng)。這需要時(shí)間。但是Meta在這條賽道上已經(jīng)走了很長時(shí)間。