2023 年智源大會(huì)如期召開！

這場(chǎng)匯集了 Geoffery Hinton、Yann LeCun、姚期智、Joseph Sifakis、Sam Altman、Russell 等一眾幾乎是 AI 領(lǐng)域?qū)W界業(yè)界“半壁江山”的大佬們的學(xué)術(shù)盛會(huì)，聚焦 AI 領(lǐng)域的前沿問(wèn)題，討論尤其是大模型出現(xiàn)后 AI 新時(shí)代的新風(fēng)向。

縱觀整個(gè)開幕式的議程設(shè)置，在致辭環(huán)節(jié)結(jié)束后，首先由智源研究院院長(zhǎng)黃鐵軍帶來(lái)了智源研究院近期進(jìn)展的報(bào)告，報(bào)告開宗明義，實(shí)現(xiàn)所謂真正的人工智能目前有三條進(jìn)路，分別是當(dāng)下 GPT 為代表的自監(jiān)督深度學(xué)習(xí)到信息模型的進(jìn)路，以 DQN 為代表的強(qiáng)化學(xué)習(xí)到具身模型的進(jìn)路以及基于第一性原理的生命科學(xué)腦科學(xué)進(jìn)路

基于這三條進(jìn)路按圖索驥，黃鐵軍院長(zhǎng)介紹了智源近期的開源工作，其中最重要的當(dāng)屬悟道3.0全面開源，其中比較有趣的工作有：

• “悟道·天鷹（Aquila）”語(yǔ)言大模型系列：首個(gè)支持中英雙語(yǔ)知識(shí)、商用許可，符合國(guó)內(nèi)數(shù)據(jù)要求的開源大模型；
• “天秤（FlagEval）”大語(yǔ)言評(píng)測(cè)體系及開放平臺(tái)：通過(guò)能力-任務(wù)-指標(biāo)三維評(píng)價(jià)體系，構(gòu)建了一個(gè) 30+ 種能力 x 5 種任務(wù) x 4大類指標(biāo)超過(guò) 600+ 維度的全面測(cè)評(píng)體系；
• FlagOpen飛智大模型技術(shù)開源體系：集成了一個(gè)完整的大模型算法技術(shù)倉(cāng)庫(kù)，從零開始也能 Follow 大模型的基礎(chǔ)工作；
• 天演-生命模擬工程：通過(guò)腦模擬實(shí)現(xiàn)生物啟發(fā)的通用人工智能模型。

當(dāng)然，整個(gè)上午場(chǎng)最吸引眼球的報(bào)告，肯定是圖靈獎(jiǎng)得主，三巨頭之一的 Yann LeCun 與未來(lái)生命研究所創(chuàng)始人，MIT 教授 Max Tegmark 的演講，而頗為戲劇性的是兩位的觀點(diǎn)又恰巧十分之對(duì)立，Yann LeCun 教授觀點(diǎn)直入主題：“Machine Learning Sucks”，意指當(dāng)前大模型的技術(shù)路徑或許根本無(wú)法實(shí)現(xiàn)對(duì)人類有威脅的真正的人工智能，而 Max Tegmark 教授則反復(fù)強(qiáng)調(diào)“Keep AI Under Control”，如果 AI 失控則會(huì)導(dǎo)致“Lights Out for All of Us”，不談技術(shù)進(jìn)路如果回顧歷史，人類的出現(xiàn)導(dǎo)致了智能更低的長(zhǎng)毛象的滅絕，面對(duì)日新月異發(fā)展速度可怕的人工智能體，Keep AI Under Control 異常有必要。

人在法國(guó)的 Yann LeCun 教授在法國(guó)那邊凌晨四點(diǎn)與會(huì)場(chǎng)嘉賓與觀眾直播連線，開頭就指出了對(duì)比人類或動(dòng)物智能，當(dāng)前大模型智能基礎(chǔ)監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的主要問(wèn)題：

• 有監(jiān)督學(xué)習(xí)：要求太多標(biāo)注數(shù)據(jù)，人類智能或者動(dòng)物智能在成長(zhǎng)環(huán)境中必然不是依賴如此規(guī)模的標(biāo)注工程而形成的智能；
• 強(qiáng)化學(xué)習(xí)：強(qiáng)化學(xué)習(xí)要求太多完全不合理的“試錯(cuò)”，真正的智能似乎學(xué)習(xí)的更快也更魯棒；

這就造成了當(dāng)前大模型的技術(shù)架構(gòu)，即自回歸大規(guī)模語(yǔ)言模型，往往會(huì)出現(xiàn)“脆弱”，“不會(huì)計(jì)劃”，“不合理的輸出”等等許多問(wèn)題，表現(xiàn)在應(yīng)用中將是“事實(shí)錯(cuò)誤”，“邏輯錯(cuò)誤”，“不一致”……等等問(wèn)題。

而 Yann LeCun 教授指出，大模型為什么會(huì)這樣？因?yàn)樗鼈兪聦?shí)上就根本沒(méi)有理解現(xiàn)實(shí)世界，很精辟的總結(jié)在于“ We are easily fooled by their fluency. But they don't kown how the world works”

歸根結(jié)底， Yann LeCun 教授認(rèn)為當(dāng)前 AI 只靠語(yǔ)言模型必然走不遠(yuǎn)，那么未來(lái)是什么呢？

答案就是 Yann LeCun 教授最近反復(fù)強(qiáng)調(diào)的“世界模型”，教授構(gòu)想的可以支持推理與規(guī)劃的真正的“智能體”應(yīng)該包含以上六個(gè)組件，分別是配置器（Configurator）模塊，感知模塊（Perception module），世界模型（World model），成本模塊（Cost module），Actor 模塊，短期記憶模塊（Short-term memory module）。

而其中最重要的部件，就是世界模型，而如何訓(xùn)練一個(gè)不是用于簡(jiǎn)單分類回歸，而是表征多種預(yù)測(cè)的世界模型呢？Yann LeCun 教授提出了聯(lián)合嵌入預(yù)測(cè)架構(gòu)（Joint-Embedding Predictive Architecture，JEPA），并對(duì)架構(gòu)做出了細(xì)致的闡述。這些思想被總結(jié)發(fā)表在《A path towards autonomous machine intelligence》之中，我們之前也有過(guò)報(bào)道（傳送門：LeCun最新演講，痛批GPT類模型沒(méi)前途，稱“世界模型”是正途！）

另一邊，Max TegMark 教授在 Keep AI Under Control 的大觀點(diǎn)下，著重?cái)⑹隽宋覀儜?yīng)當(dāng)如何 Keep AI Under Control，教授認(rèn)為，核心將在于“Align AI 以及 Multiscale Alignment”，即其核心思想在于，如何使得 AI 與人類的價(jià)值觀、想法保持一致，并且這種一致不是個(gè)體化的一致，而是群體性的、廣泛性的一致。那么繼續(xù)深入，如何“對(duì)齊”，如何保持多尺度大規(guī)模的“對(duì)齊”？答案將是或許也只能是對(duì)“可解釋性”領(lǐng)域的研究。教授著重介紹了幾篇工作：

以 Quanta 為概念基礎(chǔ)為大模型 Scale Law 與涌現(xiàn)能力做解釋的《The Quantization Model of Neural Scaling》

研究 Transformer 中事實(shí)知識(shí)存儲(chǔ)修改與編輯的《Locating and Editing Factual Associations in GPT》，這篇我們做了解讀（傳送門：MIT發(fā)現(xiàn)語(yǔ)言模型內(nèi)的事實(shí)知識(shí)可被修改？？）

研究模型預(yù)測(cè)能力本質(zhì)的《Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task》等等一系列真正相關(guān)模型黑盒內(nèi)部構(gòu)造的論文。

事實(shí)上，我們對(duì) AI 可控可靠的要求，可能從低到高分為了 Diagnose Trustworthiness，Improve Trustworthiness 以及 Guarantee Trustworthiness，最開始我們只是確信像腳踩剎車一樣踩下去速度就會(huì)降低，而不用理解剎車器的原理，而更加 Improved 之后的信任可能來(lái)自于部分的理解，理解剎車器的一些操作原理，而真正的 Guarantee Trustworthiness 則在于將那個(gè)“黑盒”完全透明化，深度的理解內(nèi)部全部的知識(shí)并且可以復(fù)現(xiàn)與移植。

總而言之，在當(dāng)前這樣一個(gè)真正的智能 AI 還處在混沌期的時(shí)間節(jié)點(diǎn)，我們必然不應(yīng)該“Overtrust AI”，而應(yīng)該將其限制在一個(gè)可控的范圍內(nèi)，而要想使得大模型或者 AI 可靠可控，其必要一步與關(guān)鍵一招就是需要將 AI 的黑盒打開，即對(duì) AI 可解釋性研究的關(guān)注。

最后，開幕式后，9 號(hào)下午與 10 號(hào)全天還有 20 個(gè)分論壇百場(chǎng)報(bào)告，在各個(gè)不同的子領(lǐng)域，都有大咖學(xué)者親臨現(xiàn)場(chǎng)，精彩還在繼續(xù)，感興趣的大家可以關(guān)注2023年智源大會(huì)的日程安排！