世界模型的開發(fā)應(yīng)該接下來是一個(gè)很好的方向，因?yàn)槭澜缒Ｐ妥畲蟮囊粋€(gè)核心其實(shí)是，讓它真正地認(rèn)識(shí)到那些不可約化的東西，還有你認(rèn)識(shí)到自身的邊界在哪。因?yàn)槟阕鋈魏蔚氖虑樗怯幸环N框架性，對(duì)吧？你真實(shí)的世界就是這樣的，真實(shí)世界它的框架來自于，大量的物理事實(shí)和人際關(guān)系的情緒事實(shí)，這個(gè)世界運(yùn)轉(zhuǎn)時(shí)候的一種這種政治邏輯，對(duì)吧？

這是幾種很多東西，這是你的世界的框架，你如果只是從語言的角度去理解世界的時(shí)候，你就發(fā)現(xiàn)不了這個(gè)世界真實(shí)的那一個(gè)框架。這部分現(xiàn)在我覺得在GPT4的這個(gè)級(jí)別上，因?yàn)樗菍儆谡Z言模型，它還沒有達(dá)到說后面的開放式的世界模型的這種級(jí)別，那看起來OpenAI一直在這方面努力。

以Yann Lecun的定義，Sora目前是遠(yuǎn)不能達(dá)到世界模型的標(biāo)準(zhǔn)，而更多的學(xué)界大佬對(duì)則認(rèn)為OpenAI有夸大宣傳的嫌疑。Yann LeCun本人就曾多次公開“狠批”Sora，表示“生成視頻的過程與基于世界模型的因果預(yù)測(cè)完全不同”。

南京大學(xué)人工智能學(xué)院教授俞揚(yáng)也反對(duì)將Sora歸類于世界模型。他提出，世界模型的核心在于反事實(shí)推理（Counterfactual reasoning），即便對(duì)于數(shù)據(jù)中沒有見過的決策，在世界模型中都能推理出決策的結(jié)果。Sora生成的視頻，僅能通過模糊的提示詞引導(dǎo)，而難以進(jìn)行準(zhǔn)確的操控。因此Sora就是一個(gè)視頻工具，難以作為反事實(shí)推理的工具去準(zhǔn)確的回答what if問題。

至于OpenAI未來究竟能不能推出真正的世界模型，Yann LeCun和Chollet都表達(dá)了質(zhì)疑態(tài)度。Chollet提到，如果按照目前OpenAI所采用的“大數(shù)據(jù)、大模型、大算力”的暴力美學(xué)路線，是不可能構(gòu)建出能廣泛適用于現(xiàn)實(shí)世界所有情況的模型，因?yàn)楝F(xiàn)實(shí)世界的復(fù)雜度和多樣性遠(yuǎn)遠(yuǎn)超出了任何模型通過有限數(shù)據(jù)所能學(xué)習(xí)到的范圍。

然而，業(yè)界也有一些積極的聲音。在英偉達(dá)研究院高級(jí)研究員Jim Fan看來，Sora已經(jīng)是一個(gè)世界模型，包含了世界模型所需要的所有元素。Jim Fan在LinkedIn上轉(zhuǎn)發(fā)了Yann LeCun對(duì)世界模型的定義，并評(píng)論說：

Sora本質(zhì)上是一個(gè)世界模型，“無操作”是唯一允許的操作。 您可以設(shè)置世界的初始狀態(tài)，在潛在空間中運(yùn)行模擬，并被動(dòng)觀察發(fā)生的情況?，F(xiàn)在沒辦法主動(dòng)干預(yù)。

但能否主動(dòng)干預(yù)，OpenAI官方似乎是有一些不同的說法。但無論如何，Jim Fan對(duì)Sora能成為世界模型的樂觀是可以理解的。AI視頻生成的用途絕不僅僅在娛樂和藝術(shù)創(chuàng)作上，視頻數(shù)據(jù)可以捕捉到難以用語言表達(dá)的物理世界中的重要信息和數(shù)據(jù)，這將在AI智能體，AI機(jī)器人，計(jì)算引擎，環(huán)境模擬器，生成游戲環(huán)境等等科學(xué)和工程研究中，極大程度推動(dòng)相關(guān)科研的發(fā)展。

最近英偉達(dá)宣布，Jim Fan將在英偉達(dá)內(nèi)部領(lǐng)導(dǎo)組建一個(gè)新研究小組，GEAR，是“Generalist Embodied Agent Research”的簡(jiǎn)稱，中文是“通用具身智能體研究”。

如果大家去看看硅谷101之前推出的《AI機(jī)器人》那期節(jié)目，在結(jié)尾的時(shí)候就說到：具身智能機(jī)器人在現(xiàn)實(shí)世界訓(xùn)練太困難，采集數(shù)據(jù)太慢太昂貴，而在模擬器中訓(xùn)練將是重要的研究方向，包括斯坦福著名的人工智能學(xué)者李飛飛教授就是這一流派的倡導(dǎo)者，而Jim Fan當(dāng)時(shí)在斯坦福時(shí)正是李飛飛的博士生。

順便說一句，現(xiàn)在蘋果的Vision Pro也出來了，業(yè)內(nèi)人士認(rèn)為這將是很好的采集現(xiàn)實(shí)空間數(shù)據(jù)的儀器。

因此，“模擬”Simulation對(duì)機(jī)器人和智能體行業(yè)都將有著重要的意義，而Sora，如果成為“現(xiàn)實(shí)世界模擬器”，將極大的助力這個(gè)行業(yè)的發(fā)展。這一點(diǎn)，我們也從斯坦福非常熱門的炒菜機(jī)器人團(tuán)隊(duì)Aloha的創(chuàng)始團(tuán)隊(duì)那里得到了肯定。

Tony Z.Zhao，斯坦福大學(xué)開源機(jī)器人Mobile ALOHA項(xiàng)目聯(lián)合負(fù)責(zé)人：

這肯定會(huì)很有幫助，或者說任何一種更大規(guī)模的pre-training（預(yù)訓(xùn)練）都會(huì)大有幫助。例如，在這種情況下，杯子就像是半透明的。在測(cè)試時(shí)，如果我扔一個(gè)藍(lán)色的杯子，它就不會(huì)工作。但是，如果我們期待一個(gè)正確實(shí)施的互聯(lián)網(wǎng)pre-training（預(yù)訓(xùn)練），與這個(gè)數(shù)據(jù)集相結(jié)合，或者在藍(lán)色杯子上工作，也不是沒有道理的。因?yàn)橐苍S世界模型中捕捉到了一些常識(shí)，它會(huì)告訴你，無論杯子是藍(lán)色、紅色還是半透明的，處理它的方法都是一樣的。因此，我會(huì)期待這樣的世界模型能在泛化方面帶來進(jìn)展。

近期，來自Google DeepMind的研究科學(xué)家 Sherry Yang及其團(tuán)隊(duì)，聯(lián)合業(yè)界資深研究員在一篇題為“Video as the New Language for Real-World Decision Making”的論文中，探索了視頻生成技術(shù)在機(jī)器人，自動(dòng)駕駛和各類科學(xué)領(lǐng)域研究的重大用途，并總結(jié)說：視頻生成之于物理世界，就如同語言建模之于數(shù)字世界。

所以，到這里我們總結(jié)一下，Sora可能并不是一個(gè)成熟的產(chǎn)品，它還沒有到ChatGPT時(shí)刻，現(xiàn)在可能算得上是GPT3時(shí)刻，但OpenAI對(duì)Sora的官宣讓我們看到了生成式AI視頻最前沿的技術(shù)流派進(jìn)步，以及用高算力和大參數(shù)也能達(dá)到“涌現(xiàn)”的技術(shù)突破。同時(shí)，在AI機(jī)器人和具身智能等學(xué)術(shù)和研究領(lǐng)域，大家很期待Sora能助力更多更高效的研發(fā)，而至于Sora距離商用還有多愿，我們得先等Sora正式發(fā)布，大家都用起來，才能知道了。

但同時(shí)，生成式AI視頻大模型的競(jìng)爭(zhēng)才剛剛開始，雖然OpenAI目前展示了絕對(duì)的領(lǐng)先地位，遠(yuǎn)超runway和pika等一眾創(chuàng)業(yè)公司，但谷歌也緊追其后。就在2月28日，谷歌Deepmind發(fā)布了新的可交互視頻生成模型Genie。

這款名為 Genie 的新模型可以接受簡(jiǎn)短的文字描述、手繪草圖或圖片，并將其變成一款可玩的電子游戲，游戲風(fēng)格類似于超級(jí)馬里奧等經(jīng)典的 2D 平臺(tái)游戲。雖然Genie只是一個(gè)內(nèi)部研究項(xiàng)目也暫時(shí)不會(huì)對(duì)外界發(fā)布，但業(yè)內(nèi)人士認(rèn)為，我們可能很快會(huì)看到Genie的3D版本，也會(huì)有基于視頻生成的游戲引擎，而這也清楚的向外界透露，和OpenAI一樣，谷歌等一眾科技巨頭在生成式AI視頻上的野心絕不僅限于視頻用于娛樂，而在虛擬環(huán)境中訓(xùn)練機(jī)器人，才是更重要的星辰大海。

以上就是我們硅谷101對(duì)Sora以及生成式AI視頻大模型發(fā)展的簡(jiǎn)單梳理，為了更簡(jiǎn)明的解釋技術(shù)，我們將很多技術(shù)細(xì)節(jié)稍有省略和簡(jiǎn)化，如果有描述不準(zhǔn)確、類比不適合的地方，歡迎大家多多指正和探討。