你好，我是王煜全，這里是王煜全要聞評(píng)論。

3月23日凌晨，就在英偉達(dá)GTC發(fā)布會(huì)后，老黃與OpenAI聯(lián)合創(chuàng)始人、首席科學(xué)家伊爾亞·蘇茨克維（Ilya Sutskeve）的訪談視頻也發(fā)布了出來。

伊爾亞可能很多人都不太了解，他的老師正是掀起了上一輪AI變革的Geoffrey Hinton，伊爾亞自己也是一路引領(lǐng)AI變革的研究者之一。

他是第一代卷積神經(jīng)網(wǎng)絡(luò)AlexNet的發(fā)明人之一；2013年12月，隨著Hinton的研究公司DNNResearch被谷歌收購，伊爾亞也成為了谷歌的人工智能研究員，參與了Alpha Go的研發(fā)，見證了AI的第一輪爆發(fā)。

2015年，他離開谷歌參與創(chuàng)辦了OpenAI，并將他對(duì)AI大模型和語義理解上的洞見付諸實(shí)踐，最終成就了今天的GPT系列人工智能。

作為今天AI技術(shù)領(lǐng)域的領(lǐng)軍人物，老黃與伊爾亞的訪談，不但讓我們能以親歷者的視角，描繪出這輪變革的一個(gè)側(cè)面，也能讓我們看到一些AI技術(shù)前沿的新趨勢(shì)。

今天我就和大家分享從這段訪談中看到的三個(gè)關(guān)鍵點(diǎn)，一起看看AI變革都經(jīng)歷了什么，未來有啥值得我們關(guān)注的。

第一點(diǎn)，科學(xué)范式與原理的變革充滿了靈光一閃和不確定，很難預(yù)測(cè)，只有站在技術(shù)前沿才能把握未來趨勢(shì)。

這段訪談總共55分鐘，我注意到伊爾亞經(jīng)常提到「直覺」兩個(gè)字，從投身神經(jīng)網(wǎng)絡(luò)研發(fā)，把卷積神經(jīng)網(wǎng)絡(luò)用到圖像識(shí)別領(lǐng)域，以及GPT系列把參數(shù)規(guī)模作為突破口，他在AI技術(shù)每個(gè)關(guān)鍵節(jié)點(diǎn)的選擇，依賴的都是個(gè)人直覺。

這種直覺背后肯定有他常年研究積累下的「隱性知識(shí)」，比如談及為什么相信「AI模型大就是好」，他提到自己早年在圖像神經(jīng)網(wǎng)絡(luò)上就觀察到，「更深更大」的神經(jīng)網(wǎng)絡(luò)表現(xiàn)就是會(huì)好一些，他當(dāng)時(shí)并不明白原因是什么，但事實(shí)讓他逐漸形成了這個(gè)信念。

這就是科技特訓(xùn)營(yíng)常說科學(xué)原理和范式突破總是階梯式發(fā)展的原因，每次大的突破背后總有某個(gè)研究者、科學(xué)家的靈光一閃，突破何時(shí)發(fā)生很難事前預(yù)料。

好在推動(dòng)社會(huì)的核心力量是能讓科學(xué)成果普及化的技術(shù)，上游科學(xué)的突破很難被提前掌握，下游技術(shù)應(yīng)用的趨勢(shì)卻是我們能夠看到的，無論是最早AlexNet在圖像識(shí)別上的成就，還是AlphaGo在圍棋上戰(zhàn)勝人類，抑或是ChatGPT上一代GPT-3的更優(yōu)表現(xiàn)，這些都是能被觀察到的，它們背后的技術(shù)組合也是能被看到的，由此我們也就可以提前掌握技術(shù)發(fā)展的脈絡(luò)。

第二點(diǎn)，AI大模型這一輪變革，表面看起來是參數(shù)、規(guī)模涌現(xiàn)的結(jié)果，其實(shí)根源上還是「數(shù)據(jù)工程」。

聊起這輪AI大模型為什么會(huì)有如此好的表現(xiàn)，不懂行的人會(huì)告訴你這是AGI，通用人工智能出現(xiàn)了，了解一些的人會(huì)說這是模型參數(shù)規(guī)模增加后「涌現(xiàn)」的結(jié)果。

伊爾亞和老黃的對(duì)談中，簡(jiǎn)單解釋了卷積神經(jīng)網(wǎng)絡(luò)、GPU并行計(jì)算、小型循環(huán)神經(jīng)網(wǎng)、情感神經(jīng)元以及無監(jiān)督學(xué)習(xí)等技術(shù)組合在一起的作用。

他在訪談中還提到一個(gè)很關(guān)鍵的地方，所有的方法最后都是為了讓AI找到數(shù)據(jù)中隱藏的關(guān)聯(lián)，以上所有的技術(shù)組合到一起，為的正是讓AI能在看到「你吃飯了沒？」這段話時(shí)，一個(gè)字接一個(gè)字的預(yù)測(cè)出接下來正確的回答是「吃了」或者「沒吃」。

伊爾亞在接受麻省理工學(xué)院計(jì)算機(jī)科學(xué)家lex fridman采訪時(shí)更詳細(xì)的解釋了這部分內(nèi)容，當(dāng)時(shí)他們聊到AI能從人類數(shù)據(jù)中，找到很多我們自己都沒有意識(shí)到的規(guī)律存在，但是如果數(shù)據(jù)不夠多，AI很容易就會(huì)出現(xiàn)過擬合，把一些不是規(guī)律的關(guān)聯(lián)當(dāng)作線索，所以當(dāng)時(shí)出現(xiàn)了很多為解決這個(gè)問題的工程優(yōu)化方法。

直到Transformer模型出現(xiàn)，他們看到了讓AI穩(wěn)定預(yù)測(cè)下一個(gè)字的技術(shù)，也借此開啟了超大數(shù)據(jù)集與超大模型匹配的訓(xùn)練之路，而隨著GPT-4的預(yù)測(cè)精度更高，它不但交流水平有提升，在數(shù)學(xué)這個(gè)極度需要邏輯推理的領(lǐng)域，也有明顯進(jìn)步。

了解完這段開發(fā)過程還是不禁讓我感慨，一方面是AI大模型的開發(fā)，看起來像科研，其實(shí)更像是一個(gè)「數(shù)據(jù)工程」，本質(zhì)上是使用非常多的算法組合到一起，結(jié)合上正確的「訓(xùn)練」方法，讓AI找到人類數(shù)據(jù)中一直未被大家找到的經(jīng)驗(yàn)邏輯。就是我們一直強(qiáng)調(diào)的，科研成果出現(xiàn)后要經(jīng)歷漫長(zhǎng)的性能調(diào)優(yōu)過程。

另一方面，或許人類的智能并沒有想象中的復(fù)雜，認(rèn)知科學(xué)領(lǐng)域一直有人腦是不是臺(tái)「預(yù)測(cè)機(jī)器」的爭(zhēng)論，今天人工智能領(lǐng)域的進(jìn)展讓我們看到，至少在語義方面，預(yù)測(cè)下一個(gè)字更精確，就能得到更接近人類的語言能力，甚至是邏輯推理能力，隨著理解圖片的多模態(tài)能力集成上來，未來的表現(xiàn)更加難以預(yù)料了。

最后一點(diǎn)，下一輪AI的大變革，將如何發(fā)生？

訪談最后老黃提出了一個(gè)關(guān)于未來的問題，今天OpenAI在訓(xùn)練大模型時(shí)雖然主要還是依賴人類數(shù)據(jù)，但已經(jīng)開始用大模型來相互訓(xùn)練，未來會(huì)不會(huì)像Alpha Zero一樣，只靠AI自己相互訓(xùn)練就能得出一個(gè)更強(qiáng)的超級(jí)人工智能呢？

伊爾亞的回答比較謹(jǐn)慎，他認(rèn)為AI自我訓(xùn)練的可能性還有待觀察，但他認(rèn)為AI未來必然會(huì)表現(xiàn)更好，影響更大。

一個(gè)很重要的原因是：在他看來雖然今天有不少技術(shù)上的進(jìn)步，但20多年來人工神經(jīng)網(wǎng)絡(luò)的架構(gòu)并沒有太大的變化，訓(xùn)練的基礎(chǔ)算法還是一樣的，只是今天變得更大、數(shù)據(jù)更多。

這些細(xì)微的調(diào)整就能取得這樣驚人的效果，未來也許只需要一些學(xué)習(xí)算法上的改進(jìn)，訓(xùn)練方法的優(yōu)化，就能見到更大的突破出現(xiàn)。

你看了老黃和伊爾亞的對(duì)談嗎？你從中有哪些收獲呢？也歡迎你留言分享，我們一起看看AI還有哪些趨勢(shì)正在形成中。