ChatGPT上線僅2個多月，就已火遍全球，月活用戶超過1個億。

ChatGPT不僅可以作為一款功能強大的搜索引擎，陪人們娛樂聊天，還能完成寫文章、敲代碼、翻譯等工作。在美國，有學生用ChatGPT生成的論文拿到了全班最高分。由于它過于強大，人類開始為自己感到擔憂，會不會被AI控制？是否會取代人類的工作崗位？

這個“無所不能”的ChatGPT到底是什么？澎湃問吧邀請上海人工智能研究院研究員陳逸君，一起聊聊ChatGPT以及AI的發(fā)展變遷。

點擊圖片即可提問

對人類社會的影響

@a勇188：會有很多人因為ChatGPT失業(yè)嗎？

陳逸君：我認為這個問題需要辯證地去看待。短期來看一些諸如客服、公文寫作、數(shù)據(jù)分析等較為基礎的崗位可能會被取代。但就目前的情況而言，我認為人工智能在未來歷史的很長時期內(nèi)都無法取代人類創(chuàng)造性的腦力活動，它實質(zhì)上并不具有真正的思辨能力。而且，人工智能的迅速發(fā)展又會創(chuàng)造很多需要創(chuàng)造性勞動的崗位，長期來看有益于人類的發(fā)展。正如蒸汽機替代馬車一樣，馬車夫這一行業(yè)漸漸消失了，但更多的機會涌現(xiàn)了，人類的生產(chǎn)效率也得到了飛速提升。我認為應當樂觀地看待這件事情。

@澎湃網(wǎng)友6RVv6j：ChatGPT會不會自行發(fā)展智慧，最后擺脫人類控制？

陳逸君：我認為目前來看不可能。ChatGPT是OpenAI公司基于GPT-3模型開發(fā)的生成式聊天機器人應用。而GPT-3是一種基于深度神經(jīng)網(wǎng)絡的大型預訓練語言模型。以我對目前深度神經(jīng)網(wǎng)絡預訓練方式和模型結(jié)構(gòu)的了解，其運作原理與生物大腦有著深刻的本質(zhì)性的區(qū)別。ChatGPT更像是對全球人類歷史經(jīng)驗的一個總結(jié)，卻不具備真正意義上的思辨能力，因而以當前的技術(shù)路線發(fā)展下去的話，無法完成您所描述的自我演化。

@橙子靚靚：在一些科幻電影中，人工智能可以不斷學習人類的語言，最終擁有和人類類似的思想。ChatGPT是否擁有這樣的學習能力，未來AI能夠進步到可以給人類提供情緒價值，甚至變成線上伴侶嗎？

陳逸君：ChatGPT經(jīng)過大量數(shù)據(jù)的訓練，對人類交流的模仿已經(jīng)到了真?zhèn)坞y辨的地步。如果算力和容量能夠無限堆積，ChatGPT應該能在這條“形似”的路線上走到極致，一定程度上或許能滿足用戶的情緒價值需求。

但是，他始終是在已經(jīng)看到過的歷史信息中尋找相似的答案進行反饋。在和他的對話中，能夠清晰感覺到他沒有邏輯思辨能力，無法舉一反三，沒有創(chuàng)造性和發(fā)散性的思維。通過訓練，他或許知道某段文字在統(tǒng)計概率上分屬哪一類情感，但是他始終不會形成自己的人格。就個人觀點而言，比起與一個把模仿做到極致的機器人聊天，我更會被人類創(chuàng)作的包含情感和理性的音樂、文學、電影、游戲等作品感動。

本質(zhì)上，ChatGPT所基于的可微分的人工神經(jīng)網(wǎng)絡，與生物脈沖神經(jīng)網(wǎng)絡的運作機制有著巨大區(qū)別。AI通過訓練得到知識的過程，也與人類對世界的認知方式有著天壤之別。如果您所希望的產(chǎn)物是強人工智能的伴侶，目前的技術(shù)路線下，我認為很難實現(xiàn)。究竟人類的“思考”、“情緒”等能力的本質(zhì)是什么，還有待腦神經(jīng)科學研究的進步發(fā)展來揭示。

ChatGPT的技術(shù)邏輯

@Edwards：請問ChatGPT對政治問題的回答邏輯是怎么實現(xiàn)的？

陳逸君：ChatGPT對于所有問題的回答邏輯都是一致的。他所基于的GPT-3是一種大型預訓練語言模型。每時每刻發(fā)生在全球互聯(lián)網(wǎng)中的所有語料，都可以成為它的訓練材料。他擁有1750億參數(shù)，這些參數(shù)被訓練后記憶了大量信息，如果您輸入的問題（或描述）與他曾經(jīng)看到的某些信息很相像，他便可以輸出對應答案或下文。不過，ChatGPT中還加入了某些檢測機制，因此對于一些較為敏感的問題，會選擇拒絕或回避回答。

@大大大寶劍：基于GPT-3的訓練需要很大的成本嗎？有報道說ChatGPT一次訓練要1200美元。具體是怎么訓練的？

陳逸君：GPT-3目前已經(jīng)把模型參數(shù)增加到了1750億，訓練數(shù)據(jù)規(guī)模也達到了45TB。想必通過這兩個數(shù)字，也能直觀感受到其巨大的算力開銷。我們所說的包括GPT在內(nèi)的深度學習模型，通常都是指基于深度人工神經(jīng)網(wǎng)絡的算法模型，也有另一類基于脈沖神經(jīng)網(wǎng)絡的研究。其最基本的訓練方式是構(gòu)造最小化損失函數(shù)對梯度進行求導，利用反向傳播進行參數(shù)更新。通俗一點理解的話，可以把1750億個參數(shù)都想象成自變量，把損失函數(shù)想象成因變量，它們之間的關系是非線性的且無法直觀獲得的。

理論上，依據(jù)鏈式求導法則對這樣一個龐大的關系式進行微分，可以實現(xiàn)梯度的反向傳播，從而更新參數(shù)。而在計算機中，這一過程采用一種叫做自動微分的算法實現(xiàn)。超大型預訓練模型對GPU算力資源的要求非常高，而且可能需要分布式的計算資源協(xié)同完成，因而還會產(chǎn)生網(wǎng)絡開銷。這些都是普通用戶或中小型公司所不具備的。

新一輪AI革命

@SELINAA：在ChatGPT之前已經(jīng)有過很多聊天機器人，比如蘋果的SIRI。請問它爆紅的原因是什么，在技術(shù)領域有什么突破性的進步？

陳逸君：我認為您所想了解的突破性進步，大概發(fā)生在2017年。Transformer模型和注意力機制的提出改變了整個AI界，其首先在自然語言處理任務上展現(xiàn)出非凡的能力，之后又不斷演化，并被用于圖像處理、聲音處理甚至多模態(tài)的任務當中。通俗來講，注意力機制使模型更加關注重要的信息，而忽略不重要的信息，使得同樣的參數(shù)量下模型能力得到質(zhì)的飛躍。

追根溯源，ChatGPT背后的模型正是Transformer。Transformer當年早已火遍學術(shù)圈，而ChatGPT現(xiàn)在才火出圈，我認為是更強的算力、更大的模型從量變產(chǎn)生了質(zhì)變。正如您所說，SIRI、Cortana等應用對自然語言的理解往往不盡如人意，而ChatGPT擁有千億級的參數(shù)，能夠在模型隱藏層中記憶更多信息，并且能夠把用戶的提示信息和自己的上一次輸出包含在下一次的輸入當中，理解上下文依賴關系。

模型的膨脹、算力的擴張，理論上可以不斷堆積下去，AI便能記住更多和更久遠的信息。只要能找到合適的模型訓練方法，這條技術(shù)路線能在對人類的“形似”上走到極致，讓AI能夠回答任何有答案的問題。這究竟算不算一種突破性的進步，相信您有自己的判斷。

@非我惟主：新聞說阿里巴巴正研發(fā)"阿里版"ChatGPT，目前處于內(nèi)測階段。請問中國版與原版將會有何不同？未來會強過對方嗎？

陳逸君：ChatGPT所基于的GPT-3模型在2021年被復現(xiàn)，目前處于開源的狀態(tài)，因而無論哪家公司去做ChatGPT，其理論基礎都是相同的。但是，ChatGPT需要使用大量語料進行預訓練，而全球互聯(lián)網(wǎng)中英語使用頻率遠高于其他語言。英語與中文在語言特性上有著巨大差異，因此，OpenAI的ChatGPT對于中文是缺少優(yōu)化的。

阿里、百度等企業(yè)作為其所處領域的行業(yè)巨頭，在中文環(huán)境下?lián)碛衅渌髽I(yè)所不可比擬、無法獲得的海量數(shù)據(jù)信息。利用這些數(shù)據(jù)對ChatGPT進行預訓練，并且針對中文的語言特點進行模型優(yōu)化、剪枝等等，將使得他們做出來的ChatGPT在中文互聯(lián)網(wǎng)環(huán)境中表現(xiàn)更為優(yōu)異。未來，在工程化和應用方面，我認為“中國版”一定會在某些領域發(fā)揮自己的特色。

@江海云鶴：除了ChatGPT外，目前比較有名的人工智能軟件還有哪些？它們各有哪些功能和特點？

陳逸君：從廣義的軟件定義來講，人工智能技術(shù)早已滲透在我們?nèi)粘Ｉ畹姆椒矫婷?。我們手機、平板里的修圖軟件、會議軟件等等，目前普遍集成了基于深度學習的圖像、視頻處理技術(shù)；我們使用的聊天軟件中，也廣泛采用了語音識別、文字生成技術(shù)；而在駕駛導航、車路協(xié)同、自動駕駛等領域，更是融合了處理多模態(tài)時序數(shù)據(jù)相關的人工智能技術(shù)……此等事例不勝枚舉。作為科研工作者，用于輔助代碼編寫的工具Copilot極大提高了我的工作效率。此外，我比較關注最新涌現(xiàn)的基于擴散模型的相關應用， 如AI作畫的 Stable Diffusion 和音頻生成的AudioLDM等等。