對ChatGPT的二十點看法

sun918 2023-02-16 發(fā)布于北京

展開全文

TJUNLP

【導(dǎo)讀】二十點看法分為五大部分：總體看法、ChatGPT技術(shù)發(fā)展、國內(nèi)同類技術(shù)、ChatGPT背后大模型技術(shù)的爭議、未來趨勢。

一、總體看法

1. 從人工智能發(fā)展角度看，這是認(rèn)知智能發(fā)展的一個重要里程碑，其意義要高于7年前的AlphaGo。

AlphaGo是在人類智慧高強度體現(xiàn)的領(lǐng)域（圍棋），機器戰(zhàn)勝了人類，基于數(shù)據(jù)和算法，它刷新了普通大眾對人工智能技術(shù)的看法，但是其本身并不能廣泛應(yīng)用，普通大眾也難以與其直接接觸。

ChatGPT則完全不同，它是在人類三歲小孩就逐步形成的語言智能方面有了重大突破。

過去，在人工智能領(lǐng)域，在人比較難做的事情上，比如數(shù)學(xué)定理證明、下象棋，機器表現(xiàn)很好；但是在人容易做到的事情上，比如說話，常識推理，機器表現(xiàn)反而很差，這些人類基本的智能對機器來說很難，是人工智能最難啃的硬骨頭。

這次的ChatGPT是在這方面有了一定的突破，因為是說話，不是下圍棋，所以普通大眾都可以成為ChatGPT的用戶，也就是說ChatGPT天生具有廣泛的用戶基礎(chǔ)，再加上其令人驚艷的表現(xiàn)，這些使得其發(fā)布后用戶量迅速增長，火出圈！

2. ChatGPT不僅僅是聊天，如果把它限制為聊天，那就顯著降低了它的價值和意義。

OpenAI根據(jù)自己同類產(chǎn)品API的調(diào)用分析，除了純聊天之外，用戶還把它用于文本生成、開放域問答、頭腦風(fēng)暴、改寫、摘要、分類等。

ChatGPT是對話式AI邁向真正實現(xiàn)的第一步，從互聯(lián)網(wǎng)層面看，它可以作為信息入口，與搜索引擎相結(jié)合；從文案辦公方面看，它可以與辦公軟件相結(jié)合，增強人的辦公效率；從人機交互角度看，它體現(xiàn)的是一種基于語言的自然交互方式，可以與元宇宙、數(shù)字人結(jié)合。

除此之外，它還可以應(yīng)用于機器人，充當(dāng)機器人大腦。如果從人類信息發(fā)展的歷史尺度上看，它是在人與機器之間的信息接口上有了很大突破。

3. ChatGPT是近幾年技術(shù)快速發(fā)展和不斷更新迭代、多種技術(shù)疊加在一起形成質(zhì)變的產(chǎn)物，是自然語言處理領(lǐng)域近年來研究的結(jié)晶。

其底層的技術(shù)，包括Transformer、自監(jiān)督學(xué)習(xí)、微調(diào)、人類反饋強化學(xué)習(xí)、AI對齊等，在自然語言處理和人工智能領(lǐng)域都有廣泛的研究和應(yīng)用。

但是ChatGPT將這些技術(shù)巧妙地結(jié)合在一起，有效規(guī)避了大模型的未對齊行為，利用了大模型規(guī)模帶來的智能突現(xiàn)能力，增強了大模型的指令學(xué)習(xí)能力和用戶意圖捕獲能力，解鎖了大模型的泛化能力，這些能力疊加在一起形成了ChatGPT的質(zhì)變效果。

4. ChatGPT探索了一種使機器獲得語言智能的有效技術(shù)路線，但這個方向仍然需要在科學(xué)和技術(shù)上進一步探索。

技術(shù)上，其他的技術(shù)路線是否可以達(dá)到同樣效果？

近幾年，大模型研究技術(shù)架構(gòu)上出現(xiàn)了同質(zhì)化趨勢，Transformer獨步天下，GPT路線占據(jù)絕對統(tǒng)治地位，這對未來技術(shù)創(chuàng)新并不是好事；

科學(xué)上，ChatGPT一類技術(shù)體現(xiàn)了技術(shù)先行科學(xué)滯后的典型特點，為什么大模型有突現(xiàn)能力？對齊之后的泛化能力是如何形成的？語境學(xué)習(xí)的機制是什么？

這些問題目前都沒有明確的答案，科學(xué)回答這些問題，顯然可以進一步推動技術(shù)發(fā)展。

5. ChatGPT技術(shù)雖然取得了重要進展，但仍然面臨諸多挑戰(zhàn)。

第一，雖然采用了人類反饋強化學(xué)習(xí)（RLHF）AI對齊技術(shù)，但是生成的內(nèi)容仍然存在未對齊行為，如不符合常識，存在偏見、歧視等內(nèi)容，信息真實性有時存疑（即“一本正經(jīng)地胡說八道”），未來在AI對齊技術(shù)上需要進一步研究和突破；

第二，以ChatGPT為代表的大模型技術(shù)通常被具有豐富算力和數(shù)據(jù)資源的企業(yè)壟斷，且不開源，不利于大模型技術(shù)研究和突破；

第三，目前大模型的算力消耗非常龐大，要實現(xiàn)大規(guī)模真實場景應(yīng)用，模型輕量化技術(shù)需要進一步探索；

第四，要提升模型的可解釋性，要研制相關(guān)技術(shù)使得ChatGPT為代表的大模型技術(shù)可以自我追溯信息源頭，增強可信性；

第五，ChatGPT背后還存在很多科學(xué)問題未有明確答案，如大模型突現(xiàn)能力是如何形成的？語境學(xué)習(xí)機制是什么？AI對齊為什么使大模型具有指令泛化能力？這些科學(xué)問題的探索將會推動未來技術(shù)更好地發(fā)展。

二、ChatGPT技術(shù)發(fā)展

6. GPT-3之前的大模型技術(shù)路線和架構(gòu)是多種多樣的，以BERT為代表的Encoder大模型、以GPT為代表的Decoder大模型、以T5為代表的Encoder-Decoder大模型等，但是從GPT-3之后，大模型技術(shù)路線趨于單一化。

包括Google的PaLM、LaMDA，Meta AI的Galactica、OPT，Nvidia/Microsoft的Megatron-Turing，AI21 Labs的Jurassic-1，DeepMind的Gopher、Chinchilla，Hugging Face的BLOOM，國內(nèi)華為的Pangu-a，浪潮的Yuan-1.0等千億級參數(shù)規(guī)模的大模型，基本上都是采用GPT-3的Decoder架構(gòu)，可能是因為訓(xùn)練成本太高，采用其他未驗證的架構(gòu)，試錯成本高，跟隨GPT-3成功路線進行微創(chuàng)新是最好的選擇。

7. GPT-3 2020年3月發(fā)布后，國內(nèi)外研究機構(gòu)相繼快速跟進，上述提到的大模型基本上都是在2021-2022期間研發(fā)出來，也就是說從技術(shù)路線上總體滯后GPT-3 1-2年時間。

8. GPT-3文本生成結(jié)果比之前的模型有大幅度提升，但同時也存在很多問題，如各種偏見、歧視、潛在的濫用等。

鑒于這些問題，大模型研究開始逐步重視AI對齊研究，即使得大模型輸出結(jié)果與人的意圖、價值觀等對齊。

一些瞄準(zhǔn)通用人工智能的企業(yè)，如OpenAI、DeepMind紛紛成立專門的AI Alignment研究團隊，招兵買馬，將AI Alignment視為通向AGI之路必須要解決的問題。

來自這兩個團隊研究人員，甚至成立了一家非盈利研究機構(gòu)：ARC（對齊研究中心）。

9. 基于大模型的對話agents紛紛在2021-2022期間開始研制，包括Google的 LaMDA、DeepMind的Sparrow、Anthropic的Claude等，這些dialogue agents無一例外都進行了AI對齊。

10. RLHF并不是唯一的AI對齊技術(shù)，面向language agents的對齊有很多方法、很多策略，需要更多探索。

11.模型編輯、稀疏模型、半?yún)?shù)檢索模型，這些技術(shù)，在大模型發(fā)展中同樣值得深入研究。大模型編碼的知識不應(yīng)該是一成不變的，將知識全部編碼到模型鏈接和神經(jīng)元中，可能也并不是最優(yōu)選擇。

12. 除了AI對齊和大模型賦能ChatGPT之外，OpenAI在長文檔摘要、自然語言描述轉(zhuǎn)為代碼等方面也做了很多工作，這些工作同樣增強了ChatGPT相應(yīng)能力。

三、國內(nèi)同類技術(shù)

13. 2020年OpenAI發(fā)布1750億參數(shù)的GPT-3之后，國內(nèi)企業(yè)和科研機構(gòu)，同Google、微軟、DeepMind、Meta AI等一樣，于2021-2022年間，研制了類似于GPT-3架構(gòu)的千億級大模型。

因此，在底層技術(shù)上我們不存在任何問題。

14. 但是要實現(xiàn)中國版的ChatGPT，需要在多個方面加強研究，壓實工作。

首先，在數(shù)據(jù)上，我們要使用與GPT-3相當(dāng)?shù)臄?shù)據(jù)量和計算量訓(xùn)練模型，目前中文缺乏像英文那樣的多個開源大規(guī)模數(shù)據(jù)集，各家企業(yè)使用的中文數(shù)據(jù)也很少開源，很多時候數(shù)據(jù)也未像OpenAI那樣進行精細(xì)處理以提升質(zhì)量；

其次，國內(nèi)在AI對齊研究上需要加強，尤其是在已經(jīng)預(yù)訓(xùn)練的大模型上，要進行對齊，要繼續(xù)優(yōu)化和精調(diào)大模型；

再次，要充分調(diào)動以大模型為代表的新型AI技術(shù)的研發(fā)活力，鼓勵已經(jīng)研制的大模型向大眾公開，接受廣大用戶檢測，同時也要積極培育專攻某一類核心技術(shù)（如大模型AI對齊技術(shù)）的初創(chuàng)企業(yè)，不求短期市場回報。

四、ChatGPT背后大模型技術(shù)的爭議

15. 大模型的優(yōu)缺點在業(yè)內(nèi)討論非常多，也非常激烈，大模型存在倫理問題、環(huán)保問題、資源壟斷不開源問題等等，這些問題學(xué)術(shù)界和產(chǎn)業(yè)界都在進行研究，尋找技術(shù)、策略、機制等方面的解決方案。

16. 個人認(rèn)為，業(yè)內(nèi)對大模型爭議最激烈的地方在于大模型是否是通向AGI之路、是否具備類人理解力、是否具有情緒/意識，這些問題已經(jīng)不單純是在自然語言處理領(lǐng)域、人工智能領(lǐng)域討論了，一些爭論已經(jīng)在哲學(xué)層面進行了，包括借助思想實驗等。

除此之外，這些問題涉及的AGI、意識等，對它們的定義，本身也沒有共識，存在爭議。

17.就大模型是否能像人一樣“理解”用戶輸入的句子以及自身生成的文本這個問題而言，從技術(shù)層面看，大模型本質(zhì)上是根據(jù)單詞共現(xiàn)概率基于已生成的單詞序列預(yù)測下一個單詞，共現(xiàn)概率或依存關(guān)系是大模型從海量文本數(shù)據(jù)中建模學(xué)習(xí)而來。

由于大模型的數(shù)據(jù)都是符號，模型是無法像人一樣將意義、概念奠基到符號之外的物理世界，符號系統(tǒng)在語意上是不充分的。

符號系統(tǒng)本身并不能真正理解符號的意義，所有的意義都是被外部觀察者或設(shè)計者所賦予的，即使將視覺模態(tài)加入到大模型中，大模型學(xué)到的也只是符號和視覺元素之間的統(tǒng)計關(guān)聯(lián)關(guān)系，仍然不能奠基到真實的物理世界。

也就是說，大模型無法做到類人理解。這里涉及到人工智能圖靈測試、中文屋思想實驗、符號奠基問題等，感興趣者可以參考《神經(jīng)機器翻譯：基礎(chǔ)、原理、實踐與進階》第19章短評“預(yù)訓(xùn)練技術(shù)爭議與符號奠基問題”。

18. 自然語言處理和人工智能領(lǐng)域的研究者在學(xué)術(shù)論文中或者介紹AI模型時，經(jīng)常使用擬人化的描述，如“理解”、“學(xué)習(xí)”等，主要是為了讓讀者或聽眾更容易理解模型或算法的原理，并不不代表機器、模型真的像人一樣思考、學(xué)習(xí)、理解。

五、未來趨勢

19. ChatGPT類技術(shù)其背后體現(xiàn)的，首先是預(yù)示著一種深層次的信息革命。

人類發(fā)明計算機和互聯(lián)網(wǎng)之后，獲取、存儲和使用信息的方式出現(xiàn)了翻天覆地的變化，但最近幾十年基本上沒有大的變動，主要以搜索引擎為主，呈現(xiàn)的信息通常需要用戶進行二次處理或再加工才能滿足要求。

ChatGPT呈現(xiàn)的信息則通常可以直接滿足用戶的需求，或通過交互方式逐步達(dá)到用戶的要求，雖然目前還存在信息可靠性問題，但相信未來這些問題會不斷得到改善。

其次是人和機器關(guān)系會出現(xiàn)重大轉(zhuǎn)變。

以ChatGPT為代表的一類技術(shù)在精準(zhǔn)捕獲用戶的真實意圖方面邁出了一大步，一旦機器可以“理解”人類意圖并完成相應(yīng)任務(wù)，人和機器的交互就不再需要翻譯成機器語言，而是直接使用人類語言作為交互載體。

再次是機器生成內(nèi)容的能力大大增強。

一些文字內(nèi)容類工作，機器可以輔助人類，人的工作效率會得到極大提升，一些“枯燥乏味”的文字工作則可交給機器完成，人專注于更高層次的內(nèi)容、思想編輯工作，或通過人機交互方式協(xié)同生成更好的內(nèi)容。

20. 基于以上趨勢，未來人類獲取信息的方式、與機器交互的方式都會出現(xiàn)變化。

與人類意圖、價值觀、倫理準(zhǔn)則高度對齊的信息智能體會幫助我們高效獲取信息、生成信息和發(fā)布信息。

以ChatGPT為代表的大模型及其后續(xù)更新技術(shù)會逐步充當(dāng)各種機器、設(shè)備、機器人的“大腦”，人機之間的交互會更加以人為中心，而不是以機器為中心。

相應(yīng)的技術(shù)會對多個行業(yè)、領(lǐng)域產(chǎn)生影響，如教育（規(guī)范使用ChatGPT等類型技術(shù)，避免學(xué)生使用它們做作業(yè)，發(fā)揮新技術(shù)對教育的積極輔助作用，而不是成為作弊利器）、醫(yī)療（將大模型技術(shù)應(yīng)用于醫(yī)療問答、藥物研發(fā)、DNA/蛋白質(zhì)建模等）等，傳統(tǒng)的計算機軟件，如搜索引擎、辦公軟件等，也會受到影響和沖擊。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。

小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

對ChatGPT的二十點看法