小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

搜索
分享

ChatGTP全景圖 | 背景 技術(shù)篇

 kaller_cui 2023-01-25 發(fā)布于北京
引言：人類以為的豐功偉績，不過是開端的開端……我們在未來100年取得的技術(shù)進步，將遠超我們從控制火種到發(fā)明車輪以來所取得的一切成就?！狟y Sam Altman
說明：ChatGTP發(fā)布后，我第一時間體驗了它的對話、翻譯、編程、寫作效果。隨著一行行綠色的字快速地跳出來……一種觸發(fā)了神秘力量的感覺，我預(yù)感到，一個更高維的龐然大物出現(xiàn)了。這樣的現(xiàn)象級事物，可能對各行業(yè)都影響巨大，即使盲人摸象，也值得摸一摸吧。遂陸續(xù)收集了國內(nèi)外100+文章和報告，趁春節(jié)假期稍微整理，分享給大家。整理后發(fā)現(xiàn)文章太長，計劃分成上篇《背景+技術(shù)篇》，下篇會是《產(chǎn)品+商業(yè)篇》，so，快來催更呀～
01. 背景篇
1.1 ChatGTP和OpenAI是什么？
ChatGTP是什么？
ChatGPT是由美國頂尖AI實驗室OpenAI開發(fā)的一個人工智能聊天機器人程序，2022年11月上線，上線不到一周就突破100萬用戶。該程序使用基于GPT-3.5架構(gòu)的大語言模型并通過強化學(xué)習(xí)進行訓(xùn)練，
OpenAI是什么？
OpenAI 是美國的AI實驗室，非營利組織，定位是促進和發(fā)展友好的人工智能，使人類整體受益。OpenAI成立于2015年底，創(chuàng)始人是伊隆·馬斯克以及前YC 總裁Sam Altman。
圖片
Sam Altman是誰？

馬斯克就不用介紹了～ Samuel Altman，85年出生的美國人，斯坦福大學(xué)計算機系輟學(xué)創(chuàng)業(yè)的極客。美國知名風(fēng)投機構(gòu)YC的總裁，硅谷創(chuàng)業(yè)教父Paul Graham的繼承人。如果你還不知道YC，你可能知道一個名人：YC的海外站——YC中國（現(xiàn)已更名奇績創(chuàng)壇）總裁正是鼎鼎大名的陸奇。

OpenAI發(fā)展歷程（主要來自維基百科）
2015年底，OpenAI成立，組織目標是通過與其他機構(gòu)和研究者的“自由合作”，向公眾開放專利和研究成果。
2016年，OpenAI宣稱將制造“通用”機器人，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動人工智能發(fā)揮積極作用。
2019年3月1日成立OpenAI LP子公司，目標是盈利和商業(yè)化。
2019年7月22日微軟投資OpenAI 10億美元，雙方合作為Azure（微軟的云服務(wù)）開發(fā)人工智能技術(shù)。2020年6月11日宣布了GPT-3語言模型，微軟于2020年9月22日取得獨家授權(quán)。
2022年11月30日，OpenAI發(fā)布了名為ChatGPT的自然語言生成式模型，以對話方式進行交互。
2023年1月：微軟和OpenAI洽談投資100億美元事宜，并希望將OpenAI的人工智能技術(shù)納入Word、Outlook、Powerpoint和其他應(yīng)用程序中。
圖片
02 技術(shù)篇
2.1 ChatGTP的核心競爭力
從AI的三大核心要素：數(shù)據(jù)、算法、算力作簡要整理分析。另外，在一個新事物的早期，其創(chuàng)始人的初心和愿景也非常值得關(guān)注，因此還增加一層——理念層的分析。
數(shù)據(jù)層：
在有3000億單詞的語料上預(yù)訓(xùn)練擁有1750億參數(shù)的模型（訓(xùn)練語料的60%來自于 2016 - 2019 的 C4 + 22% 來自于 WebText2 + 16% 來自于Books + 3%來自于Wikipedia）。
算法層：
基于人類反饋的強化學(xué)習(xí)(Reinforcement Learning from Human Feedback, RLHF) 的威力
翔實的回應(yīng)：text-davinci-003 的生成通常比 text-davinci-002長([29)(]) 。ChatGPT 的回應(yīng)則更加冗長，以至于用戶必須明確要求“用一句話回答我”，才能得到更加簡潔的回答。這是 RLHF 的直接產(chǎn)物。
公正的回應(yīng)：ChatGPT 通常對涉及多個實體利益的事件（例如政治事件）給出非常平衡的回答。這也是RLHF的產(chǎn)物。
拒絕不當問題：這是內(nèi)容過濾器和由 RLHF 觸發(fā)的模型自身能力的結(jié)合，過濾器過濾掉一部分，然后模型再拒絕一部分。
拒絕其知識范圍之外的問題：例如，拒絕在2021 年 6 月之后發(fā)生的新事件（因為它沒在這之后的數(shù)據(jù)上訓(xùn)練過）。這是 RLHF 最神奇的部分，因為它使模型能夠隱式地區(qū)分哪些問題在其知識范圍內(nèi)，哪些問題不在其知識范圍內(nèi)。
——By 符堯 《萬字拆解ChatGTP技術(shù)路線圖》
圖片
算力層：
ChatGPT 的背后離不開大模型、大數(shù)據(jù)、大算力。ChatGPT 成為 AIGC 里程碑的背后，是算力發(fā)展和數(shù)字時代形成的大數(shù)據(jù)所共同支持的大模型訓(xùn)練，才能實現(xiàn)目前的效果。由 OpenAI 研發(fā)的 ChatGPT 是微調(diào)后的 GPT-3.5系列模型，有著多達 1750 億個模型參數(shù)，并在今年年初訓(xùn)練完成。模型訓(xùn)練的背后離不開大數(shù)據(jù)的支持，OpenAI 主要使用的公共爬蟲數(shù)據(jù)集有著超過萬億單詞的人類語言數(shù)據(jù)集。在算力方面，GPT-3.5 在 Azure AI 超算基礎(chǔ)設(shè)施（由 V100GPU 組成的高帶寬集群）上進行訓(xùn)練，總算力消耗約 3640 PF-days（即每秒一千萬億次計算，運行 3640 天）。
理念層：
1. 使命和愿景。出自O(shè)penAI官網(wǎng)介紹：
OpenAI是一家AI研發(fā)和部署公司。我們的使命是確保人工通用智能惠及全人類。
OpenAI章程四個要點（破折號是筆者的個人理解）：
  • 廣泛造福社會——利他
  • 關(guān)注長遠安全問題——保姆：）
    我們擔心通用人工智能在發(fā)展后期將演變成一場激烈的競賽，導(dǎo)致缺乏充足的時間進行安全防范。因此，如果一個與人類價值觀相符、注重安全的項目領(lǐng)先于我們將近達成通用人工智能，我們承諾將停止競賽，幷轉(zhuǎn)而協(xié)助這個項目。我們會針對個別情況設(shè)計具體的合作方案。不過，一個典型的觸發(fā)條件可能會是「這個項目在未來兩年內(nèi)能夠成功研發(fā)通用人工智能的概率超過一半」。
  • 引領(lǐng)技術(shù)研究——前沿
  • 保持合作意愿——開放
2. 創(chuàng)始人講演摘錄：From Sam Altman 萬物摩爾定律
我們需要設(shè)計一種制度擁抱這種技術(shù)化的未來，然后對構(gòu)成未來世界大部分價值的資產(chǎn)（公司和土地）征稅，以便公平地分配由此產(chǎn)生的財富。這樣做可以使未來社會的分裂性大大降低，并使每個人都能參與收益分配。
即將到來的變革將圍繞著人類最超凡脫群的能力：思考、創(chuàng)造、理解和推理。在三大技術(shù)革命（農(nóng)業(yè)革命、工業(yè)革命和計算機革命）的基礎(chǔ)上，我們將邁入第四階段：人工智能革命。如果我們作為一個共同的社會體可以負責任地進行這項革命，其產(chǎn)生的足夠財富將使每個人都能得到他們所需要的東西。
3. 技術(shù)理念（From 張俊林《通向AGI之路：大型語言模型（LLM）技術(shù)精要》）
OpenAI是怎么看待LLM的呢？回顧它不斷推出的技術(shù)，可以看出，它其實從GPT 1.0開始，基本就堅定地把LLM看作是通往AGI的一條必由之路。
具體而言，在OpenAI眼中，未來的AGI應(yīng)該長這個樣子：有一個任務(wù)無關(guān)的超大型LLM，用來從海量數(shù)據(jù)中學(xué)習(xí)各種知識，這個LLM以生成一切的方式，來解決各種各樣的實際問題，而且它應(yīng)該能聽懂人類的命令，以便于人類使用。其實對LLM發(fā)展理念的理解，在前半部分，就是“構(gòu)建一個任務(wù)無關(guān)的超大型LLM，讓它從海量數(shù)據(jù)中學(xué)習(xí)各種知識”，這一點幾乎是大家的共識，能體現(xiàn)出OpenAI眼光的其實是后半部分。
OpenAI的理念比較超前，對自我定位從一開始就定得比較高，始終堅定不移地探索上述方式是否可以實現(xiàn)AGI。OpenAI之所以能作出ChatGPT，勝在一個是定位比較高，另一個是不受外界干擾，態(tài)度上堅定不移。
2.2 GTP進化歷程
模型維度（By 符堯)
圖片
大模型技術(shù)架構(gòu)演進
圖片
研發(fā)大模型的金主們
圖片
數(shù)據(jù)量和大模型表現(xiàn)統(tǒng)計圖
圖片
大模型為什么如此全能？
圖片
2.3 ChatGTP體驗和分析
體驗層面分析：
近乎真人一樣的理解能力，模型的魯棒性非常好。
經(jīng)過道德訓(xùn)練，不評價人，你很難抓住它的把柄。如果沒有這一條，chatGTP早被玩壞了，一堆的威脅論和口水戰(zhàn)足以讓它下線。
更重fact，而不是opinion。你好像在跟一個理智而不是情緒主導(dǎo)的朋友聊天。
中文略遜于英文。如果你讓它作一首十四行詩，你會被漂亮的押韻驚訝到。如果許淵沖在世，這個愛玩中英法押韻的老人家估計能找到對手了。
不了解2022年之后的世界。比如2022年卡塔爾世界杯，它會很老實地說自己不知道2022年之后的世界。這可能也是ChatGTP遜色于搜索引擎最大的地方。畢竟，一年的信息Gap足以讓很多知識大打折扣。
最后，如果你在問題里埋了陷阱，你可能會發(fā)現(xiàn)它在一本正經(jīng)地胡說八道。
圖片
技術(shù)層分析（By 張俊林）：
ChatGPT的最大貢獻在于：基本實現(xiàn)了理想LLM（大語言模型）的接口層，讓LLM適配人的習(xí)慣命令表達方式，而不是反過來讓人去適配LLM，絞盡腦汁地想出一個能Work的命令（這就是instruct技術(shù)出來之前，prompt技術(shù)在做的事情），而這增加了LLM的易用性和用戶體驗。是InstructGPT/ChatGPT首先意識到這個問題，并給出了很好的解決方案，這也是它最大的技術(shù)貢獻。相對之前的few shot prompting，它是一種更符合人類表達習(xí)慣的人和LLM進行交互的人機接口技術(shù)。
GTP/BERT這樣的大模型出現(xiàn)后，可能導(dǎo)致一部分中間任務(wù)消亡。
典型的中間任務(wù)包括：中文分詞、詞性標注、NER、句法分析、指代消解、語義Parser等，這類任務(wù)一般并不解決應(yīng)用中的實際需求，大多數(shù)是作為那些解決實際需求任務(wù)的中間階段或者輔助階段存在的。
自從Bert／GPT出現(xiàn)之后，其實就沒有必要做這些中間任務(wù)了，因為通過大量數(shù)據(jù)的預(yù)訓(xùn)練，Bert／GPT已經(jīng)把這些中間任務(wù)作為語言學(xué)特征，吸收到了Transformer的參數(shù)里，此時我們完全可以端到端地直接解決那些最終任務(wù)，而無須對這種中間過程專門建模。
這點從統(tǒng)計機器翻譯到神經(jīng)網(wǎng)絡(luò)機器翻譯也有類似發(fā)展過程。
局限和弱點分析：
以下是不同渠道的一些局限分析：
指標缺陷：其獎勵模型圍繞人類監(jiān)督而設(shè)計，可能導(dǎo)致過度優(yōu)化，從而影響性能，這種如何確定衡量指標的難題在它身上也少不了。就像機器翻譯的Bleu值，一直被吐槽，但找不到更好更方便的評估方式。
無法實時改寫模型的信念：當模型表達對某個事物的信念時，即使該信念是錯誤的，也很難糾正它。這，簡直就像一個倔強的老頭。
知識非實時更新：模型的內(nèi)部知識停留在2021年，對2022年之后的新聞沒有納入。這點在體驗層面也說到了。
模態(tài)單一：目前的ChatGPT擅長NLP和Code任務(wù)，作為通向AGI的重要種子選手，將圖像、視頻、音頻等圖像與多模態(tài)集成進入LLM，乃至AI for Science、機器人控制等更多、差異化更明顯的其它領(lǐng)域逐步納入LLM，是LLM通往AGI的必經(jīng)之路。而這個方向才剛剛開始，因此具備很高的研究價值。
高成本：超級大模型因為模型規(guī)模大，所以訓(xùn)練成本過高，導(dǎo)致很少有機構(gòu)有能力去做這件事。
結(jié)語，一些非結(jié)構(gòu)化的感想
  • 就像以太坊創(chuàng)始人V神所說的，一個譯后編輯的時代已經(jīng)到來。AI預(yù)先編程、預(yù)先草擬內(nèi)容，人類來修改。實際上，在翻譯領(lǐng)域，這場革命已經(jīng)開始，筆者在做的一個項目(www.languagex.com)就是這個方向。BTW，用LanguageX可以使用全球16個主流翻譯引擎翻譯，包括chatGTP，歡迎嘗試（下圖）。
  • 如果我們作為一個共同的社會體可以負責任地進行這項革命（AI革命），其產(chǎn)生的財富足夠每個人都能得到他們所需要的東西?！猄am 忘了，'人類的需要'是一個無底洞。不過，這句話的啟發(fā)是：AI革命將極大提升社會生產(chǎn)力，創(chuàng)造巨額財富。
  • 如果一個與人類價值觀相符、注重安全的項目領(lǐng)先于我們將近達成通用人工智能，我們承諾將停止競賽，幷轉(zhuǎn)而協(xié)助這個項目——純粹、立志服務(wù)于人的美好發(fā)心，才可以產(chǎn)生美好的愿景，才能做到足夠開放，值得吸引頂級的頭腦去奮斗，值得頂級的資本投入。
  • 多元，而不是壟斷。雖然多元或賽馬消耗社會資源，但永遠是最安全的方式，如果微軟完全控制了OpenAI，我倒希望還有一個足以牽制和抗衡它的AI機構(gòu)，比如DeepMind，或者其他。
  • 大多數(shù)某領(lǐng)域所謂“獨有”的問題，大概率只是缺乏領(lǐng)域知識導(dǎo)致的一種外在表象，只要領(lǐng)域知識足夠多，這個所謂領(lǐng)域獨有的問題，就可以被很好地解決掉，其實并不需要專門針對某個具體領(lǐng)域問題，冥思苦想去提出專用解決方案。也許AGI的真相超乎意料地簡單：你只要把這個領(lǐng)域更多的數(shù)據(jù)交給LLM，讓它自己學(xué)習(xí)更多知識即可。
  • ChatGTP最驚艷的技能幾乎都涉及創(chuàng)意領(lǐng)域，比如寫作、編程、翻譯?，F(xiàn)在看來，AI最有可能取代的工作包含了創(chuàng)造性工作。原來，AI眼中的難和我們眼中的難根本不是一個維度。AI也讓我們更認識自己，逼著我們?nèi)ニ伎家恍┦挛锏谋举|(zhì)，比如意識是什么？情感是什么？創(chuàng)造是什么？日光之下，并無新事，我們所謂的“創(chuàng)新”，很大程度上，是不是也是一種沿襲（知識學(xué)習(xí)）和重組（內(nèi)容生成）？
  • AI也將讓我們審視，人類有什么是不可替代的？什么是人類更底層的東西？什么是更寶貴更獨特的人類特質(zhì)？什么是應(yīng)該外包給AI的？人類應(yīng)該把時間和生命花費在什么事物上？
圖片
（LanguageX的多機翻引擎陣列）

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花（0）

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多