??作者主頁(yè)：小虛竹

??作者簡(jiǎn)介：大家好,我是小虛竹。2022年度博客之星評(píng)選TOP 10??，Java領(lǐng)域優(yōu)質(zhì)創(chuàng)作者??，CSDN博客專(zhuān)家??，華為云享專(zhuān)家??，掘金年度人氣作者??，阿里云專(zhuān)家博主??，51CTO專(zhuān)家博主??

??技術(shù)活，該賞

??點(diǎn)贊 ?? 收藏 ?再看，養(yǎng)成習(xí)慣

零：前言

虛竹哥最近發(fā)現(xiàn)，當(dāng)國(guó)外OpenAI的權(quán)力的游戲反轉(zhuǎn)再反轉(zhuǎn)的時(shí)候，國(guó)內(nèi)的AI創(chuàng)業(yè)者們除了吃瓜之外也沒(méi)閑著。

有很多程序員正在AIGC賽道中默默發(fā)財(cái)，有通過(guò)短視頻做內(nèi)容爆火，接廣告的；有賣(mài)AI解決方案的；有賣(mài)AI課程的；也有賣(mài)AI產(chǎn)品，慢慢做大做強(qiáng)的…更不必說(shuō)，那些拿下“人均年薪100萬(wàn)”大模型相關(guān)崗位的“贏家們”。

你看，拼多多殺入大模型，狂發(fā)年薪百萬(wàn)的大模型offer。vivo副總裁周?chē)脖硎灸壳皏ivo大模型的人才成本平均稅后為100萬(wàn)元。而且通過(guò)今年的秋招，我們能看到，大平臺(tái)都在找懂大模型的人，而NLP算法工程師、深度學(xué)習(xí)等崗位更是大模型人才市場(chǎng)里最為緊缺和急需的頭批人才。

一、顯然，率先擁抱AI的人，已經(jīng)拿到了新世界的入場(chǎng)券。

虛竹哥希望能夠幫助粉絲朋友們迅速地抓住機(jī)遇，吃上大模型時(shí)代紅利，為此，帶來(lái)了這本由新加坡科技研究局人工智能高級(jí)研究員黃佳編寫(xiě)的**《GPT圖解大模型是怎樣構(gòu)建的》**。

不管你是NLP領(lǐng)域?qū)W生、研究人員，還是對(duì)ChatGPT和生成式模型有興趣的人，亦或是基礎(chǔ)不深，但是想入門(mén)AI的初學(xué)者，都別錯(cuò)過(guò)這本書(shū)！

要知道，市面上講述大模型的書(shū)籍，大多采用百科全書(shū)式的呈現(xiàn)方法，為讀者講解現(xiàn)成的知識(shí)結(jié)論。 《GPT圖解大模型是怎樣構(gòu)建的》 卻是通過(guò)一問(wèn)一答的方式，趣味詮釋程序員們應(yīng)該知道、可能好奇的ChatGPT和大模型的疑問(wèn)、核心技術(shù)，梳理生成式語(yǔ)言模型的發(fā)展脈絡(luò)。

在這本書(shū)里，黃佳老師將帶領(lǐng)讀者踏上一段扣人心弦的探索之旅，了解ChatGPT的前世今生，并能動(dòng)手從0到1搭建語(yǔ)言模型。

二、誰(shuí)說(shuō)大模型只是一夕之間爆火的？每一次技術(shù)的演進(jìn)都有它背后的故事

在20世紀(jì)40年代和50年代，人工智能的概念開(kāi)始浮現(xiàn)，但直到1956年的 達(dá)特茅斯會(huì)議 上，它才成為一個(gè)獨(dú)立的學(xué)科領(lǐng)域。

達(dá)特茅斯會(huì)議吸引了許多計(jì)算機(jī)科學(xué)家、數(shù)學(xué)家和其他領(lǐng)域的研究者，他們聚集在一起討論智能機(jī)器的發(fā)展前景。他們的共同目標(biāo)是在計(jì)算機(jī)上實(shí)現(xiàn)人類(lèi)智能的各個(gè)方面，為現(xiàn)代人工智能研究開(kāi)辟了道路。從那時(shí)起，人工智能領(lǐng)域不斷發(fā)展，涌現(xiàn)出了大量的理論、技術(shù)和應(yīng)用。

人工智能（Artificial Intelligence，AI）技術(shù)有兩大核心應(yīng)用：計(jì)算機(jī)視覺(jué)（Computer Vision，CV）和自然語(yǔ)言處理 （Natural Language Processing，NLP）。而在 AI 技術(shù)發(fā)展里程碑中，前期的突破多與 CV 相關(guān)， 如 CNN 和 AlexNet ；而后期的突破則多與 NLP 相關(guān)，如 Transformer 和 ChatGPT。

從發(fā)端，到寒冬，到發(fā)展，到二次寒冬，再到深度學(xué)習(xí)時(shí)代的崛起，最后到如今的ChatGPT輝煌時(shí)代?？梢哉f(shuō)，AI技術(shù)的發(fā)展并不是一帆風(fēng)順的：盛夏與寒冬交錯(cuò)，期望和失望交融。

自然語(yǔ)言處理技術(shù)也是如此。

這本書(shū)在談?wù)撽P(guān)于語(yǔ)言模型的原理和代碼以外，最耐人尋味的便是余老師對(duì)自然語(yǔ)言處理技術(shù)演進(jìn)的科普以及何為語(yǔ)言？信息又如何傳播？

同時(shí)他讓讀者了解到：自然語(yǔ)言處理技術(shù)的演進(jìn)過(guò)程包含一些獨(dú)屬于它的微妙細(xì)節(jié)。而對(duì)這個(gè)過(guò)程的體會(huì)，能夠讓我們對(duì)自然語(yǔ)言處理技術(shù)有更深的領(lǐng)悟。

比如，對(duì)于NLP的定義，黃佳老師在書(shū)中是這樣描述的：

“自然語(yǔ)言處理是人工智能的一個(gè)子領(lǐng)域，關(guān)注計(jì)算機(jī)如何理解、解釋和生成人類(lèi)語(yǔ)言。NLP 的核心任務(wù)，就是為人類(lèi)的語(yǔ)言編碼并解碼，只有讓計(jì)算機(jī)能夠理解人類(lèi)的語(yǔ)言，它才有可能完成原本只有人類(lèi)才能夠完成的任務(wù)。因此我們可以說(shuō)：NLP 就是人類(lèi)和計(jì)算機(jī)之間溝通的橋梁！”

再比如，對(duì)于NLP 技術(shù)的演進(jìn)過(guò)程，黃佳老師將其分為4個(gè)階段，使用了 4 個(gè)詞語(yǔ)來(lái)概括它們，分別是起源、基于規(guī)則、基于統(tǒng)計(jì)、深度學(xué)習(xí)和大數(shù)據(jù)驅(qū)動(dòng)，厘清了它們的傳承關(guān)系。

基于規(guī)則和基于統(tǒng)計(jì)的語(yǔ)言模型是 NLP 技術(shù)發(fā)展的關(guān)鍵節(jié)點(diǎn)，而大規(guī)模語(yǔ)言模型的誕生又進(jìn)一步拓展了 NLP 技術(shù)的應(yīng)用范圍。

過(guò)去的十余年，語(yǔ)言模型的算法層出不窮。這本書(shū)的可貴之處在于它能夠追本溯源，既讓讀者學(xué)會(huì)了語(yǔ)言模型的經(jīng)典與主流算法，也讓讀者見(jiàn)證了其發(fā)展脈絡(luò)，引導(dǎo)讀者思考自然語(yǔ)言處理技術(shù)是怎么一步一步走到今天的。

比如，書(shū)中精選了早期的N-gram以及基于淺層神經(jīng)網(wǎng)絡(luò)的NPLM進(jìn)行詳細(xì)講解，并逐步過(guò)渡到基于深層網(wǎng)絡(luò)的語(yǔ)言模型（生成式語(yǔ)言模型GPT）。GPT模型的深層網(wǎng)絡(luò)不再采用CNN、RNN或者LSTM等結(jié)構(gòu)，而是采用表達(dá)能力更強(qiáng)的Transformer，因此在講解GPT模型時(shí)，黃佳老師更細(xì)致地講解了“Transformer的思想是什么，其核心組件有哪些，為什么其表達(dá)能力更強(qiáng)”。

三、不明覺(jué)厲的大模型，怎么學(xué)習(xí)？好懂又好記的對(duì)話＋圖解方式

說(shuō)到這里，想必大家已經(jīng)從宏觀上對(duì) NLP 的發(fā)展、大型預(yù)訓(xùn)練模型的發(fā)展， 甚至從 ChatGPT 到 GPT-4 的發(fā)展有了一定的理解。

在這本書(shū)中，黃佳老師 會(huì)循著自然語(yǔ)言處理技術(shù)的演進(jìn)過(guò)程，給讀者講透它的技術(shù)重點(diǎn)，并和大家一起實(shí)際操練一番，一步一步帶你學(xué)透 GPT。

正如黃佳老師所說(shuō)：“今天，在我們?yōu)?ChatGPT、GPT-4 等大模型的神奇能力而驚嘆的同時(shí)，讓我們對(duì)它們的底層邏輯與技術(shù)做一次嚴(yán)肅而快樂(lè)的探索。對(duì)我來(lái)說(shuō)，這也是一次朝圣之旅，一次重溫人工智能和自然語(yǔ)言處理技術(shù) 70 年間艱辛發(fā)展的旅程?！?/p>

從 N-Gram、詞袋模型（Bag-of-Words，BoW）、Word2Vec（Word to Vector，W2V）、神經(jīng)概率語(yǔ)言模型（Neural Probabilistic Language Model，NPLM）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、Seq2Seq（Sequence-to-Sequence，S2S）、注意力機(jī)制（Attention Mechanism）、Transformer、BERT 到 GPT 的技術(shù)，其中凝聚了多少位了不起的大牛的知識(shí)和心血，對(duì)于許多程序員而言，自行學(xué)習(xí)其中的原理和代碼也是比較麻煩和有難度的。

對(duì)于已有基礎(chǔ)的程序員尚且如此，何況是零基礎(chǔ)的小白呢？

這套書(shū)令人驚喜的是它試圖通過(guò)一問(wèn)一答的教學(xué)方式，加上圖文并茂的講解，關(guān)注初學(xué)者學(xué)習(xí)中的真實(shí)問(wèn)題，一一回答，講解語(yǔ)言模型，對(duì)技術(shù)進(jìn)行解碼。

比如，在介紹N-Gram時(shí)：

正文每個(gè)小節(jié)以小冰的提問(wèn)為線索，以最新熱點(diǎn)為引入，以公司同事在不同時(shí)間、不同場(chǎng)景中的對(duì)話為講述方式，深入淺出地剖析大模型相關(guān)的知識(shí)，講解語(yǔ)言模型和算法背后的意義。

小冰是一個(gè)充滿好奇心的初學(xué)者，是生活于當(dāng)下的你我他。她的提問(wèn)正是我們的疑問(wèn)點(diǎn)，她那不太完美的回答正是我們目前的認(rèn)知。而咖哥則是一位博學(xué)多才、幽默風(fēng)趣且喜歡答疑解惑的技術(shù)大咖。他的特別發(fā)言也被“附”在書(shū)中，記錄對(duì)應(yīng)的原理和代碼，專(zhuān)業(yè)解答相關(guān)問(wèn)題。

在小冰和咖哥一問(wèn)一答的演繹下，黃佳老師將晦澀難懂的知識(shí)用通俗易懂的語(yǔ)言表述出來(lái)，將抽象概念具體化，輕松風(fēng)趣地解答初學(xué)者可能會(huì)對(duì)大模型感到好奇的種種問(wèn)題。

在翻閱這本書(shū)時(shí)，像下面這些章節(jié)名也令人印象深刻：

序章 看似尋常最奇崛，成如容易卻艱辛
第 1 課 高樓萬(wàn)丈平地起：語(yǔ)言模型的雛形 N-Gram 和簡(jiǎn)單文本表示 Bag-of-Words
第 2 課 問(wèn)君文本何所似：詞的向量表示 Word2Vec 和 Embedding
第 3 課 山重水復(fù)疑無(wú)路：神經(jīng)概率語(yǔ)言模型和循環(huán)神經(jīng)網(wǎng)絡(luò)
第 4 課 柳暗花明又一村：Seq2Seq 編碼器 - 解碼器架構(gòu)
第 5 課 見(jiàn)微知著開(kāi)慧眼：引入注意力機(jī)制
第 6 課 層巒疊翠上青天：搭建 GPT 核心組件 Transformer
第 7 課 芳林新葉催陳葉：訓(xùn)練出你的簡(jiǎn)版生成式 GPT
第8課 流水后波推前波：ChatGPT基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)
第9課 生生不息的循環(huán)：使用強(qiáng)大的GPT-4 API
后 記 莫等閑，白了少年頭

黃佳老師特意以**“古詩(shī)詞+章節(jié)內(nèi)容”**的形式為每個(gè)講解不同語(yǔ)言模型的篇章命名，多為古詩(shī)詞的改編，加上暗喻，用字?jǐn)?shù)簡(jiǎn)短但是意蘊(yùn)深厚的古詩(shī)詞提煉大模型的特征、語(yǔ)言模型的發(fā)展脈絡(luò)，讓知識(shí)點(diǎn)直觀、易懂、易記。

四、學(xué)習(xí)難度不低的大模型，如何構(gòu)建？生動(dòng)有趣的圖畫(huà)、獨(dú)具匠心的項(xiàng)目設(shè)計(jì)和詳盡的代碼、數(shù)據(jù)集

黃佳老師 是新加坡科技研究局人工智能高級(jí)研究員，他主攻的方向?yàn)镹LP大模型的研發(fā)與應(yīng)用、持續(xù)學(xué)習(xí)、AI in FinTech、AI in Spectrometry Data。

他曾著有《零基礎(chǔ)學(xué)機(jī)器學(xué)習(xí)》《數(shù)據(jù)分析咖哥十話》等多部暢銷(xiāo)書(shū)籍，深耕數(shù)據(jù)科學(xué)領(lǐng)域多年，積累了豐富的科研項(xiàng)目和政府、銀行、能源、醫(yī)療等領(lǐng)域AI項(xiàng)目落地實(shí)戰(zhàn)經(jīng)驗(yàn)。

因此，在本書(shū)中，他不拘泥于理論的堆砌，而是帶領(lǐng)讀者從基礎(chǔ)到進(jìn)階，從理論模型到實(shí)戰(zhàn)剖析，讓讀者真正明白大模型是怎樣構(gòu)建的。

比如，ChatGPT屬于大語(yǔ)言模型的一類(lèi)，那么黃佳老師首先會(huì)在書(shū)中通俗地講解“什么是語(yǔ)言模型，什么是大語(yǔ)言模型”，在講解語(yǔ)言模型時(shí)，會(huì)引出詞向量、詞嵌入等NLP領(lǐng)域幾個(gè)最常用的概念，以及經(jīng)典方法Word2Vec。

這時(shí)候，好文配好圖，為大模型的教學(xué)錦上添花就十分重要了。插圖作為技術(shù)書(shū)籍的重要組成部分，也是讓初學(xué)者能更加直白地汲取知識(shí)的一種手段。

此次，書(shū)中的插畫(huà)抓住黃佳老師講解的技術(shù)精髓，在詮釋技術(shù)原理的同時(shí)做到了生動(dòng)與幽默。除了插圖以外，書(shū)中還有大量表格，盡可能地幫助讀者理解相關(guān)問(wèn)題。

圖文并茂的講解方式 能讓讀者快速了解相關(guān)技術(shù)知識(shí)，而手把手的代碼實(shí)戰(zhàn)能讓讀者輕松上手搭建大模型，更何況這本書(shū)二者兼?zhèn)洹?/p>

黃佳老師會(huì)在書(shū)中根據(jù)技術(shù)發(fā)展的脈絡(luò)講解多個(gè)實(shí)戰(zhàn)項(xiàng)目，以生動(dòng)活潑的筆觸將枯燥的技術(shù)細(xì)節(jié)化作輕松幽默的故事和繽紛多彩的圖畫(huà)，一步一代碼加注釋手把手教學(xué)讀者進(jìn)行實(shí)戰(zhàn)。

項(xiàng)目一：N-Gram構(gòu)建

項(xiàng)目二：Word2Vec構(gòu)建

項(xiàng)目三：NPLM（Neural Probabilistic Language Model）構(gòu)建

項(xiàng)目四：Seq2Seq架構(gòu)

項(xiàng)目五：注意力機(jī)制

項(xiàng)目六：Transformer架構(gòu)

項(xiàng)目七：WikiGPT

項(xiàng)目八：miniChatGPT

令人驚喜的是，本書(shū)還提供實(shí)例配套資源代碼和實(shí)例數(shù)據(jù)集等資源，這有助于讀者更好地理解書(shū)中的概念和實(shí)踐技巧。通過(guò)實(shí)例代碼，初學(xué)者可以直接嘗試和運(yùn)行代碼，通過(guò)實(shí)踐來(lái)加深對(duì)書(shū)中內(nèi)容的理解。而實(shí)例數(shù)據(jù)集則幫助讀者在處理真實(shí)數(shù)據(jù)時(shí)進(jìn)行實(shí)踐操作，從而更好地掌握相關(guān)技術(shù)。

虛竹哥看了這本書(shū)后，不由感慨：這多有意思?。≡谂实羌夹g(shù)新峰的奇妙之旅中，我們不僅能深入理解自然語(yǔ)言處理技術(shù)的核心原理，還能自己動(dòng)手，從零開(kāi)始搭建起一個(gè)又一個(gè)語(yǔ)言模型，成就感滿滿！

虛竹哥相信，無(wú)論你是在校學(xué)生還是人工智能從業(yè)者，這本書(shū)都將成為一盞明燈，照亮你探索人工智能無(wú)限奧秘的道路！

五、參考文獻(xiàn)：

1.生成式預(yù)訓(xùn)練語(yǔ)言模型：理論與實(shí)戰(zhàn) - 深藍(lán)學(xué)院 - 專(zhuān)注人工智能與自動(dòng)駕駛的學(xué)習(xí)平臺(tái)；

2.奧特曼離職后，OpenAI的競(jìng)爭(zhēng)對(duì)手爭(zhēng)相挖走員工；

3.微軟希望獲得OpenAI董事會(huì)席位。