ChatGPT 一下子火起來。不過，對(duì)于還沒有認(rèn)真研究這個(gè)領(lǐng)域的做數(shù)字營(yíng)銷的朋友而言，很多術(shù)語(yǔ)撲面而來，理解起來太費(fèi)勁。

　　畢竟，我們做數(shù)字營(yíng)銷，是ChatGPT 等AIGC技術(shù)的應(yīng)用者，但不是開發(fā)者?？墒?，如果不了解重要概念，在應(yīng)用時(shí)候就會(huì)難以真正理解背后的原理，就會(huì)被具體的功能牽著鼻子走，而難以有創(chuàng)新。

　　所以，下面這些“黑話”，以及背后的邏輯，我們有必要知道。

　　GPT

　　GPT是

　　“Generative Pre-trained  Transformer”

　?。ㄉ尚皖A(yù)訓(xùn)練變換模型）的縮寫，目的是為了使用深度學(xué)習(xí)生成人類可以理解的自然語(yǔ)言。

　　理解人類自然語(yǔ)言的模型有多種，GPT只是其中的一種。另一種很著名的模型是BERT 模型（后面會(huì)講）。

　　GPT也不只是用在跟你“聊天”上的ChatGPT ，它還有更底層作為基座的InstructGPT 。

　　目前我們討論的GPT一般指的是GPT-3以及它的升級(jí)版GPT-3.5，但GPT目前已經(jīng)到了第四版，也就是GPT-4 。

　　GPT-3 是由人工智能公司OpenAl 訓(xùn)練與開發(fā)，該模型設(shè)計(jì)基于谷歌開發(fā)的變換語(yǔ)言模型（Transformer 模型，后面會(huì)提到）。OpenAI 于 2020 年 5 月發(fā)表了GPT-3 的論文，微軟在 2020 年 9 月 22 日宣布取得了GPT-3 的獨(dú)家授權(quán)。

　　所以，現(xiàn)在大家都說，微軟贏麻了，谷歌慌得了，就是因?yàn)镃hatGPT 微軟的“勢(shì)力范圍”。

　　畢竟，如果所有人都找ChatGPT 問問題，而不在搜索引擎上搜索，谷歌的廣告業(yè)務(wù)不就芭比Q了嗎？

　　但，遲早人們可以用自然語(yǔ)言跟機(jī)器對(duì)話得到問題的答案。搜索引擎作為信息入口的功能，肯定會(huì)被既能直接提供答案，又能作為信息入口的GPT等新方式所取代。

　　生成式AI 和判別式AI

　　生成式AI ，就是幫你做東西的AI。判別式AI ，就是機(jī)器能夠幫助辨別東西的AI，也叫決策式AI 。

　　比如，ChatGPT，在你提問之后說話給你巴拉巴拉一大堆，這就是生成式AI。你讓一個(gè)作圖AI，按照你提的要求做個(gè)畫，這也是生成式AI。

　　生成式AI 為啥火，因?yàn)樗軌蛑苯禹憫?yīng)人，直接跟人交流，這是人們最期待的AI 方式。就跟《星際穿越》里面的TARS 機(jī)器人一樣。

　　判別式AI ，也挺重要的，典型的就是讓機(jī)器具有像人一樣的認(rèn)識(shí)能力。比如，人工視覺、聽音識(shí)曲、自動(dòng)感知后自動(dòng)判別然后再自動(dòng)決策等。我們數(shù)字營(yíng)銷行業(yè)的營(yíng)銷自動(dòng)化（MA ），就很可以利用上判別式AI 。比如，自主判別某個(gè)用戶是否屬于高機(jī)會(huì)型潛在客戶，然后自動(dòng)為他提供相應(yīng)的商業(yè)信息或營(yíng)銷誘餌。

　　生成式AI 和判別式AI 沒有孰優(yōu)孰劣之分，它們是機(jī)器智能的兩個(gè)必備能力。就如同人，既要有判斷力，也要有創(chuàng)造力。既能有決定做不做一件事情的能力，也要有能夠把事情做出來的能力。兩種AI 就是對(duì)應(yīng)的人的這兩種能力。

　　語(yǔ)料

　　語(yǔ)言的材料。這個(gè)詞并不是在ChatGPT 等自然語(yǔ)言AI產(chǎn)生之后才產(chǎn)生的。例如，我們學(xué)習(xí)一門外語(yǔ)，也需要語(yǔ)料。畢竟，沒有人天生就懂一門自己從來沒有見過的語(yǔ)言。

　　我時(shí)常在想，當(dāng)中國(guó)人第一次接觸英語(yǔ)的時(shí)候，是誰(shuí)這么聰明，能第一個(gè)學(xué)會(huì)英語(yǔ)呢？肯定是一個(gè)“中外混血兒”，他的媽媽是老外，爸爸是中國(guó)人吧！

　　但事實(shí)上，并不需要這樣，據(jù)說最早學(xué)會(huì)外語(yǔ)的中國(guó)人是學(xué)者，或者應(yīng)該說，最早學(xué)會(huì)中文的外國(guó)人是學(xué)者（南懷仁、湯若望這些），然后他們又教會(huì)中國(guó)人學(xué)會(huì)外語(yǔ)。他們?cè)趺磳W(xué)會(huì)的？就是基于生活在中國(guó)（或者外國(guó)），而擁有了豐富的語(yǔ)料資源。

　　語(yǔ)料的英語(yǔ)是Corpus，字典上的解釋是：一套書面文本，特別是某一特定作者的全部作品或某一特定主題的寫作。

　　在ChatGPT 等模型中，語(yǔ)料被分解為Token 和各種向量關(guān)系，通過預(yù)訓(xùn)練的方式，人們基于這些Token 和向量關(guān)系，建立起各種參數(shù)和模型，成為可被機(jī)器“消化、吸收”的原始學(xué)習(xí)素材。

　　所以，語(yǔ)料是ChatGPT的原材料，沒有語(yǔ)料，就沒有ChatGPT。

　　我這篇文章，未來就有很大可能成為某些自然語(yǔ)言人工智能模型的語(yǔ)料。

　　Token

　　Token 是語(yǔ)言模型用于處理和生成文本的文本單位。我們通常認(rèn)為，一個(gè)單詞就是一個(gè)Token，但實(shí)際上并不如此，比如OpenAI 算兩個(gè)token，分別是open和ai，再比如ChatGPT是chat 、g、p 和t 這四個(gè)token。

　　Token對(duì)ChatGPT至關(guān)重要，是ChatGPT理解和生成語(yǔ)言的最基本元素。

　　在用戶輸入一段話后，它使用一個(gè)分詞算法將每個(gè)輸入的單詞拆分成token 。例如，“Hello world！”將被拆分為3個(gè) token ：[“Hello”，“world”，“！”]。“I’m happy ??”將被拆分為5個(gè)token：[“I”, “'”, “m”, “happy”, “??”]。

　　簡(jiǎn)單講，ChatGPT通過預(yù)先訓(xùn)練（預(yù)訓(xùn)練是無監(jiān)督學(xué)習(xí)的方式，關(guān)于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，我們后面介紹）生成了一個(gè)token 列表和不同token 之間的關(guān)系參數(shù)（后面也會(huì)介紹參數(shù)是什么），這些參數(shù)的數(shù)量極為龐大（以千億甚至萬億計(jì)）。之后，則通過監(jiān)督學(xué)習(xí)不斷優(yōu)化這些token 和參數(shù)。最終，能夠讓機(jī)器自主找到不同的語(yǔ)境下最合適的token 和參數(shù)，從而以最合適地方式把token 組合起來，形成人能夠讀懂的、合理的表達(dá)。

　　當(dāng)然，這個(gè)過程很復(fù)雜，要用到近幾年才出現(xiàn)的“Transformer ”模型，這個(gè)模型推動(dòng)了ChatGPT的成功。

　　參數(shù)

　　參數(shù)這個(gè)東西，是人工智能中非常重要的一個(gè)概念，也是人工智能得以實(shí)現(xiàn)的非常重要的手段。

　　理解參數(shù)是什么，并不困難。首先，你需要理解，人工智能本質(zhì)上仍然是“輸入 - 計(jì)算 - 輸出”的經(jīng)典計(jì)算機(jī)模式。這個(gè)模式，從來沒有發(fā)生過改變。改變的（或者更準(zhǔn)確說，應(yīng)該是進(jìn)化的），主要是機(jī)器計(jì)算的能力越來越強(qiáng)大了。

　　那么，機(jī)器怎么能夠越來越強(qiáng)大到，自己能夠做出“充滿智能”的計(jì)算，而不需要人去干預(yù)呢？

　　這就是參數(shù)在其中起到的作用。

　　你可以這么簡(jiǎn)單地去理解參數(shù)：

　　在人工智能下，計(jì)算，不再是人去直接寫算式，而是讓機(jī)器去自主地調(diào)節(jié)“計(jì)算公式”。這個(gè)“公式”，隨著要解決的問題的復(fù)雜度的升高，里面包含的變量和常量就會(huì)越來越多。每個(gè)常量或者變量所占有的權(quán)重不一樣，對(duì)它們賦予不同的權(quán)重，計(jì)算后輸出的結(jié)果也就會(huì)非常不同。機(jī)器要做的事情，就是基于它輸出的這些結(jié)果的正確與否（結(jié)果正確與否，通常是人告訴機(jī)器的，但在一些應(yīng)用中，也可以不需要人），來調(diào)整這些權(quán)重，直到每一次計(jì)算出來的結(jié)果，都是正確或接近正確的。

　　這些權(quán)重，實(shí)際上，就是參數(shù)。

　　除了權(quán)重之外，還有支持向量機(jī)中的支持向量，以及線性回歸或者邏輯回歸中的系數(shù)，也都是參數(shù)。支持向量和回歸是什么，就不再多做介紹了，感興趣的朋友查一下度娘，內(nèi)容很多。

　　人工智能的一個(gè)重要方法（但不是唯一方法），就是通過訓(xùn)練，不斷讓機(jī)器學(xué)會(huì)自主調(diào)整這些參數(shù)。

　　據(jù)說GPT-3有1750億個(gè)參數(shù)。不過，據(jù)說，參數(shù)也不是越多越好。這些，我們就不深究了。

　　LM

　?。ù竽Ｐ?，Large Model ）

　　現(xiàn)在另一個(gè)非?；鸬母拍钍谴竽Ｐ?。

　　我先講講模型。

　　模型，就是我們?cè)谇懊嬷v“參數(shù)”的時(shí)候，所提到的“計(jì)算公式”。

　　計(jì)算公式能夠適應(yīng)不同的場(chǎng)景（語(yǔ)境）的一個(gè)原因，就是因?yàn)檫@些公式里面有可被不斷動(dòng)態(tài)調(diào)整的參數(shù)。當(dāng)然，公式本身也是可調(diào)的，也不是一成不變的。你可以簡(jiǎn)單地人為，參數(shù)和公式，就組成了模型?；诓粩嘣黾拥膶W(xué)習(xí)材料（比如語(yǔ)料和token ），以及不斷告訴機(jī)器它所做出的結(jié)果的正確與否，機(jī)器就能不斷迭代和優(yōu)化參數(shù)和公式。這個(gè)過程也就是模型不斷被訓(xùn)練的過程。

　　人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等等這些技術(shù)，背后都離不開模型。模型的好壞，一方面由最初算法的好壞決定，另一方面，也由學(xué)習(xí)訓(xùn)練過程的好壞決定。

　　我們把語(yǔ)料轉(zhuǎn)成token ，目的也就是讓機(jī)器能夠基于這些素材，建立模型，并不斷優(yōu)化。

　　那么，什么是大模型呢？

　　其實(shí)，當(dāng)你看了我前面講的“參數(shù)”是指什么，大模型也就很容易理解，就是那些擁有很多參數(shù)的模型。

　　ChatGPT目前千億級(jí)別的量級(jí)的參數(shù)，肯定是大模型。

　　國(guó)內(nèi)的大廠，也都在做大模型，也是至少百億級(jí)別量級(jí)的參數(shù)。它們的大模型也不是都跟ChatGPT一樣只是用在自然語(yǔ)言上，更多的，是應(yīng)用在了廣告投放或者內(nèi)容推薦上。當(dāng)然，也可用在更廣泛的領(lǐng)域。

　　LLM大語(yǔ)言模型

　?。↙arge Language Model）

　　了解了大模型，就很容易理解LLM （大語(yǔ)言模型）了。

　　大模型中，專門用來理解、處理、生成自然語(yǔ)言的模型，就是大語(yǔ)言模型。

　　大語(yǔ)言模型的大，主要就是我們前面所說的參數(shù)量特別大。而參數(shù)量大，又必須以語(yǔ)料庫(kù)和token 數(shù)量大為基礎(chǔ)。

　　前面也有提到，ChatGPT和BERT都是典型的大語(yǔ)言模型。未來，肯定還會(huì)有更多的大語(yǔ)言模型出現(xiàn)。

　　現(xiàn)在看來，ChatGPT占得了先機(jī)，因?yàn)樗m合生成式任務(wù)。

　　谷歌的BERT（據(jù)說百度也是用的類似于BERT的模型）的原理是采用遮擋方法，就是把一句話的上下文遮擋住，然后讓機(jī)器去“猜測(cè)”被遮擋的部分是什么，然后不斷對(duì)猜測(cè)的結(jié)果進(jìn)行反饋，以訓(xùn)練機(jī)器理解語(yǔ)言的能力。這種方式，讓BERT更加適合于判別式任務(wù)。

　　舉個(gè)例子，給BERT 一段文本和一個(gè)問題，讓它在這個(gè)文本中找到這個(gè)問題的答案，或者判斷這個(gè)文本的情緒傾向是更積極還是更消極。這些事情，BERT 很擅長(zhǎng)。

　　不過，ChatGPT不是這么干的，它直接模仿人類從左到右的閱讀，是一個(gè)“單向”的語(yǔ)言訓(xùn)練模型。所謂“單向”，就是從一句話（或者一段話）出發(fā)，去預(yù)測(cè)它后面應(yīng)該接上什么話。所以，這就創(chuàng)造了我們今天跟ChatGPT對(duì)話的模式（常?？吹剿槐菊?jīng)地“騙人”和胡說八道）。

　　另外，ChatGPT也好，還是BERT也好，都是基于我們前面幾次提到的“Transformer 模型”。這個(gè)模型是目前最熱的一個(gè)自然語(yǔ)言機(jī)器學(xué)習(xí)模型，利用了被稱為“自注意力機(jī)制（Self-Attention Mechanism ）”的方法。這個(gè)模型對(duì)不從事人工智能研發(fā)的朋友來說，理解起來不是很簡(jiǎn)單，我就不多介紹了。你需要知道的是，為什么現(xiàn)在機(jī)器理解語(yǔ)言的速度變快了，背后就是這個(gè)模型的功勞，它可以讓機(jī)器并行計(jì)算，大大提高了速度。

　　Prompt

　　和Prompt Engineering

　　Prompt的意思是提示。

　　Prompt Engineering的意思是提示工程。

　　有人說，這就是魔法師的“念咒”：對(duì)機(jī)器念咒，就輸出給你你想要的東西。對(duì)，差不多。

　　Prompt 這個(gè)詞在計(jì)算機(jī)科學(xué)中出現(xiàn)的很早，類似于你給機(jī)器下達(dá)的指令，但這個(gè)指令又不是程序命令，而更偏向于人類的自然語(yǔ)言。今天，在生成式AI 中，prompt 其實(shí)就是給機(jī)器提要求。它是自然語(yǔ)言的要求，不過最好能夠精煉、言簡(jiǎn)意賅，并且清除表示你想要什么。

　　不過，任何提問，哪怕是對(duì)著人提問，把問題描述清楚，都是一個(gè)非常重要的前提。衡量一個(gè)人是否聰明的一個(gè)重要標(biāo)志性指針，就是這個(gè)人的提問，是不是更高水平的。

　　對(duì)機(jī)器的提問或者指示，也需要有更高的水平，機(jī)器才能更好理解，并最終能夠按照你的需要給你做出輸出。

　　所以，如何提出更好的prompt 是要學(xué)習(xí)的。有點(diǎn)類似于，你要學(xué)會(huì)如何跟機(jī)器說話。有些人在淘寶上販賣現(xiàn)成的prompts ，已經(jīng)成為了一個(gè)商機(jī)。

　　Prompt engineering則是把給機(jī)器下達(dá)指令作為一個(gè)嚴(yán)肅的工程技術(shù)來進(jìn)行研究。它所做的事情，不僅是讓我們的指令更合理，更能幫助我們得到我們想要的回答。更是幫助挖掘人工智能的極限，以及找到人工智能的缺陷。

　　Prompt engineering有很多的方法，比如few-shot 方法、zero-shot 方法、CoT 方法等。我在后面介紹。