|
2023年是AI席卷全球的一年，人們見識(shí)到了各種AI帶來的變化，但是很多人不清楚AI中的術(shù)語(yǔ)。 今天，我們一起學(xué)習(xí)討論一下吧！ 看看那些新聞中的術(shù)語(yǔ)都是什么意思！ 人們常說AI大模型，那么什么是大模型呢？ AI大模型是一種基于海量數(shù)據(jù)和強(qiáng)大算力的人工智能模型，AI大模型需要數(shù)百億或數(shù)萬(wàn)億級(jí)別的數(shù)據(jù)，而普通的AI模型則只需數(shù)百萬(wàn)或數(shù)千萬(wàn)級(jí)別的數(shù)據(jù)。 數(shù)據(jù)量的差異會(huì)影響模型的知識(shí)覆蓋度和泛化能力，一般來說，數(shù)據(jù)量越大，模型越能學(xué)習(xí)到更多的知識(shí)和規(guī)律，也越能適應(yīng)不同的任務(wù)和場(chǎng)景。 chatGPT中，chat代表聊天，那么GPT代表什么呢？ GPT是Generative Pre-trained Transformer的縮寫，是一種基于深度學(xué)習(xí)的文本生成模型。它的特點(diǎn)是利用大量的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，然后根據(jù)不同的任務(wù)進(jìn)行微調(diào)，從而生成各種類型的文本，如對(duì)話、故事、詩(shī)歌等。 GPT的原理是使用一個(gè)稱為Transformer的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它可以有效地處理自然語(yǔ)言，并且能夠捕捉文本中的長(zhǎng)距離依賴關(guān)系。 GPT通過在大規(guī)模的無(wú)標(biāo)注文本上進(jìn)行自監(jiān)督學(xué)習(xí)，即讓模型自己從數(shù)據(jù)中學(xué)習(xí)規(guī)律，而不需要人工提供標(biāo)簽或反饋。 具體來說，GPT使用了一種叫做Masked Language Modeling（MLM）的方法，它會(huì)隨機(jī)地遮蓋輸入文本中的一些單詞，然后讓模型根據(jù)剩余的單詞來預(yù)測(cè)被遮蓋的單詞。這樣就可以訓(xùn)練模型學(xué)習(xí)語(yǔ)言的語(yǔ)法和語(yǔ)義知識(shí)。  ChatGPT是一種基于GPT模型開發(fā)的對(duì)話生成系統(tǒng)，它可以與用戶進(jìn)行自然、流暢、有趣的對(duì)話。  prompt是什么？為什么需要呢？ Prompt是一種用于啟動(dòng)人工智能模型的方式，它是一段文本或語(yǔ)句，用于指導(dǎo)模型生成特定類型、主題或格式的輸出。Prompt也可以看作是一種與人工智能模型交流的語(yǔ)言，通過prompt，我們可以告訴模型我們想要什么樣的結(jié)果，以及如何評(píng)價(jià)結(jié)果的好壞。  Prompt之所以需要，是因?yàn)槿斯ぶ悄苣Ｐ筒⒉皇侨f(wàn)能的，它們需要一些指引和約束，才能有效地完成特定的任務(wù)。如果沒有prompt，模型可能會(huì)產(chǎn)生無(wú)意義或不相關(guān)的輸出，或者無(wú)法理解用戶的意圖和需求。 比如我要生成下面的圖片，我需要告訴ai我的要求，于是我輸入了prompt： small blue kiddie size pool in background with dog laying inside it eating bubbles 35mm lens  什么是大模型參數(shù)？ 我們可以理解，人工智能模型的參數(shù)就是它們的大腦神經(jīng)元，它們存儲(chǔ)了模型從數(shù)據(jù)中學(xué)習(xí)到的知識(shí)和經(jīng)驗(yàn)，也決定了模型的智能和性能。參數(shù)越多，神經(jīng)元越多，模型就越復(fù)雜，也越強(qiáng)大。 所以，我們經(jīng)常聽到一些人工智能模型被稱為大模型，就是因?yàn)樗鼈冇泻芏嗟膮?shù)，比如幾十億或幾千億個(gè)。這些大模型可以在多種任務(wù)和領(lǐng)域中表現(xiàn)出高水平的智能和泛化能力，甚至可以超越人類或接近人類水平。 例如GPT4的參數(shù)大概為2800 億 LLaMA2-70b中70b是什么？ 70b代表的是模型參數(shù)大小。這個(gè)b是指十億的意思，LLaMA2-70b就是說模型有700億個(gè)參數(shù)。在計(jì)算機(jī)科學(xué)和工程中，b通常用來表示大數(shù)據(jù)的數(shù)量級(jí)，例如，1b表示10億個(gè)字節(jié)，也就是1GB  什么是上下文長(zhǎng)度？越長(zhǎng)越好么？ AI大模型上下文長(zhǎng)度是指AI模型在生成預(yù)測(cè)或生成文本時(shí)，所考慮的輸入文本的大小范圍。上下文長(zhǎng)度對(duì)于AI模型的性能有著重要的影響。一般來說，更長(zhǎng)的上下文長(zhǎng)度可以讓模型看到更多的信息，從而做出更準(zhǔn)確、流暢、創(chuàng)造性的預(yù)測(cè)或生成。 通俗的說，上下文長(zhǎng)度就是記憶力，越長(zhǎng)的AI，和你對(duì)話的越久。 |
|
|
