輸入一篇虛構(gòu)的新聞文章的開頭，它將為您完成剩下的部分。問一個(gè)問題（建議格式化你的輸入：“問：今天我該怎么做？”），那么它的回應(yīng)是很不錯(cuò)的。

探秘

該網(wǎng)站名為TalkToTransformer.com，「鏈接」它是加拿大工程師Adam King的創(chuàng)作。 King創(chuàng)建了該網(wǎng)站，但基礎(chǔ)技術(shù)來(lái)自研究實(shí)驗(yàn)室OpenAI。今年早些時(shí)候，OpenAI推出了新的AI語(yǔ)言系統(tǒng)GPT-2，而TalkToTransformer是該技術(shù)的精簡(jiǎn)版，可訪問版本，過(guò)去只有經(jīng)過(guò)篩選的部分科學(xué)家和記者才能訪問。 （名稱“變壓器”是指GPT-2和其他系統(tǒng)使用的神經(jīng)網(wǎng)絡(luò)類型。）

該模型稱為GPT-2（GPT的繼承者），它被訓(xùn)練成僅用于預(yù)測(cè)40GB互聯(lián)網(wǎng)文本中的下一個(gè)單詞。由于我們擔(dān)心該技術(shù)被惡意應(yīng)用，我們不會(huì)發(fā)布經(jīng)過(guò)訓(xùn)練的模型。作為一個(gè)負(fù)責(zé)任披露的實(shí)驗(yàn)，我們轉(zhuǎn)而發(fā)布了一個(gè)小得多的模型供研究人員實(shí)驗(yàn)，以及一篇技術(shù)論文。

GPT-2是一個(gè)大型的基于轉(zhuǎn)換的語(yǔ)言模型，具有15億個(gè)參數(shù)，在數(shù)據(jù)集上進(jìn)行訓(xùn)練。我們通過(guò)從互聯(lián)網(wǎng)上抓取內(nèi)容創(chuàng)建了一個(gè)強(qiáng)調(diào)內(nèi)容多樣性的新數(shù)據(jù)集。為了保持文檔的質(zhì)量，我們只使用了經(jīng)過(guò)人工篩選的頁(yè)面。 GPT-2訓(xùn)練有一個(gè)簡(jiǎn)單的目標(biāo)：根據(jù)某些文本中的所有先前單詞預(yù)測(cè)下一個(gè)單詞。數(shù)據(jù)集的多樣性導(dǎo)致這個(gè)簡(jiǎn)單的目標(biāo)包含跨不同領(lǐng)域的許多任務(wù)的自然發(fā)生的演示。 GPT-2是GPT的直接放大，其參數(shù)超過(guò)10倍，并且訓(xùn)練的數(shù)據(jù)量超過(guò)10倍。

GPT-2顯示了一系列廣泛的功能，包括生成前所未有的質(zhì)量的條件合成文本樣本的能力，我們使用輸入對(duì)模型進(jìn)行填充，并使其生成冗長(zhǎng)的延續(xù)。此外，GPT-2優(yōu)于在特定領(lǐng)域（如維基百科、新聞或書籍）訓(xùn)練的其他語(yǔ)言模型，而無(wú)需使用這些特定領(lǐng)域的訓(xùn)練數(shù)據(jù)集。在諸如問答、閱讀理解、總結(jié)和翻譯等語(yǔ)言任務(wù)上，GPT-2開始從原始文本中學(xué)習(xí)這些任務(wù)，不使用任務(wù)特定的訓(xùn)練數(shù)據(jù)。雖然這些下游任務(wù)的得分未達(dá)到最先進(jìn)的水平，但他們建議，只要有足夠的（未標(biāo)記的）數(shù)據(jù)和計(jì)算，任務(wù)可以從無(wú)監(jiān)督技術(shù)中受益。

正如上面的示例所示，我們的模型能夠從感覺接近人類質(zhì)量的各種提示中生成樣本示例，并在頁(yè)面或更多文本上顯示一致性。然而，我們已經(jīng)觀察到各種失效模式，例如重復(fù)文本、世界建模失敗（例如，模型有時(shí)會(huì)寫的是在水下發(fā)生的火災(zāi)），以及非自然的主題切換。探索語(yǔ)言模型的這些類型的弱點(diǎn)是自然語(yǔ)言處理社區(qū)中一個(gè)活躍的研究領(lǐng)域。

總的來(lái)說(shuō)，我們發(fā)現(xiàn)需要花費(fèi)一些時(shí)間來(lái)獲得一個(gè)好的樣本，嘗試次數(shù)取決于模型對(duì)上下文的熟悉程度。當(dāng)提示數(shù)據(jù)中高度代表性的主題（如指環(huán)王）時(shí)，似乎能夠在大約50％的時(shí)間內(nèi)就生成合理的樣本。相反的情況也是如此：對(duì)于技術(shù)含量高或內(nèi)容類型較高的內(nèi)容，該模型的表現(xiàn)可能不佳。微調(diào)提供了對(duì)生成的樣本進(jìn)行更詳細(xì)控制的潛力。例如，我們可以在Amazon Reviews數(shù)據(jù)集上微調(diào)GPT-2，并使用它來(lái)讓我們根據(jù)星級(jí)和類別等內(nèi)容編寫評(píng)論。

這些樣本具有重大的含義：大型語(yǔ)言模型越來(lái)越容易引導(dǎo)可擴(kuò)展、定制、連貫的文本生成，而這些文本生成又可以以多種有益和惡意的方式使用。我們將在下面更詳細(xì)地討論這些含義，并根據(jù)這些考慮，概述我們正在進(jìn)行的發(fā)布實(shí)驗(yàn)。

Zero-shot

GPT-2在各種特定領(lǐng)域的語(yǔ)言建模任務(wù)中獲得了最先進(jìn)的分?jǐn)?shù)。 我們的模型沒有針對(duì)任何這些任務(wù)的任何數(shù)據(jù)進(jìn)行過(guò)訓(xùn)練，只是作為最終測(cè)試進(jìn)行評(píng)估; 這被稱為“Zero-shot”設(shè)置。 在對(duì)這些相同數(shù)據(jù)集進(jìn)行評(píng)估時(shí)，GPT-2的性能優(yōu)于在特定領(lǐng)域數(shù)據(jù)集（例如維基百科、新聞、書籍）上訓(xùn)練的模型。 下表顯示了我們所有最先進(jìn)的Zero-shot的拍攝結(jié)果。

（ ）表示此域名的分?jǐn)?shù)越高越好。 （ - ）表示分?jǐn)?shù)越低越好。

在其他語(yǔ)言任務(wù)中，例如問答、閱讀理解、總結(jié)和翻譯，我們可以在不對(duì)模型進(jìn)行任何微調(diào)的情況下獲得不錯(cuò)的結(jié)果，只需通過(guò)正確的方式提示訓(xùn)練模型，盡管我們?nèi)匀粵]有達(dá)到專業(yè)系統(tǒng)的最新技術(shù)水平。

我們假設(shè)由于這些任務(wù)是通用語(yǔ)言建模的一個(gè)子集，我們可以預(yù)期性能會(huì)隨著更多的計(jì)算和數(shù)據(jù)而進(jìn)一步增加。 其他人也發(fā)表了類似的假設(shè)。 盡管我們尚未進(jìn)行徹底的實(shí)驗(yàn)，但我們還希望進(jìn)行微調(diào)以幫助完成下游任務(wù)的性能。

了解從現(xiàn)在開始

如果你想了解人工智能語(yǔ)言的產(chǎn)生，那么除了使用TalkToTransformer之外，沒有更好的方法來(lái)理解它的巨大潛力和嚴(yán)重的局限性。

從好的方面來(lái)說(shuō)，該模型非常靈活。它能夠識(shí)別各種各樣的輸入，從新聞文章和故事到歌詞、詩(shī)歌、食譜、代碼和HTML。它甚至可以識(shí)別哈利波特和指環(huán)王等系列電影中我們很熟悉的角色。

與此同時(shí)，您很快就會(huì)發(fā)現(xiàn)，從根本上講，系統(tǒng)并不了解語(yǔ)言或整個(gè)世界。它生成的文本具有表面上的一致性，但沒有長(zhǎng)期的結(jié)構(gòu)。例如，當(dāng)它寫故事時(shí)，字符隨機(jī)出現(xiàn)和消失，其需求或動(dòng)作沒有一致性。當(dāng)它產(chǎn)生對(duì)話時(shí)，就會(huì)漫無(wú)目的地從一個(gè)話題轉(zhuǎn)移到另一個(gè)話題。如果它得到的反應(yīng)不止幾個(gè)，那似乎是好運(yùn)，而不是技能。

請(qǐng)記住：這是一種學(xué)習(xí)通過(guò)研究從Web和其他來(lái)源中抓取的大型數(shù)據(jù)集來(lái)生成文本的算法。它通過(guò)在這些信息中尋找模式來(lái)學(xué)習(xí)，結(jié)果是一個(gè)令人驚訝的多才多藝的系統(tǒng)。

在GPT-2的知識(shí)中找到差距可能并不困難，但是不可能知道你是否已經(jīng)探究了它能做什么的極限。