點(diǎn)擊加載圖片

人工智能的自然語言理解技術(shù)在2020年進(jìn)步很快，可以說是進(jìn)一大步，因為基于Transformer模型的OpenAI GPT3模型（沒錯，是一種型號，前面還有GPT2）的原因。

話說2020年年中，人類歷史上最大的人工智能模型，來到人間。GPT-3模型出生于美國Open AI實驗室。

這個基于Transformer的GPT3模型是個體格巨大的北鼻，哭聲嘹亮，告知全世界：

“我寫的作文，幾乎通過了圖靈測試?！?/p>

而Transformer 模型是谷歌團(tuán)隊早在 2017 年提出的一種經(jīng)典模型，現(xiàn)在火熱的 Bert 模型也是基于 Transformer模型。

點(diǎn)擊加載圖片

可以見Transformer模型的江湖地位有多重要，“進(jìn)步的突出性”也可見一斑。

重點(diǎn)來了，Transformer 模型使用了自注意力機(jī)制，能夠忽略無關(guān)信息而關(guān)注重點(diǎn)信息。模型可以并行化訓(xùn)練，而且能夠擁有全局信息。因為之前的人工智能中的卷積運(yùn)算有一個顯著缺陷，即僅在局部近鄰上工作，也由此會錯失全局信息。

點(diǎn)擊加載圖片

所以，自注意力機(jī)制就是一種“補(bǔ)足性的進(jìn)步”。

簡單說就是，從大量信息中有篩選出少量重要信息，并聚焦到重要信息上，從而忽略大多不重要的信息，并以權(quán)重代表了信息的重要性。

Transformer 模型的架構(gòu)主要用于對自然語言理解任務(wù)進(jìn)行建模，避免使用神經(jīng)網(wǎng)絡(luò)中的遞歸，而是完全信任自注意力在輸入和輸出之間繪制全局依賴性的機(jī)制。

點(diǎn)擊加載圖片

自注意力機(jī)制已經(jīng)用在了谷歌搜索技術(shù)中，Transformer，Bert和GPT3這些花枝招展的模型，都是這一思想的體現(xiàn)與升華。（完）

《親愛的數(shù)據(jù)》出品

點(diǎn)擊加載圖片