這世界變化快。

去年10月，Google團(tuán)隊(duì)發(fā)布BERT模型橫掃一切，在11種不同NLP測(cè)試中創(chuàng)出最佳成績(jī)?，F(xiàn)在，輪到BERT被碾壓了。

CMU和Google Brain團(tuán)隊(duì)最新發(fā)布的XLNet，在20項(xiàng)任務(wù)上超過(guò)了BERT的表現(xiàn)，包括SQuAD、GLUE、RACE等等。

這個(gè)消息一出，業(yè)界又轟動(dòng)了。

目前這個(gè)模型的的論文、代碼和預(yù)訓(xùn)練模型都已經(jīng)放出。

XLNet的共同一作，是本科都畢業(yè)于清華的Zhilin Yang（楊植麟）和Zihang Dai，目前兩人都在CMU讀博。

為什么XLNet能夠橫掃BERT？

作者在這篇論文中表示，BERT在訓(xùn)練時(shí)需要mask一些輸入，忽略了被遮蔽位置之間的依賴(lài)關(guān)系，因此產(chǎn)生預(yù)訓(xùn)練-微調(diào)差異。

而這次提出的XLNet，是一種泛化的自回歸預(yù)訓(xùn)練模型。一方面，XLNet通過(guò)通過(guò)最大化所有可能因式分解順序的對(duì)數(shù)似然，學(xué)習(xí)雙向上下文；另一方面，利用自回歸來(lái)客服BERT的缺點(diǎn)。此外，XLNet還在預(yù)訓(xùn)練中借鑒了最先進(jìn)自回歸模型Transformer-XL的想法。

最終的測(cè)試表明，XLNet在20個(gè)任務(wù)上的表現(xiàn)優(yōu)于BERT，而且通常是大幅提升；在18個(gè)任務(wù)上，獲得了最高水平的結(jié)果，包括機(jī)器問(wèn)答、自然語(yǔ)言推理、情感分析和文檔排序等。

一大批用戶(hù)在推特上表示了震驚。

“我還以為NLP已經(jīng)被BERT和ULMFiT解決了”，一位用戶(hù)發(fā)了個(gè)哭臉評(píng)論道。

這篇論文的作者大牛云集，除了開(kāi)頭提到的兩位共同一作，還包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov，以及來(lái)自Google Brain團(tuán)隊(duì)的大牛Quoc V. Le。

最后送上傳送門(mén)。

論文地址在此：

https:///abs/1906.08237

GitHub地址在此：

https://github.com/zihangdai/xlnet