△ 左為GPT-2，右為BERT

上周，OpenAI腦洞天大的語言模型GPT-2，用獨角獸的故事震精了世界。

谷歌BERT“史上最強”的位子沒坐多久，便有了光芒萬丈的后輩。

如今，那個幫BERT做了PyTorch實現(xiàn)的團隊，已經(jīng)火速在BERT項目里增加了GPT-2支持，并收到了推特用戶的盛贊。

看來，就算GPT-2只開源了縮小版，也值得珍惜，畢竟是有1.17億個參數(shù)的模型。

都到碗里來

十幾個小時前，名叫HuggingFace (抱抱臉) 的團隊，發(fā)布了Pytorch-bert v0.6更新。

這次更新的內容，就是增加了GPT-2縮小版的預訓練模型，以及與模型搭配的常用腳本示例。

不過，為OpenAI家的語言模型添加支持，在Pytorch-bert項目里，已經(jīng)不是第一次了：

一周前發(fā)布的v0.5，就增加了GPT，那是GPT-2的上一代。

同時增加的，還有谷歌的Transformer-XL，那是1月中旬發(fā)布的語言模型，可以理解超長的上下文關系，比普通Transformer快1800多倍。

也就是說，地球上知名NLP模型的PyTorch實現(xiàn)，正在項目里面不斷集結，場面一派祥和。

這個學名叫pytorch-pretrained-BERT的項目，已在GitHub上收集了3600多顆星。

當然，項目的主業(yè)還是BERT，有三個BERT模型提供：

第一個是原味BERT，第二個是帶序列分類器的BERT，第三個是帶token分類器的BERT (用來做問答) 。

來吧，抱抱臉

HuggingFace (“抱抱臉”) 團隊原本就是做聊天機器人的，所以主要的貢獻也在自然語言處理 (NLP) 領域。

除了BERT的PyTorch實現(xiàn)之外，團隊還發(fā)布過許多其他的源代碼和友善的教程，也都是基于PyTorch。

比如，教你給NLP任務加速100倍：
https:///huggingface/100-times-faster-natural-language-processing-in-python-ee32033bdced

用PyTorch實現(xiàn)了從語言中識別情緒的DeepMoji模型：
https://github.com/huggingface/torchMoji

還用PyTorch實現(xiàn)了OpenAI優(yōu)化過的Transformer模型：
https://github.com/huggingface/pytorch-openai-transformer-lm

所以，發(fā)生了GPT-2這樣的重大進展，“抱抱臉”自然是及時響應了。

管他OpenAI敢不敢開源15億參數(shù)的完整模型，管他要不要改名ClosedAI呢。