貝葉斯分類器在早期的自然語言處理任務(wù)中有著較多實(shí)際的應(yīng)用，例如大部分的垃圾郵件處理都是用的貝葉斯分類器。

貝葉斯決策論是在統(tǒng)計(jì)概率框架下進(jìn)行分類決策的基本方法。對于分類任務(wù)來說，在所有相關(guān)概率都已知的情況下，貝葉斯決策論考慮如何基于這些概率和誤判損失來預(yù)測分類。

HMM早期在語音識別、分詞等序列標(biāo)注問題中有著廣泛的應(yīng)用。

HMM是非常適合用于序列標(biāo)注問題的。HMM模型引入了馬爾科夫假設(shè)，即T時(shí)刻的狀態(tài)僅僅與前一時(shí)刻的狀態(tài)相關(guān)。

隱馬爾科夫模型引入了馬爾科夫假設(shè)，即當(dāng)前時(shí)刻的狀態(tài)只與其前一時(shí)刻的狀態(tài)有關(guān)。但是，在序列標(biāo)注任務(wù)中，當(dāng)前時(shí)刻的狀態(tài)，應(yīng)該同該時(shí)刻的前后的狀態(tài)均相關(guān)。于是，在很多序列標(biāo)注任務(wù)中，引入了條件隨機(jī)場。

這里詳細(xì)了介紹條件隨機(jī)場的理論和及其在實(shí)體識別中的應(yīng)用和Tensorflow中的實(shí)現(xiàn)。

對于一些序列輸入的信息，例如語音、語言等，不同時(shí)刻之間的輸入存在相互的影響，需要一種模型能夠“記憶”歷史輸入的信息，進(jìn)而對整個(gè)序列進(jìn)行完整的特征提取和表征。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)就是面對這樣的需求提出來的，它能夠“記憶”序列輸入的歷史信息，從而能夠較好的對整個(gè)序列進(jìn)行語義建模。

RNN雖然理論上可以很漂亮的解決序列數(shù)據(jù)的訓(xùn)練，但是它也像DNN一樣有梯度消失的問題，當(dāng)序列很長的時(shí)候問題尤其嚴(yán)重。雖然同選擇合適的激活函數(shù)等方法能夠一定程度的減輕該問題。但人們往往更青睞于使用RNN的變種。

LSTM在原本RNN的基礎(chǔ)上增加了CEC的內(nèi)容，CEC保證了誤差以常數(shù)的形式在網(wǎng)絡(luò)中流動，這部分通過引入細(xì)胞狀態(tài)C來體現(xiàn)。

并且，為了解決輸入和輸出在參數(shù)更新時(shí)的矛盾，在CEC的基礎(chǔ)上添加3個(gè)門使得模型變成非線性的，就可以調(diào)整不同時(shí)序的輸出對模型后續(xù)動作的影響。

人類在對信息進(jìn)行處理的過程中，注意力不是平均分散的，而是有重點(diǎn)的分布。受此啟發(fā)，做計(jì)算機(jī)視覺的朋友，開始在視覺處理過程中加入注意力機(jī)制(Attention)。隨后，做自然語言處理的朋友們，也開始引入這個(gè)機(jī)制。在NLP的很多任務(wù)中，加入注意力機(jī)制后，都取得了非常好的效果。

在NLP中，Attention機(jī)制是什么呢？從直覺上來說，與人類的注意力分配過程類似，就是在信息處理過程中，對不同的內(nèi)容分配不同的注意力權(quán)重。

Transformer中最重要的特點(diǎn)就是引入了Attention，特別是Multi-Head Attention。作為一個(gè)序列輸入的特征抽取器，其編碼能力強(qiáng)大，沒有明顯的缺點(diǎn)。短期內(nèi)難以看到可以匹敵的競爭對手。

BERT，全稱是Pre-training of Deep Bidirectional Transformers for Language Understanding。注意其中的每一個(gè)詞都說明了BERT的一個(gè)特征。

Pre-training說明BERT是一個(gè)預(yù)訓(xùn)練模型，通過前期的大量語料的無監(jiān)督訓(xùn)練，為下游任務(wù)學(xué)習(xí)大量的先驗(yàn)的語言、句法、詞義等信息。

Bidirectional 說明BERT采用的是雙向語言模型的方式，能夠更好的融合前后文的知識。

Transformers說明BERT采用Transformers作為特征抽取器。

Deep說明模型很深，base版本有12層，large版本有24層。

總的來說，BERT是一個(gè)用Transformers作為特征抽取器的深度雙向預(yù)訓(xùn)練語言理解模型。

TransformerXL是Transformer一種非常重要的改進(jìn)，通過映入Recurrence機(jī)制和相對位置編碼，增強(qiáng)了Transformer在長文本輸入上的特征抽取能力。

TransformerXL學(xué)習(xí)的依賴關(guān)系比RNN長80%，比傳統(tǒng)Transformer長450%，在短序列和長序列上都獲得了更好的性能，并且在評估階段比傳統(tǒng)Transformer快1800+倍。

GPT，特別是GPT2.0是一個(gè)大型無監(jiān)督語言模型，能夠生產(chǎn)連貫的文本段落，在許多語言建?；鶞?zhǔn)上取得了 SOTA 表現(xiàn)。而且該模型在沒有任務(wù)特定訓(xùn)練的情況下，能夠做到初步的閱讀理解、機(jī)器翻譯、問答和自動摘要。

XLnet集合了目前兩大預(yù)訓(xùn)練模型的優(yōu)點(diǎn)，在結(jié)構(gòu)上，XLnet采用改進(jìn)后的transofmerXL作為特征抽取器。在訓(xùn)練模式上，XLnet實(shí)現(xiàn)了BERT的雙向語言模型，引入了PLM和雙流自注意力模型，避免了BERT MLM的缺點(diǎn)。

從詞向量開始，到最新最強(qiáng)大的BERT等預(yù)訓(xùn)練模型，梗概性的介紹了深度學(xué)習(xí)近20年在NLP中的一些重大的進(jìn)展。