第一時間獲取價值內(nèi)容

一、概率圖模型

概率圖模型又叫做馬爾可夫隨機場，是一個可以用無線圖表示的聯(lián)合概率分布。在這個無線圖中結(jié)點表示隨機變量，邊表示兩個隨機變量依賴關(guān)系。給定一個概率分布及其無向圖，首先定義無向圖表示隨機變量之間存在的馬爾可夫性。

成對馬爾可夫性

成對馬爾可夫性是指概率無向圖中任意兩個結(jié)點 u 和 v ，如果這兩個結(jié)點沒有邊向量，則該這兩個結(jié)點對應(yīng)的隨機變量在給定其余結(jié)點（對應(yīng)其余隨機變量）的前提下條件獨立。

局部馬爾可夫性

局部馬爾可夫性是指概率無向圖中的任一結(jié)點 v，W表示與之相連結(jié)點的集合，O表示沒有與v直接連接的結(jié)點的集合，v與O在給定結(jié)點集合W的前提下獨立。

全局馬爾可夫性

全局馬爾可夫性是指對于結(jié)點集A和B，如果存在結(jié)點集C使得兩個結(jié)點集A B沒有邊相連，則結(jié)點集A對應(yīng)的隨機變量與結(jié)點集B對應(yīng)的隨機變量是獨立的。

因此概率無向圖的定義為，設(shè)有聯(lián)合概率分布P(Y)，如果一個無向圖的結(jié)點表示隨機變量，邊表示隨機變量之間的依賴關(guān)系，如果聯(lián)合概率分布P(Y)滿足成對馬爾可夫性、局部馬爾可夫性、全局馬爾可夫性，則該無向圖為概率無向圖模型，又稱條件隨機場。概率無向圖最大的特點就是易于因子分解。

團與最大團

在無向圖，一個團表示的是一個結(jié)點集，并且結(jié)點集任意兩個結(jié)點有邊相連。如果一個團不可再增加一個結(jié)點，則該團為最大團。{Y1，Y2} {Y1，Y3} {Y2，Y3} {Y2，Y4} 

 如上圖所示，上面可以分解為多個團{Y1,Y2} {Y1,Y3} {Y2,Y3} {Y2,Y4} {Y3,Y4} ，最大團有兩個{Y1,Y2,Y3} {Y2,Y3,Y4} 。

將概率無向圖模型的聯(lián)合概率分布表示為其最大團上隨機變量的函數(shù)的乘積形式的操作，稱為概率無向圖模型的因式分解。定義Yc是最大團C對應(yīng)的隨機變量，因此聯(lián)合概率分布可以寫為

其中，Z是規(guī)范化因子

為勢函數(shù)，且嚴格正。

二、條件隨機場

簡介

條件隨機場是一種判別式無向圖模型，即條件隨機場是對條件概率分布建模（隱馬爾可夫和馬爾可夫隨機場都是對聯(lián)合概率分布建模，是生成模型）。條件隨機場對輸入的觀測序列和標記序列建立條件概率模型。

例子

假設(shè)你有許多小明同學一天內(nèi)不同時段的照片，從小明提褲子起床到脫褲子睡覺各個時間段都有（小明是照片控！）?，F(xiàn)在的任務(wù)是對這些照片進行分類。比如有的照片是吃飯，那就給它打上吃飯的標簽；有的照片是跑步時拍的，那就打上跑步的標簽；有的照片是開會時拍的，那就打上開會的標簽。問題來了，你準備怎么干？

一個簡單直觀的辦法就是，不管這些照片之間的時間順序，想辦法訓練出一個多元分類器。就是用一些打好標簽的照片作為訓練數(shù)據(jù)，訓練出一個模型，直接根據(jù)照片的特征來分類。例如，如果照片是早上6:00拍的，且畫面是黑暗的，那就給它打上睡覺的標簽;如果照片上有車，那就給它打上開車的標簽。

但實際上，由于我們忽略了這些照片之間的時間順序這一重要信息，我們的分類器會有缺陷的。舉個例子，假如有一張小明閉著嘴的照片，怎么分類？顯然難以直接判斷，需要參考閉嘴之前的照片，如果之前的照片顯示小明在吃飯，那這個閉嘴的照片很可能是小明在咀嚼食物準備下咽，可以給它打上吃飯的標簽；如果之前的照片顯示小明在唱歌，那這個閉嘴的照片很可能是小明唱歌瞬間的抓拍，可以給它打上唱歌的標簽。

所以，為了讓我們的分類器能夠有更好的表現(xiàn)，在為一張照片分類時，我們必須將與它相鄰的照片的標簽信息考慮進來。（本例子摘自《如何輕松愉快地理解條件隨機場》—milter）

為了更好的介紹條件隨機場，在這里僅介紹線性鏈條件隨機場。

如上圖所示，線性鏈條件隨機場與隱馬爾可夫模型的結(jié)構(gòu)很相似，但隱馬爾可夫模型僅僅只考慮先前狀態(tài)對當前的影響，而條件隨機場考慮了屬于變量X以及前后狀態(tài)的影響。由于滿足馬爾可夫性，以下等式成立。

給定一個句子：我愛學習。現(xiàn)在要把該句子劃分為若干個詞語。分詞的過程相當于給某個字打上標簽，即分別是：詞頭(Begin)、詞中(Middle)、詞尾(End)、單字成詞(Single)，簡稱B,M,E,S。顯然每一字對應(yīng)的標簽和上下文是有關(guān)的，（不可能連續(xù)有兩個詞頭的出現(xiàn)等等），因此要將前后字的標簽考慮進來。這里條件隨機場的預(yù)測問題同樣是使用維特比算法，計算一條最優(yōu)的路徑。

條件隨機場參數(shù)化形式

現(xiàn)在定義P(Y|X)為線性鏈條件隨機場

其中Z(x)為歸一化因子，tk和si為特征函數(shù)，μ λ是對應(yīng)的權(quán)重。tk是依賴于邊的特征函數(shù)，稱為轉(zhuǎn)移特征，si是定義在結(jié)點上的特征函數(shù)，稱為狀態(tài)特征。轉(zhuǎn)移特征和狀態(tài)特征只有滿足條件時取值為1，否則取值為0。為了簡便起見，用統(tǒng)一的符號表示特征函數(shù)和權(quán)值。設(shè)轉(zhuǎn)移特征有K1個，狀態(tài)特征K2個，K = K1+K2。

對整個序列的各個位置求和得

并且權(quán)值也可以統(tǒng)一為

因此條件隨機場可以表示為

若將各個權(quán)重組成向量w為

各個特征組成全局特征向量為

則可以用內(nèi)積的形式表示條件隨機場

以上是條件隨機場的一般表達形式，可以看到我們可以定義各種各樣的特征函數(shù)，因此條件隨機場的功能十分強大，同時模型也十分的復雜，因此訓練的代價很高。

本篇只是簡單的介紹條件隨機場，想要深入了解條件隨機場請自行去閱讀相關(guān)論文和書籍。

資料來源：

《統(tǒng)計學習方法》李航

《機器學習》   周志華

  以及網(wǎng)上各位大佬的博文