標(biāo)簽： 協(xié)方差 協(xié)方差矩陣 統(tǒng)計(jì)

引言

最近在看主成分分析（PCA），其中有一步是計(jì)算樣本各維度的協(xié)方差矩陣。以前在看算法介紹時(shí)，也經(jīng)常遇到，現(xiàn)找了些資料復(fù)習(xí)，總結(jié)如下。

協(xié)方差

通常，在提到協(xié)方差的時(shí)候，需要對(duì)其進(jìn)一步區(qū)分。（1）隨機(jī)變量的協(xié)方差。跟數(shù)學(xué)期望、方差一樣，是分布的一個(gè)總體參數(shù)。（2）樣本的協(xié)方差。是樣本集的一個(gè)統(tǒng)計(jì)量，可作為聯(lián)合分布總體參數(shù)的一個(gè)估計(jì)。在實(shí)際中計(jì)算的通常是樣本的協(xié)方差。

隨機(jī)變量的協(xié)方差

在概率論和統(tǒng)計(jì)中，協(xié)方差是對(duì)兩個(gè)隨機(jī)變量聯(lián)合分布線性相關(guān)程度的一種度量。兩個(gè)隨機(jī)變量越線性相關(guān)，協(xié)方差越大，完全線性無關(guān)，協(xié)方差為零。定義如下。

當(dāng)XX，YY是同一個(gè)隨機(jī)變量時(shí)，XX與其自身的協(xié)方差就是XX的方差，可以說方差是協(xié)方差的一個(gè)特例。

或

協(xié)方差矩陣

多維隨機(jī)變量的協(xié)方差矩陣

樣本的協(xié)方差矩陣

在寫程序計(jì)算樣本的協(xié)方差矩陣時(shí)，我們通常用后一種向量形式計(jì)算。一個(gè)原因是代碼更緊湊清晰，另一個(gè)原因是計(jì)算機(jī)對(duì)矩陣及向量運(yùn)算有大量的優(yōu)化，效率高于在代碼中計(jì)算每個(gè)元素。

需要注意的是，協(xié)方差矩陣是計(jì)算樣本不同維度之間的協(xié)方差，而不是對(duì)不同樣本計(jì)算，所以協(xié)方差矩陣的大小與維度相同。

很多時(shí)候我們只關(guān)注不同維度間的線性關(guān)系，且要求這種線性關(guān)系可以互相比較。所以，在計(jì)算協(xié)方差矩陣之前，通常會(huì)對(duì)樣本進(jìn)行歸一化，包括兩部分：