一、樣本均值與樣本方差

1. 概述

假設(shè)有以下數(shù)據(jù)：

1. 樣本均值與樣本方差

以下定義了數(shù)據(jù)的樣本均值與樣本方差：

接下來需要對樣本均值與樣本方差進(jìn)行一些變換來獲得其另一種表示形式：

中心矩陣具備以下性質(zhì)：

因此最終可以得到

二、主成分分析的思想

一個(gè)中心：PCA是對原始特征空間的重構(gòu)，將原來的線性相關(guān)的向量轉(zhuǎn)換成線性無關(guān)的向量；

兩個(gè)基本點(diǎn)：最大投影方差和最小重構(gòu)距離，這是本質(zhì)相同的兩種方法，在接下來的部分將具體介紹。

PCA首先要將數(shù)據(jù)中心化（即減去均值）然后投影到一個(gè)新的方向上，這個(gè)新的方向即為重構(gòu)的特征空間的坐標(biāo)軸，同時(shí)也要保證投影以后得到的數(shù)據(jù)的方差最大，即最大投影方差，這樣也保證了數(shù)據(jù)的重構(gòu)距離最小。

四、最大投影方差

假設(shè)投影方向?yàn)?img doc360img-src='http://image109.360doc.com/DownloadImg/2022/11/1919/256093998_12_20221119072846367.svg' alt="圖片" src="http://image109.360doc.com/DownloadImg/2022/11/1919/256093998_12_20221119072846367.svg">，由于我們只關(guān)注投影的方向，因此將的模設(shè)置為，即，則中心化后的數(shù)據(jù)在方向上的投影為，是一個(gè)標(biāo)量。按照最大投影方差的思想，我們定義損失函數(shù)如下：

因此該問題就轉(zhuǎn)換為以下最優(yōu)化問題：

然后使用拉格朗日乘子法進(jìn)行求解：

最后解得符合條件的向量是協(xié)方差矩陣的特征向量。如果想要降到維（），則只需要將對應(yīng)特征值最大的前個(gè)特征向量取出來作為投影方向然后獲得數(shù)據(jù)在這些方向上的投影即為重構(gòu)的坐標(biāo)，即：

特征向量表示投影變換的方向，特征值表示投影變換的強(qiáng)度。通過降維,我們希望減少冗余信息,提高識(shí)別的精度,或者希望通過降維算法來尋找數(shù)據(jù)內(nèi)部的本質(zhì)結(jié)構(gòu)特征。找最大的特征值是因?yàn)?，在降維之后要最大化保留數(shù)據(jù)的內(nèi)在信息，并期望在所投影的維度上的離散最大。

五、最小重構(gòu)距離

最小重構(gòu)距離是另一種求解的方法，其本質(zhì)上和最大投影方差是相同的。

我們知道有個(gè)投影方向符合條件，因此原來的數(shù)據(jù)可以表示為以下形式，降維的數(shù)據(jù)也就是舍棄掉第到第這幾個(gè)方向上的信息。

因此重構(gòu)距離也就是指，本著最小化重構(gòu)距離的思想我們可以設(shè)置新的損失函數(shù)如下：

然后就可以轉(zhuǎn)化為以下最優(yōu)化問題：

顯然這里的每個(gè)是可以單獨(dú)求解的，最終也可以解得是協(xié)方差矩陣的特征向量，只不過這里的是對應(yīng)特征值較小的幾個(gè)特征向量。

六、SVD角度看PCA和PCoA

協(xié)方差矩陣的特征分解：

.

將中心化的結(jié)果做奇異值分解：

接下里可以做以下變換：

接下來我們構(gòu)造矩陣：

對比和，我們可以發(fā)現(xiàn)：
①將進(jìn)行特征分解然后得到投影的方向，也就是主成分，然后矩陣即為重構(gòu)坐標(biāo)系的坐標(biāo)矩陣；
②將進(jìn)行特征分解可以直接獲得坐標(biāo)矩陣。
（注意應(yīng)保證和特征分解得到的特征向量是單位向量。）

關(guān)于為什么將進(jìn)行特征分解可以直接獲得坐標(biāo)矩陣，現(xiàn)做以下解釋：

這兩種?法都可以得到主成分，但是由于?差矩陣是的，?是的，所以對樣本量較少的時(shí)候可以采? PCoA的?法。

七、概率PCA（p-PCA）

1. 概述

假設(shè)有以下數(shù)據(jù)：

其中是原始數(shù)據(jù)，是降維后的數(shù)據(jù)，可以將看做隱變量（latent variable），看做觀測變量（observed variable），則p-PCA就可以看做生成模型。

和滿足以下關(guān)系：

這是一個(gè)線性高斯模型，其中是噪聲，與是獨(dú)立的。求解這個(gè)模型要經(jīng)過兩個(gè)階段：
①inference：求
②learning：使用EM算法求解參數(shù)。

的生成過程如下：

上圖中數(shù)據(jù)空間為?維，潛在空間為?維。?個(gè)觀測數(shù)據(jù)點(diǎn)的?成?式為：?先從潛在變量的先驗(yàn)分布中抽取?個(gè)潛在變量的值，然后從?個(gè)各向同性的?斯分布（?紅?圓圈表示）中抽取?個(gè)的值，這個(gè)各向同性的?斯分布的均值為，協(xié)?差為。綠?橢圓畫出了邊緣概率分布的密度輪廓線。

1. 推斷（inference）

求解的過程如下：

• 求

• 求

• 求

該問題和《高斯分布|機(jī)器學(xué)習(xí)推導(dǎo)系列（二）》中第六部分的問題是類似的。

利用《高斯分布|機(jī)器學(xué)習(xí)推導(dǎo)系列（二）》中第五部分的公式可以求解：

1. 學(xué)習(xí)（learning）

使用EM算法求解，這里不做展示。

參考資料

ref:降維時(shí)為什么找最大的特征值對應(yīng)的特征向量
ref:《模式識(shí)別與機(jī)器學(xué)習(xí)》