統(tǒng)計(jì)學(xué)習(xí)方法第四章貝葉斯估計(jì)題

參考1：https://blog.csdn.net/bumingqiu/article/details/73397812

參考2：https://blog.csdn.net/bitcarmanlee/article/details/82156281

一、第一個(gè)公式：

其中，為第種類別，共有種；為樣本數(shù)目；

證：

設(shè)，且服從參數(shù)為的Dirichlet分布（先驗(yàn)分布），則有概率質(zhì)量函數(shù)（即離散變量的概率密度函數(shù)）如下：

;

（2）式可改寫成：

設(shè)為各類別的觀測(cè)數(shù)，有：

則根據(jù)觀測(cè)數(shù)據(jù)對(duì)先驗(yàn)分布改進(jìn)如下：

其中，，又是與無關(guān)的量，故（5）式可寫為：

設(shè)服從多項(xiàng)分布，則有：

(7)式可改寫成：

將(3)式和(8)式帶入(6)式，可得：

因此得出結(jié)論，的后驗(yàn)概率服從參數(shù)為的Dirichlet分布：

故的期望有(Dirichlet分布期望公式):

即有：

故原式得證。

二、第二個(gè)公式

其中，表示第個(gè)樣本的第維特征值，表示第維特征可取值個(gè)數(shù),表示特征維數(shù)，表示類別數(shù)，為樣本數(shù)；

證明:

參考第一個(gè)公式的證明，設(shè)：

，且服從參數(shù)為的Dirichlet分布（先驗(yàn)分布），則有概率質(zhì)量函數(shù)（即離散變量的概率密度函數(shù)）如下：

(2)是可改寫為：

設(shè)為第維度種特征值的觀測(cè)數(shù)，有：

根據(jù)觀測(cè)數(shù)據(jù)對(duì)(3)式進(jìn)行改進(jìn)如下：

其中，，又是與無關(guān)的量，故（5）式可寫為：

設(shè)服從多項(xiàng)分布，則有：

(7)式可改寫為：

將(3)式和(8)式帶入(6)式，則有：

因此得出結(jié)論，的后驗(yàn)概率服從參數(shù)為的Dirichlet分布：

故的期望有(Dirichlet分布期望公式):

即有：

于是，原式得證。