統(tǒng)計(jì)學(xué)習(xí)方法第四章貝葉斯估計(jì)題
參考1:https://blog.csdn.net/bumingqiu/article/details/73397812
參考2:https://blog.csdn.net/bitcarmanlee/article/details/82156281
一、第一個(gè)公式:
其中,
為第
種類別,共有
種;
為樣本數(shù)目;
證:
設(shè)
,且
服從參數(shù)為
的Dirichlet分布(先驗(yàn)分布),則有概率質(zhì)量函數(shù)(即離散變量的概率密度函數(shù))如下:
;
(2)式可改寫(xiě)成:
設(shè)
為各類別的觀測(cè)數(shù),有:
則根據(jù)觀測(cè)數(shù)據(jù)對(duì)先驗(yàn)分布改進(jìn)如下:
其中,
,又
是與
無(wú)關(guān)的量,故(5)式可寫(xiě)為:
設(shè)
服從多項(xiàng)分布,則有:
(7)式可改寫(xiě)成:
將(3)式和(8)式帶入(6)式,可得:
因此得出結(jié)論,
的后驗(yàn)概率
服從參數(shù)為
的Dirichlet分布:
故
的期望有(Dirichlet分布期望公式):
即有:
故原式得證。
二、第二個(gè)公式
其中,
表示第
個(gè)樣本的第
維特征值,
表示第
維特征可取值個(gè)數(shù),
表示特征維數(shù),
表示類別數(shù),
為樣本數(shù);
證明:
參考第一個(gè)公式的證明,設(shè):
,且
服從參數(shù)為
的Dirichlet分布(先驗(yàn)分布),則有概率質(zhì)量函數(shù)(即離散變量的概率密度函數(shù))如下:
(2)是可改寫(xiě)為:
設(shè)
為第
維度
種特征值的觀測(cè)數(shù),有:
根據(jù)觀測(cè)數(shù)據(jù)對(duì)(3)式進(jìn)行改進(jìn)如下:
其中,
,又
是與
無(wú)關(guān)的量,故(5)式可寫(xiě)為:
設(shè)
服從多項(xiàng)分布,則有:
(7)式可改寫(xiě)為:
將(3)式和(8)式帶入(6)式,則有:
因此得出結(jié)論,
的后驗(yàn)概率
服從參數(shù)為
的Dirichlet分布:
故
的期望有(Dirichlet分布期望公式):
即有:
于是,原式得證。
本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)
點(diǎn)擊舉報(bào)。