近似貝葉斯計算在判別分析中的應用

陳發(fā)展

摘要：貝葉斯線性判別是判別分析中流行的一種判別法，該方法在實現(xiàn)過程需要涉及高維樣本協(xié)方差矩陣逆的復雜運算。本文利用近似貝葉斯方法對貝葉斯線性判別進行了算法設計和研究。該方法簡單明了，易于實現(xiàn)并且規(guī)避了高維樣本協(xié)方差矩陣逆的計算。本文還結(jié)合R軟件對常見的分類案例給出近似貝葉斯計算和估計，從而說明了近似貝葉斯計算的簡單有效性。

關(guān)鍵詞：貝葉斯判別分析；近似貝葉斯計算；R軟件

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2018）29-0203-02

Abstract：Bayesian linear discrimination is a popular method in discriminant analysis， which involves complex operation of the inverse of high dimensional sample covariance matrix in the realization process.In this paper， an approximate bayesian method is used to design and study bayesian linear discriminant.The method is simple and easy to implement and avoids the inverse calculation of high - dimensional sample covariance matrix.In this paper， the approximate bayesian computation and estimation of common classification cases with R software are presented， which indicates the simple validity of approximate bayesian computation.

Key words： Bayes discriminant analysis ；Approximate Bayesian computation；R software

1 引言

貝葉斯判別分析是多元統(tǒng)計分析中一種重要的線性判別分析方法。該方法假定各個類的總體服從多元正態(tài)分布、各組協(xié)方差矩陣必須相等、各組變量均值均有顯著性差異。該模型假定對待判對象有了初步的認識，給出屬于各類別的先驗概率，利用貝葉斯公式對先驗認識進行修正從而得到屬于各類別的后驗概率，然后基于后驗概率對待判對象進行分類的一種統(tǒng)計推斷分析方法。貝葉斯判別分析通過構(gòu)建貝葉斯線性判別函數(shù)來實現(xiàn)對待判對象進行判別，但是構(gòu)建貝葉斯判別函數(shù)中需要涉及高維樣本的協(xié)方差矩陣逆的計算。眾所周知，高階矩陣逆的計算非常耗時和麻煩。本文利用近似貝葉斯方法試圖避開矩陣逆的計算問題。

近似貝葉斯計算，簡稱ABC，是貝葉斯統(tǒng)計中近似參數(shù)估計的一種計算方法，近十多年來十分流行。它最初是在人口遺傳學中引入的，廣泛應用于材料科學[1]，寄生蟲學[2]，遺傳進化人口遷移[3]。該方法最顯著的特點就是容易實現(xiàn)，不需要計算似然函數(shù)，對模型的理論要求相對較少。一般來說后驗分布很難進行計算或者不會有一個具體的表達式或者即使有明確的表達式，也很難用拒絕接受算法、MCMC等傳統(tǒng)的隨機模擬算法進行模擬。該算法主要根據(jù)統(tǒng)計模型進行模擬樣本，用這些模擬樣本替代似然函數(shù)的計算。本文利用近似貝葉斯方法對貝葉斯線性判別進行了實現(xiàn)，該方法簡單明了，易于實現(xiàn)并且規(guī)避了矩陣逆的計算。

本文在接下來的章節(jié)中首先介紹了貝葉斯判別分析及實現(xiàn)算法，然后結(jié)合近似貝葉斯計算給出了貝葉斯判別分析的實現(xiàn)算法，最后結(jié)合常見的分類實例說明近似貝葉斯判別算法的有效性。

2 貝葉斯判別分析[4-5]

2.1 貝葉斯線性判別函數(shù)

4 應用

4.1 鳶尾花卉數(shù)據(jù)集

我們以鳶尾花卉數(shù)據(jù)集（iris）為例來說明ABC算法在貝葉斯判別分析中的應用。鳶尾花卉數(shù)據(jù)集為R軟件自帶數(shù)據(jù)集，該數(shù)據(jù)是共有五個變量，其中四個分別為花萼長度，花萼寬度，花瓣長度，花瓣寬度4個特征屬性變量，一個為類別變量（Setosa，Versicolour，Virginica三個種類）。該數(shù)據(jù)集包含有150個案例，每個種類分別有50個案例。

我們假設三個種類（Setosa，Versicolour，Virginica）的花萼長度、花萼寬度、花瓣長度、花瓣寬度4個特征變量服從正態(tài)分布，協(xié)方差矩陣相同。假設類別的先驗分布為均勻分布，即一個鳶尾花屬于每個類別的先驗概率為[13]。我們下面根據(jù)每個種類花萼花瓣的前40個案例的花萼花瓣四個變量，計算每個種類的樣本均值向量以及樣本協(xié)方差矩陣，然后利用ABC算法對每個種類的后5個案例進行判別。

4.2 ABC算法實現(xiàn)步驟：

參考文獻：

[1] David M. Walker， David Allingham， Heung Wing Joseph Lee， and Michael Small.Parameter inference in small world network disease models with approximate Bayesian computational methods. Physica A， 389（3）：540–548， 2010.

[2] Nelson J. R. Fagundes， Nicolas Ray， Mark Beaumont， Samuel Neuenschwander，F(xiàn)rancisco M. Salzano， Sandro L. Bonatto， and Laurent Excoffier. Statistical evaluation of alternative models of human evolution. Proceedings of the National Academy of Sciences， 104（45）：17614–17619， 2007.

[3] Daniel Wegmann and Laurent Excoffier. Bayesian inference of the demographic

history of chimpanzees. Molecular Biology and Evolution， 27（6）：1425–1435，2010. doi： 10.1093/molbev/msq028.

[4] 譚杰.基于Bayes判別分析的配電網(wǎng)故障選線方法[J].電力學報，2016，31（03）：217-223.

[5] 李健 Bayes 統(tǒng)計中兩種抽樣法的比較分析[J].洛陽師范學院學報，2012（8）.

[6] An introduction to statistical computing ： a simulation-based approach / Jochen Voss. First edition.pages cm.–（Wiley series in computational statistics）

【通聯(lián)編輯：梁書】