基于分類概率加權(quán)的樸素貝葉斯分類方法

張步良

(重慶交通大學(xué)信息科學(xué)與工程學(xué)院，重慶 400074)

樸素貝葉斯分類器是基于條件獨(dú)立性的，但條件獨(dú)立性是十分苛刻的。為了進(jìn)一步提高分類正確的概率，給樸素貝葉斯分類器加權(quán)是一種可行的辦法。加權(quán)樸素貝葉斯分類器有很多，如基于粗糙集的樸素貝葉斯加權(quán)［1］、基于屬性相關(guān)性的加權(quán)［2］等。由于樸素貝葉斯是基于概率的，所以用每種屬性分類成功的概率作為其加權(quán)也是可行的［3-20］。

1 樸素貝葉斯及加權(quán)樸素貝葉斯分類原理

設(shè)D是具有有限數(shù)量實(shí)例的訓(xùn)練集，A={A1，A2…An}是n個(gè)有限的屬性。一個(gè)實(shí)例d∈D用向量 a=〈a1，a2…an〉描述，其中 ai是屬性 Ai的當(dāng)前取值。類別屬性用c表示，c={c1，c2…cn}是個(gè)類別。函數(shù)dom(Ai)為取得屬性A的定義域集合。則當(dāng)

成立，即預(yù)測(cè)實(shí)例d屬于在屬性給定條件下后驗(yàn)概率最大的類別時(shí)，預(yù)測(cè)的正確率最大。但是，由于式(1)的后驗(yàn)概率難以計(jì)算，因此樸素貝葉斯分類器引進(jìn)了下列假設(shè):在給定類別c的條件下，所有的屬性 Ai相互獨(dú)立，即所謂“樸素貝葉斯假設(shè)”，所以對(duì)類別c進(jìn)行預(yù)測(cè)的樸素貝葉斯分類器［3-4］為

2 加權(quán)方法

在樸素貝葉斯分類器的基礎(chǔ)上給每個(gè)屬性加上權(quán)重就得到加權(quán)樸素貝葉斯模型:

其中wi代表屬性Ai的權(quán)值。

因?yàn)樵跇闼刎惾~斯分類中是每個(gè)屬性相乘才得出最后概率，所以對(duì)式(3)取對(duì)數(shù)就可到一種線性模型:

其中式(3)的wi就成了線性模型的加權(quán)系數(shù)。

3 權(quán)重提取

樸素貝葉斯分類屬性之間要求是相互獨(dú)立的，因此本文對(duì)每個(gè)屬性分別做一次樸素貝葉斯分類，得到1個(gè)分類正確的概率a。這個(gè)概率a可以看成該屬性的可信度，因此用這個(gè)概率為樸素貝葉斯加權(quán)是可行的。

4 權(quán)重歸一化

歸一化方法很多，本文用到的是［5］

其中:ai是每個(gè)屬性i的分類正確率;n是屬性的個(gè)數(shù);pi是權(quán)重。因?yàn)閍i為正，所以pi為正，且。由于pi值太小，本文取權(quán)重wi=n*pi。

5 算法實(shí)現(xiàn)

1)對(duì)每個(gè)屬性用樸素貝葉斯分類器給樣本分類，得到每個(gè)屬性的分類正確率ai。

2)歸一化 ai，得到加權(quán)樸素貝葉斯的權(quán)重wi。

3)把wi加權(quán)到樸素貝葉斯中，得到新的加權(quán)樸素貝葉斯分類器。

6 仿真實(shí)驗(yàn)

表1中數(shù)據(jù)來(lái)源于weka和uci數(shù)據(jù)集，都是經(jīng)過(guò)交叉檢驗(yàn)后的分類結(jié)果。從表1中可看出該加權(quán)方法提高了分類的正確率，且樸素貝葉斯分類成功率越低，提高就越多。然后本文多次對(duì)已加權(quán)的樸素貝葉斯進(jìn)行再加權(quán)，得到的結(jié)果與第1次相比提高不大，有時(shí)反而會(huì)降低分類成功率，因此多次加權(quán)沒(méi)有太多的提高。

表1 分類結(jié)果對(duì)比 %

7 結(jié)束語(yǔ)

提出用樸素貝葉斯分類成功的概率來(lái)作為加權(quán)的權(quán)重，得到了比較理想的結(jié)果。時(shí)間復(fù)雜度在線性復(fù)雜度的范圍內(nèi)，因此計(jì)算量比較小，計(jì)算速度較快。本文只是把樸素貝葉斯分類成功的概率作為權(quán)重，如何進(jìn)一步利用概率來(lái)提高分類成功率，還有待進(jìn)一步研究。

［1］王國(guó)才，張聰.一種基于粗糙集的特征加權(quán)樸素貝葉斯分類器［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010，24(7):86-90.

［2］ZHANG Wen，ZHANG Huaxiang.Naive Bayesian ensemble classifier using attribute weighting［J］.Computer Engineering and Applications，2010，46(29):144-146.

［3］張聰.基于信度網(wǎng)的不確定性推理、學(xué)習(xí)與分類研究［D］.重慶:重慶大學(xué)，2005.

［4］王雙成.貝葉斯網(wǎng)絡(luò)學(xué)習(xí)、推理與應(yīng)用［M］.上海:立信會(huì)計(jì)出版社，2010.

［5］李雪蓮.基于PLS的加權(quán)樸素貝葉斯分類測(cè)試算法［J］.電子質(zhì)量，2010(7):22-25.

［6］陳晨，董倩，吳玉潔.基于貝葉斯分類的農(nóng)作物產(chǎn)品質(zhì)量挖掘研究［J］.安徽農(nóng)業(yè)科學(xué)，2011(12):7448-7449.

［7］盧晶穎.具有Rao簡(jiǎn)單結(jié)構(gòu)的增長(zhǎng)曲線模型關(guān)于共軛先驗(yàn)的BAYES分析［J］.四川兵工學(xué)報(bào)，2010(2):142-143.

［8］史奎橋，胡永軍，張德來(lái)，等.三代棉鈴蟲(chóng)發(fā)生程度與氣象條件關(guān)系的貝葉斯判別［J］.安徽農(nóng)業(yè)科學(xué)，2009(33):16417-16418.

［9］杜濤，唐克，王存威.基于分層貝葉斯的末敏彈系統(tǒng)使用可靠性評(píng)估［J］.四川兵工學(xué)報(bào)，2010(2):27-28.

［10］張兢，候旭東，呂和勝.基于樸素貝葉斯和支持向量機(jī)的短信智能分析系統(tǒng)設(shè)計(jì)［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010，24(1):77-80.

［11］吳海平，敖志剛，付希昌，等.基于貝葉斯網(wǎng)絡(luò)的兵力投送風(fēng)險(xiǎn)評(píng)估模型［J］.四川兵工學(xué)報(bào)，2010(6):118-120.

［12］馬海云.基于貝葉斯方法的配置管理研究［J］.自動(dòng)化與儀器儀表，2011(4):17-18.

［13］孫天昊，陳飛，朱慶生，等.基于貝葉斯分類的增強(qiáng)學(xué)習(xí)協(xié)商策略［J］.計(jì)算機(jī)科學(xué)，2011(9):227-229.

［14］賈學(xué)婷，歐陽(yáng)丹彤，張立明.基于模型診斷的改進(jìn)貝葉斯方法［J］.計(jì)算機(jī)科學(xué)，2010(7):191-194.

［15］龍興明.基于貝葉斯神經(jīng)網(wǎng)絡(luò)先驗(yàn)?zāi)Ｐ偷膱D像去噪研究［J］.重慶師范大學(xué)學(xué)報(bào):自然科學(xué)版，2009:26(3):65-68.

［16］陳麗麗，桂云苗，李震.基于貝葉斯網(wǎng)絡(luò)的供應(yīng)擾動(dòng)風(fēng)險(xiǎn)態(tài)勢(shì)分析［J］.安徽工程大學(xué)學(xué)報(bào)，2011(4):81-84.

［17］胡春玲，胡學(xué)鋼，姚宏亮.改進(jìn)的基于鄰接樹(shù)的貝葉斯網(wǎng)絡(luò)推理算法［J］.模式識(shí)別與人工智能，2011(6):846-855.

［18］吳家鑫，宋敏，劉曉潔，等.貝葉斯網(wǎng)絡(luò)在泰樂(lè)菌素發(fā)酵過(guò)程中的應(yīng)用［J］.安徽農(nóng)業(yè)科學(xué)，2011(35):21831-21833.

［19］楊莉，杜成超，翟紫陽(yáng)，等.基于貝葉斯神經(jīng)網(wǎng)絡(luò)的焊縫跟蹤方法［J］.熱加工工藝，2011(23):168-170.

［20］朱明敏，劉三陽(yáng)，汪春峰.基于先驗(yàn)節(jié)點(diǎn)序?qū)W習(xí)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法［J］.自動(dòng)化學(xué)報(bào)，2011(12):1514-1519.