最短特征線段多分類器系統(tǒng)設(shè)計(jì)

丁建坤,韓德強(qiáng),楊藝

?

最短特征線段多分類器系統(tǒng)設(shè)計(jì)

丁建坤1,韓德強(qiáng)1,楊藝2

模式識別理論與方法的研究近年來取得了諸多進(jìn)展[1],然而在復(fù)雜環(huán)境下,單一分類器效果往往不甚理想。多分類器系統(tǒng)是應(yīng)對復(fù)雜環(huán)境下模式識別問題的重要手段,引發(fā)了廣泛的關(guān)注。目前,多分類器融合技術(shù)已廣泛應(yīng)用于圖像識別、故障診斷、生物認(rèn)證,醫(yī)療診斷等諸多領(lǐng)域[2-5]。

學(xué)者們從多分類器系統(tǒng)的不同層面開展了研究。在多個(gè)成員分類器生成方面,設(shè)計(jì)實(shí)現(xiàn)了基于不同訓(xùn)練樣本[6]、基于不同特征子空間以及選取不同的分類算法[7]等多種形式的方法。1992年,Kira等提出了Relief算法[8],從特征評價(jià)的角度分析了成員分類器的性能及選擇。在此基礎(chǔ)上,Marko等提出了ReliefF、RReliefF等改進(jìn)算法[9]。在多分類器融合有效性方面,Dietterich最早指出,并非多個(gè)分類器的融合一定能夠獲取更優(yōu)的分類性能,不同成員分類器間的差異性是關(guān)鍵所在[10]。梁紹一等對現(xiàn)有的差異性度量方法進(jìn)行了總結(jié),并提出了基于幾何關(guān)系的差異性度量方法[11]。多分類器融合規(guī)則方面,Xu等在1992年針對成員分類器的輸出形式進(jìn)行了分析研究[12],并總結(jié)了一系列的分類器融合方法,如投票法、Bayes法以及DS證據(jù)理論方法等。

成員分類器(個(gè)體分類器)的設(shè)計(jì)問題是多分類器系統(tǒng)設(shè)計(jì)的前提,其輸出形式也決定了后續(xù)融合規(guī)則的選取[12]。鄰域型分類器是一個(gè)很重要的分支,最近鄰(NN)分類器[13]是一種最具代表性的簡單而有效的鄰域型分類算法,但是在訓(xùn)練樣本數(shù)較小的情況下性能會受限?；谔卣骶€(通過來自同一類的兩個(gè)訓(xùn)練樣本點(diǎn)的直線)的分類器,如最近特征線(NFL)[14]是NN的一種改進(jìn)算法,以測試樣本點(diǎn)到特征線的距離為決策依據(jù),但在擴(kuò)充了訓(xùn)練樣本空間的同時(shí),特征線的內(nèi)、外穿越情況給NFL帶來了錯分類問題[15]。針對NFL存在的穿越缺陷,出現(xiàn)了許多特征線的改進(jìn)方法,如最短特征線段(SFLS)[15]、核最近特征線(KNFL)[16]等方法。

本文選用SFLS作為成員分類器分類算法。SFLS作為NFL的改進(jìn)算法,用特征線段代替特征線作為決策依據(jù),可避免內(nèi)、外穿越問題,且具備諸多優(yōu)良的分類特性[15]。將SFLS用于多分類器系統(tǒng),有望進(jìn)一步提升分類性能,然而SFLS僅輸出類別標(biāo)簽,僅利用成員分類器輸出的類別標(biāo)簽進(jìn)行表決(投票)融合,會造成信息損失。本文利用SFLS工作機(jī)理,以模糊隸屬度對輸出建模更多地保留輸出細(xì)節(jié)以減少信息損失,進(jìn)而利用基于模糊的證據(jù)融合規(guī)則實(shí)現(xiàn)成員分類器的度量級融合,提升了分類精度。實(shí)驗(yàn)結(jié)果驗(yàn)證了所提方法的合理性和有效性。

1 多分類器系統(tǒng)概述

多分類器系統(tǒng)因其能有效提高分類性能,在模式識別領(lǐng)域受到越來越多的關(guān)注并得到了廣泛應(yīng)用。多分類器系統(tǒng)的原理框圖如圖1所示。

圖1 多分類器系統(tǒng)框圖

圖1中ei(i=1,2,…,M)代表各成員分類器。通過選擇合適的融合規(guī)則,在融合決策中心利用各成員分類器的輸出結(jié)果進(jìn)行融合分類。成員分類器輸出結(jié)果主要有3種形式[12]:摘要級(也稱抽象級),即輸出僅為類別標(biāo)簽;排序級,即輸出屬于各類別可能性大小的順序;度量級,即輸出一系列度量值,代表樣本點(diǎn)屬于各類別的可能性。

對不同的成員分類器輸出形式采用不同的融合方式,對于上述3種輸出形式,均可采用投票融合。對排序級輸出可采用排序融合方式[17],對于度量級的輸出形式可以利用DS證據(jù)推理[12]、模糊推理[5,7]等方法進(jìn)行融合。在多分類器系統(tǒng)中,成員分類器的分類性能、輸出形式以及成員分類器之間的差異性都會影響到多分類器系統(tǒng)的性能[10-12]。本文的工作主要關(guān)注成員分類器設(shè)計(jì)、融合規(guī)則選取及對多分類器系統(tǒng)性能的影響。

2 基于最短特征線段的多分類器系統(tǒng)

2.1 最短特征線段分類器

圖2 特征線段和測試樣本點(diǎn)相對位置關(guān)系

(1)

(2)在被標(biāo)記的特征線段中,尋找長度最短的特征線段,則此特征線段所屬的類別即為該待測樣本點(diǎn)被判定的類別,如果沒有特征線段被標(biāo)記則拒絕識別該待測樣本點(diǎn)。

SFLS保留了NFL的優(yōu)點(diǎn),利用樣本點(diǎn)的兩兩組合代替原始樣本點(diǎn)作為判斷的依據(jù),充分地利用了樣本信息。SFLS使用的是特征線段,確定了待分類樣本點(diǎn)與通過該特征線段的特征直線的距離上界,這樣即保持了NFL優(yōu)良的分類特性,又避免了NFL的內(nèi)、外穿越問題[15]。SFLS中由特征線段構(gòu)成的特征空間具有一個(gè)對分類器來說很好的性質(zhì),即聚合性。但是,SFLS的輸出僅為類別標(biāo)簽,丟掉了許多有用信息,不利于進(jìn)一步的多分類器融合,本文在對SFLS內(nèi)部工作機(jī)理分析研究的基礎(chǔ)上,對其輸出形式重新建模,以隸屬度形式輸出,便于多分類器系統(tǒng)做更精細(xì)的度量級融合。

2.2 SFLS分類器輸出度量化

特征線段長度越短,則待測樣本屬于該類別的可能性越大,即特征線段長度d的單調(diào)遞減函數(shù)可以作為隸屬度生成函數(shù),負(fù)指數(shù)函數(shù)、反比例函數(shù)等函數(shù)形式比較簡單,被廣泛使用。當(dāng)d的取值接近于0時(shí),反比例函數(shù)取值會非常大,趨于無窮,并且在d=0時(shí)反比例函數(shù)無法計(jì)算和使用(分母不能為0),而負(fù)指數(shù)函數(shù)有映射關(guān)系:當(dāng)d=0時(shí),exp(-d)=1;當(dāng)d→+∞時(shí),exp(-d)→0+。相對而言,負(fù)指數(shù)函數(shù)形式更適于生成隸屬度,且魯棒性更強(qiáng),因此本文選擇負(fù)指數(shù)函數(shù)作為隸屬度生成函數(shù),即待測樣本點(diǎn)xq對ωi類的隸屬度為

(2)

2.3 模糊-證據(jù)融合方法

對于辨識框架Ω中的某個(gè)命題A,計(jì)算信任函數(shù)Bel(A)和似真函數(shù)Pl(A)

(3)

(4)

區(qū)間[Bel(A),Pl(A)]可用于表示A的不確定性程度。?A?Ω,A≠?,Ω上的兩個(gè)mass函數(shù)m1、m2的Dempster組合規(guī)則為

(5)

2.3.2 由隸屬度至mass函數(shù)的生成方法 應(yīng)用證據(jù)理論進(jìn)行融合決策,首先要生成mass函數(shù)。本文中SFLS的量化輸出形式是隸屬度,因此這里關(guān)注由隸屬度至mass函數(shù)的生成方法。

設(shè)辨識框架Ω={ω1,ω2,…,ωn},θj(ωi)表示第j個(gè)成員分類器中,待測樣本xq對ωi類的隸屬度,則根據(jù)隸屬度生成mass函數(shù)有謹(jǐn)慎有序加權(quán)平均證據(jù)推理(COWA-ER)方法[19]、α-cut方法[20]、直接設(shè)定焦元組方法。

(1)平均證據(jù)法。首先,分別以悲觀的方式和樂觀的方式選出待測樣本對各類別的隸屬度,即選出樣本對各類別的最小隸屬度和最大隸屬度,得到矩陣

(6)

其次,將矩陣E中的每個(gè)元素對E的最大值歸一化得到

(7)

最后,根據(jù)E′生成mass函數(shù)。E′中以悲觀方式得到的ai用以表征樣本屬于類別ωi的信任度,即Bel(ωi)=ai;樂觀方式得到的bi用以表征樣本屬于類別ωi的似真度,即Pl(ωi)=bi;樣本屬于類別ωi的不確定程度用區(qū)間[Bel(ωi),Pl(ωi)]的長度表示,即bi-ai。由此可以生成mass函數(shù),即

(8)

(2)α-cut方法。對隸屬度重新排序,得到一組順序{π1,π2,…,πn},滿足

設(shè)Bk(k=1,…,n)為轉(zhuǎn)換后的mass函數(shù)焦元,則有

(9)

(3)直接設(shè)定焦元組方法。首先對隸屬度進(jìn)行歸一化,即

(10)

將隸屬度歸一化后,可按如下兩種方式生成mass函數(shù):方式1[21]是僅對單點(diǎn)焦元和全集賦值,β為折扣系數(shù),即

(11)

該方法預(yù)設(shè)了焦元結(jié)構(gòu)為單點(diǎn)焦元以及辨識框架的全集,將概率值打折扣賦予單點(diǎn)焦元,剩余部分賦給全集以表征“未知”,當(dāng)β=1時(shí)簡化為概率形式;方式2[21]是僅對單點(diǎn)焦元、其補(bǔ)集和全集賦值,即

(12)

該方法將mass值賦予單點(diǎn)焦元及其相應(yīng)補(bǔ)命題的焦元,剩余部分賦予全集。根據(jù)以上方法生成mass函數(shù)之后,就可以根據(jù)Dempster規(guī)則進(jìn)行融合,得到融合后的mass函數(shù)。

2.3.3 由證據(jù)至概率的轉(zhuǎn)換及決策 基于多個(gè)證據(jù)函數(shù)組合之后所獲取的新mass函數(shù)實(shí)現(xiàn)決策時(shí),往往需要借助由證據(jù)至概率的轉(zhuǎn)換方法。這里使用經(jīng)典的Pignistic概率轉(zhuǎn)換[22],定義為

(13)

式中:|B|為集合B中元素個(gè)數(shù)。利用式(13)將融合后的mass函數(shù)轉(zhuǎn)換為Pignistic概率BetP(ωi) (i=1…n),由此做出最終融合決策,即

Pdec=BetP(ωk)=maxi(BetP(ωi))

3 實(shí)驗(yàn)比較和分析

為了驗(yàn)證最短特征線段多分類器系統(tǒng)的有效性,本文基于人工數(shù)據(jù)集和UCI數(shù)據(jù)集設(shè)計(jì)了對比實(shí)驗(yàn)。實(shí)驗(yàn)方法:針對不同數(shù)據(jù)集,將實(shí)驗(yàn)樣本平均分成6份,任意選取其中3份作為訓(xùn)練樣本,其他數(shù)據(jù)做測試樣本,每組實(shí)驗(yàn)包括20個(gè)實(shí)驗(yàn)。實(shí)驗(yàn)重復(fù)做10組,取平均正確率。

最短特征線段多分類器系統(tǒng)中隸屬度生成函數(shù)式(2)的參數(shù)λ依經(jīng)驗(yàn)設(shè)置為λ=1。在直接設(shè)定焦元組方法的方式1和方式2中,依經(jīng)驗(yàn)設(shè)置β=0.8。實(shí)驗(yàn)將對構(gòu)造多分類器系統(tǒng)時(shí)采用不同成員分類器分類算法、不同mass函數(shù)生成方法所獲取的結(jié)果進(jìn)行分析比較。采用不同mass函數(shù)生成方法構(gòu)造的多分類器系統(tǒng)及其在實(shí)驗(yàn)中的名稱對應(yīng)關(guān)系如表1所示。

表1 本文方法名稱與mass函數(shù)生成方法對應(yīng)表

用MCS-SFLS-Ave表示直接對隸屬度求平均的融合方式,即把各成員分類器得到的隸屬度的平均值作為融合隸屬度,取隸屬度最大的類別作為決策類別。分別用MCS-SFLS、MCS-3-NN、MCS-KNFL、MCS-NFL表示以相同的特征子空間抽取方式,分別選用SFLS、3-NN、KNFL、NFL等方法作為成員分類器分類算法生成各個(gè)成員分類器,以等權(quán)值投票方式進(jìn)行融合構(gòu)成多分類器系統(tǒng),與新多分類器系統(tǒng)作對比,對數(shù)據(jù)每一維特征Fi做歸一化預(yù)處理,即

(14)

3.1 人工數(shù)據(jù)集

人工數(shù)據(jù)集包含3個(gè)類別的樣本,每個(gè)樣本有6維互相獨(dú)立的特征,每一維特征均服從高斯分布。特征的均值μ設(shè)置如表2所示,方差σ2均設(shè)為0.2。

表2 各類別樣本不同特征的均值設(shè)置

實(shí)驗(yàn)分別選取特征1、2,特征3、4,特征5、6作為特征子空間,生成3個(gè)成員分類器構(gòu)成多分類器系統(tǒng)。不同特征子空間上對不同類別的區(qū)分程度不同,例如由特征1、特征2構(gòu)成的特征子空間對類別2的區(qū)分程度更高,如圖3所示。

圖3 樣本在特征1、特征2子空間下的分布圖

對多分類器系統(tǒng)在不同決策門限下進(jìn)行測試,其中MCS-SFLS-Ave的融合隸屬度依式(10)歸一化后得到?jīng)Q策概率,表決融合法通過除以總票數(shù)得到?jīng)Q策概率,結(jié)果如表3所示。可以看出,在此數(shù)據(jù)集上,以模糊及模糊-證據(jù)融合規(guī)則構(gòu)造的多分類器系統(tǒng)分類性能均優(yōu)于表決融合的多分類器系統(tǒng)。

表3 人工數(shù)據(jù)集下各多分類器系統(tǒng)分類正確率對比

同時(shí),從表3中可以看出,在決策門限ε=0時(shí)MCS-SFLS1和MCS-SFLS-Ave的分類性能較為突出,但是隨著決策門限增大,MCS-SFLS-Ave的分類正確率下降很快,而MCS-SFLS1和MCS-SFLS2下降并不明顯。這表明在高決策門限情況下,基于模糊-證據(jù)融合規(guī)則的融合方法決策正確率高于簡單隸屬度平均融合方法。因而,基于模糊-證據(jù)融合規(guī)則的融合結(jié)果可靠性更高。在本實(shí)驗(yàn)中成員分類器較少,決策門限對投票法融合結(jié)果無實(shí)質(zhì)影響。

3.2 UCI數(shù)據(jù)集

實(shí)驗(yàn)使用到的數(shù)據(jù)集信息如表4所示。

通過選用不同的特征子空間來生成成員分類器。若樣本有D維特征,則可構(gòu)成2D-1個(gè)特征子空間,以此可以得到2D-1個(gè)成員分類器,從中等概率地選擇5個(gè)成員分類器構(gòu)成多分類器系統(tǒng)。決策門限均設(shè)為0.4(對二分類問題沒有影響)。實(shí)驗(yàn)結(jié)果如表5所示。

表4 實(shí)驗(yàn)用UCI數(shù)據(jù)集信息

表5 不同UCI數(shù)據(jù)集下多分類器系統(tǒng)分類正確率對比

從實(shí)驗(yàn)結(jié)果可以看出,最短特征線段多分類器系統(tǒng)的分類性能較為理想,尤其在Seed和Waveform2數(shù)據(jù)集上,分類正確率明顯高于其他多分類器系統(tǒng),其中基于COWA-ER的多分類器系統(tǒng)(MCS-SFLS1)的分類性能明顯優(yōu)于其他多分類器系統(tǒng)。一般意義上,對于特征線分類器來說,類別數(shù)目越多,特征維度越低,穿越錯分問題越突出[23]。在三分類問題的Seed和Waveform2數(shù)據(jù)集上,類別個(gè)數(shù)多于二分類,且特征維數(shù)屬于中低水平,因此基于特征線的方法出現(xiàn)穿越錯分問題較多,所以基于特征線段的多分類器系統(tǒng)優(yōu)勢較大。在二分類Wdbc數(shù)據(jù)集上,由于類別數(shù)目較少,且特征維度較高(30維),穿越錯分問題并不突出,基于特征線段的多分類器系統(tǒng)優(yōu)勢相對減弱。

總體而言,本文提出的最短特征線段多分類器系統(tǒng)在繼承了SFLS分類器良好分類性能的同時(shí),利用模糊-證據(jù)理論方法進(jìn)行融合,進(jìn)一步提高了多分類器系統(tǒng)的分類性能。

4 結(jié) 論

本文設(shè)計(jì)了利用SFLS作為成員分類器,以模糊-證據(jù)融合規(guī)則構(gòu)造的多分類器系統(tǒng)。將SFLS的輸出改為度量級形式,進(jìn)而使用證據(jù)理論實(shí)現(xiàn)模糊融合分類決策。實(shí)驗(yàn)表明,本文方法能更加充分地利用特征線段中包含的信息,相比其他基于鄰域型分類器的多分類器系統(tǒng)而言,進(jìn)一步提高了分類正確率,并且基于模糊-證據(jù)融合的識別結(jié)果比基于模糊隸屬度平均方法的可靠性更高,而在各種模糊-證據(jù)融合方法中,COWA-ER性能更優(yōu)。

本文研究的重點(diǎn)在于成員分類器個(gè)體的設(shè)計(jì)以及融合規(guī)則的設(shè)計(jì)和選取,但對于多分類器系統(tǒng)來說,成員分類器之間的差異性[19]更為關(guān)鍵。

[1] 李晶皎, 趙麗紅, 王愛俠. 模式識別 [M]. 北京: 電子工業(yè)出版社, 2010.

[2] 楊藝, 韓崇昭, 韓德強(qiáng). 利用特征子空間評價(jià)與多分類器融合的高光譜圖像分類 [J]. 西安交通大學(xué)學(xué)報(bào), 2010, 44(8): 20-24. YANG Yi, HAN Chongzhao, HAN Deqiang. Hyperspectral image classification based on feature subspace evaluation and multiple classifier fusion [J]. Journal of Xi’an Jiaotong University, 2010, 44(8): 20-24.

[3] 張成軍, 陰妍, 鮑久圣, 等. 多源信息融合故障診斷方法研究進(jìn)展 [J]. 河北科技大學(xué)學(xué)報(bào), 2014, 35(3): 213-221. ZHANG Chengjun, YIN Yan, BAO Jiusheng, et al. Research progress in fault diagnosis methods based on multi-source information fusion [J]. Journal of Hebei University of Science and Technology, 2014, 35(3): 213-221.

[4] 王風(fēng)華, 韓九強(qiáng), 姚向華. 一種基于虹膜和人臉的多生物特征融合方法 [J]. 西安交通大學(xué)學(xué)報(bào), 2008, 42(2): 133-137. WANG Fenghua, HAN Jiuqiang, YAO Xianghua. Multimodal biometric fusion approach based on iris and face [J]. Journal of Xi’an Jiaotong University, 2008, 42(2): 133-137.

[5] 張彩坡. 模糊積分及多分類器融合在醫(yī)療診斷中的應(yīng)用 [D]. 天津: 天津理工大學(xué), 2010.

[6] BREIMAN L. Bagging predictors [J]. Machine Learning, 1996, 24(2): 123-140.

[7] 焦李成, 公茂果, 王爽, 等. 自然計(jì)算、機(jī)器學(xué)習(xí)與圖像理解前沿 [M]. 西安: 西安電子科技大學(xué)出版社, 2008.

[8] KIRA K, RENDELL L. A practical approach to feature selection [C]∥Proceedings of the 9th Machine Learning. Aberdeen, UK: Morgan Kaufmann Publishers, 1992: 249-256.

[9] MARKO R, IGOR K. Theoretical and empirical analysis of ReliefF and RReliefF [J]. Machine Learning, 2003, 53(1/2): 23-69.

[10]DIETTERICH T G. An experimental comparison of three methods for constructing ensembles of decision trees: bagging, boosting and randomization [J]. Machine Learning, 2000, 40(2): 139-157.

[11]梁紹一, 韓德強(qiáng), 韓崇昭. 一種基于幾何關(guān)系的多分類器差異性度量及其在多分類器系統(tǒng)構(gòu)造中的應(yīng)用 [J]. 自動化學(xué)報(bào), 2014, 40(3): 449-458. LIANG Shaoyi, HAN Deqiang, HAN Chongzhao. A novel diversity measure based on geometric relationship and its application to design of multiple classifier systems [J]. Acta Automatica Sinica, 2014, 40(3): 449-458.

[12]XU Lei, KRZYZAK A, SUEN C Y. Methods of combining multiple classifiers and their applications to handwriting recognition [J]. IEEE Transactions on Systems, Man and Cybernetics, 1992, 22(3): 418-435.

[13]COVER T, HART P. Nearest neighbor pattern classification [J]. IEEE Transactions on Information Theory, 1967, 13(1): 21-27.

[14]DU Hao, CHEN Yanqiu. Rectified nearest feature line segment for pattern classification [J]. Pattern Recognition, 2007, 40(5): 1486-1497.

[15]HAN Deqiang, HAN Chongzhao, YANG Yi. A novel classifier based on shortest feature line segment [J]. Pattern Recognition Letters, 2011, 32(3): 485-493.

[16]HE Yunhui. Face recognition using kernel nearest feature classifiers [C]∥2006 International Conference on

Computational Intelligence and Security. Piscataway, NJ, USA: IEEE, 2006: 678-683.

[17]楊藝, 韓德強(qiáng), 韓崇昭. 基于排序融合的特征選擇 [J]. 控制與決策, 2011, 26(3): 397-401. YANG Yi, HAN Deqiang, HAN Chongzhao. Study on feature selection based on rank-level fusion [J]. Control and Decision, 2011, 26(3): 397-401.

[18]TACNET J M, DEZERT J. Cautious OWA and evidential reasoning for decision making under uncertainty [C]∥Proceeding of the 14th International Conference on Information Fusion. Piscataway, NJ, USA: IEEE, 2011: 1-8.

[19]SHAFER G. A mathematical theory of evidence [M]. Princeton, USA: Princeton University Press, 1967.

[20]HAN Deqiang, DEZERT J, TACNET J M, et al. A fuzzy-cautious OWA approach with evidential reasoning [C]∥Proceedings of the 15th International Conference on Information Fusion. Piscataway, NJ, USA: IEEE, 2012: 278-285.

[21]VALENTE F, HERNANSKY H. Combination of acoustic classifiers based on Dempster-Shafer theory of evidence [C]∥IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ, USA: IEEE, 2007: 1129-1132.

[22]SMETS P. Data fusion in the transferable belief model [C]∥Proceedings of the 3rd International Conference on Information Fusion. Piscataway, NJ, USA: IEEE, 2000: 21-33.

[23]DU Hao, CHEN Yanqiu. Rectified nearest feature line segment for pattern classification [J]. Pattern Recognition, 2007, 40(5): 1486-1497.

(編輯 趙煒)

(1.西安交通大學(xué)智能網(wǎng)絡(luò)與網(wǎng)絡(luò)安全教育部重點(diǎn)實(shí)驗(yàn)室,710049,西安;2.西安交通大學(xué)機(jī)械結(jié)構(gòu)強(qiáng)度與振動國家重點(diǎn)實(shí)驗(yàn)室,710049,西安)

為提高多分類器系統(tǒng)分類的性能,設(shè)計(jì)了一種使用最短特征線段分類器的多分類器系統(tǒng)。依據(jù)最短特征線段分類算法工作機(jī)理,利用特征線段長度表征樣本隸屬于各個(gè)類別的可能性,即模糊隸屬度,對成員分類器輸出形式完成由摘要級至度量級的重新建模,更多地保留輸出細(xì)節(jié)以減少信息損失,進(jìn)而利用基于模糊的證據(jù)融合規(guī)則實(shí)現(xiàn)成員分類器的度量級融合,通過隸屬度到mass函數(shù)的轉(zhuǎn)換,利用模糊-證據(jù)融合規(guī)則實(shí)現(xiàn)多分類器系統(tǒng)的構(gòu)造,進(jìn)一步提高了多分類器系統(tǒng)分類性能。采用人工數(shù)據(jù)集和UCI數(shù)據(jù)集設(shè)計(jì)了對比實(shí)驗(yàn),實(shí)驗(yàn)表明,與其他鄰域型分類器構(gòu)造的多分類器系統(tǒng)相比,新多分類器系統(tǒng)能有效提升分類正確率。

特征線段;隸屬度;多分類器系統(tǒng);證據(jù)理論

Design of Multiple Classifier Systems Based on Shortest Feature Line Segment

DING Jiankun1,HAN Deqiang1,YANG Yi2

(1. Ministry of Education Key Lab for Intelligent Networks and Network Security, Xi’an Jiaotong University, Xi’an 710049, China; 2. State Key Laboratory of Strength and Vibration, Xi’an Jiaotong University, Xi’an 710049, China)

To improve the classification performance of multiple classifier systems, a novel multiple classifier system using shortest feature line segment (SFLS) as member classifiers is proposed. According to the SFLS’s algorithmic principle on classification, the length of the shortest feature line segment is used to represent the probability, i.e., the fuzzy membership of the query sample belonging to the corresponding class. Thus, the member classifier’s output is transformed from the abstract level to the measurement level. Furthermore, by transforming the fuzzy membership function into the mass function and using fuzzy-based evidential fusion rules, the classification fusion is implemented. Compared with traditional multiple classifier systems, the proposed approach can use more detailed information for implementing more effective decision-level fusion. Experimental results show that the proposed multiple classifier systems can effectively improve classification accuracy.

feature line segment; membership function; multiple classifier systems; evidence theory

2015-01-28。 作者簡介:丁建坤(1990—),男,博士生;韓德強(qiáng)(通信作者),男,副教授,博士生導(dǎo)師。 基金項(xiàng)目:國家“973計(jì)劃”資助項(xiàng)目(2013CB329405);國家自然科學(xué)基金資助項(xiàng)目(61203222);教育部博士點(diǎn)基金資助項(xiàng)目(20120201120 036);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(xjj2012104,xjj2014122)。

時(shí)間:2015-07-10

http:∥www.cnki.net/kcms/detail/61.1069.T.20150710.1032.001.html

10.7652/xjtuxb201509014

TP391

A

0253-987X(2015)09-0077-07