基于多區(qū)域劃分的模糊支持向量機(jī)方法

查翔，倪世宏，張鵬

?

基于多區(qū)域劃分的模糊支持向量機(jī)方法

查翔，倪世宏，張鵬

(空軍工程大學(xué)航空航天工程學(xué)院，陜西西安，710038)

針對(duì)模糊支持向量機(jī)(FSVM)方法無法有效定位支持向量，在確定隸屬度時(shí)易丟失分類信息的問題，提出一種基于多區(qū)域劃分的FSVM方法。該方法先利用傳統(tǒng)SVM獲取支持向量的大體位置，作為對(duì)FSVM支持向量的近似估計(jì)，再進(jìn)一步融合帶負(fù)類樣本的支持向量域描述(SVDD-neg)模型，對(duì)樣本空間進(jìn)行劃分，最后根據(jù)樣本所在的區(qū)域按不同的規(guī)律確定隸屬度。研究結(jié)果表明：這種隸屬度確定方式不僅能有效削弱野值樣本的影響，而且也會(huì)提高支持向量的隸屬度。與基于樣本緊密度以及基于樣本到類內(nèi)超平面距離的FSVM方法相比，該方法具有更好的抗噪性能和泛化能力。

模糊支持向量機(jī)；多區(qū)域劃分；野值；支持向量；隸屬度

支持向量機(jī)(support vector machine，SVM)[1]是在統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化基礎(chǔ)上發(fā)展起來的一種新的機(jī)器學(xué)習(xí)方法，特別是在解決小樣本、局部極小、高維和非線性模式識(shí)別中表現(xiàn)出較強(qiáng)的泛化能力。但SVM在構(gòu)建最優(yōu)分類面時(shí)視所有樣本為等價(jià)的，當(dāng)樣本中存在野值或孤立點(diǎn)時(shí)，容易造成過學(xué)習(xí)的現(xiàn)象。為此，Lin等[2]引入模糊理論中的隸屬度概念，提出了模糊支持向量機(jī)(fuzzy support vector machine，F(xiàn)SVM)方法，按照不同樣本有不同貢獻(xiàn)的原則，為野值樣本分配較低的隸屬度，以降低其對(duì)分類面決策的影響。FSVM中的隸屬度要求能夠客觀反映樣本的不確定性，因此如何合理地選擇隸屬度函數(shù)是算法的關(guān)鍵[3?6]。目前，隸屬度函數(shù)的確定主要包括基于樣本到類質(zhì)心距離的方法[7?13]以及基于類質(zhì)心幾何劃分的方 法[14?15]?；跇颖镜筋愘|(zhì)心距離的方法主要以樣本到類中心間的距離作為確定隸屬度的依據(jù)，距離越大，樣本的隸屬度越低。由于支持向量在空間上可能與野值相鄰，導(dǎo)致野值在被賦予較低隸屬度的同時(shí)支持向量的隸屬度也較低，因此這些方法在降低野值作用的同時(shí)也削弱了支持向量對(duì)分類的影響，一定程度上影響了最優(yōu)超平面的確定?；陬愘|(zhì)心幾何劃分的方法利用各類樣本的質(zhì)心作不同的輔助模型，從而實(shí)現(xiàn)對(duì)樣本空間的劃分，能夠提高支持向量的隸屬度，然而它們都是通過幾何空間的劃分估計(jì)支持向量的大致位置，因此會(huì)受到類質(zhì)心位置的過度約束，使分類面朝著類中心連線的垂直方向發(fā)生傾斜，結(jié)果未必是真正最優(yōu)的。針對(duì)上述問題，本文作者根據(jù)支持向量與野值的分布特點(diǎn)，提出了一種基于多區(qū)域劃分的模糊支持向量機(jī)(fuzzy support vector machine based on multi- region partition，F(xiàn)SVM-MP)。該方法保證了在降低野值和非支持向量隸屬度的同時(shí)，能夠彌補(bǔ)幾何劃分的缺陷，提高支持向量的隸屬度。

1 模糊支持向量機(jī)方法

由于FSVM比傳統(tǒng)SVM的樣本要多出一項(xiàng)隸屬度，因此需要對(duì)訓(xùn)練集重新定義。設(shè)樣本集={ (1,1,(1)), (2,2,(2)),…, (x,y,(x)) }，x∈R，y∈{?1, +1}，= 1, 2, …,，(x)為隸屬度函數(shù)，且(x) ∈(0, 1]，代表樣本x屬于y類的可靠程度。FSVM的本質(zhì)也是求解最優(yōu)分類超平面，具體可歸結(jié)為求解以下二次規(guī)劃問題：

其中：和分別為超平面的法向量和偏置項(xiàng)；為懲罰因子；ξ為松弛變量。

對(duì)于固定的，不同的(x)會(huì)對(duì)FSVM的訓(xùn)練施加不同的影響，(x)越大，這種影響就越顯著。傳統(tǒng)SVM對(duì)每個(gè)樣本等價(jià)對(duì)待，隸屬度均為1。在FSVM中，若為野值樣本分配較低的隸屬度，則其對(duì)FSVM產(chǎn)生的影響就會(huì)大大減少；若其他有效樣本的隸屬度很高，則它們所起的作用與在SVM中的一樣。因此，需要根據(jù)樣本的重要性程度選取合適的隸屬度函數(shù)，它是否合理將直接影響到FSVM的分類性能。

2 基于多區(qū)域劃分的隸屬度確定方法

對(duì)樣本附加隸屬度并運(yùn)用到FSVM的訓(xùn)練中，是提高FSVM抗噪性能的重要環(huán)節(jié)。雖然野值可通過某種途徑進(jìn)行隔離[16]，但由于支持向量的位置信息無法事先獲取，也就很難為支持向量分配較高的隸屬度。本文首先通過建立預(yù)置超平面模型來估計(jì)支持向量的大體位置，并構(gòu)造超球模型對(duì)野值進(jìn)行隔離；然后以這2個(gè)模型為基礎(chǔ)，將樣本空間劃分成多個(gè)區(qū)域，根據(jù)樣本所在的區(qū)域?yàn)闃颖痉峙鋵?duì)應(yīng)的隸屬度，力求在削弱野值影響的同時(shí)能夠增強(qiáng)支持向量的作用。

2.1 支持向量信息的獲取

SVM和FSVM建模的思想都是通過最優(yōu)分類面實(shí)現(xiàn)對(duì)樣本的分類和識(shí)別，而支持向量通常分布在最優(yōu)分類面附近?？紤]到SVM本身具有較高的分類性能，可將SVM分類面作為對(duì)FSVM最優(yōu)分類面的近似，或者作為FSVM預(yù)置的參考超平面。在沒有任何支持向量先驗(yàn)知識(shí)的情況下，采用預(yù)置超平面的方法可較好地識(shí)別出樣本的類別結(jié)構(gòu)，獲得FSVM支持向量大致的位置信息，便于為其分配較高的隸屬度。同時(shí)，野值?；祀s在其他類樣本中，SVM很容易將其判斷為錯(cuò)分點(diǎn)，這樣在設(shè)置隸屬度時(shí)可被分配更低的值。

建立SVM模型以獲取預(yù)置超平面的過程可參考文獻(xiàn)[1]。在特征空間中得到的最優(yōu)判別函數(shù)為，用來檢驗(yàn)預(yù)置超平面對(duì)的判別結(jié)果。若()=+1，說明預(yù)置超平面對(duì)正確分類，若()=?1則錯(cuò)誤分類。

2.2 野值樣本的隔離

超球模型可較好地描述樣本的分布，衡量樣本的離散情況，也為野值的判斷提供了手段。本文作者采用帶負(fù)類樣本的支持向量域描述(support vector domain description with negative examples，SVDD-neg)[17?18]方法，以尋找包含大多數(shù)樣本的最小超球。這里統(tǒng)一將當(dāng)前研究的目標(biāo)類樣本稱為正類，其他類樣本稱為負(fù)類。SVDD-neg在確定最小化的球半徑時(shí)將負(fù)類樣本信息考慮在內(nèi)，這能極大地改善正類樣本不完備時(shí)的數(shù)據(jù)描述，獲得更緊致的樣本邊界。目標(biāo)類樣本的野值常分布于其他類樣本中，由SVDD-neg得到的超球模型不僅能將野值與有效樣本進(jìn)行隔離，而且還會(huì)充分利用負(fù)類樣本的信息，增加對(duì)野值的排斥程度。

設(shè)正、負(fù)類的樣本數(shù)分別為1和2，=1+2，在特征空間中，求解正類樣本的SVDD-neg超球模型可歸結(jié)為以下二次規(guī)劃問題：

其中：1為正類超球的最小半徑；1為球心；ξ和ξ為松弛變量；(·)代表從原始樣本空間到特征空間的某非線性映射。對(duì)上述問題求解，便可得到超球的球心1和半徑1：

2.3 隸屬度函數(shù)的確定

在特征空間中，考慮更一般的預(yù)置超平面與正類超球相交的情形，如圖1所示。

圖1 正類樣本的區(qū)域劃分

在圖1中，“○”和“+”分別代表正、負(fù)類樣本；1為正類超球的球心，1為半徑；為預(yù)置超平面。從圖1可見：正類樣本空間被預(yù)置超平面和超球模型劃分成了4個(gè)不同的區(qū)域1~4：1和2組成了關(guān)于預(yù)置超平面正確分類一側(cè)的區(qū)域，3和4組成了關(guān)于預(yù)置超平面錯(cuò)誤分類一側(cè)的區(qū)域；1和3位于超球內(nèi)，而2和4位于超球外。另外在圖1中標(biāo)識(shí)出了2個(gè)距離變量H()和S()，其中H()為任意正類樣本到預(yù)置超平面的特征距離(量綱一)，反映了樣本偏離預(yù)置超平面的程度；S()為任意正類樣本與正類球心1之間的特征距離(量綱一)，反映了樣本偏離正類總體的程度，可根據(jù)S()≤1判斷其是否位于超球內(nèi)。各變量的計(jì)算方法為：

(8)

在確定隸屬度函數(shù)時(shí)應(yīng)滿足如下原則：

1) 考慮到野值對(duì)分類的影響，樣本的隸屬度應(yīng)隨S的增加而逐步降低，并且野值應(yīng)被隔離在超球外，與其他有效樣本分開。

2) 支持向量通常分布在分類面附近，而包括野值在內(nèi)的其他非支持向量樣本距分類面較遠(yuǎn)。根據(jù)這一特點(diǎn)，若某個(gè)樣本的H越小，越有可能成為支持向量，為其分配的隸屬度也應(yīng)越高，而野值的d通常較大，對(duì)應(yīng)的隸屬度也應(yīng)較低，因此隸屬度函數(shù)應(yīng)與H的變化趨勢(shì)相反。

3) 位于預(yù)置超平面錯(cuò)誤分類一側(cè)中的樣本，相對(duì)于正確分類的一側(cè)來說，其為野值的可能性更高，在隸屬度函數(shù)設(shè)計(jì)中應(yīng)能凸顯這種差異。

對(duì)于以上原則，本文采取如下方案：

1) 以超球半徑1為界，可在超球內(nèi)外按不同的方式定義隸屬度。超球外樣本的隸屬度隨S的增加，下降幅度應(yīng)進(jìn)一步變快，使野值獲得更低的隸屬度。

2) 針對(duì)支持向量和野值相對(duì)于分類面的分布特點(diǎn)，可利用以H作為自變量的指數(shù)函數(shù)來衡量樣本對(duì)分類的作用，具體表現(xiàn)為在H較小時(shí)隸屬度較高，隨著H的增加隸屬度會(huì)急劇下降。

3) 在預(yù)置超平面兩側(cè)可利用不同的控制參數(shù)，使超平面兩側(cè)的隸屬度函數(shù)有不同的變化規(guī)律。

由實(shí)現(xiàn)方案可知，基于多區(qū)域劃分的隸屬度函數(shù)主要包含了2個(gè)部分：受所處超球位置影響的隸屬度以及受預(yù)置超平面影響的隸屬度，具體的隸屬度函數(shù)()計(jì)算公式為(按1~4的順序)：

其中：自變量為任意正類樣本；1和2為控制參數(shù)，且有2＞1＞0，目的是保證位于預(yù)置超平面兩側(cè)的樣本，其隸屬度有不同的下降速率。由式(9)可知：決策函數(shù)()的取值與控制參數(shù)的選取是一一對(duì)應(yīng)的，也就是說，()=+1對(duì)應(yīng)區(qū)域1和2，此時(shí)控制參數(shù)為1；()=?1對(duì)應(yīng)區(qū)域3和4，此時(shí)控制參數(shù)為2。

1和2除滿足上述條件外，還應(yīng)保證在合理范圍內(nèi)取值，防止預(yù)置超平面和超球兩個(gè)模型各自占優(yōu)。為合理選取控制參數(shù)，給出在二維正類樣本空間中，當(dāng)1和2取不同值時(shí)()的分布情況，如圖2所示。

(a) p1=0.1, p2=0.2; (b) p1=1, p2=2; (c) p1=7, p2=8

從圖2可以看出：在滿足2＞1＞0的前提下，()是否合理主要由參數(shù)值的數(shù)量級(jí)決定。當(dāng)控制參數(shù)取較小值時(shí)(見圖2(a))，()在樣本空間中呈現(xiàn)類球形分布，不能很好地突出預(yù)置超平面的作用，以致降低了支持向量對(duì)分類的影響；當(dāng)控制參數(shù)取較大值時(shí)(見圖2(c))，()中指數(shù)部分占絕對(duì)優(yōu)勢(shì)，導(dǎo)致()在預(yù)置超平面兩側(cè)的下降速度很快，受超球模型的影響不明顯，無法充分削弱野值的作用；當(dāng)控制參數(shù)取某些中間值時(shí)(見圖2(b))，靠近球心且離超平面較近的樣本，隸屬度會(huì)取得較大值，而位于超球外且錯(cuò)分的樣本隨著H和S的同時(shí)增大，隸屬度會(huì)迅速減小，此時(shí)隸屬度的分布比較理想。為使2個(gè)模型對(duì)()的影響相當(dāng)，通過對(duì)比多組不同控制參數(shù)下()的分布情況，可將參數(shù)的取值范圍設(shè)定為[1，5]，本文取1=1，2=2。

2.4 對(duì)隸屬度函數(shù)的分析

由()的定義，樣本隸屬度的影響因素包括所處超球的位置以及預(yù)置超平面。由式(9)可知：這一部分的隸屬度與決策函數(shù)()的取值無關(guān)。圖3所示為()=+1樣本H不同時(shí)的隸屬度隨S的變化情況(假設(shè)1=1)。

dH: 1—0.5; 2—1.5

由圖3可以看出：若固定樣本到超平面的距離H，此時(shí)隸屬度主要受樣本所處超球位置的影響，隨著樣本到球心距離的增加，隸屬度整體呈下降趨勢(shì)?？紤]到樣本集在超球內(nèi)外有不同的分布密度，位于超球外的樣本下降幅度更快。

若樣本到球心的距離S相同，則意味著它們分布在同心球面上，此時(shí)隸屬度主要受預(yù)置超平面的影響。圖4所示為不同()和S下樣本的隸屬度隨H的變化情況(假設(shè)1=1)。

1—f(x)=1, dS=0.5; 2—f(x)=1, dS=1.5; 3—f(x)=?1, dS=0.5; 4—f(x)=?1, dS=1.5

從圖4可以看出：在任一情形下，隨著H的增加，樣本的隸屬度均以指數(shù)規(guī)律迅速降低，使分布在預(yù)置超平面附近的支持向量獲得很高的隸屬度，而距預(yù)置超平面較遠(yuǎn)的野值獲得很低的隸屬度。當(dāng)()相同時(shí)，樣本到球心的距離S越大，隸屬度整體越低，若樣本被劃分在超球之外，只要其距超平面足夠近，就有可能是潛在的支持向量，其隸屬度仍然能夠獲得較高的值，從而盡可能保留樣本的分類信息。

()對(duì)隸屬度函數(shù)的影響主要體現(xiàn)在控制參數(shù)1和2上。當(dāng)()不同時(shí)，樣本位于預(yù)置超平面的不同側(cè)區(qū)域，并且由于不同側(cè)區(qū)域的控制參數(shù)也不相同，位于錯(cuò)誤分類區(qū)域的樣本的隸屬度的下降速率要比正確分類區(qū)域的樣本的大。對(duì)于S和H均相同的位于不同側(cè)區(qū)域的2個(gè)樣本，被判別為錯(cuò)誤的樣本為野值的可能性更大，對(duì)應(yīng)的隸屬度也較低，因此利用控制參數(shù)可進(jìn)一步降低野值的隸屬度。

3 仿真實(shí)驗(yàn)

3.1 人工數(shù)據(jù)集實(shí)驗(yàn)

FSVM-MP對(duì)隸屬度的分配情況如圖5所示，其中，H1和H2分別代表正類和負(fù)類超球邊界；H3代表預(yù)置超平面。在原始樣本空間中共選取了9個(gè)樣本，并在各樣本下方對(duì)序號(hào)進(jìn)行了標(biāo)注，其中樣本28和102明顯屬于野值樣本。按FSVM-MP計(jì)算出9個(gè)樣本的隸屬度，結(jié)果見表1。

由圖5和表1可知：對(duì)于野值樣本28和102，與傳統(tǒng)FSVM一樣，F(xiàn)SVM-MP為它們分配的隸屬度也是同類樣本中相對(duì)較低的。在所有選取的樣本中，樣本7，43和52屬于隸屬度較高的3個(gè)樣本，并且均分布在2類樣本的臨近區(qū)域，成為支持向量的概率很大，從而被分配了較高的隸屬度。因此，采用基于多區(qū)域劃分的隸屬度分配方式，既能充分降低野值對(duì)分類的影響，又能最大限度地利用樣本的分類信息。

圖5 超球和預(yù)置超平面下樣本的劃分結(jié)果

表1 典型樣本的實(shí)驗(yàn)結(jié)果

考慮到該方法在原始二維樣本空間中的分類結(jié)果主要由一條分類直線體現(xiàn)，無法較好地說明對(duì)野值的隔離作用，可利用高斯徑向基(GRBF)核函數(shù)將樣本映射到特征空間中。圖6所示為FSVM-MP與傳統(tǒng)SVM的分類結(jié)果。利用網(wǎng)格搜索與交叉驗(yàn)證相結(jié)合的方 法[19]得到GRBF核函數(shù)的最優(yōu)參數(shù)，如表2所示。

(a) FSVM-MP；(b) SVM

表2 人工數(shù)據(jù)集上各模型的參數(shù)設(shè)置

由圖6可以看出：由于野值樣本28和102的存在，2種方法得到的分類面完全不同。傳統(tǒng)SVM將所有樣本等價(jià)對(duì)待，未能隔離出野值；而FSVM-MP通過為野值分配較低的隸屬度，將各野值隔離出對(duì)應(yīng)類樣本之外，從而能夠降低其對(duì)分類的影響。

為檢驗(yàn)FSVM-MP方法的優(yōu)越性，這里將其與基于緊密度(FSVM-AAS)[8]和基于類內(nèi)超平面 (FSVM-HC)[14]的方法進(jìn)行比較。具體做法是：根據(jù)各方法對(duì)上述二維人工數(shù)據(jù)集分別進(jìn)行訓(xùn)練，然后利用randn函數(shù)產(chǎn)生3組不同數(shù)目的樣本，并在每一組樣本下對(duì)各方法進(jìn)行分類測(cè)試。各分類器的性能用誤分率來衡量，采用GRBF核函數(shù)，參數(shù)設(shè)置與表2相同。共進(jìn)行20次實(shí)驗(yàn)，得到各方法的平均實(shí)驗(yàn)結(jié)果如表3所示。

表3 3種方法在人工數(shù)據(jù)集上的分類結(jié)果

由表3可知：在不同的樣本集規(guī)模下，各方法的平均誤分率整體較低，均保持在9%以內(nèi)，適用性較好。但本文提出的FSVM-MP與其他2種模糊方法相比，取得了相對(duì)較低的誤分率，分類性能較好。這是由于FSVM-AAS僅考慮了野值的作用；FSVM-HC雖然能夠提高支持向量的隸屬度，但對(duì)支持向量的位置信息無法有效地獲??； FSVM-MP不僅考慮了野值的影響，還通過預(yù)置超平面近似估計(jì)出支持向量的位置，盡可能利用了樣本的分類信息。

3.2 UCI數(shù)據(jù)集實(shí)驗(yàn)

這里選取UCI機(jī)器學(xué)習(xí)庫(kù)[20]中的真實(shí)樣本集進(jìn)行實(shí)驗(yàn)，并將FSVM-MP方法與FSVM-AAS，F(xiàn)SVM-HC方法進(jìn)行分類性能的比較。由于多類別樣本可轉(zhuǎn)化為一系列二分類問題，因此本實(shí)驗(yàn)僅選取了5個(gè)二分類樣本集。所選各數(shù)據(jù)集的特征描述如表4所示，其中樣本數(shù)為去掉丟失值后的總實(shí)例數(shù)。由表4可以看到：5個(gè)數(shù)據(jù)集的樣本數(shù)以及特征數(shù)均不相同。為減少不同量綱對(duì)分類性能的影響，實(shí)驗(yàn)前對(duì)每個(gè)樣本集均進(jìn)行了歸一化處理，仍然采用GRBF核函數(shù)。在這5個(gè)樣本集上同樣進(jìn)行20次實(shí)驗(yàn)，得到各方法平均誤分率如表5所示。

覆蓋林區(qū)的通訊設(shè)備設(shè)施不健全，一些林區(qū)道路建設(shè)不到位，森林火災(zāi)隱患增強(qiáng)。撲火裝備機(jī)械化程度不高及撲滅森林大火能力不強(qiáng)，在發(fā)生緊急情況時(shí)，很難及時(shí)撲救，損失嚴(yán)重。生物防火林帶和防火隔離帶的建設(shè)滯后，原有防火林帶和生土帶年久失修、雜草叢生，失去防火功能，有的甚至變成引火載體。

表4 UCI數(shù)據(jù)集的數(shù)據(jù)特征

表5 3種方法在真實(shí)數(shù)據(jù)集上的分類結(jié)果

由表5可知：各方法平均誤分率與樣本的特征數(shù)相關(guān)，對(duì)高維數(shù)據(jù)集(如sonar)，3種方法整體上都表現(xiàn)出了較低的誤分率，而低維數(shù)據(jù)集(如breast-cancer和diabetes)的情形則相反。在3種方法的比較中，本文提出的FSVM-MP在真實(shí)數(shù)據(jù)集上獲得了相對(duì)較低的誤分率，泛化能力較好，從而驗(yàn)證了本文方法在真實(shí)數(shù)據(jù)集上的合理性。

4 結(jié)論

1) 通過對(duì)現(xiàn)有隸屬度分配方法的研究，本文提出了一種基于多區(qū)域劃分的FSVM方法，在構(gòu)造隸屬度函數(shù)時(shí)，通過建立預(yù)置超平面和超球模型，將樣本空間劃分成多個(gè)區(qū)域，能夠?yàn)槌蛲獾囊爸捣峙漭^低的隸屬度，同時(shí)也能為預(yù)置超平面附近的支持向量分配較高的隸屬度。

2) 本文提出的方法要優(yōu)于基于緊密度以及基于類內(nèi)超平面的方法，具有更好的抗噪性能。

3) 由于在確定控制參數(shù)時(shí)本文只是參考了隸屬度函數(shù)的變化情況，如何給出合理的指標(biāo)以優(yōu)化控制參數(shù)的選取，有待于進(jìn)一步的研究。

[1] Vapnik V N. Statistical learning theory[M]. New York: John Wiley & Sons, 1998: 52?98.

[2] Lin C F, Wang S D. Fuzzy support vector machines[J]. IEEE Transactions Neural Networks, 2002, 13(2): 464?471.

[3] Atefeh D A, Hui M, Tapan K S, et al. Application of fuzzy support vector machine for determining the health index of the insulation system of in-service power transformers[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2013, 20(3): 965?973.

[4] An W J, Liang M G. Fuzzy support vector machine based on within-class scatter for classification problems with outliers or noises[J]. Neurocomputing, 2013, 110(6): 101?110.

[5] Arindam C, Kajal D. Fuzzy support vector machine for bankruptcy prediction[J]. Applied Soft Computing, 2011, 11(2): 2472?2486.

[6] Abdulhamit S. Medical decision support system for diagnosis of neuromuscular disorders using DWT and fuzzy support vector machines[J]. Computers in Biology and Medicine, 2012, 42(8): 806?815.

[7] Huang H P, Liu Y H. Fuzzy support vector machines for pattern recognition and data mining[J]. International Journal of Fuzzy Systems, 2002, 4(3): 826?835.

[8] 張翔, 肖小玲, 徐光祐. 基于樣本之間緊密度的模糊支持向量機(jī)方法[J]. 軟件學(xué)報(bào), 2006, 17(5): 951?958. ZHANG Xiang, XIAO Xiaoling, XU Guangyou. Fuzzy support vector machine based on affinity among samples[J]. Journal of Software, 2006, 17(5): 951?958.

[9] 艾延廷, 費(fèi)成巍, 王志. 基于改進(jìn)模糊SVM的轉(zhuǎn)子振動(dòng)故障診斷技術(shù)[J]. 航空動(dòng)力學(xué)報(bào), 2011, 26(5): 1118?1123. AI Yanting, FEI Chengwei, WANG Zhi. Technique for diagnosing fault of rotor vibration based on improved fuzzy SVM[J]. Journal of Aerospace Power, 2011, 26(5): 1118?1123.

[10] 陶新民, 徐晶, 杜寶祥, 等. 基于緊密度FSVM新算法及在故障檢測(cè)中的應(yīng)用[J]. 振動(dòng)工程學(xué)報(bào), 2009, 22(4): 418?424. TAO Xinmin, XU Jing, DU Baoxiang, et al. A FSVM based on affinity and its application in bearing fault detection[J]. Journal of Vibration Engineering, 2009, 22(4): 418?424.

[11] 秦傳東, 劉三陽(yáng). 基于數(shù)據(jù)域描述的模糊臨近支持向量機(jī)算法[J]. 系統(tǒng)工程與電子技術(shù), 2011, 33(2): 449?463. QIN Chuandong, LIU Sanyang. Fuzzy proximal support vector machine based on data domain in description[J]. Systems Engineering and Electronics, 2011, 33(2): 449?463.

[12] 郭秩維, 費(fèi)成巍, 白廣忱. 基于FSVM改進(jìn)隸屬度的發(fā)動(dòng)機(jī)振動(dòng)性能分析[J]. 推進(jìn)技術(shù), 2013, 34(2): 263?268. GUO Zhiwei, FEI Chengwei, BAI Guangchen. Improved fuzzy membership method in FSVM for aeroengine vibration performance fusion analysis[J]. Journal of Propulsion Technology, 2013, 34(2): 263?268.

[13] 唐浩, 廖與禾, 孫峰, 等. 具有模糊隸屬度的模糊支持向量機(jī)算法[J]. 西安交通大學(xué)學(xué)報(bào), 2009, 43(7): 40?43.TANG Hao, LIAO Yuhe, SUN Feng, et al. Fuzzy support vector machine with a new fuzzy membership function[J]. Journal of Xi’an Jiaotong University, 2009, 43(7): 40?43.

[14] Ding S F, Gu Y X. A fuzzy support vector machine algorithm with dual membership based on hypersphere[J]. Journal of Computational Information Systems, 2011, 7(6): 2028?2034.

[15] 吳青, 劉三陽(yáng), 杜喆. 基于邊界向量提取的模糊支持向量機(jī)方法[J]. 模式識(shí)別與人工智能, 2008, 21(3): 332?337. WU Qing, LIU Sanyang, DU Zhe. Fuzzy support vector machine method based on border vector extraction[J]. Pattern Recognition and Artificial Intelligence, 2008, 21(3): 332?337.

[16] Mao Yong, Xia Zheng, Yin Zheng, et al. Fault diagnosis based on fuzzy support vector machine with parameter tuning and feature selection[J]. Chinese Journal of Chemical Engineering, 2009, 15(2): 233?239.

[17] Hao P Y, Chiang J H, Lin Y H. A new maximal-margin spherical-structured multi-class support vector machine[J]. Applied Intelligence, 2009, 30(2): 98?111.

[18] Tax D M J, Dain R P W. Support vector data description[J]. Machine Learning, 2003, 54(1): 45?66.

[19] 蔣玲莉, 劉義倫, 李學(xué)軍, 等. 基于SVM與多振動(dòng)信息融合的齒輪故障診斷[J]. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010, 41(16): 2184?2188. JIANG Lingli, LIU Yilun, LI Xuejun, et al. Gear fault diagnosis based on SVM and muti-seneor information fusion[J]. Journal of Central South University (Science and Technology), 2010, 41(16): 2184?2188.

[20] Murphy P M, Aha D W. UCI repository of machine learning database[EB/OL]. [2013?10?30]. http://www.ics.uci.edu/ mlearning/MLRepository.html.

Fuzzy support vector machine method based on multi-region partition

ZHA Xiang, NI Shihong, ZHANG Peng

(College of Aeronautics and Astronautics Engineering, Air Force Engineering University, Xi’an 710038, China)

Considering that current fuzzy support vector machine(FSVM) can’t effectively locate support vectors and thus causes loss of classified information, a FSVM method based on multi-region partition was proposed. As approximate estimation of FSVM support vectors, the general position of support vectors was obtained with traditional SVM, which further fuses the support vector domain description with negative examples(SVDD-neg) model to divide the whole sample space. The results show that the fuzzy membership is determined according to the position of samples in space by different rules, which weakens the outliers and increases the membership of support vectors. The proposed method is more robust and can gain a better generalization ability compared with the FSVM based on affinity among samples and the FSVM based on the distance between a sample and its hyperplane within the class.

fuzzy support vector machine; multi-region partition; outliers; support vectors; membership

10.11817/j.issn.1672-7207.2015.05.016

TP181

A

1672?7207(2015)05?1680?08

2014?04?17；

2014?07?18

國(guó)家自然科學(xué)基金資助項(xiàng)目(61372167) (Project(61372167) supported by the National Natural Science Foundation of China)

查翔，博士研究生，從事飛機(jī)故障診斷、人工智能及其應(yīng)用等研究；E-mail: zha_xiang@126.com

(編輯 趙俊)