模糊支持向量機(jī)研究綜述*

邱云志，汪廷華，余武清

(贛南師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，江西 贛州 341000)

1 引言

支持向量機(jī)(Support Vector Machine, SVM)[1-2]是由統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展而來(lái)的一種機(jī)器學(xué)習(xí)算法,最早于20世紀(jì)90年代中期由Vapnik等人提出.SVM算法的核心在于引入了核函數(shù)的概念，創(chuàng)造性地把非線性問題轉(zhuǎn)化為線性問題來(lái)解決，避免了直接在高維特征空間中的復(fù)雜計(jì)算，即將樣本點(diǎn)通過核函數(shù)從輸入空間映射到高維的特征空間，在特征空間中尋找最優(yōu)分類超平面的過程.SVM算法所具有的堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)、較強(qiáng)的泛化能力和全局最小值的求解，使得SVM廣泛應(yīng)用于模式識(shí)別的分類和回歸等問題，例如在圖像分類[3]、自然語(yǔ)言處理[4]、生物信息學(xué)[5]等領(lǐng)域的應(yīng)用中都表現(xiàn)出了良好的性能.雖然SVM算法在理論和應(yīng)用上都有一定的優(yōu)勢(shì)，但是由于過擬合[6]現(xiàn)象的發(fā)生，標(biāo)準(zhǔn)SVM在訓(xùn)練過程中對(duì)訓(xùn)練集的噪聲或離群點(diǎn)非常敏感，從而使得該算法的容噪性很差，在某些實(shí)際應(yīng)用中不能很好的發(fā)揮它的性能.

為了緩解噪聲或離群點(diǎn)敏感的問題，Lin和Wang[7]提出了一種模糊支持向量機(jī)(Fuzzy Support Vector Machine, FSVM)模型用于有噪聲或離群點(diǎn)的分類，F(xiàn)SVM算法對(duì)每個(gè)輸入的樣本點(diǎn)賦予模糊隸屬度值，使不同的樣本點(diǎn)對(duì)最優(yōu)分類超平面的構(gòu)建具有不同的貢獻(xiàn)，降低了噪聲或離群點(diǎn)對(duì)最優(yōu)決策面的影響.針對(duì)FSVM算法的關(guān)鍵問題，即在如何確定隸屬度函數(shù)這一方面已經(jīng)做了大量的工作.Lin和Wang[7]給出了原始的隸屬度函數(shù)的計(jì)算，表示為樣本空間中的數(shù)據(jù)樣本點(diǎn)到其所在類中心的歐式距離.該方法存在的一個(gè)問題是當(dāng)樣本分布不是球形分布時(shí)，每個(gè)樣本點(diǎn)對(duì)決策函數(shù)的貢獻(xiàn)不能很好的表示出來(lái).針對(duì)這一問題，基于特征空間的歐式距離的計(jì)算在文獻(xiàn)[8]中被提了出來(lái).Tang[9]提出了一種基于樣本空間和特征空間中一類的樣本點(diǎn)到另一類樣本點(diǎn)邊界的距離的隸屬度函數(shù)，可以有效的區(qū)分支持向量和噪聲.上面幾種方法在設(shè)計(jì)隸屬度函數(shù)時(shí)沒有考慮到樣本之間的關(guān)系，文獻(xiàn)[10]不僅考慮了樣本與類中心的距離，同時(shí)考慮了樣本之間的關(guān)系，實(shí)驗(yàn)結(jié)果表明，能有效的區(qū)分樣本點(diǎn)、噪聲以及離群點(diǎn).還有一些其他的方法來(lái)改進(jìn)常規(guī)的FSVM模型，如基于聚類算法的FSVM[11-13]，通過使用聚類方法來(lái)取得更具有魯棒性的隸屬度值.文獻(xiàn)[14]提出了雙邊加權(quán)的模糊支持向量機(jī)，通過給每一個(gè)樣本分別賦予一個(gè)正類和負(fù)類的隸屬度，使得新的FSVM具有更好的泛化能力.正則化單調(diào)FSVM[15]則是提出了一種新的基于訓(xùn)練數(shù)據(jù)偏序的FSVM模型，該模型考慮了先驗(yàn)領(lǐng)域知識(shí)的單調(diào)性，并以不等式的形式表示.文獻(xiàn)[16]提出了基于中心核對(duì)齊的模糊支持向量機(jī)，在計(jì)算生物學(xué)和一些分類問題上，該算法在相關(guān)性能上有一定的優(yōu)越性.針對(duì)類不平衡的數(shù)據(jù)集，文獻(xiàn)[17-18]分別在常規(guī)的FSVM算法上進(jìn)行了相應(yīng)的改進(jìn)，使得算法在非平衡數(shù)據(jù)集上的應(yīng)用性能有所提升.文獻(xiàn)[19]考慮到不同的特征對(duì)FSVM算法的隸屬度的確定的影響，提出了基于Relief-F特征加權(quán)的FSVM分類算法，比傳統(tǒng)的基于歐式距離的FSVM算法具有更高的分類精度和效率.目前如何確定一個(gè)合適的隸屬度函數(shù)還沒有一個(gè)通用的準(zhǔn)則，如何確定樣本的隸屬度是該算法的難點(diǎn)，同時(shí)也是一個(gè)研究熱點(diǎn)問題.

本文的主要部分組織如下.第2部分簡(jiǎn)要介紹FSVM算法的理論基礎(chǔ)，第3部分詳細(xì)介紹幾種常用的隸屬度函數(shù)設(shè)計(jì)方法，第4部分是FSVM算法在現(xiàn)實(shí)領(lǐng)域中的應(yīng)用，最后針對(duì)模糊支持向量機(jī)算法的關(guān)鍵問題，即模糊隸屬度函數(shù)的設(shè)計(jì)，給出一些未來(lái)研究方向的展望.

2 模糊支持向量機(jī)理論

標(biāo)準(zhǔn)的SVM算法是針對(duì)二分類問題提出來(lái)的，在處理多類分類問題中，通常采用一對(duì)一或者一對(duì)多的策略將多類分類問題轉(zhuǎn)化為二分類的問題處理，不是一般性，本文以二分類問題為例進(jìn)行闡述.FSVM算法基于標(biāo)準(zhǔn)SVM算法，通過給每個(gè)樣本點(diǎn)賦予一個(gè)隸屬度值，使不同的樣本對(duì)最終的決策函數(shù)有不同的貢獻(xiàn)，解決了標(biāo)準(zhǔn)SVM算法容噪性差的缺點(diǎn)，適用于有噪聲或離群點(diǎn)的分類問題.

(1)

其中，ξ=(ξ1,…,ξl)T是松弛變量，C>0是正則化參數(shù)，保持分類最大間隔與分類誤差之間的平衡.siξi為衡量對(duì)于重要性不同的變量錯(cuò)分程度的度量，當(dāng)si越小，ξi的影響越小，則對(duì)應(yīng)的φ(xi)對(duì)于分類的作用就越小.siC則是衡量樣本xi在訓(xùn)練FSVM算法時(shí)的重要程度，siC的值越大，代表樣本xi被正確分類的可能性越大，反之，表示樣本xi被正確分類的可能性越小.為了解決上述的最優(yōu)化問題，我們先構(gòu)造如下的拉格朗日函數(shù)：

(2)

其中αi≥0,μi≥0為拉格朗日乘子，令L(w,b,α,ξ,μ)對(duì)w,b,ξi的偏導(dǎo)為零可得：

(3)

將方程(3)帶入方程(2)，關(guān)于式(1)的優(yōu)化問題就可以轉(zhuǎn)化成下面的二次規(guī)劃問題，即：

(4)

其中：式(4)中K(xi,xj)=φ(xi)Tφ(xj)為核函數(shù)，巧妙地把高維特征空間中的內(nèi)積運(yùn)算轉(zhuǎn)化為在輸入空間上進(jìn)行簡(jiǎn)單的函數(shù)計(jì)算，解決了維數(shù)災(zāi)難問題.求得相應(yīng)的決策函數(shù)為：

(5)

其中：sign(·)是符號(hào)函數(shù).可以看出當(dāng)αi>0時(shí)，對(duì)應(yīng)的樣本點(diǎn)xi為支持向量.

3 模糊隸屬度函數(shù)

FSVM算法在處理含噪聲或離群點(diǎn)的樣本分類問題中，其分類效果優(yōu)于標(biāo)準(zhǔn)SVM算法.FSVM算法根據(jù)根據(jù)每個(gè)樣本點(diǎn)對(duì)分類所起的作用大小給其賦予不同的隸屬度.目前的難點(diǎn)在于如何確定隸屬度函數(shù)使算法的性能最優(yōu)，然而沒有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)去選擇合適的隸屬度函數(shù)，通常需要針對(duì)具體的樣本情況根據(jù)經(jīng)驗(yàn)來(lái)確定合適的隸屬度函數(shù).總的來(lái)看，這些隸屬度函數(shù)的設(shè)計(jì)方法各有利弊，下面歸納了幾種確定隸屬度函數(shù)的方法.

3.1 基于距離確定隸屬度函數(shù)

3.1.1 基于類中心距離的隸屬度函數(shù)

通過樣本到其所在類中心的距離來(lái)確定樣本的隸屬度大小.即樣本點(diǎn)到類中心的距離越小，表示該樣本點(diǎn)的隸屬度越大；反之，則表示該樣本點(diǎn)的隸屬度越小.

(6)

(7)

r+=maxdi+, r-=maxdi-

(8)

其中，l+，l-分別表示正類和負(fù)類樣本的個(gè)數(shù).

(9)

(10)

(11)

通過上面的計(jì)算可得出基于距離的隸屬度函數(shù)表達(dá)式如下：

(12)

其中，δ為事先給定的一個(gè)很小的正數(shù)，r+=maxdi+，r-=maxdi-.

3.1.2 基于類內(nèi)超平面距離的隸屬度函數(shù)

基于類內(nèi)超平面距離確定隸屬度函數(shù)的方法，通過樣本點(diǎn)到類內(nèi)超平面的距離來(lái)度量隸屬度函數(shù)的大小.設(shè)x+、x-分別代表正類和負(fù)類樣本的類中心，則過正負(fù)樣本的類中心的類內(nèi)超平面為H1∶wT(x-x+)=0；H2∶wT(x-x-)=0，其中w=x+-x-為法向量，則：

(13)

(14)

(15)

通過上面的計(jì)算可得出基于類內(nèi)超平面距離的隸屬度函數(shù)表達(dá)式如下：

(16)

(17)

其中：δ是事先給定的一個(gè)很小的正數(shù)，l+、l-分別表示位于兩個(gè)類內(nèi)超平面之間正類和負(fù)類樣本點(diǎn)的數(shù)目，λ的取值在[0,1]之間.

(18)

(19)

(20)

(21)

同理根據(jù)上面的式(12)可得到在特征空間中基于類內(nèi)超平面距離的隸屬度函數(shù)的表達(dá)式.

3.2 基于K近鄰法(KNN)確定隸屬度函數(shù)

基于KNN算法確定隸屬度函數(shù)的方法側(cè)重于考慮樣本點(diǎn)之間的關(guān)系，其優(yōu)點(diǎn)是大大減少了計(jì)算量并且具有較強(qiáng)的魯棒性，具體的計(jì)算步驟如下：

其中：λ是小于1并趨于0的正數(shù)，f表示控制函數(shù).通過上面的式子可以得出當(dāng)di-average越接近dmin時(shí)，則μ(xi)的值越接近于1，樣本點(diǎn)xi是噪聲或離群點(diǎn)的可能性越大，反之樣本點(diǎn)xi是噪聲或離群點(diǎn)的可能性越小.

3.3 基于樣本緊密度確定隸屬度函數(shù)

基于樣本緊密度確定隸屬度函數(shù)的方法，通過考慮樣本到其最小包圍球中心之間距離的遠(yuǎn)近程度來(lái)度量.則位于最小包圍球半徑內(nèi)、外的樣本點(diǎn)的隸屬度函數(shù)的計(jì)算方法，分別采用如下的公式計(jì)算：

(22)

其中：ρ表示最小包圍球半徑，d(xi)表示樣本點(diǎn)xi到其最小包圍球中心a之間的距離，其表達(dá)公式如下：

(23)

通過隸屬度函數(shù)的定義公式(22)可以得出，樣本點(diǎn)的隸屬度的大小取決于樣本到最小包圍球中心的距離和樣本在空間中的分布情況.

3.4 基于模糊C均值聚類(FCM)算法確定隸屬度函數(shù)

基于FCM算法確定隸屬度函數(shù)的方法融合了模糊理論的精髓，相較于K均值的硬聚類，F(xiàn)CM算法提供了更為靈活的聚類結(jié)果.FCM算法的核心在于最小化聚類損失函數(shù)的過程，其表達(dá)式如下：

(24)

(25)

(26)

4 模糊支持向量機(jī)的應(yīng)用

FSVM算法在標(biāo)準(zhǔn)SVM算法的基礎(chǔ)之上，通過給每個(gè)樣本點(diǎn)賦予一個(gè)隸屬度值，有效地解決了標(biāo)準(zhǔn)SVM算法容噪性差的缺點(diǎn)，特別是在處理含有噪聲或離群點(diǎn)的樣本方面，起到了很好的分類效果，具有較好的學(xué)習(xí)性能和泛化能力，成為模式識(shí)別和數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)，在圖像處理、生物信息學(xué)、醫(yī)學(xué)應(yīng)用等方面具有廣闊的應(yīng)用前景.

4.1 圖像處理

圖像處理是目前人工智能領(lǐng)域的熱門研究方向，其中FSVM算法在圖像處理中的應(yīng)用十分廣泛，可應(yīng)用于圖像分割、邊緣檢測(cè)、人臉識(shí)別、遙感圖像分類、圖像去噪等方面.

圖像分割[20]是一種重要的圖像分析技術(shù)，將一幅圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域并提出感興趣目標(biāo)的技術(shù).傳統(tǒng)的圖像分割方法由于圖像的邊緣的復(fù)雜性，在實(shí)際的應(yīng)用中效果不太理想.文獻(xiàn)[21]提出了模糊支持向量機(jī)算法應(yīng)用于醫(yī)學(xué)圖像分割，通過對(duì)腫瘤圖像、頭CT圖像等的仿真分析，實(shí)驗(yàn)結(jié)果表明應(yīng)用模糊支持向量機(jī)算法可以有效地進(jìn)行醫(yī)學(xué)圖像分割，在實(shí)際應(yīng)用中有著廣泛的前景.文獻(xiàn)[22]針對(duì)彩色圖像分割問題，引入了基于加性組合核函數(shù)和KNN隸屬度函數(shù)的模糊支持向量機(jī)，實(shí)驗(yàn)結(jié)果表明，同傳統(tǒng)的彩色圖像分割技術(shù)相比，性能方面有一定的提升.

圖像邊緣檢測(cè)[23]在本質(zhì)上是屬于圖像分類問題，標(biāo)準(zhǔn)的SVM算法對(duì)樣本中的離群點(diǎn)點(diǎn)或噪聲比較敏感，影響了在實(shí)際應(yīng)用中的分類性能.文獻(xiàn)[24]通過使用FSVM算法進(jìn)行圖像邊緣檢測(cè)，有效地降低了噪聲或離群點(diǎn)對(duì)分類性能的影響.文獻(xiàn)[25-26]則是分別選擇不同的隸屬度函數(shù)，使得新的模糊支持向量機(jī)算法邊緣檢測(cè)抗干擾性更好，提取邊緣的效果更優(yōu)，具有更強(qiáng)的適應(yīng)性能.

人臉識(shí)別主要是提取待識(shí)別的人臉圖像的特征信息與數(shù)據(jù)庫(kù)中的已知人臉圖像進(jìn)行對(duì)比，得出相關(guān)結(jié)論.決定人臉識(shí)別的效果如何，通常是選擇合適的特征提取方法和分類器，一般來(lái)講常見的特征提取和降維方法有主成分分析(PCA)、獨(dú)立成分分析(ICA)以及小波分析等，分類器有最近鄰算法、神經(jīng)網(wǎng)絡(luò)，以及SVM算法等.文獻(xiàn)[27]在特征提取與降維階段選擇了ICA算法，而不是傳統(tǒng)的PCA算法，從而消除了數(shù)據(jù)的相關(guān)性，此外結(jié)合了FSVM算法，使得實(shí)驗(yàn)性能有了大幅度的提升，大大的提高了人臉識(shí)別率.文獻(xiàn)[28]基于PCA算法和ICA算法,提出了基于局部圖像的雙向PCA算法進(jìn)行特征提取，然后用基于密度的雙隸屬度FSVM算法進(jìn)行分類，在ORL人臉數(shù)據(jù)庫(kù)和AR人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果不但在精度上有所提高，而且大大的縮短了實(shí)驗(yàn)的時(shí)間，具有很好的借鑒作用.

此外，在遙感圖像分類中，文獻(xiàn)[29]提出了一種新的基于云模型的隸屬度函數(shù)的FSVM算法，與基于距離隸屬度的FSVM的分類結(jié)果相比精度有所提升.在圖像去噪方面，文獻(xiàn)[30]則是結(jié)合小波系數(shù)和FSVM算法，實(shí)驗(yàn)結(jié)果顯示，該組合算法能較好的將噪聲從圖像中出來(lái)，從而留下有用的信息.

4.2 生物信息學(xué)

FSVM算法在生物學(xué)上的應(yīng)用主要集中在以下幾個(gè)方面：

4.2.1 基因分類

傳統(tǒng)的基因分類方法包括粗糙集、神經(jīng)網(wǎng)絡(luò)、遺傳算法、支持向量機(jī)等，文獻(xiàn)[31]提出了基于最小二乘法的模糊支持向量機(jī)的基因分類方法，一方面解決了傳統(tǒng)的支持向量機(jī)對(duì)噪聲和孤立點(diǎn)敏感的問題；另一方面，與傳統(tǒng)的支持向量機(jī)而比，最小二乘支持向量機(jī)在目標(biāo)函數(shù)中增加誤差平方和項(xiàng)、以及用等式約束代替不等式約束，求解速度大大加快，實(shí)驗(yàn)結(jié)果表明該方法取得了較高的分類精度.

4.2.2 蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)

蛋白質(zhì)結(jié)構(gòu)是指蛋白質(zhì)分子的空間結(jié)構(gòu).按照蛋白質(zhì)的結(jié)構(gòu)層次，可以分為蛋白質(zhì)一級(jí)結(jié)構(gòu)、蛋白質(zhì)二級(jí)結(jié)構(gòu)、蛋白質(zhì)三級(jí)結(jié)構(gòu)和蛋白質(zhì)四級(jí)結(jié)構(gòu).文獻(xiàn)[32]提出結(jié)合蛋白質(zhì)序列相似性分析方法和模糊支持向量機(jī)算法進(jìn)行蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)預(yù)測(cè)準(zhǔn)確性有所提高.

4.2.3 生物分類識(shí)別

模糊支持向量機(jī)在生物分類識(shí)別上的應(yīng)用也很廣泛，文獻(xiàn)[33]則是通過對(duì)紅蟲、猛水蚤、劍水蚤等浮游生物樣本進(jìn)行分類，通過提取顏色、能量等作為特征向量，然后采用基于RBF核函數(shù)的FSVM作為分類器，實(shí)驗(yàn)結(jié)果表示，該算法基本能正確識(shí)別紅蟲，具有比較好的分類精度.

4.3 故障診斷

FSVM算法在一些實(shí)際的故障診斷問題中表現(xiàn)出了良好的性能，文獻(xiàn)[34]在處理電力變壓器故障診斷的問題中，采用基于FCM的隸屬度函數(shù)，避免了噪聲或離群點(diǎn)的影響，實(shí)驗(yàn)結(jié)果表明FSVM算法比標(biāo)準(zhǔn)的SVM算法和改良IEC比值法具有更優(yōu)的性能.文獻(xiàn)[35]針對(duì)目前汽輪機(jī)故障診斷中存在的缺陷，提出了變分模態(tài)分解和采用粒子群算法優(yōu)化的FSVM算法相結(jié)合的診斷模型，不僅提高了診斷精度，而且縮短了時(shí)間.文獻(xiàn)[36]針對(duì)凝汽器工作過程中的故障問題，基于FSVM算法的故障診斷模型與神經(jīng)網(wǎng)絡(luò)算法的故障診斷算法對(duì)比后具有更高的效率和泛化能力.

此外，在預(yù)測(cè)方面，文獻(xiàn)[37]結(jié)合FSVM算法和魔密度聚類算法應(yīng)用于半導(dǎo)體成品率的預(yù)測(cè)，文獻(xiàn)[38]表明FSVM算法對(duì)混凝土構(gòu)件的反向預(yù)測(cè)方面具有優(yōu)良的性能，文獻(xiàn)[39]提出一種改進(jìn)的FSVM算法應(yīng)用于汽輪機(jī)熱耗率的預(yù)測(cè)，表現(xiàn)出很好的泛化能力以及高預(yù)測(cè)率等.在預(yù)警方面，F(xiàn)SVM算法在火災(zāi)預(yù)警[40]、海洋災(zāi)害風(fēng)險(xiǎn)預(yù)警[41]等方面有著廣泛的應(yīng)用.在文字識(shí)別[42]、情感識(shí)別[43]、油液磨粒自動(dòng)識(shí)別[44]等方面，F(xiàn)SVM算法都表現(xiàn)出了良好的性能.

5 結(jié)論

FSVM算法在標(biāo)準(zhǔn)SVM算法的基礎(chǔ)上，考慮到噪聲或離群點(diǎn)對(duì)算法性能產(chǎn)生的影響，通過選定的隸屬度函數(shù)給每個(gè)樣本賦予一個(gè)權(quán)重，解決了標(biāo)準(zhǔn)SVM容噪性差的缺點(diǎn).本文對(duì)FSVM算法的發(fā)展現(xiàn)狀、數(shù)學(xué)理論基礎(chǔ)、以及常用隸屬度函數(shù)的設(shè)計(jì)方法做了詳細(xì)的論述，最后介紹了FSVM算法在現(xiàn)實(shí)領(lǐng)域中的一些應(yīng)用.目前來(lái)看，F(xiàn)SVM在算法的優(yōu)化上，需要從兩個(gè)方面進(jìn)行完善，其一需要提高算法的訓(xùn)練速度，盡管最小二乘模糊支持向量機(jī)在速度上有所提升，但是泛化性能不佳，在處理非線性問題時(shí)不能處理大樣本數(shù)據(jù)問題等.其二則是針對(duì)FSVM算法的關(guān)鍵問題，即隸屬度函數(shù)的設(shè)計(jì)與選擇，此前關(guān)于隸屬度函數(shù)的設(shè)計(jì)都是根據(jù)具體的情況去選擇適當(dāng)?shù)碾`屬度函數(shù)，因此也設(shè)計(jì)出了諸多的隸屬度函數(shù)，無(wú)論是先識(shí)別出噪聲或離群點(diǎn)，然后賦予其一個(gè)很小的隸屬度值，還是通過基于距離對(duì)噪聲或離群點(diǎn)賦予隸屬度，都還沒有一個(gè)統(tǒng)一的選擇和設(shè)計(jì)標(biāo)準(zhǔn)，對(duì)于這一方面的改進(jìn)和完善是需要學(xué)者去研究的.