直覺模糊最小二乘支持向量機(jī)*

郭新辰, 張 超, 李成龍

(東北電力大學(xué) 理學(xué)院, 吉林 吉林 132012)

支持向量機(jī)(SVM)是在VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上發(fā)展的一種通用機(jī)器學(xué)習(xí)方法[1]. 為提高SVM的訓(xùn)練效率, Suykens等[2-3]對標(biāo)準(zhǔn)SVM進(jìn)行了擴(kuò)展, 提出了最小二乘支持向量機(jī)(LS-SVM), 采用具有等式約束且滿足KKT條件的規(guī)則化最小二乘函數(shù)作為損失函數(shù), 代替了SVM計(jì)算復(fù)雜的QP問題, 求解速度相對較快. 但由于平方損失函數(shù)沒有正則化, 導(dǎo)致最小二乘向量機(jī)對孤立點(diǎn)的魯棒性較差[4-5].

為了克服噪聲和野點(diǎn)對支持向量機(jī)的影響, 文獻(xiàn)[6]將模糊集理論和支持向量機(jī)相結(jié)合, 提出了模糊支持向量機(jī)(FSVM). 文獻(xiàn)[7-10]將二者結(jié)合又提出了模糊最小二乘支持向量機(jī)(FLS-SVM). 在樣本的隸屬度確定方面, 常見的方法是根據(jù)樣本到類中心的距離確定相應(yīng)的隸屬度大小, 但這種方法所確定的隸屬度有兩點(diǎn)局限性： 1) 未考慮樣本間的緊密程度； 2) 未考慮樣本周圍的樣本點(diǎn)情況.

Zadeh[11]提出了模糊集理論, 但由于其隸屬度是一個(gè)實(shí)數(shù), 只能反映支持、 不支持和不確定三者之一, 不能反映實(shí)際情況. 因此, Atanassov[12]在模糊集的基礎(chǔ)上提出了基于隸屬度、 非隸屬度和不確定度的直覺模糊集. 本文將直覺模糊集的相關(guān)理論引入到最小二乘支持向量機(jī)中提出了新的直覺模糊最小二乘支持向量機(jī)(intuitionistic fuzzy least square support vector machine, IFLS-SVM).

1 直覺模糊集

設(shè)χ為給定的論域, 則定義χ上的直覺模糊集為

A={〈x,μA(x),νA(x)〉x∈χ},

其中μA(x):x→[0,1]和νA(x):x→[0,1]分別為A的隸屬度函數(shù)和非隸屬度函數(shù), 并滿足對所有的x∈A均有0≤μA(x)+νA(x)≤1成立.πA=1-(μA(x)+νA(x))稱為x屬于A的不確定度函數(shù), 即直覺指數(shù).

2 最小二乘支持向量機(jī)與模糊最小二乘支持向量機(jī)

給定帶有類別標(biāo)簽的訓(xùn)練集(x1,y1),(x2,y2),…,(xl,yl), 其中訓(xùn)練樣本xi∈RN,yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標(biāo)簽,i=1,2,…,l. LS-SVM對應(yīng)的優(yōu)化問題為

(1)

其中：φ(x): RN→ RNh為輸入空間到特征空間的映射； 權(quán)矢量wT∈RN； 誤差變量ξi∈R；b為偏差量；C為正規(guī)化參數(shù)即最大分類間隔與最小分類誤差的折中.

若在FLS-SVM中引入隸屬度μi的概念, 則相關(guān)的數(shù)學(xué)模型變?yōu)?/p>

(2)

3 直覺模糊最小二乘支持向量機(jī)

給定帶有類別標(biāo)簽的訓(xùn)練集(以樣本有兩類為例)： (x1,y1),(x2,y2),…,(xl,yl), 其中: 訓(xùn)練樣本xi∈RN;yi∈{1,-1}為訓(xùn)練樣本對應(yīng)的類標(biāo)簽;i=1,2,…,l.

3.1 相關(guān)指標(biāo)

圖1 樣本類中心與類內(nèi)、 外徑示意圖Fig.1 Diagram of sample class center and internal and external radii

3.1.2 樣本點(diǎn)周圍同類點(diǎn)比例與異類點(diǎn)比例 正樣本點(diǎn)周圍同類點(diǎn)比例為

負(fù)樣本點(diǎn)周圍同類點(diǎn)比例為

負(fù)樣本點(diǎn)周圍異類點(diǎn)比例為

d值需要綜合考慮R1,r1,R2,r2和正負(fù)樣本容量等指標(biāo)合理取值[13].

3.1.3 樣本隸屬度 為了更好地反映每個(gè)樣本點(diǎn)與類別間的真實(shí)關(guān)系, 定義相關(guān)的隸屬度. 正樣本屬于正類隸屬度為

正樣本屬于負(fù)類隸屬度為

當(dāng)樣本點(diǎn)滿足D(xi,O1)

負(fù)樣本屬于負(fù)類隸屬度為

負(fù)樣本屬于正類隸屬度為

由隸屬度的計(jì)算公式可得：

3.2 直覺模糊最小二乘支持向量機(jī)

因?yàn)橹庇X指數(shù)反映了一個(gè)樣本的不確定程度, 所以直覺模糊最小二乘支持向量機(jī)模型為

(3)

其中k為待定參數(shù), 滿足0≤μi-k·πi≤1.

模型(3)對應(yīng)的Lagrange函數(shù)為

(4)

其中Lagrange乘子αi∈R,i=1,2,…,l. 根據(jù)KKT條件, 有

(5)

其中i=1,2,…,l. 將式(5)寫成矩陣形式為

(6)

其中:

Z=(y1φ(x1),y2φ(x2),…,ylφ(xl));y=(y1,y2,…,yl);μ=diag(μ1,μ2,…,μl);

π=diag(π1,π2,…,πl(wèi));ξ=(ξ1,ξ2,…,ξl)T;α=(α1,α2,…,αl)T;1=(1,1,…,1)T.

經(jīng)同解變換消去變量w和ξ, 并結(jié)合Mercer條件, 式(4)可寫成

(7)

其中Ωij=yiyjK(xi,xj). 令A(yù)=Ω+(C(μ-k·π))-1, 求解式(7)可得

4 仿真實(shí)驗(yàn)

借助MATLAB的LSSVMlab工具箱, 在人工數(shù)據(jù)集上對本文算法進(jìn)行實(shí)驗(yàn)驗(yàn)證. 驗(yàn)證過程如下.

1) 隨機(jī)生成人工數(shù)據(jù)集. 樣本容量為300, 取其中100個(gè)樣本作為訓(xùn)練樣本集, 其余200個(gè)樣本作為測試集.

2) 對訓(xùn)練樣本集進(jìn)行訓(xùn)練. 訓(xùn)練采用RBF核函數(shù), 取σ=0.5,C=10,d=0.6,k=0.5. 分別用LS-SVM,FLS-SVM和IFLS-SVM這3種方法對訓(xùn)練樣本集進(jìn)行訓(xùn)練.

3) 根據(jù)3種訓(xùn)練結(jié)果分別對測試集進(jìn)行測試.

4) 對測試結(jié)果進(jìn)行整理. 由于每次訓(xùn)練時(shí)訓(xùn)練集和測試集均為隨機(jī)生成, 所以本文取3種方法測試100次準(zhǔn)確率的平均值作為測試準(zhǔn)確率.

根據(jù)上述訓(xùn)練過程, 得出3種方法的測試準(zhǔn)確率結(jié)果分別為LS-SVM： 93.75%; FLS-SVM： 94.45%; IFLS-SVM： 95.25%. 可見IFLS-SVM的分類效果較好. 圖2為IFLS-SVM(圖2(A))和FLS-SVM(圖2(B))對同一組數(shù)據(jù)分類結(jié)果的對比. 由圖2可見, FLS-SVM將右下方的一個(gè)樣本點(diǎn)分錯(cuò), 而IFLS-SVM 則沒有. 因此, 本文提出的IFLS-SVM算法比較合理.

圖2 直覺模糊最小二乘支持向量機(jī)和模糊最小二乘支持向量機(jī)分類的對比結(jié)果Fig.2 Classification by IFLS-SVM and FLS-SVM

為了進(jìn)一步驗(yàn)證IFLS-SVM算法的有效性, 在標(biāo)準(zhǔn)數(shù)據(jù)集Blood-Transfusion, Pima Indians Diabetes和Statlog (Heart)上對LS-SVM, FLS-SVM和IFLS-SVM這3種算法進(jìn)行對比測試, 測試結(jié)果列于表1. 由表1可見, IFLS-SVM算法對應(yīng)的準(zhǔn)確率較高, 從而進(jìn)一步驗(yàn)證了IFLS-SVM算法的合理性.

表1 3種算法在標(biāo)準(zhǔn)數(shù)據(jù)集上的測試結(jié)果

綜上所述, 為了降低在采用LS-SVM分類時(shí)樣本中噪聲和野點(diǎn)對分類效果的影響, 本文將直覺模糊集的相關(guān)理論引入到LS-SVM中, 建立了直覺模糊最小二乘支持向量機(jī). 先定義了樣本的隸屬度、 非隸屬度及直覺指數(shù)等相關(guān)指標(biāo), 并建立了IFLS-SVM的數(shù)學(xué)模型, 再對其求解過程進(jìn)行推導(dǎo), 最后通過在人工數(shù)據(jù)集和標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行仿真實(shí)驗(yàn), 實(shí)驗(yàn)結(jié)果驗(yàn)證了算法的有效性.

[1] Vapnik V N. Statistical Learning Theory [M]. New York: Wiley, 1995： 100-105.

[2] Suykens J A K. Nonlinear Modeling and Support Vector Machines [C]//Proceedings of the 18th IEEE Instrumentation and Measurement Technology Conference. Budapest: Hungary, 2001： 287-294.

[3] Suykens J A K, Vandewalle J. Least Squares Support Vector Machine Classifiers [J]. Neural Process Lett, 1999, 9(3)： 293-300.

[4] Shim J Y, Hwang C, Nau S. Robust LS-SVM Regression Using FuzzyC-Means Clustering [J]. Advances in Natural Computation, 2006, 1(1): 157-166.

[5] LI Jin, TANG Wei. Fuzzy Least Squares Support Vector Machine in the Black Liquor Baume Soft Measurement [J]. Aerospace Manufacturing Technology, 2008(2): 51-53. (李瑾, 湯偉. 模糊最小二乘支持向量機(jī)在黑液波美度軟測量中的應(yīng)用 [J]. 航天制造技術(shù), 2008(2): 51-53.)

[6] LIN Chun-fu, WANG Sheng-de. Fuzzy Support Vector Machines [J]. IEEE Transactions on Neural Networks, 2002, 13(2): 464-471.

[7] CHEN Xiu-juan, LI Yong, Robert H G, et al. Genetic Fuzzy Classification Fusion of Multiple SVMs for Biomedical Data [J]. Journal of Intelligent & Fuzzy Systems, 2007, 18(6): 527-541.

[8] YANG Jun, DUAN Chong, XIE Shou-sheng. Fuzzy Least Squares Support Vector Machines Based Recognition for Aircraft Flight Action [J]. Missiles and Guidance, 2004, 24(3): 395-398. (楊俊, 段翀, 謝壽生. 基于模糊最小二乘支持向量機(jī)的飛機(jī)飛行動作識別 [J]. 彈箭與制導(dǎo)學(xué)報(bào), 2004, 24(3): 395-398.)

[9] ZHANG Ying, SU Hong-ye, CHU Jian. Soft Sensor Modeling Based on Fuzzy Least Squares Support Vector Machine [J]. Control and Decision, 2005, 20(6): 621-624. (張英, 蘇宏業(yè), 褚健. 基于模糊最小二乘支持向量機(jī)的軟測量建模 [J]. 控制與決策, 2005, 20(6): 621-624.)

[10] WEI Guo, LIU Jian, SUN Jin-wei, et al. Study on Nonlinear Multifunctional Sensor Signal Reconstruction Method Based on LS-SVM [J]. Acta Automatica Sinica, 2008, 34(8): 869-875. (魏國, 劉劍, 孫金瑋, 等. 基于LS-SVM的非線性多功能傳感器信號重構(gòu)方法研究 [J]. 自動化學(xué)報(bào), 2008, 34(8): 869-875.)

[11] Zadeh L A. Fuzzy Sets [J]. Information and Control, 1965, 8(3): 338-353.

[12] Atanassov K T. Intuitionistic Fuzzy Sets [J]. Fuzzy Sets and Systems, 1986, 20(1): 87-96.

[13] HA Ming-hu, HUANG Shu, WANG Chao, et al. Intuitionistic Fuzzy Support Vector Machine [J]. Journal of Hebei University: Natural Sicence Edition, 2011, 31(3): 225-229. (哈明虎, 黃澍, 王超, 等. 直覺模糊支持向量機(jī) [J]. 河北大學(xué)學(xué)報(bào): 自然科學(xué)版, 2011, 31(3): 225-229.)