組合核支持向量機(jī)的模式分析新方法

徐立祥，李旭，呂皖麗，羅斌

1.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，合肥 230039

2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室，合肥 230601

3.合肥學(xué)院數(shù)學(xué)與物理系，合肥 230601

組合核支持向量機(jī)的模式分析新方法

徐立祥1，2，3，李旭3，呂皖麗1，2，羅斌1

1.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，合肥 230039

2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室，合肥 230601

3.合肥學(xué)院數(shù)學(xué)與物理系，合肥 230601

1 引言

由V.Vapnik等人提出的支持向量機(jī)（SVM）因具有良好的推廣性，已成功地得到了廣泛的應(yīng)用。SVM是用于解決從樣本進(jìn)行學(xué)習(xí)的一種基于核的新技術(shù)[1-3]，核函數(shù)的選擇以及核參數(shù)優(yōu)化決定了支持向量機(jī)的學(xué)習(xí)能力和推廣能力的好壞，所以很多研究者對(duì)常用核的性質(zhì)以及對(duì)各種參數(shù)求解方法作了大量研究[4-5]。單一的核函數(shù)性能可能會(huì)有一些不足，于是組合核函數(shù)成為眾多研究者的關(guān)注點(diǎn)[6-7]。支持向量機(jī)的性能主要體現(xiàn)在學(xué)習(xí)能力和推廣能力上，所以為了提高支持向量機(jī)的模式分析能力，需要在學(xué)習(xí)能力和推廣能力兩方面取得一個(gè)良好的折衷，盡量避免欠學(xué)習(xí)和過(guò)學(xué)習(xí)，同時(shí)也要獲得良好的推廣能力。組合核支持向量機(jī)可以結(jié)合各個(gè)核的優(yōu)點(diǎn)，通過(guò)選擇全局核和局部核的組合，組合成性能更好的核函數(shù)。文獻(xiàn)[8]中提到一些多項(xiàng)式組合核或其他組合核的應(yīng)用；文獻(xiàn)[9]提出多核核成分的新組合核支持向量機(jī)；文獻(xiàn)[10]使用遺傳算法與支持向量機(jī)結(jié)合；文獻(xiàn)[11]提出一種特征提取多核支持向量機(jī)。不管如何組合新核，一般認(rèn)為，組合核性能更優(yōu)于單核支持向量機(jī)[12-13]。組合核的優(yōu)勢(shì)主要在于彌補(bǔ)單核的缺陷。

2 Sobolev Hilbert空間上的再生核函數(shù)

一個(gè)函數(shù)只要滿足Mercer條件，這個(gè)函數(shù)就是一個(gè)可容許的支持向量機(jī)核函數(shù)。[14]

3 基于再生核的組合核函數(shù)

支持向量機(jī)使用的核函數(shù)類型有許多，然而歸納起來(lái)有兩種主要類型，即：全局性核函數(shù)（Global核函數(shù)）和局部性核函數(shù)（Local核函數(shù)），全局核函數(shù)具有全局特性，允許相距很遠(yuǎn)的數(shù)據(jù)點(diǎn)都可以對(duì)核函數(shù)的值有影響，泛化性能強(qiáng)、學(xué)習(xí)能力較弱；而局部核函數(shù)具有局部性，只允許相距很近的數(shù)據(jù)點(diǎn)對(duì)核函數(shù)的值有影響，學(xué)習(xí)能力強(qiáng)、泛化性能較弱。本文中Sobolev Hilbert空間H1(R;a,b)上的再生核函數(shù)（G核函數(shù)）：

圖1 G核函數(shù)曲線

圖1顯示了當(dāng)核參數(shù)分別取a·b=1，b=1.25，2，3，4時(shí)的G核函數(shù)曲線圖，取xi=0.2為測(cè)試輸入。從圖1可得，距離測(cè)試點(diǎn)xi越近的輸入數(shù)據(jù)，對(duì)核函數(shù)值產(chǎn)生的作用越大；距離測(cè)試點(diǎn)xi越遠(yuǎn)的輸入數(shù)據(jù)，對(duì)核函數(shù)值產(chǎn)生的作用越小。

多項(xiàng)式核函數(shù)（Poly核函數(shù)）是典型的全局核函數(shù)，表達(dá)式為：Kpoly(x,x′)=(x·x′+1)d，圖2顯示了當(dāng)核參數(shù)分別取d=1，2，3，4時(shí)的Poly核函數(shù)曲線圖，同樣，取xi=0.2為測(cè)試輸入，從圖2可以得出，距離測(cè)試點(diǎn)xi越遠(yuǎn)的輸入數(shù)據(jù)，對(duì)核函數(shù)值產(chǎn)生的作用越大；距離測(cè)試點(diǎn)xi越近的輸入數(shù)據(jù)，對(duì)核函數(shù)值產(chǎn)生的作用越小。

圖2 多項(xiàng)式核函數(shù)曲線

由于局部核與全局核的內(nèi)推能力和外推能力的差異，因而在學(xué)習(xí)性能和泛化性能上也各具優(yōu)勢(shì)?；谝陨戏治?，可以將兩種核函數(shù)組合構(gòu)成新的核函數(shù)，這樣能夠揚(yáng)長(zhǎng)避短，兼顧其構(gòu)成中的普通核函數(shù)的優(yōu)勢(shì)，從而得到性能更加優(yōu)越的SVM。

引理3.1設(shè)K1和K2是在X×X上的核函數(shù)，X∈Rn，常數(shù)a≥0。則下面的函數(shù)仍是核函數(shù)：

根據(jù)引理3.1，將全局核函數(shù)與局部核函數(shù)線性組合，構(gòu)造如下形式的組合核函數(shù)：

式中，KGlobal為全局再生核函數(shù)，KLocal為局部線性核函數(shù)，權(quán)系數(shù)m(0≤m≤1)為調(diào)節(jié)兩種核函數(shù)作用大小的常數(shù)。分析此組合核函數(shù)，可以發(fā)現(xiàn)當(dāng)m=0時(shí)，組合核函數(shù)即變?yōu)榫植亢撕瘮?shù)；m=1時(shí)，組合核函數(shù)即變?yōu)槿趾撕瘮?shù)。實(shí)際應(yīng)用時(shí)，可根據(jù)采集樣本的數(shù)據(jù)分布以及已有的經(jīng)驗(yàn)調(diào)節(jié)m，使得到的組合核函數(shù)成為更適合研究的對(duì)象。

圖3為m分別取0.6，0.7，0.8，0.9時(shí)的組合核函數(shù)曲線圖，其中測(cè)試點(diǎn)xi=0.2，a·b=1，b=2，d=2?？梢钥闯觯航M合核函數(shù)同時(shí)具有局部Poly核函數(shù)和全局G核函數(shù)的特性，遠(yuǎn)離以及靠近測(cè)試點(diǎn)xi數(shù)據(jù)都對(duì)核函數(shù)的值產(chǎn)生了很大的影響。

圖4給出了組合核函數(shù)SVM建模的流程。

圖3 組合核函數(shù)曲線

圖4 組合核函數(shù)SVM模式分析流程

4 仿真結(jié)果與分析

4.1 二元函數(shù)回歸實(shí)驗(yàn)及結(jié)果分析

下面用本文中的組合核函數(shù)支持向量機(jī)回歸擬合二元函數(shù)：

仿真實(shí)驗(yàn)結(jié)果如圖5和圖6所示。

圖5 原始曲線和基于組合核的逼近曲線（view（[－40 30]））

圖5和圖6是二元函數(shù)從不同的視角角度所得的圖像，在兩個(gè)圖像中，可以清楚看到原始曲面和逼近曲面的接近程度，通過(guò)參數(shù)選優(yōu)，可以使得組合核的逼近誤差小于單核Poly核和G核的逼近誤差。

4.2 酒品鑒別實(shí)驗(yàn)及結(jié)果分析

圖6 原始曲線和基于組合核的逼近曲線（view（[55 10]））

葡萄酒作為一種越來(lái)越流行的健康飲品，其品質(zhì)好壞的鑒別分類日益受到關(guān)注，葡萄酒復(fù)雜的成分是劃分葡萄酒品質(zhì)的重要依據(jù)。本實(shí)驗(yàn)對(duì)源自UCI數(shù)據(jù)庫(kù)的葡萄酒數(shù)據(jù)進(jìn)行預(yù)處理，通過(guò)對(duì)178個(gè)葡萄酒樣品的化學(xué)分析數(shù)據(jù)進(jìn)行分析，建立基于本文中的組合核支持向量機(jī)的葡萄酒品質(zhì)的評(píng)判模型，并利用LIBSVM對(duì)高維復(fù)雜的葡萄酒屬性數(shù)據(jù)進(jìn)行分析、處理、優(yōu)化，并進(jìn)行分類識(shí)別，準(zhǔn)確率高達(dá)99%，因此，該模型對(duì)葡萄酒品質(zhì)快速有效的評(píng)判提供了新的理論依據(jù)。

在wine數(shù)據(jù)中，將第一類的1～40，第二類的60～105，第三類的131～163做為訓(xùn)練集，將第一類的41～59，第二類的106～130，第三類的164～178做為測(cè)試集?；谠偕说慕M合核函數(shù)支持向量機(jī)分類識(shí)別實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 基于再生核的組合核函數(shù)支持向量機(jī)分類識(shí)別

5 結(jié)束語(yǔ)

本文基于再生核理論和支持向量機(jī)方法，提出了一種稱為基于再生核的組合核函數(shù)支持向量機(jī)的新的機(jī)器學(xué)習(xí)方法，利用Sobolev Hilbert空間H1(R;a,b)上的再生核給出了SVM的一個(gè)新的組合核函數(shù)，從而得到了一種新的組合核支持向量的模式分析模型?；貧w分析和模式識(shí)別的實(shí)驗(yàn)表明，基于再生核的組合核支持向量機(jī)具有其獨(dú)特的性能，在工程實(shí)踐和理論研究中，均具有良好的理論價(jià)值和應(yīng)用價(jià)值。

[1]Vapnik V N.The nature of statistical learning theory[M].2nd ed.New York：Springer-Verlag，2000：156-287.

[2]Shahlaei M，F(xiàn)assihi A，Saghaiea L.Application of PC-ANN and PC-LS-SVM in QSAR of CCR1 antagonist compounds：a comparative study[J].European Journal of Medicinal Chemistry，2010，45（4）：1572-1582.

[3]Ying L，Bendu B，Yanning Z.Improved particle swarm optimization algorithm for fuzzy multi-class SVM[J].Journal of Systems Engineering and Electronics，2010，21（3）：509-513.

[4]Luss R，Aspremont A.Support vector machine classification with indefinite kernels[J].Mathematical Programming Computation，2009，1（2/3）：97-118.

[5]Dio?an L，Rogozan A，Pecuchet J.Improving classification performance of Support Vector Machine by genetically optimising kernel shape and hyper-parameters[J].Applied Intelligence，2012，36（2）：280-294.

[6]Ibrikci T，Ustun D，Kaya I E.Diagnosis of several diseases by using combined kernels with Support Vector Machine[J]. Journal of Medical Systems，2012，36（3）：1831-1840.

[7]Nguyen H N，Ohn S Y，Park J，et al.Combined kernel function approach in SVM for diagnosis of cancer[C]//Lecture Notes in Computer Science：Advances in Natural Computation，2005，36：1017-1026.

[8]Dioian L，Rogozan A，Pécuchet J P.Evolutionary optimisation of kernel and hyper-parameters for SVM[C]//Modelling，Computation and Optimization in Information System and Management Science，2008：107-116.

[9]Zhou Yonghua.Fuzzy indirect adaptive control using SVM-based multiple models for a class of nonlinear systems[J]. Neural Computing and Applications，2013，22（3/4）：825-833.

[10]Li Zhanchao，Zhou Xuan，Dai Zong，et al.Classification of G-protein coupled receptors based on support vector machine with maximum relevance minimum redundancy and genetic algorithm[J].BMC Bioinformatics，2010，11.

[11]Chen Zhen，Li Jianping，Wei Liwei.A multiple kernel support vector machine scheme for feature selection and rule extraction from gene expression data of cancer tissue[J].Artificial Intelligence in Medicine，2007，41（2）：161-175.

[12]Ohn S Y，Nguyen H N，Chi S D.Evolutionary parameter estimation algorithm for combined kernel function in support vector machine[C]//LNCS 3309：Content Computing，2004：481-486.

[13]Nguyen H N，Ohn S Y，Choi W J.Combined kernel function for support vector machine and learning method based on evolutionary algorithm[C]//LNCS 3316：Neural Information Processing，2004：1273-1278.

[14]Mercer J.Function of positive and negative type and their connection with the theory of integral equations[J].Philosophical Transactions of the Royal Society of London，1909，209：415-446.

[15]Smola A J，Scholkopf B，Muller K R.The connection between regularization operators and support vector kernels[J]. Neural Networks，1998，11（4）：637-649.

XU Lixiang1，2，3,LI Xu3,LV Wanli1，2,LUO Bin1

1.Key Lab of Intelligent Computing&Signal Processing of Ministry of Education,School of Computer Science and Technology, Anhui University,Hefei 230039,China
2.Anhui Province Key Lab of Industrial Image Processing and Analysis,Hefei 230601,China
3.Department of Mathematics&Physics,Hefei University,Hefei 230601,China

Based on the conditions of kernel function of Support Vector Machine（SVM）,the reproducing kernel function on the Sobolev Hilbert space and polynomial kernel function are combined efficiently.A new combined kernel function is given,and a model analysis method of combined kernel SVM based on reproducing kernel is proposed,which has the advantages of global kernel function and local kernel function,and the complexity of the algorithm is reduced.The simulation results show that the kernel function of SVM adopts combined kernel function which is based on the reproducing kernel is feasible.The kernel function not only has the nonlinear mapping characteristics,but also inherits good approximation of reproducing kernel function on the nonlinear characteristics step by step.The model analysis results are more delicate than individual kernels function.

Support Vector Machine（SVM）;reproducing kernel;combined kernel function;model analysis

基于支持向量機(jī)核函數(shù)的條件，將Sobolev Hilbert空間的再生核函數(shù)和多項(xiàng)式核函數(shù)進(jìn)行有效的線性組合，給出一種新的支持向量機(jī)的組合核函數(shù)，提出一種基于再生核的組合核函數(shù)支持向量機(jī)的模式分析方法，該方法兼具了全局核函數(shù)與局部核函數(shù)的優(yōu)點(diǎn)，且算法的復(fù)雜度被降低。仿真實(shí)驗(yàn)結(jié)果表明：支持向量機(jī)的核函數(shù)采用基于再生核的組合核函數(shù)是可行的，且此核函數(shù)不僅具有核函數(shù)的非線性映射特征，而且也繼承了核函數(shù)對(duì)非線性逐級(jí)精細(xì)逼近的特征，模式分析的效果比單核函數(shù)可以更加細(xì)膩。

支持向量機(jī)；再生核；組合核函數(shù)；模式分析

A

TP391.4

10.3778/j.issn.1002-8331.1302-0105

XU Lixiang,LI Xu,LV Wanli,et al.New model analysis method of combined kernel Support Vector Machine.Computer Engineering and Applications,2013,49（24）：112-115.

安徽高校省級(jí)自然科學(xué)研究重大項(xiàng)目（No.KJ2010ZD10）；安徽省高校優(yōu)秀青年人才基金項(xiàng)目（No.2012SQRL174）；合肥學(xué)院自然科學(xué)研究一般項(xiàng)目（No.13KY04ZR）。

徐立祥（1981—），男，在讀博士，講師，主要研究領(lǐng)域：圖像處理與模式識(shí)別；羅斌（1963—），男，博士，教授，博導(dǎo)，主要研究領(lǐng)域：圖像處理與模式識(shí)別。E-mail：xulixianghf@163.com

2013-02-20

2013-09-24

1002-8331（2013）24-0112-04