基于GF空間多項(xiàng)式核函數(shù)的分類研究

趙捷珍，郭春生

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

?

基于GF空間多項(xiàng)式核函數(shù)的分類研究

趙捷珍，郭春生

(杭州電子科技大學(xué)通信工程學(xué)院，浙江 杭州 310018)

摘要：在基于核方法的分類問題中，核函數(shù)及其參數(shù)選擇皆對(duì)分類結(jié)果具有重要影響，通?；诮?jīng)驗(yàn)選擇核函數(shù)或基于多核優(yōu)化方法確定核函數(shù)的權(quán)系數(shù)。針對(duì)GF空間的多項(xiàng)式核函數(shù)，在范數(shù)限定條件下利用多核學(xué)習(xí)方法優(yōu)化多項(xiàng)式權(quán)系數(shù)，實(shí)現(xiàn)多項(xiàng)式核函數(shù)的優(yōu)化。實(shí)驗(yàn)結(jié)果表明，算法優(yōu)化得到的多項(xiàng)式核函數(shù)其分類性能優(yōu)于常用的單核函數(shù)，與多核方法相當(dāng)，并在分類中取得良好的效果。

關(guān)鍵詞：核方法；GF空間；多核學(xué)習(xí)

0引言

核方法因其解決分類和回歸等非線性問題的有效性而得到廣泛應(yīng)用。目前常用的核方法有支持向量機(jī)[1]、核Fisher判決[2]等。盡管有多種基于核函數(shù)的分類方法，但其處理的基本過程可以歸結(jié)如下：首先將原始線性不可分的數(shù)據(jù)通過某種非線性函數(shù)映射到高維特征空間，使得線性不可分的問題轉(zhuǎn)化成線性可分問題；然后利用核技巧實(shí)現(xiàn)原始數(shù)據(jù)在特征空間中的分類處理。核方法中的單核學(xué)習(xí)方法因其簡(jiǎn)便性得到廣泛使用，但核函數(shù)的優(yōu)選往往依賴于經(jīng)驗(yàn)，無法適應(yīng)真實(shí)數(shù)據(jù)的異構(gòu)性、不規(guī)則性和非均勻性以及準(zhǔn)確反應(yīng)系統(tǒng)的結(jié)構(gòu)[3]，從而利用多個(gè)基本核函數(shù)的多核學(xué)習(xí)成為一種新的研究方向。近來的一些理論和應(yīng)用驗(yàn)證了多核學(xué)習(xí)方法能增強(qiáng)決策函數(shù)的可解釋性[4]，并且在視覺目標(biāo)識(shí)別[5]等方面獲取了比單核學(xué)習(xí)方法更優(yōu)的性能。本文結(jié)合多核學(xué)習(xí)方法的強(qiáng)適應(yīng)性和單核方法的簡(jiǎn)單性，提出了在限定條件下利用多核學(xué)習(xí)方法，對(duì)GF空間的多項(xiàng)式核函數(shù)進(jìn)行優(yōu)化處理，使其在分類上獲得更好的效果。

1基于GF空間多項(xiàng)式核函數(shù)的算法

本文引入廣義福克(Generalized Fock，GF)空間多項(xiàng)式核，首先將多項(xiàng)式核的單核形式改寫為多核形式，然后利用多核學(xué)習(xí)優(yōu)化GF空間多項(xiàng)式核函數(shù)參數(shù)，規(guī)避了單核核函數(shù)經(jīng)驗(yàn)參數(shù)選擇的不確定性?；跇颖镜暮撕瘮?shù)參數(shù)優(yōu)化，能夠更加有效地利用對(duì)分類效果有較大影響的樣本特征，提高分類準(zhǔn)確率。

1.1　GF空間多項(xiàng)式核

文獻(xiàn)[6]提出了GF空間的概念。GF空間是由多項(xiàng)式或者Volterra級(jí)數(shù)所構(gòu)成的內(nèi)積的希爾伯特空間。多項(xiàng)式泛函構(gòu)建的GF空間在限制條件下會(huì)逼近由高斯核映射構(gòu)建的再生核希爾伯特空間(Reproducing Kernel Hilbert Space，RKHS)，等同于GF空間的多項(xiàng)式核，可以逼近高斯核函數(shù)。在一定的條件下，GF空間核能夠逼近其它核函數(shù)[7]。

(1)

其內(nèi)積和換函數(shù)分別為：

(2)

(3)

式中，k=k1+k2+…+km，ρk1…km是正的有界常量，m是輸入變量的個(gè)數(shù)，n是GF空間的維數(shù)。

為了便于實(shí)際處理，當(dāng)k=k1+k2+…+km=d,0≤d≤n，ρk1…km相等，且ρd=ρk1…km時(shí)，本文將GF空間多項(xiàng)式核函數(shù)改寫成如下形式：

(4)

1.2　GF空間多項(xiàng)式核優(yōu)化

如將式(4)中的ρd視為常量，則GF空間多項(xiàng)式核函數(shù)可以改寫為：

(5)

本文采用SVM算法的軟間隔分類優(yōu)化核函數(shù)：

(6)

將式(6)經(jīng)過拉格朗日變換，則最終的優(yōu)化目標(biāo)變?yōu)椋?/p>

(7)

式中，αi是拉格朗日乘子。

(8)

對(duì)式(8)的目標(biāo)函數(shù)進(jìn)行微分：

(9)

(10)

2仿真與分析

為了驗(yàn)證基于GF空間多項(xiàng)式核的核方法的分類準(zhǔn)確率和效率，本文將UCI樣本數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并通過實(shí)驗(yàn)數(shù)據(jù)對(duì)GF空間多項(xiàng)式核與其他的核函數(shù)進(jìn)行性能比較。

以下的數(shù)據(jù)來源于UCI數(shù)據(jù)庫。UCI數(shù)據(jù)庫是一個(gè)標(biāo)準(zhǔn)的常用于機(jī)器學(xué)習(xí)的測(cè)試數(shù)據(jù)集。在使用數(shù)據(jù)進(jìn)行分類時(shí)，本文隨機(jī)抽取20%的樣本作為訓(xùn)練集，剩下的80%作為測(cè)試集。Bupa liver disorders是研究單身男性個(gè)體健康肝臟疾病的數(shù)據(jù)庫，包含345個(gè)樣本，6個(gè)特征；Breast-cancer-Wisconsin是描述胸部細(xì)胞是否癌變圖像的數(shù)據(jù)庫，包含683個(gè)數(shù)據(jù)，10個(gè)特征；Wine是描述葡萄酒的成分?jǐn)?shù)據(jù)，包含119個(gè)數(shù)據(jù)，13個(gè)特征；Monk描述了不同算法的性能比較，包含432個(gè)數(shù)據(jù)，7個(gè)特征；Pima-indians-diabetes是描述印第安人糖尿病的數(shù)據(jù)庫，包含768個(gè)數(shù)據(jù)，8個(gè)特征。

基于GF空間多項(xiàng)式核本身是一個(gè)單核的性質(zhì)，所以本文將它的性能跟其他的單核進(jìn)行比較，選取了高斯核、線性核、常規(guī)多項(xiàng)式核這3類常用的單核；但因利用多核學(xué)習(xí)方法優(yōu)化，所以本文也將它的性能跟其他的多核進(jìn)行對(duì)比。表1使用分類準(zhǔn)確率，表2使用訓(xùn)練時(shí)間衡量基于GF空間多項(xiàng)式核的分類性能。表1、表2的GF空間多項(xiàng)式核定為5階，多核則是由5個(gè)高斯核所組合構(gòu)成的。結(jié)合表1、表2可以看出，GF空間的分類準(zhǔn)確率在多數(shù)情況下要高于高斯核、線性核跟常規(guī)多項(xiàng)式核這3類單核，同時(shí)也稍高于多核，是因?yàn)镚F空間會(huì)基于樣本逼近不同的RKHS，即GF空間多項(xiàng)式核會(huì)根據(jù)樣本逼近不同的核函數(shù)，使得類內(nèi)間隔減少，類間間隔增大，使得分類的準(zhǔn)確率提高，但是同時(shí)相比較而言，GF空間多項(xiàng)式核的訓(xùn)練時(shí)間要比3種單核的訓(xùn)練時(shí)間要稍高一些，與其他多核訓(xùn)練時(shí)間相差不大，是因?yàn)镚F空間多項(xiàng)式核是利用MKL進(jìn)行優(yōu)化的，在分類的過程中需要不停地迭代優(yōu)化獲得較合適的權(quán)系數(shù)，所以訓(xùn)練時(shí)間要比單核的高。

表1　分類準(zhǔn)確率比較　%

表2　訓(xùn)練時(shí)間比較　s

3結(jié)束語

核函數(shù)類型和參數(shù)的選擇會(huì)直接影響到SVM的分類性能。本文介紹的GF空間多項(xiàng)式核，通過一系列的改寫，將它由一個(gè)單核的形式看成多核的形式，并對(duì)核參數(shù)做L1范數(shù)規(guī)則化，將核函數(shù)參數(shù)優(yōu)化問題轉(zhuǎn)變?yōu)橥箚栴}，然后利用多核學(xué)習(xí)訓(xùn)練優(yōu)化核參數(shù)，而不是通過經(jīng)驗(yàn)選擇核函數(shù)，實(shí)驗(yàn)仿真證明，盡管GF空間多項(xiàng)式核是單核，但是它在性能上卻高于常用的單核和多核函數(shù)相當(dāng)。

參考文獻(xiàn)

[1]Cortes C，Vapnik V.Support-Vector Networks [J].Machines Learning,1995,20(3):273-297.

[2]Sch?lkopF B,Smola A,Müller K R.Nonlinear component analysis as a kernel eigenvalue problem[J].Neural computation,1998,10(5):1299-1319.

[3]Cai Y,Wang H,Ye X,et al.A multiple-kernel LSSVR method For separable nonlinear system identiFication[J].Journal oF Control Theory and Applications,2013,11(4):651-655.

[4]汪洪橋,孫富春,蔡艷寧,等.多核學(xué)習(xí)方法[J].自動(dòng)化學(xué)報(bào),2010,36(8):1037-1050.

[5]Bucak S,Jin R,Jain A.Multiple kernel learning For visual object recognition: A review[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2013,36(7)：1354-1369.

[6]De Figueiredo R J P,Dwyer III T A W.A best approximation Framework and implementation For simulation oF large-scale nonlinear systems[J].Circuits and Systems,IEEE Transactions on，1980,27(11):1005-1014.

[7]Xu J W,Pokharel P P,Jeong K H,et al.An explicit construction oF a reproducing Gaussian kernel Hilbert space[C]//Acoustics，Speech and Signal Processing,2006.ICASSP 2006 Proceedings.2006 IEEE International ConFerence on.Toulouse：IEEE,2006,5:V573-V576.

The ClassiFication Research oF Polynomial Kernel Function

Based on GF Space

Zhao jiezhen， Guo chunsheng

(SchooloFCommunicationEngineering，HangzhouDianziUniversity，HangzhouZhejiang310018，China)

Abstract:In classiFication problem based on the kernel method， kernel Function and its parameters have a signiFicant eFFect on the classiFication perFormance. Generally， we select kernel Function by experience and weighted coeFFicient oF multiple kernel Function which is determined by the multiple kernel optimizing method. Under the norm restricted condition， we utilize multiple kernel learning method to optimize the weighted coeFFicient oF polynomial kernel Function based on GF space， and the optimization oF polynomial kernel Function can be achieved. The experiments results show that the algorithm’s classiFication perFormance based on polynomial kernel Function in this paper is better than popular used single kernel Function， and meet the multiple kernel method’s match; and it perForm well in the classiFication research．

Key words:kernel method; GF space; multiple kernel learning

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1001-9146(2015)03-0077-04

通信作者:

作者簡(jiǎn)介：趙捷珍(1990-)，女，浙江麗水人，在讀研究生，信號(hào)與信息處理. 郭春生副教授,E-mail:guo.chsh@gmail.com.

收稿日期：2014-07-30

DOI:10.13954/j.cnki.hdu.2015.03.016