支持向量機(jī)核函數(shù)選擇研究與仿真

支持向量機(jī)核函數(shù)選擇研究與仿真*

梁禮明，鐘震，陳召陽(yáng)

(江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院，江西 贛州 341000)

摘要：支持向量機(jī)是一種基于核的學(xué)習(xí)方法，核函數(shù)選取對(duì)支持向量機(jī)性能有著重要的影響，如何有效地進(jìn)行核函數(shù)選擇是支持向量機(jī)研究領(lǐng)域的一個(gè)重要問(wèn)題。目前大多數(shù)核選擇方法不考慮數(shù)據(jù)的分布特征，沒(méi)有充分利用隱含在數(shù)據(jù)中的先驗(yàn)信息。為此，引入能量熵概念，借助超球體描述和核函數(shù)蘊(yùn)藏的度量特征，提出一種基于樣本分布能量熵的支持向量機(jī)核函數(shù)選擇方法，以提高SVM學(xué)習(xí)能力和泛化能力。數(shù)值實(shí)例仿真驗(yàn)證表明了該方法的可行性和有效性。

關(guān)鍵詞：支持向量機(jī)；核函數(shù)；樣本分布；先驗(yàn)信息；能量熵

中圖分類(lèi)號(hào)：TP181 文獻(xiàn)標(biāo)志碼：A

doi:10.3969/j.issn.1007-130X.2015.06.015

收稿日期：*2014-05-18;修回日期：2014-09-18

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(5136501)；江西省自然科學(xué)基金資助項(xiàng)目(20132BAB203020)；江西省教育廳科學(xué)技術(shù)研究項(xiàng)目(GJJ13430)

作者簡(jiǎn)介:

通信地址：341000 江西省贛州市紅旗大道86號(hào)江西理工大學(xué)電氣工程與自動(dòng)化學(xué)院

Address:School of Electrical Engineering and Automation,Jiangxi University of Science and Technology，86 Hongqi Avenue,Ganzhou 341000,Jiangxi,P.R.China

Research and simulation of kernel function selection for support vector machine

LIANG Li-ming，ZHONG Zhen，CHEN Zhao-yang

(School of Electrical Engineering and Automation,Jiangxi University of Science and Technology,Ganzhou 341000,China)

Abstract:Support vector machine (SVM)is a kind of learning method based on kernel. Kernel function selection has significant influence on the performance of SVM, so how to effectively select the kernel function is an important problem in the field of SVM research. At present most of the kernel function selection methods neither consider the characteristics of data distribution, nor make full use of the implicit prior information in the data. We introduce a concept of energy entropy; along with the super sphere description and measurement features of kernel function, we put forth a method of kernel function selection based on the energy entropy of sample distribution so as to improve the learning ability and generalization ability of SVM. Simulations on numerical examples show that the method is feasible and effective.

Key words:SVM;kernel function；sample distribution；prior information；energy entropy

1引言

支持向量機(jī)SVM(Support Vector Machine)以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，具有完備的理論基礎(chǔ)和嚴(yán)格的理論體系，能夠解決有限樣本的學(xué)習(xí)問(wèn)題[1]。由于這一方法具有許多優(yōu)良特性，如較強(qiáng)的模型泛化能力、不會(huì)陷入局部極小點(diǎn)以及很強(qiáng)的非線性處理能力等，因而成為近年來(lái)受到廣泛關(guān)注的一類(lèi)學(xué)習(xí)機(jī)器方法，在諸多領(lǐng)域如模式識(shí)別、回歸估計(jì)、數(shù)據(jù)挖掘、生物信息等均取得了成功的應(yīng)用。SVM建立在結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)之上，其核心思想之一是引入核函數(shù)技術(shù)，巧妙地解決了在高維特征空間中計(jì)算的“維數(shù)災(zāi)難”等問(wèn)題。由于核函數(shù)決定了SVM的非線性處理能力，因此核函數(shù)及其參數(shù)的選擇在SVM中占據(jù)著舉足輕重的地位，也是SVM研究熱點(diǎn)方向之一[2]。然而，不同的核函數(shù)所呈現(xiàn)出的特性各異，選擇不同的核函數(shù)會(huì)導(dǎo)致SVM的推廣性能有所不同。針對(duì)具體問(wèn)題如何有效地選擇(或構(gòu)造)合適的核函數(shù)，是支持向量機(jī)研究領(lǐng)域的一個(gè)重要問(wèn)題。目前，SVM核函數(shù)的選擇大多是靠人工估計(jì)，根據(jù)經(jīng)驗(yàn)進(jìn)行選擇，缺乏相應(yīng)的理論指導(dǎo)，顯然存在很大的隨意性和局限性。因此，構(gòu)建出一種能結(jié)合給定具體問(wèn)題的樣本數(shù)據(jù)先驗(yàn)信息的SVM核函數(shù)選擇機(jī)制，對(duì)于SVM技術(shù)的發(fā)展和核方法的完善有著積極的指導(dǎo)意義。文獻(xiàn)[3，4]基于樣本數(shù)據(jù)分布特征給出了SVM訓(xùn)練集呈圓形、環(huán)形、球狀、柱狀分布的核函數(shù)測(cè)試選擇方法，但實(shí)際問(wèn)題中數(shù)據(jù)集的分布特征是多種多樣的，需進(jìn)一步改進(jìn)其算法，使之具有通用性，是一個(gè)值得繼續(xù)研究的內(nèi)容。為此，本文引入能量熵的概念，借助超球體描述和核函數(shù)蘊(yùn)藏的度量特征，提出了一種基于具體問(wèn)題的樣本數(shù)據(jù)分布能量熵的SVM核函數(shù)選擇方法。該方法能根據(jù)樣本先驗(yàn)信息指導(dǎo)選擇SVM核函數(shù)，避免人為指定核函數(shù)類(lèi)型，并具有直觀性強(qiáng)、操作簡(jiǎn)便等特點(diǎn)，對(duì)于SVM核函數(shù)選擇方法的完善以及SVM學(xué)習(xí)能力和泛化能力的提高有著積極的實(shí)用價(jià)值。

2理論基礎(chǔ)

定理1樣本數(shù)據(jù)隱含目標(biāo)問(wèn)題預(yù)先未知的分布特征信息。

顯然，在實(shí)際的樣本數(shù)據(jù)中，通常都隱含著目標(biāo)問(wèn)題預(yù)先未知的信息[3,4]，但大多數(shù)核選擇方法都不考慮數(shù)據(jù)的分布特征，沒(méi)有充分利用隱含在數(shù)據(jù)中的先驗(yàn)信息。

定理2不同的核函數(shù)蘊(yùn)藏的幾何度量特征各異，選擇不同的核函數(shù)導(dǎo)致SVM泛化能力存在差異[5～7]。

定義1如果存在著從Rn到Hilbert空間H的變換:

(1)

使得:

其中(·)表示空間H中的內(nèi)積，稱(chēng)定義在Rn×Rn上的函數(shù)K(x1,x2)是Rn×Rn的核函數(shù)。

下面以常用的具有局部特性的高斯徑向基核函數(shù)KGauss和具有全局特性多項(xiàng)式核函數(shù)KPoly為例進(jìn)行分析。

定義2以σ為參數(shù)的高斯徑向基核函數(shù):

(2)

是核函數(shù)。

定義3設(shè)d為正整數(shù)，則d階齊次多項(xiàng)式函數(shù)

(3)

和d 階非齊次多項(xiàng)式函數(shù)

(4)

都是核函數(shù)。

核函數(shù)K(x1,x2)的幾何性質(zhì)，由核函數(shù)的幾何度量決定。如:

(1)黎曼度量：

(5)

(2)距離度量:

(6)

(3)角度度量:

cosF(x1,x2)=

(7)

則對(duì)于：

(1)高斯徑向基核函數(shù)KGauss：

黎曼度量為:

(8)

距離度量為:

(9)

角度度量為:

(10)

KGauss性質(zhì)表現(xiàn)為：

①KGauss呈現(xiàn)局部特性，即相互之間距離較近的數(shù)據(jù)點(diǎn)對(duì)核函數(shù)的值產(chǎn)生影響。

②所有樣本數(shù)據(jù)點(diǎn)上的黎曼度量都是相等的。

③黎曼度量和距離度量是一致的。

④特征空間中的黎曼度量、距離度量和角度度量不會(huì)隨著輸入空間的正交變換和平移變換而改變。

⑤如果保持了輸入空間的距離相似性，則對(duì)于輸入空間中的單位向量也保持了角度的相似性。

(2)多項(xiàng)式核函數(shù)KPoly:

黎曼度量為：

當(dāng)i=j時(shí)，

(11)

當(dāng)i≠j時(shí)，

(12)

距離度量為:

(13)

角度度量為:

cosF(x1,x2)=cosd(x1,x2)

(14)

KPoly性質(zhì)表現(xiàn)為：

①KPoly呈現(xiàn)全局特性，對(duì)測(cè)試點(diǎn)附近以及離測(cè)試點(diǎn)較遠(yuǎn)的整個(gè)數(shù)據(jù)點(diǎn)都有作用，即對(duì)單位球內(nèi)的點(diǎn)起到減少模的作用，對(duì)單位球外的點(diǎn)起到擴(kuò)大模的作用。

②KPoly將輸入空間的原點(diǎn)映成特征空間的原點(diǎn)，且是特征空間原點(diǎn)的唯一原象。

③KPoly將輸入空間中過(guò)原點(diǎn)的直線映射成特征空間中過(guò)原點(diǎn)的直線。當(dāng)d是偶數(shù)時(shí)，映射成過(guò)原點(diǎn)的射線。

④特征空間的黎曼度量、距離度量和角度度量不會(huì)隨著輸入空間的正交變換而改變，但輸入空間的平移會(huì)影響特征空間的黎曼度量、距離度量和角度度量，也就是說(shuō)，特征空間的幾何度量依賴(lài)輸入空間的原點(diǎn)。

通過(guò)對(duì)KGauss和KPoly各自所蘊(yùn)含的黎曼度量、距離度量和角度度量分析得知，不同的核函數(shù)會(huì)促使SVM學(xué)習(xí)能力不同，也為SVM核選擇提供指導(dǎo)，如當(dāng)需要保持輸入空間的距離相似性時(shí)，選擇高斯徑向基核函數(shù)；當(dāng)需要保持輸入空間的角度相似性時(shí)，選擇多項(xiàng)式核函數(shù)。

定理3表明了特征空間中的兩個(gè)數(shù)據(jù)點(diǎn)之間的Euclidean距離僅是相應(yīng)輸入空間Euclidean距離的單調(diào)增加函數(shù)，這就意味著不能期望在特征空間中任意改變樣本數(shù)據(jù)點(diǎn)之間的相互位置關(guān)系。

定理4支持向量機(jī)在L1-范數(shù)或L2-范數(shù)下平分最近點(diǎn)原理和最大間隔原理是等價(jià)的。

BennettKP[9]證明了上述兩個(gè)原理的等價(jià)性，即它們能得到相同的最優(yōu)分類(lèi)超平面，并指出平分最近點(diǎn)原理具有更直觀的幾何意義，也為支持向量機(jī)的對(duì)偶問(wèn)題給出了很好的幾何解釋。

定理5輸入空間內(nèi)的樣本數(shù)據(jù)可視為受整個(gè)數(shù)據(jù)集的信息力作用的物理微粒，每一個(gè)微粒上的作用力是相同類(lèi)或者不同類(lèi)之間微粒對(duì)的作用力總和[10]。

基于距離的度量在機(jī)器學(xué)習(xí)與模式分類(lèi)的諸多技術(shù)中起著重要的作用。在線性代數(shù)中，度量是定義在集合的元素之間的距離的函數(shù)。在微分幾何中，度量用來(lái)定義在向量空間上的一種結(jié)構(gòu)。定義合適的度量，不僅能處理歐氏距離，而且能在流形存在的情況下獲得較好的效果[11]。

3算法框架

基于以上理論基礎(chǔ)，本文提出了一種基于樣本分布能量熵的支持向量機(jī)核函數(shù)選擇方法。主要包括：樣本數(shù)據(jù)預(yù)處理、樣本數(shù)據(jù)的超球體描述、樣本數(shù)據(jù)分布特征描述和分布特征判別結(jié)果四部分。

3.1樣本數(shù)據(jù)預(yù)處理

3.2樣本數(shù)據(jù)的超球體描述

樣本數(shù)據(jù)的超球體描述的基本思想是，用以半徑盡可能小的球體把樣本數(shù)據(jù)全部包含起來(lái)，并以最小超球的邊界作為界限對(duì)數(shù)據(jù)進(jìn)行分類(lèi)和描述[12～17]。

超球體描述的目標(biāo)函數(shù)為:

(15)

(16)

式(15)、(16)的優(yōu)化問(wèn)題的解可由下面的拉格朗日函數(shù)的鞍點(diǎn)給出：

(17)

式(17)可轉(zhuǎn)化成對(duì)偶問(wèn)題:

(18)

式(18)可變成求其Wolf對(duì)偶問(wèn)題的最大值：

(19)

其中，K(xi,xi)=〈φ(xi)·φ(xi)〉，K(xi,xj)=〈φ(xi)·φ(xj)〉。

式(19)為二次規(guī)劃問(wèn)題，通過(guò)QP優(yōu)化方法得到Lagrange乘子，可確定球心和半徑。

3.3樣本數(shù)據(jù)分布特征描述與判別

根據(jù)設(shè)計(jì)好的超球體，接下來(lái)可以對(duì)樣本數(shù)據(jù)的分布進(jìn)行判別。

(20)

其中，l為樣本總個(gè)數(shù)，M為能量熵Sj小于R2/4的樣本數(shù)。

設(shè)定一閾值k*，當(dāng)k≤k*時(shí)，則判別為樣本數(shù)據(jù)呈現(xiàn)全局分布特性；當(dāng)k>k*時(shí)，則可判別為樣本數(shù)據(jù)呈現(xiàn)局部分布特性。對(duì)于k*的取值，本文在仿真測(cè)試的時(shí)候進(jìn)行過(guò)k*取不同值的實(shí)驗(yàn)。k*取值偏高，會(huì)使得一些本身更傾向局部分布特征的樣本數(shù)據(jù)被判為全局分布特征；k*取值偏低，會(huì)使得一些本身更傾向全局分布特征的樣本數(shù)據(jù)被判為局部分布特征，從而不能正確地選擇核函數(shù)。綜合考慮，選擇k*的值為0.5，這樣能較準(zhǔn)確地進(jìn)行樣本分布特征的判別。經(jīng)過(guò)仿真驗(yàn)證，實(shí)驗(yàn)結(jié)果與判別結(jié)果是一致的。

3.4SVM核函數(shù)選擇機(jī)制

根據(jù)樣本分布特征判別函數(shù)所得樣本分布特性，結(jié)合核函數(shù)所蘊(yùn)藏的度量特性選擇SVM核函數(shù)類(lèi)型。由此可以建立一個(gè)核函數(shù)選擇機(jī)制：當(dāng)k>k*時(shí)，則選取高斯徑向基核函數(shù)KGauss；當(dāng)k≤k*時(shí)，則選取多項(xiàng)式核函數(shù)KPoly。

4實(shí)例仿真與分析

本文算法流程如圖1所示。實(shí)驗(yàn)仿真所用的數(shù)據(jù)均來(lái)自UCI數(shù)據(jù)庫(kù)，且為帶標(biāo)簽的數(shù)據(jù)。SVM分類(lèi)采用的是臺(tái)灣大學(xué)林智仁(Lin Chih-Jen)教授等開(kāi)發(fā)設(shè)計(jì)的LIBSVM工具箱。本次仿真的實(shí)驗(yàn)環(huán)境為運(yùn)用軟件Matlab R2009a，運(yùn)行于Intel Pentium/2.79 GHz、2 GB內(nèi)存的PC。本實(shí)驗(yàn)中取閾值k*=0.5，并隨機(jī)選取每組樣本數(shù)據(jù)的80%作為訓(xùn)練集，其余20%用作測(cè)試集。

Figure 1　Flow chart of SVM kernel function choice method 圖1　支持向量機(jī)核函數(shù)選擇方法流程圖

4.1實(shí)驗(yàn)仿真

4.1.1樣本數(shù)據(jù)分布特征判別

本文從UCI數(shù)據(jù)庫(kù)中隨機(jī)選取六組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)仿真。首先對(duì)樣本進(jìn)行預(yù)處理，使其范數(shù)小于1，防止維數(shù)災(zāi)難；然后對(duì)其進(jìn)行超球體描述，根據(jù)式(19)計(jì)算其球心及半徑；最后樣本數(shù)據(jù)分布特征判別，根據(jù)構(gòu)建的樣本分布判別函數(shù)式(20)計(jì)算k，再根據(jù)已設(shè)定的閾值k*判別各樣本數(shù)據(jù)分布特征。各數(shù)據(jù)集的規(guī)模、球心坐標(biāo)、半徑及分布判別結(jié)果如表1所示。

Table 1　Sample data distribution

4.1.2樣本數(shù)據(jù)仿真測(cè)試

運(yùn)用具有全局特性的多項(xiàng)式核函數(shù)和局部特性的RBF徑向基核函數(shù)，對(duì)以上六組樣本數(shù)據(jù)分布特征判別結(jié)果進(jìn)行測(cè)試驗(yàn)證。六組實(shí)例中，每組隨機(jī)進(jìn)行三次訓(xùn)練集、測(cè)試集的選取，測(cè)其分類(lèi)效果，計(jì)算每組數(shù)據(jù)各核函數(shù)分類(lèi)效果平均值。實(shí)例中SVM模型參數(shù)優(yōu)化均采取粒子群算法進(jìn)行尋優(yōu)，各樣本數(shù)據(jù)分類(lèi)測(cè)試結(jié)果以及實(shí)驗(yàn)時(shí)間如表2所示。

從表1、表2中可以得出結(jié)論：

(1)采用建議優(yōu)先選擇的核函數(shù)類(lèi)型所得的分類(lèi)正確率要優(yōu)于不建議采用的核函數(shù)類(lèi)型，其差異程度甚至高達(dá)10%之多。究其原因有三：一是每組樣本數(shù)據(jù)都隱含著不盡相同的統(tǒng)計(jì)分布特征；二是不同的核函數(shù)幾何度量特征表現(xiàn)各異；三是SVM分類(lèi)效果的好壞取決于特征空間中的樣本之間的Euclidean距離，而樣本點(diǎn)在特征空間中的Euclidean距離與其相應(yīng)輸入空間Euclidean距離緊密相關(guān)。因此，在實(shí)際應(yīng)用中需充分挖掘隱含在樣本數(shù)據(jù)中的先驗(yàn)信息，然后結(jié)合核函數(shù)各自的度量特征選擇(或構(gòu)造)合適的核函數(shù)，以促進(jìn)SVM泛化能力最大化。

Table 2　Sample data simulation tests

(2)從上述仿真實(shí)例結(jié)果來(lái)看，本文提出的基于樣本與超球體球心歐氏距離度量的能量熵分布判別函數(shù)能較好地表征樣本統(tǒng)計(jì)分布特征，為后續(xù)的SVM核函數(shù)選擇奠定基礎(chǔ)。

(3)具有全局特性的多項(xiàng)式核函數(shù)和局部特性的徑向基核函數(shù)的SVM預(yù)測(cè)算法運(yùn)行時(shí)間相當(dāng)且耗時(shí)少，實(shí)時(shí)性較好，多項(xiàng)式核函數(shù)運(yùn)行時(shí)間略長(zhǎng)于徑向基核函數(shù)。

(4)對(duì)于一個(gè)具有l(wèi)個(gè)樣本的訓(xùn)練集，求解SVM的QP問(wèn)題的時(shí)間復(fù)雜度為O(l3)、空間復(fù)雜度為O(l2)。本文所提出的基于樣本分布能量熵的信息判別需要進(jìn)行l(wèi)(l+1)/2次比較，因此，基于樣本分布能量熵的SVM核函數(shù)選擇算法時(shí)間復(fù)雜度為O(l3+(l+1)/2)，仍為多項(xiàng)式級(jí)。從算法復(fù)雜度角度考慮，本文提出的算法是合理的。

4.2樣本數(shù)據(jù)對(duì)比分析

本文隨機(jī)選取其他文獻(xiàn)[12,18]中所用的數(shù)據(jù)進(jìn)行仿真測(cè)試對(duì)比，數(shù)據(jù)集有Australian Credit Approval Data Set、Breast Cancer Wisconsin (Original) Data Set、Statlog (Heart) Data Set、Car Evaluation Database四組。經(jīng)過(guò)樣本數(shù)據(jù)分布的判別，三組樣本數(shù)據(jù)均呈局部分布特性。分類(lèi)測(cè)試結(jié)果平均值與文獻(xiàn)[12,18]的對(duì)比如表3所示。

Table 3　Classification Comparison of the same set of

注：表中“1”為其他文獻(xiàn)結(jié)果，“2”為本文結(jié)果。

通過(guò)四組實(shí)例仿真與對(duì)比可以看出，前三組其他文獻(xiàn)在相同數(shù)據(jù)的分類(lèi)結(jié)果要低于應(yīng)用本文方法的分類(lèi)測(cè)試結(jié)果。數(shù)據(jù)集Breast Cancer Wisconsin(Original)Data Set中，本文實(shí)驗(yàn)的兩種核函數(shù)分類(lèi)結(jié)果差值要優(yōu)于其他文獻(xiàn)。數(shù)據(jù)Australian Credit Approval Data Set和Statlog (Heart) Data Set數(shù)據(jù)呈局部分布，但其他文獻(xiàn)的分類(lèi)結(jié)果RBF核函數(shù)要低于多項(xiàng)式核函數(shù)，而在本文實(shí)驗(yàn)中，RBF核函數(shù)要優(yōu)于多項(xiàng)式核函數(shù)。其他文獻(xiàn)的RBF核函數(shù)可以達(dá)到一個(gè)更好的分類(lèi)結(jié)果。

第四組數(shù)據(jù)集Car Evaluation Database中數(shù)據(jù)呈全局分布。文獻(xiàn)[18]中多項(xiàng)式核函數(shù)的分類(lèi)結(jié)果卻明顯低于RBF核函數(shù)的分類(lèi)結(jié)果，本文所做的相同數(shù)據(jù)分類(lèi)測(cè)試多項(xiàng)式優(yōu)于其RBF分類(lèi)結(jié)果，所以其并沒(méi)有充分發(fā)揮多項(xiàng)式核函數(shù)的性能，沒(méi)有選擇針對(duì)該數(shù)據(jù)性能更加優(yōu)的核函數(shù)。

5結(jié)束語(yǔ)

以上介紹SVM核函數(shù)選擇方法運(yùn)用樣本數(shù)據(jù)蘊(yùn)含的先驗(yàn)信息，結(jié)合核函數(shù)的度量特征，引入能量熵概念，借助超球體描述提出一種基于樣本數(shù)據(jù)分布特征核函數(shù)選擇方法。這種基于樣本數(shù)據(jù)分布特征核函數(shù)選擇方法，是一種有指導(dǎo)性的SVM核函數(shù)選擇實(shí)用方法，克服了傳統(tǒng)的SVM模型選擇方法中人為指定核函數(shù)類(lèi)型而導(dǎo)致模型不能達(dá)到最優(yōu)性能的缺點(diǎn)，并具有運(yùn)算速度快、非常適合實(shí)時(shí)在線SVM模型預(yù)測(cè)控制場(chǎng)所等特點(diǎn)。通過(guò)相應(yīng)的實(shí)例仿真驗(yàn)證，表明了該方法的可行性和有效性，豐富了核函數(shù)選擇方法，有助于SVM學(xué)習(xí)能力和泛化能力的提高，具有一定的推廣價(jià)值。此外，在實(shí)際工程問(wèn)題中，數(shù)據(jù)集的分布是極其豐富的，有時(shí)用單一核函數(shù)難以準(zhǔn)確刻畫(huà)其分布特征，如在本文的基礎(chǔ)上增加或改進(jìn)核函數(shù)選擇形式，如組合核函數(shù)，使之描述更加全面，將是本文下一步研究的延伸方向。

參考文獻(xiàn):

[1]Deng Nai-yang,Tian Ying-jie.Support vector machine theory,algorithm and expand[M].Beijing:Science Press,2009.(in Chinese)

[2]Ding Shi-fei,Qi Bing-juan,Tan Hong-yan.An overview on theory and algorithm of support vector machines[J].Journal of University of Electronic Science and Technology of China,2011,40(1):2-10.(in Chinese)

[3]Tao Jian-wen,Wang Shi-tong.Local learning based support vector machine[J].Control and Decision,2012,27(10):1510-1515.(in Chinese)

[4]Liang Li-ming,Feng Xin-gang,Chen Yun-nen,et al.Method of selection kernel function based on distribution characteristics of samples[J].Computer Simulation,2013,30(1):323-328.(in Chinese)

[5]Luo Lin-kai,Ye Ling-jun,Zhou Qi-feng.Geometric measures and properties of commonly used kernel functions[J].Journal of Xiamen University,2009,48(6):804-807.(in Chinese)

[6]Thierman J S,Hallaj I M. Apparatus and method for geometric measurement:U.S. Patent Application 12/784,694[P]. 2010-05-21.

[7]Sohelf A,Karmakar G C,Dooleyls S,et al.Geometric distortion measurement for shape coding:A contemporary review[J].ACM Computing Surveys(CSUR),2011,43(4):29.

[8]Wang Ting-hua.Research on model selection for support vector machine[D].Beijing:Beijing JiaoTong University,2009.(in Chinese)

[9]Bennett K P,Bredensteiner J.Duality and geometry in SVM classifiers[C]//Proc of the 17th International Conference on Machine Learning,2000:5764.

[10]Kevi N,Zhou S,Chellappa R.From sample similarity:Probabilistic distance measure in reproducing kernel hilbert space[J].IEEE Transactions on Pattern and Machine Analysis Intelligence,2006,28(6):917-929.

[11]Liu Song-hua.Low-rank decomposition of kernel matrix and informative energy metric in kernel space[D].Xi’an:Xidian University,2011.(in Chinese)

[12]Luo Lin-kai.Research on kernel selection of support vector machine[D].Xiamen:Xiamen University,2007.(in Chinese)

[13]Zhao Feng,Zhang,Jun-ying,Liu Jing.An optimizing kernel algorithm for improving the performance of spport vector domain description[J].Acta Automatica Sinica,2008,34(9):1122-1127.(in Chinese)

[14]Xu Tu,Luo Yu,He Da-ke.SMO trainning algorithm for hypersphere one-class SVM[J].Computer Science,2008,35(6):178-180.(in Chinese)

[15]Li Yu,Zheng Min-juan,Cheng Guo-jian.Research on classification method based on support vector data description[J].Computer Engineering,2009，35(1)：235-236.(in Chinese)

[16]Zhang Hui-min,Chai Yi.Non-equidistant margin hypersphere SVM[J].Computer Engineering and Application,2011，47(11)： 19-22.(in Chinese)

[17]Wen Chuan-jun,Zhan Yong-zhao,Chen Chang-jun.Maximal-margin minimal-volume hypersphere suppot vector machine[J].Control and Decision,2010,25(1):79-83.(in Chinese)

[18]Song Hui,Xue Yun,Zhang Liang-jun.Research on kernel function selection simulation based on SVM[J].Computer and Modernization,2011(8):133-136.(in Chinese)

參考文獻(xiàn)：附中文

[1]鄧乃揚(yáng),田英杰. 支持向量機(jī)—理論、算法與拓展[M]. 北京:科學(xué)出版社,2009.

[2]丁世飛,齊丙娟,譚紅艷. 支持向量機(jī)理論與算法研究綜述[J]. 電子科技大學(xué)學(xué)報(bào)，2011,40(1):2-10.

[3]陶劍文,王士同. 局部學(xué)習(xí)支持向量機(jī)[J]. 控制與決策,2012,27(10):1510-1515.

[4]梁禮明,馮新剛,陳云嫩,等. 基于樣本分布特征的核函數(shù)選擇方法研究[J]. 計(jì)算機(jī)仿真,2013,30(1):323-328.

[5]羅林開(kāi),葉凌君,周綺鳳. 常用核函數(shù)的幾何度量與幾何性質(zhì)[J]. 廈門(mén)大學(xué)學(xué)報(bào),2009，48(6):804-807.

[8]汪廷華. 支持向量機(jī)模型選擇研究[D]. 北京：北京交通大學(xué),2009.

[11]劉松華. 核矩陣低秩分解與核空間信息能度研究及應(yīng)用[D]. 西安：西安電子科技大學(xué),2011.

[12]羅林開(kāi).支持向量機(jī)的核選擇[D].廈門(mén)：廈門(mén)大學(xué)，2007.

[13]趙峰,張軍英,劉敬. 一種改善支撐向量域描述性能的核優(yōu)化算法[J]. 自動(dòng)化學(xué)報(bào),2008,34(9):1122-1127.

[14]徐圖,羅瑜,何大可. 超球體單類(lèi)支持向量機(jī)的SMO訓(xùn)練算法[J]. 計(jì)算機(jī)科學(xué),2008,35(6):178-180.

[15]李瑜,鄭敏娟,程國(guó)建. 基于支持向量數(shù)據(jù)描述的分類(lèi)方法研究[J]. 計(jì)算機(jī)工程,2009，35(1)：235-236.

[16]張慧敏，柴毅. 不等距超球體支持向量機(jī)[J]. 計(jì)算機(jī)工程與應(yīng)用,2011,47(11)：19-22.

[17]文傳軍，詹永照，陳長(zhǎng)軍. 最大間隔最小體積球形支持向量機(jī)[J]. 控制與決策,2010,25(1):79-83.

[18]宋暉,薛云,張良均. 基于 SVM 分類(lèi)問(wèn)題的核函數(shù)選擇仿真研究[J]. 計(jì)算機(jī)與現(xiàn)代化,2011 (8):133-136.

梁禮明(1967-),男,江西贛州人，碩士，教授，研究方向?yàn)闄C(jī)器學(xué)習(xí)和模式識(shí)別。E-mail:lianglm67@163.com

LIANG Li-ming,born in 1967,MS,professor,his research interests include machine learning,and pattern recognition.

鐘震(1990-),男,江西撫州人，碩士生，研究方向?yàn)闄C(jī)器學(xué)習(xí)和支持向量機(jī)。E-mail:495433658@qq.com

ZHONG Zhen,born in 1990,MS candidate,his research interests include machine learning,and SVM.

陳召陽(yáng)(1988-),男,河南平頂山人，碩士生，研究方向?yàn)闄C(jī)器學(xué)習(xí)和模式識(shí)別。E-mail:bemy1004@126.com

CHEN Zhao-yang,born in 1988,MS candidate,his research interests include machine learning,and pattern recognition.