非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)

馬夢(mèng)萍，楊志霞

新疆大學(xué) 數(shù)學(xué)與系統(tǒng)科學(xué)學(xué)院，烏魯木齊 830046

支持向量機(jī)（Support Vector Machine，SVM）由文獻(xiàn)[1-2]提出，它可解決分類(lèi)問(wèn)題[3-4]、回歸問(wèn)題[5-6]以及聚類(lèi)問(wèn)題[7]等。由于其結(jié)構(gòu)簡(jiǎn)單，計(jì)算簡(jiǎn)潔，具有直觀的幾何意義，因此被廣泛應(yīng)用于股票價(jià)格預(yù)測(cè)[8]、金融時(shí)間序列預(yù)測(cè)[9]、農(nóng)業(yè)土壤特性預(yù)測(cè)[10]等領(lǐng)域。支持向量機(jī)是一種運(yùn)用最優(yōu)化方法，解決數(shù)據(jù)挖掘等問(wèn)題的學(xué)習(xí)算法。Vapnik[11]在1999 年提出了帶有核函數(shù)的支持向量機(jī)，然而，帶有核函數(shù)的支持向量機(jī)的決策函數(shù)缺乏可解釋性且需要選擇合適的核參數(shù)。2007年，Dagher[12]提出一種新的無(wú)核二次非線性支持向量機(jī)，該算法無(wú)需使用核函數(shù)，利用一階近似，直接用二次曲面分離訓(xùn)練點(diǎn)。

與此同時(shí)，基于統(tǒng)計(jì)理論的ν-支持向量回歸機(jī)[13-14]成功地應(yīng)用到回歸任務(wù)中，它通過(guò)引入一個(gè)新的參數(shù)ν來(lái)控制擬合誤差，參數(shù)ν能夠控制支持向量個(gè)數(shù)占總樣本點(diǎn)個(gè)數(shù)的份額的下界。隨后，Huang等[15]提出了非對(duì)稱(chēng)ν-支持向量回歸機(jī)（Asymmetricν-tube Support Vector Regression，Asy-ν-SVR），它給予位于ε帶上方和下方的樣本點(diǎn)不同的懲罰，通過(guò)調(diào)整參數(shù)p得到較好的回歸函數(shù)。

本文提出了非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)（Asymmetricν-kernel-free Quadratic Surface Support Vector Regression，Asy-ν-QSSVR）。具體地，該方法的目標(biāo)是根據(jù)訓(xùn)練集得到二次函數(shù)，且在建模時(shí)引入Pinball 損失函數(shù)，從而給予ε帶上方和下方的樣本點(diǎn)有不同的懲罰。同時(shí)，本文也給出支持向量、錯(cuò)誤樣本點(diǎn)的定義，進(jìn)一步通過(guò)理論證明了ε帶上方和下方的錯(cuò)誤樣本點(diǎn)個(gè)數(shù)的上界分別是pνn和(1-p)νn。當(dāng)p=0.5 時(shí)，本文的方法就退化成了對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)，此時(shí)本文也證明了參數(shù)ν能控制支持向量個(gè)數(shù)占總樣本點(diǎn)個(gè)數(shù)的比值的下界。事實(shí)上，非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)不需要引入核函數(shù)，所以減少了核參數(shù)的選擇，且不損失決策函數(shù)的可解釋性。數(shù)值實(shí)驗(yàn)表明，參數(shù)p并不會(huì)增加計(jì)算成本，且與非對(duì)稱(chēng)ν-支持向量回歸機(jī)和ε-無(wú)核軟二次曲面支持向量回歸機(jī)（ε-kernel-free Soft Quadratic Surface Support Regression，SQSSVR）[16]相比，本文的方法得到較小的均方根誤差且耗時(shí)相對(duì)較少。

本文首先簡(jiǎn)單回顧了非對(duì)稱(chēng)ν-支持向量回歸機(jī)和ε-無(wú)核軟二次曲面支持向量回歸機(jī)。然后，提出了本文的新方法非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)及相應(yīng)性質(zhì)的討論。接著是數(shù)值實(shí)驗(yàn)部分。最后是對(duì)本文的總結(jié)和討論。

1 背景知識(shí)

本章首先簡(jiǎn)要介紹了非對(duì)稱(chēng)ν-支持向量回歸機(jī)，其次討論了ε-無(wú)核軟二次曲面支持向量回歸機(jī)。給定訓(xùn)練集：

其中xi∈Rm,yi∈R,i=1,2,…,n。

1.1 非對(duì)稱(chēng)ν-支持向量回歸機(jī)

考慮Pinball損失函數(shù)：

其中p是非對(duì)稱(chēng)參數(shù)。顯然，當(dāng)p=0.5 時(shí)Lp ε(u)為對(duì)稱(chēng)損失函數(shù)。圖1展示了不同p、ε的Pinball損失函數(shù)的圖像。

圖1 不同ε 和p 對(duì)應(yīng)的Pinball損失函數(shù)圖像

非對(duì)稱(chēng)ν-支持向量回歸機(jī)的目標(biāo)是針對(duì)訓(xùn)練集T(1)找到如下回歸函數(shù)：

其中w∈Rm是超平面的法向量，b∈R是一個(gè)偏差項(xiàng)。事實(shí)上允許部分點(diǎn)犯錯(cuò)，通過(guò)引入懲罰參數(shù)C ＞0與松弛變量(ξ+1,ξ-1,…,ξ+n,ξn)，得到非對(duì)稱(chēng)ν-支持向量回歸機(jī)的原始問(wèn)題如下：

其中ξ+i表示位于ε帶上邊界以上的樣本點(diǎn)與ε帶上邊界的距離，ξi表示位于ε帶下邊界以下的樣本點(diǎn)與ε帶下邊界的距離。注意到，通過(guò)調(diào)整參數(shù)p可對(duì)樣本點(diǎn)產(chǎn)生不同的懲罰。進(jìn)一步，可通過(guò)求解對(duì)偶問(wèn)題得到回歸函數(shù)。

1.2 ε-無(wú)核軟二次曲面支持向量回歸機(jī)

不同于支持向量回歸機(jī)，ε-無(wú)核軟二次曲面支持向量回歸機(jī)是通過(guò)給定訓(xùn)練集T(1)尋找一個(gè)二次函數(shù)：

其中矩陣W∈Rm×m是對(duì)稱(chēng)陣，b∈Rm，c∈R。為了得到二次函數(shù)（4），構(gòu)造如下優(yōu)化問(wèn)題：

其中(ξ+1,ξ-1,…,ξ+n,ξn)為松弛變量，懲罰參數(shù)γ ＞0。由于矩陣W是對(duì)稱(chēng)陣，求解較為復(fù)雜，因此需要將優(yōu)化問(wèn)題進(jìn)行等價(jià)轉(zhuǎn)化并求解等價(jià)問(wèn)題的對(duì)偶問(wèn)題。

注意到，在ε-無(wú)核軟二次曲面支持向量回歸機(jī)中，需要事先給定ε-不敏感損失函數(shù)中的參數(shù)ε，然而在某些情況下選擇合適的ε并不是很容易。

2 非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)

本文提出了非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)（Asy-ν-QSSVR）。該方法可以自動(dòng)計(jì)算參數(shù)ε，并且將參數(shù)ν與支持向量聯(lián)系起來(lái)。

具體地，該方法的目的是得到回歸函數(shù)g(x)=，且要求給予ε帶外的樣本點(diǎn)不同的懲罰。因此通過(guò)引入非對(duì)稱(chēng)損失函數(shù)Pinball損失Lεp，構(gòu)造如下優(yōu)化問(wèn)題：

其中矩陣W是對(duì)稱(chēng)陣，b∈Rm,c∈R，懲罰參數(shù)γ ＞0，參數(shù)ν和p需要預(yù)先給出。目標(biāo)函數(shù)的第一項(xiàng)表示讓樣本點(diǎn)盡可能地接近擬合函數(shù)，第二項(xiàng)表示ε帶的帶寬，第三項(xiàng)表示訓(xùn)練點(diǎn)產(chǎn)生的損失量。前兩個(gè)約束條件要求樣本點(diǎn)位于ε帶內(nèi)。松弛變量ξ+i、ξi表示位于ε帶上方和下方的樣本點(diǎn)到ε帶邊界的距離。通過(guò)調(diào)整不對(duì)稱(chēng)參數(shù)p的值，可對(duì)位于ε帶外的樣本點(diǎn)給予不同的懲罰。事實(shí)上，若p ＞0.5 時(shí)，位于ε帶上方的樣本點(diǎn)的懲罰比位于ε帶下方樣本點(diǎn)的懲罰大，這意味著可以允許更多的樣本點(diǎn)在ε帶下方；若p ＜0.5 時(shí)，則反之；若p=0.5 時(shí)，ε帶上方和下方的樣本點(diǎn)有相同的懲罰。事實(shí)上，此時(shí)本文的方法就退化為ν版本的無(wú)核二次曲面支持向量回歸機(jī)，稱(chēng)之為對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)。在數(shù)值實(shí)驗(yàn)部分，圖2可更直觀地說(shuō)明這一問(wèn)題，同時(shí)說(shuō)明了不同的p值對(duì)回歸函數(shù)的影響也不同。進(jìn)一步，2.2 節(jié)也在理論上證明了參數(shù)p和ν能夠控制位于ε帶上方和下方樣本點(diǎn)數(shù)目的上界。

2.1 優(yōu)化問(wèn)題求解

注意到優(yōu)化問(wèn)題（6）中的W是一個(gè)矩陣，不容易直接求解，因此利用矩陣W的對(duì)稱(chēng)性，可將優(yōu)化問(wèn)題做進(jìn)一步簡(jiǎn)化。具體地，由條件W=WT∈Rm×m，可將其拉伸成向量?，即?=[w11,w12,…,w22,…,w2m,…,wmm]。利用向量和樣本點(diǎn)∈Rm的對(duì)應(yīng)關(guān)系來(lái)構(gòu)造矩陣Mi。構(gòu)造過(guò)程需要遍歷的每一個(gè)元素，若的第l個(gè)元素是wjk，則Mi的第j行第l個(gè)元素為xki，且Mi的第k行第l個(gè)元素為xij，否則為0。

以3 維(m=3)樣本點(diǎn)的輸入xi為例，給出相應(yīng)Mi的具體形式如下：

并令Hi=[Mi,I]，其中I為m維的單位矩陣。

優(yōu)化問(wèn)題（6）的目標(biāo)函數(shù)的第一項(xiàng)可變?yōu)椋?/p>

則優(yōu)化問(wèn)題（6）可等價(jià)為：

為了推導(dǎo)出優(yōu)化問(wèn)題（7）的對(duì)偶問(wèn)題，通過(guò)引入非負(fù)Lagrange乘子向量(α+1,α-1,…,α+n,α-n)T，(β+1,β-1,…,β+n,βn-)T,?，構(gòu)造Lagrange 函數(shù)

分別對(duì)Lagrange 函數(shù)的變量z,c,ε,ξ+i ,ξi求偏導(dǎo)數(shù)并另其等于0得：

由式（8）得：

將上式代入Lagrange函數(shù)可得到優(yōu)化問(wèn)題（7）的對(duì)偶問(wèn)題為：

通過(guò)求解對(duì)偶問(wèn)題（14）得到(α+1,α-1,…,α+n,α-n)，根據(jù)式（13）、及W與的關(guān)系可得W和b的值。

綜上，歸納非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的算法如下所示。

輸入：訓(xùn)練集T，參數(shù)p,ν以及γ ＞0；

輸出：W,b,c,ε；

3. 計(jì)算c，選取區(qū)間(0,)中的分量α+k和區(qū)間(0,中的分量

2.2 非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的性質(zhì)

本節(jié)主要通過(guò)定義支持向量和錯(cuò)誤樣本點(diǎn)的概念，進(jìn)一步分析參數(shù)p和ν的意義。

定義1（支持向量）稱(chēng)訓(xùn)練集T(1)中(xi,yi)所對(duì)應(yīng)的輸入xi為支持向量，如果優(yōu)化問(wèn)題（14）的解所對(duì)應(yīng)的分量或

定義2（錯(cuò)誤樣本點(diǎn)）設(shè)(W,b,c,ε,ξ+i ,ξi)為原始問(wèn)題（6）的解。稱(chēng)訓(xùn)練集T(1)中的樣本點(diǎn)(xi,yi)為錯(cuò)誤樣本點(diǎn)，如果(ξ+1,ξ-1,…,ξ+n,ξn)T滿足ξ+i≠0 或ξi≠0。

定理1 已知訓(xùn)練集T(1)，用非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)進(jìn)行回歸，得到ε帶，且滿足ε帶上方的錯(cuò)誤樣本點(diǎn)數(shù)的上界為pνn，ε帶下方的錯(cuò)誤樣本點(diǎn)數(shù)的上界為(1-p)νn，即：

其中L(a)為示性函數(shù)，即a是真，L(a)=1，否則等于0。

證明根據(jù)式（9）和式（10）以及? ＞0，則有：

對(duì)于任意位于ε帶上方的樣本點(diǎn)：

根據(jù)互補(bǔ)松弛性條件，有β+i =0。根據(jù)式（11）可得，于是有：

顯然，這與式（17）矛盾。因此，參數(shù)p和ν控制了位于ε帶上方樣本點(diǎn)的比例，也就是：

等價(jià)于：

同理可證明出：

根據(jù)定理1 可以進(jìn)一步推導(dǎo)出非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的解滿足：

具體地，上式表示落在ε帶內(nèi)的樣本點(diǎn)數(shù)大于等于(1-ν)n，通常落在ε帶內(nèi)的樣本點(diǎn)是沒(méi)有損失的，而落在ε帶外的樣本點(diǎn)是具有損失的，這說(shuō)明參數(shù)ν控制了落在ε帶內(nèi)的樣本點(diǎn)的比例，進(jìn)一步根據(jù)式（15）和（16）可看出參數(shù)p和ν控制了位于ε帶上方和下方錯(cuò)誤樣本點(diǎn)數(shù)的上界。

定理2 設(shè)已知訓(xùn)練集T(1)，并用非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)進(jìn)行回歸，所得ε值非零，若記支持向量的個(gè)數(shù)為q，且p=0.5 時(shí)，則ν是支持向量的個(gè)數(shù)占總樣本點(diǎn)數(shù)的份額的下界，即

證明由優(yōu)化問(wèn)題（7）的KKT 條件知，當(dāng)ε ＞0 時(shí)，?=0。由式（10）可得：

即支持向量的個(gè)數(shù)占總樣本數(shù)的份額不少于ν。

3 數(shù)值實(shí)驗(yàn)

在本章中，為了表明本文所提方法在性能上的優(yōu)越性，分別在人工數(shù)據(jù)集和UCI 數(shù)據(jù)庫(kù)中的10 組數(shù)據(jù)集上，將本文的方法非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)與ε-無(wú)核軟二次曲面支持向量回歸機(jī)、非對(duì)稱(chēng)ν-支持向量回歸機(jī)進(jìn)行了對(duì)比。該數(shù)值試驗(yàn)在Windows 7系統(tǒng)，內(nèi)存為4.00 GB，64 位操作系統(tǒng)上完成。使用MatlabR2014編輯代碼，算法中涉及到求解二次函數(shù)，通過(guò)調(diào)用Matlab 中的二次規(guī)劃函數(shù)quadprog 來(lái)求解。實(shí)驗(yàn)中，本文通過(guò)網(wǎng)格搜索的方法取得最優(yōu)的參數(shù)，非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)所需的參數(shù)γ、ν、p分別選自集合{10i|i=-8,-7,…,8}，{0.1,0.2,…,0.9}和{0.1,0.2,0.3,0.4,0.45,0.55,0.6,0.7,0.8,0.9}。而ε-無(wú)核軟二次曲面支持向量回歸機(jī)，非對(duì)稱(chēng)ν-支持向量回歸機(jī)中的參數(shù)γ、c和p選擇方式與本文算法相同，且ε=0.01。

3.1 評(píng)估準(zhǔn)則

為了評(píng)估該算法的性能，首先引入幾種常用的評(píng)估指標(biāo)[17]，其中yi表示樣本點(diǎn)xi的真實(shí)值，是xi的預(yù)測(cè)值，是xy1,y2,C,yn的均值。

總離差平方和反映了測(cè)試樣本的基本方差，通常涉及由噪聲引起的方差。

回歸平方和反映了回歸能力?；貧w平方和越大，從測(cè)試樣本中獲取的統(tǒng)計(jì)信息越多。

決定系數(shù)用于測(cè)試樣本的回歸平方和與總離差平方和的比率。

在大多數(shù)情況下，當(dāng)均方根誤差和平均絕對(duì)誤差較小時(shí)說(shuō)明估計(jì)值和真實(shí)值比較接近，但為了防止過(guò)擬合，通常需要用決定系數(shù)的值來(lái)評(píng)估，一般來(lái)說(shuō)決定系數(shù)的值較大會(huì)更好。

3.2 人工數(shù)據(jù)集

首先，針對(duì)一組人工數(shù)據(jù)集，來(lái)展現(xiàn)本文的算法非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的直觀幾何意義。具體地，包括ε帶的幾何圖像，以及Pinball 損失函數(shù)中的非對(duì)稱(chēng)參數(shù)p對(duì)回歸函數(shù)的影響。同時(shí)也直觀展現(xiàn)了本文所提算法的擬合函數(shù)的優(yōu)越性。

圖2 人工數(shù)據(jù)在不同的p 值下的ε 帶及回歸函數(shù)

如圖2 分別展示了不同的p值對(duì)非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的影響，圖中“·”表示100 個(gè)樣本點(diǎn)，細(xì)實(shí)線表示原始函數(shù)，粗實(shí)線表示本文提出的方法擬合出的函數(shù)，虛線表示本文所得的擬合函數(shù)的ε 帶的邊界。從圖中可看出，當(dāng)p=0.20 時(shí)，大量的樣本點(diǎn)位于ε 帶上方，得到的回歸函數(shù)位于原始函數(shù)的下方，隨著p 值增加，回歸函數(shù)逐漸被位于ε 帶下方的樣本點(diǎn)“拉”回到原始函數(shù)附近，但當(dāng)p=0.70 時(shí)，回歸函數(shù)又遠(yuǎn)離原始函數(shù)。顯然，當(dāng)p=0.45 時(shí)得到的回歸函數(shù)最接近原始函數(shù)，這說(shuō)明當(dāng)p=0.45 時(shí)本文的算法擬合的結(jié)果最好。而ε-無(wú)核軟二次曲面支持向量回歸機(jī)在擬合函數(shù)時(shí)，默認(rèn)給予ε 帶上方和下方的樣本點(diǎn)的懲罰是相同的，這將限制算法的靈活性。進(jìn)一步，表1 中還展示了3種算法的平均絕對(duì)誤差、均方根誤差和決定系數(shù)值。實(shí)驗(yàn)時(shí)，對(duì)人工數(shù)據(jù)集進(jìn)行了10次十折交叉，并將10 次結(jié)果的平均值記錄在表中。從表中可以看出，與ε-無(wú)核軟二次曲面支持向量回歸機(jī)、非對(duì)稱(chēng)ν-支持向量回歸機(jī)相比，本文的方法的平均絕對(duì)誤差、均方根誤差都較小，決定系數(shù)值較大，且耗時(shí)相對(duì)較少。

表1 在有噪聲的人工數(shù)據(jù)上的測(cè)試誤差

3.3 UCI基準(zhǔn)數(shù)據(jù)集

為了進(jìn)一步評(píng)估本文算法的有效性，本文測(cè)試了10組UCI 數(shù)據(jù)集：Diabetes、Concrete Slump Test、GPS Trajectory、servo、Wisconsin Breast Cancer、Auto price、Computer Hardware、Conventional and Social Media Movies、Yacht Hydrodynamics、Boston House，更詳細(xì)的數(shù)據(jù)信息見(jiàn)表2。

表2 10組UCI數(shù)據(jù)集的詳細(xì)信息

首先本文對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理，即若數(shù)據(jù)集中有缺失項(xiàng)，將缺失項(xiàng)用0 補(bǔ)齊，并對(duì)數(shù)據(jù)集進(jìn)行歸一化處理，使數(shù)據(jù)集中的每個(gè)值都在區(qū)間[?1，1]內(nèi)。實(shí)驗(yàn)中，對(duì)數(shù)據(jù)集進(jìn)行了10 次十折交叉，并將10 次結(jié)果的平均值記錄在表中。

表3 給出了相應(yīng)的數(shù)值結(jié)果。通過(guò)表3 可以看出，本文的方法在大部分?jǐn)?shù)據(jù)集上都有較小的平均絕對(duì)誤差、均方根誤差和較大的決定系數(shù)值，尤其是Slump、Computer數(shù)據(jù)集。產(chǎn)生這一現(xiàn)象的原因是因?yàn)棣?無(wú)核軟二次曲面支持向量回歸機(jī)采用ε-不敏感損失函數(shù)，而非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)使用Pinball損失函數(shù)，它給予不同位置的樣本點(diǎn)不同的懲罰，更具有靈活性。而非對(duì)稱(chēng)ν-支持向量回歸機(jī)在不使用核函數(shù)的情況下擬合的結(jié)果基本沒(méi)有其他兩種方法好。在CSMM數(shù)據(jù)集上，本文的方法得到的平均絕對(duì)誤差大于ε-無(wú)核軟二次曲面支持向量回歸機(jī)的值，但非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)的決定系數(shù)略大于其他兩種算法。同時(shí)，表3中還展示了本文提出的方法所需的CPU 時(shí)間與ε-無(wú)核軟二次曲面支持向量回歸機(jī)相近，說(shuō)明引入Pinball 損失函數(shù)并不會(huì)增加計(jì)算負(fù)擔(dān)。由此可見(jiàn)本文提出的非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)具有較好的擬合性能。

表3 3種算法在10組UCI數(shù)據(jù)集上的計(jì)算結(jié)果

由于本文的方法除了參數(shù)ν 以外，還需要給定非對(duì)稱(chēng)參數(shù)p，而參數(shù)p 取不同的值，意味著給予ε 帶上方和下方的樣本點(diǎn)不同的懲罰。為了進(jìn)一步說(shuō)明本文的方法中的參數(shù)p不會(huì)增加計(jì)算成本。本文分析了10組UCI 數(shù)據(jù)集在不同p值下的CPU 時(shí)間。表4 展示了每個(gè)數(shù)據(jù)集在不同p值的CPU 時(shí)間的平均值。從表4 中可以看出，非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)在不同的參數(shù)p下，所需的CPU時(shí)間相差不大，這也說(shuō)明參數(shù)p的引入不會(huì)增加計(jì)算成本。

如圖3 展示了非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)在不同p值下的平均絕對(duì)誤差。這4幅圖分別是數(shù)據(jù)集Computer、Slump、Breast、CSMM。顯然，圖（a）中當(dāng)p=0.44 時(shí)有最小的平均絕對(duì)誤差值，圖（b）當(dāng)p=0.68時(shí)有最小的平均絕對(duì)誤差值，圖（c）當(dāng)p=0.15時(shí)有最小的平均絕對(duì)誤差值，圖（d）當(dāng)p=0.45 時(shí)有最小的平均絕對(duì)誤差值。因此，通過(guò)圖3可以看出對(duì)于不同的數(shù)據(jù)集，p值也不同，這也進(jìn)一步說(shuō)明本文的方法具有更好的靈活性。要想獲得更好的擬合結(jié)果，需要對(duì)不同的數(shù)據(jù)集選擇合適的參數(shù)p。事實(shí)上，當(dāng)p=0.5 時(shí)，本文的方法就退化成了對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)。

4 結(jié)論

針對(duì)回歸問(wèn)題，本文提出了非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)（Asy-ν-QSSVR）。該算法引入Pinball損失函數(shù)，通過(guò)不對(duì)稱(chēng)參數(shù)p，使得對(duì)ε帶上方和下方樣本點(diǎn)給予不同的懲罰，得到更優(yōu)的回歸函數(shù)，從而讓本文的方法更具有靈活性。進(jìn)一步，本文通過(guò)理論證明，給出了參數(shù)p和ν控制位于ε帶上方和下方的錯(cuò)誤樣本點(diǎn)數(shù)的上界，以及當(dāng)p=0.5 時(shí)，參數(shù)ν能夠調(diào)節(jié)支持向量在總樣本數(shù)中的占比，此時(shí)本文的算法就退化成了對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)。除此之外，與非對(duì)稱(chēng)ν-支持向量回歸機(jī)相比，本文的方法在不使用核函數(shù)的情況下可得到較好的非線性擬合函數(shù)且不損失回歸函數(shù)的可解釋性。通過(guò)數(shù)值實(shí)驗(yàn)可以看出，本文的非對(duì)稱(chēng)ν-無(wú)核二次曲面支持向量回歸機(jī)具有更好地?cái)M合性能，且參數(shù)p不會(huì)增加計(jì)算成本。

表4 10組數(shù)據(jù)集在不同的p 值所需的CPU時(shí)間 s

圖3 4個(gè)數(shù)據(jù)集在不同p 值下的平均絕對(duì)誤差