高斯噪聲特性區(qū)間ν -支持向量回歸機(jī)

張仕光,周婷,劉超,李源

(1.河南師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院,河南 新鄉(xiāng) 453007;2.河南師范大學(xué) 國(guó)有資產(chǎn)管理處,河南 新鄉(xiāng) 453007)

0 引言

支持向量回歸模型已成功應(yīng)用于風(fēng)電場(chǎng)調(diào)度中的風(fēng)速/風(fēng)功率預(yù)報(bào)、金融領(lǐng)域中的股票預(yù)測(cè)等諸多領(lǐng)域,并吸引了人們的廣泛關(guān)注[1-5]。設(shè)給定訓(xùn)練集Dl={(x1,y1),(x2,y2),…,(xl,yl)},其中xi=(xi1,xi2,…,xiL)∈RL,yi∈R(i=1,2,…,l),l為樣本數(shù)量。假定Dl是某概率分布P(x,y)上選取的獨(dú)立同分布的樣本,給定損失函數(shù)為c(x,y,f(x))。

Vapnik、Cortes[1-2]提出ε-不敏感損失函數(shù):

c(x,y,f(x))=|y-f(x)|ε,

(1)

Pν-SVR:s.t.ωT·φ(xi)+b-yi≤ε+ξi

(2)

在實(shí)際應(yīng)用中,很多經(jīng)典的確定性模型和算法都假定數(shù)據(jù)中存在高斯誤差特性來(lái)進(jìn)行建模。2010年Wu等[8-9]提出基于Gaussian噪聲影響的ν-支持向量回歸模型(ν-support vector regression machine for Gaussian noise,簡(jiǎn)記為GN-SVR),并利用遺傳算法和粒子群優(yōu)化算法進(jìn)行了求解。其原問(wèn)題為:

(3)

(4)

f(x)=ωT·φ(x)+b=

(5)

在實(shí)際應(yīng)用領(lǐng)域中,若數(shù)據(jù)中存在高斯噪聲特性,則利用模型GN-SVR可得到精確的預(yù)報(bào)值。但在某些領(lǐng)域,如風(fēng)電場(chǎng)調(diào)度中的風(fēng)速/風(fēng)功率預(yù)報(bào)[10-15]、金融領(lǐng)域中的股票預(yù)測(cè)需要預(yù)報(bào)某個(gè)目標(biāo)值的區(qū)間值[16],模型GN-SVR不能有效解決上述問(wèn)題。

為了解決上述問(wèn)題,本文在Gaussian噪聲ν-支持向量回歸模型的基礎(chǔ)上,利用區(qū)間數(shù)方法研究了基于不等式約束的Gaussian噪聲特性區(qū)間ν-支持向量回歸模型。

1 Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)

1.1 基本概念

首先引進(jìn)區(qū)間數(shù)、區(qū)間數(shù)的二元關(guān)系運(yùn)算等相關(guān)概念。

定義1[17-18]區(qū)間數(shù)(ai,Δai):設(shè)R為實(shí)數(shù)域,ai∈R為中心,Δai≥0為半徑,區(qū)間數(shù)A=(ai,Δai)為:

A=(ai,Δai)=[ai-Δai,ai+Δai],

其中ai-Δai稱為區(qū)間數(shù)A的左邊界,ai+Δai稱為其右邊界。若區(qū)間數(shù)A的左邊界等于其右邊界,即Δai=0,定義區(qū)間數(shù)A為點(diǎn)區(qū)間。R上所有區(qū)間數(shù)的集合,記為I(R)。

定義2[18-19]設(shè)區(qū)間數(shù)A,B∈I(R),定義I(R)上的二元關(guān)系運(yùn)算為:

A+B=(ai+bi,Δai+Δbi),

λA=(λai,|λ|Δai),?λ∈R,

A-B=(ai-Δai-bi-

Δbi,ai+Δai-bi+Δbi)。

1.2 基于不等式約束的Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)

設(shè)給定包含區(qū)間值的訓(xùn)練集

Tl={(X1,Y1),(X2,Y2),…,(Xl,Yl)}

(6)

基于不等式約束的Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)(Intervalν-support vector regression model of Gaussian noise characteristics with the inequality constraints,簡(jiǎn)記為GNI-SVR)的原問(wèn)題可描述為:

(7)

PGNI-SVR:s.t.

命題1基于不等式約束Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)原問(wèn)題(7)關(guān)于ω的解存在且唯一。

定理1 基于不等式約束Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)原問(wèn)題(7)的對(duì)偶問(wèn)題為:

(8)

DGNI-SVR:s.t.

其中0<ν≤1,懲罰因子C>0是常數(shù)。

證明引進(jìn)Lagrange泛函L(ω,B,α,α*,ξ,ξ*,η,η*,ε)得:

(yi+Δyi)-ε-ξ1i)+

(yi-Δyi)-ε-ξ2i)+

其中Lagrange乘子α,α*,η,η*,β≥0,為求L(ω,b,α,α*,ξ,ξ*,η,η*,ε)的極小值,分別對(duì)ω,b,ξ,ξ*,ε求偏導(dǎo)數(shù)。由

得:

把上述極值條件代入L(ω,b,α,α*,ξ,ξ*,η,η*,ε),并對(duì)α,α*求極大值,可以得式(7)的對(duì)偶問(wèn)題(8)。

令

當(dāng)j∈S+,k∈S-,則

基于不等式約束的Gaussian噪聲特性區(qū)間ν-支持向量回歸機(jī)的決策函數(shù)為:

(9)

2 結(jié)論

當(dāng)Δxi=0,Δyi=0時(shí),模型GNI-SVR即為模型GN-SVR。

在風(fēng)電場(chǎng)調(diào)度、金融領(lǐng)域預(yù)測(cè)中,根據(jù)數(shù)據(jù)集Tl的信息可計(jì)算得Δxi,Δyi,ρ(Δxi),利用模型GNI-SVR可得風(fēng)電場(chǎng)調(diào)度中的風(fēng)速/風(fēng)功率預(yù)報(bào)、金融領(lǐng)域中的股票預(yù)測(cè)所需預(yù)報(bào)某個(gè)目標(biāo)值的區(qū)間值。