基于LS-SVR算法改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)及其在股價預(yù)測中的應(yīng)用

程 曦， 賀瑞纏

(西北大學(xué)數(shù)學(xué)系， 陜西 西安 710127)

0 引 言

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function Neural Network, RBFNN)是20世紀(jì)80年代末由莫迪(J.Moody)和達(dá)肯(C.Darken)提出的[1],其具有結(jié)構(gòu)簡單、逼近能力強(qiáng)和收斂速度快等優(yōu)點(diǎn)，現(xiàn)已證明它能以任意精度逼近任意連續(xù)函數(shù)[2].但是對于徑向基函數(shù)中心和徑向基函數(shù)寬度的確定，以及如何解決 “維數(shù)災(zāi)難”等問題，仍然是RBF神經(jīng)網(wǎng)絡(luò)的研究重點(diǎn).支持向量機(jī)(Support Vector Machines, SVM)是Vapnik等人基于統(tǒng)計(jì)學(xué)習(xí)理論中的結(jié)構(gòu)風(fēng)險最小化原則提出的[3].最小二乘支持向量機(jī)(Least Squares Support Vector Machines, LS-SVM)是一種新興的支持向量機(jī)方法，由于其算法中只有參數(shù)是待選的，比支持向量機(jī)的其他算法待選參數(shù)少，所以具有良好的穩(wěn)定性，并且其運(yùn)算速度較快，但其稀疏性相對較差.RBF神經(jīng)網(wǎng)絡(luò)在預(yù)測無噪聲數(shù)據(jù)時精度較高，而對于有噪聲數(shù)據(jù)，其預(yù)測精度則明顯下降，這說明其穩(wěn)定性較差.本文利用LS-SVR算法求解出的支持向量的個數(shù)確定RBF網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目，支持向量作為網(wǎng)絡(luò)中心，從而構(gòu)造出RBF神經(jīng)網(wǎng)絡(luò)較優(yōu)的初始結(jié)構(gòu)和網(wǎng)絡(luò)參數(shù)，再用梯度下降法微調(diào)網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)性能達(dá)到最優(yōu)，并將該算法應(yīng)用于個股股價的短期預(yù)測中，取得了良好的預(yù)測效果.

1 RBF神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)的結(jié)構(gòu)

RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)，并且具有最佳逼近特性.其網(wǎng)絡(luò)結(jié)構(gòu)是一種三層前饋型網(wǎng)絡(luò).輸入層的作用是將輸入向量直接傳輸至隱層節(jié)點(diǎn)，用隱層包含的一系列徑向基函數(shù)來逼近未知函數(shù),所以RBF的網(wǎng)絡(luò)結(jié)構(gòu)為：

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

綜上可知，RBF神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)雖然在算法上存在著本質(zhì)區(qū)別，但是其二者的結(jié)構(gòu)有相似之處.現(xiàn)已證明，選取滿足條件的支持向量核函數(shù)，用支持向量回歸方法所確定的兩層網(wǎng)絡(luò)結(jié)構(gòu)模型在本質(zhì)上進(jìn)一步等價于加權(quán)平均輸出的徑向基函數(shù)網(wǎng)絡(luò)[5],因此本文將支持向量回歸算法應(yīng)用到RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，以提高RBF網(wǎng)絡(luò)的性能.

2 基于LS-SVR算法改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)

f(x)=ωφ(x)+b

而LS-SVR的原始優(yōu)化問題為：

構(gòu)造其拉格朗日函數(shù)為：

現(xiàn)對各個參數(shù)求偏導(dǎo)并令其為零，可得：

將上式寫成矩陣形式有：

根據(jù)核函數(shù)的相關(guān)思想以及Mercer定理，我們用核函數(shù)K(xi,xj)代替高位空間中的內(nèi)積運(yùn)算，并消去ω和ξ，上式可變?yōu)椋?/p>

求解上式得出非線性回歸函數(shù)：

由LS-SVR算法構(gòu)造網(wǎng)絡(luò)的初始結(jié)構(gòu)，選用高斯徑向基核函數(shù)作為網(wǎng)絡(luò)的隱層，則新的網(wǎng)絡(luò)結(jié)構(gòu)可表示為：

3 網(wǎng)絡(luò)的學(xué)習(xí)算法

在RBF網(wǎng)絡(luò)的學(xué)習(xí)過程中，調(diào)整徑向基函數(shù)的中心、寬度以及網(wǎng)絡(luò)權(quán)值等網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)性能達(dá)到最優(yōu).本文選擇梯度下降法作為其訓(xùn)練算法.

對于RBF的網(wǎng)絡(luò)結(jié)構(gòu)：

求J對ωij、ci、σi的偏導(dǎo)數(shù)，得：

因此，各參數(shù)的校正公式如下：

ωij(n+1)=ωij(n)+λSωij

ci(n+1)=ci(n)+λScj

σi(n+1)=σi(n)+λSσi

其中1≤i≤l,1≤j≤M；l是隱節(jié)點(diǎn)數(shù)目，M是輸出維數(shù)，λ是步長，通常取0.05.

4 實(shí)例分析

股票價格是一種非線性離散時間序列，由股票的價值所決定, 但同時也受到其他因素的影響. 其中, 供求關(guān)系是最直接的因素, 其他因素都是通過作用于供求關(guān)系而影響股票價格的[6].本文選取深圳交易所A股青島雙星(000599)2009年06月02日至2011年06月02日共計(jì)486個交易日記錄作為訓(xùn)練數(shù)據(jù)，并將2011年06月03日至2011年08月12日共計(jì)50個交易日記錄作為測試數(shù)據(jù),分別將其每日開盤價、每日最高價、每日最低價、每日收盤價、每日成交量、每日成交額6個變量作為網(wǎng)絡(luò)輸入變量，未來50日的開盤價作為輸出變量，由此來預(yù)測股票的短期價格走勢,其預(yù)測結(jié)果如圖2所示.

圖2 股票價格回歸預(yù)測曲線(50天)

表1 誤差率的統(tǒng)計(jì)分析表

5 結(jié)束語

作者基于LS-SVR算法改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)通過LSSVR算法得到了RBF網(wǎng)絡(luò)較優(yōu)的初始結(jié)構(gòu)和參數(shù)，并通過梯度下降法微調(diào)網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)性能達(dá)到最優(yōu)，將改進(jìn)后的網(wǎng)絡(luò)用于股票價格預(yù)測實(shí)例，取得了良好的學(xué)習(xí)性能和預(yù)測效果.

參考文獻(xiàn)

[1] Moody J,Darken CJ.Fast learning in networks of locally tuned processing units[J].Neural Computation,1989(1):281-294.

[2] 程建國.神經(jīng)計(jì)算與生長自組織網(wǎng)絡(luò)[M].西安:西安交通大學(xué)出版社,2008:66-69.

[3] Vapnik V N.Statistical Learning Theory[M].New York:Wiley,1998.

[4] 吳今培,孫德山.現(xiàn)代數(shù)據(jù)分析[M].北京:機(jī)械工業(yè)出版社,2006:92-96.

[5] 李 軍,趙 鋒.基于支持向量回歸神經(jīng)網(wǎng)絡(luò)的時間序列預(yù)測[J].系統(tǒng)仿真學(xué)報,2008,20(15):4 025-4 030.

[6] 殷洪才，趙春燕.基于神經(jīng)網(wǎng)絡(luò)股票預(yù)測的研究[J].哈爾濱師范大學(xué)自然科學(xué)學(xué)報,2007,23(3):47-49.