經(jīng)濟(jì)預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)泛化問題研究

馮再勇, 王茂芝

(1.南京鐵道職業(yè)技術(shù)學(xué)院基礎(chǔ)教學(xué)部， 江蘇 蘇州 215137; 2.成都理工大學(xué)數(shù)學(xué)地質(zhì)四川省重點(diǎn)實(shí)驗(yàn)室, 四川 成都 610059)

0 引 言

利用神經(jīng)網(wǎng)絡(luò)建立經(jīng)濟(jì)現(xiàn)象的數(shù)學(xué)模型，據(jù)此對(duì)經(jīng)濟(jì)、金融等問題作出分析、評(píng)價(jià)和預(yù)測(cè)，這一方法在經(jīng)濟(jì)學(xué)理論研究和實(shí)證研究中已被廣泛采用，也取得了很多有價(jià)值的成果.然而在實(shí)際利用神經(jīng)網(wǎng)絡(luò)進(jìn)行經(jīng)濟(jì)建模、預(yù)測(cè)時(shí)，網(wǎng)絡(luò)的泛化問題比較突出[1]，造成對(duì)某些經(jīng)濟(jì)現(xiàn)象的預(yù)測(cè)和評(píng)價(jià)不夠成功.“泛化問題”即網(wǎng)絡(luò)泛化性能不夠理想的問題，是困擾神經(jīng)網(wǎng)絡(luò)應(yīng)用的最主要問題之一，已成為眾多學(xué)者十分關(guān)注的理論問題.本文從數(shù)學(xué)與系統(tǒng)科學(xué)的角度對(duì)利用神經(jīng)網(wǎng)絡(luò)進(jìn)行經(jīng)濟(jì)預(yù)測(cè)時(shí)產(chǎn)生泛化問題的本質(zhì)原因進(jìn)行了分析，為改善神經(jīng)網(wǎng)絡(luò)的泛化性能，更有效的建立經(jīng)濟(jì)數(shù)學(xué)模型提供了有意義的參考.

1 “泛化問題”的數(shù)學(xué)分析

Kolmogorov定理告訴我們[2]：“對(duì)任意連續(xù)函數(shù)，Ψ:Em→Rn,Y=Ψ(X) ,Em是m維單位立方體:[0,1]m，Ψ可以精確地由一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn).此神經(jīng)網(wǎng)絡(luò)第一層有m個(gè)神經(jīng)元,中間層有(2m+1)個(gè)神經(jīng)元,輸出層有n個(gè)處理單元”.值得注意的是，由于Y=Ψ(X)是定義在Em=[0,1]m或其子集上的連續(xù)函數(shù)，因此自變量X(x1,x2,…,xm)的取值有無限多個(gè)，相應(yīng)的可以有無限個(gè)Y(y1,y2,…,yn) 與之對(duì)應(yīng).

建立神經(jīng)網(wǎng)絡(luò)模型進(jìn)行經(jīng)濟(jì)預(yù)測(cè)的本質(zhì)在于通過神經(jīng)網(wǎng)絡(luò)本身的非線性對(duì)各種經(jīng)濟(jì)系統(tǒng)中隱含的非線性函數(shù)、特征進(jìn)行逼近、提取，最終達(dá)到對(duì)經(jīng)濟(jì)系統(tǒng)進(jìn)行預(yù)測(cè)、評(píng)價(jià)等目的.顯然，要保證神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的信度和效度，最好建立精確實(shí)現(xiàn)(至少在一定程度上實(shí)現(xiàn))映射Y=Ψ(X)的三層神經(jīng)網(wǎng)絡(luò).這里，最佳方法就是給出所有X(x1,x2,…,xm)及其象Y(y1,y2,…,yn)的模式對(duì)，以此建立精確實(shí)現(xiàn)映射Y=Ψ(X) 的三層神經(jīng)網(wǎng)絡(luò).

然而，我們?cè)趯?shí)際建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，盡管經(jīng)濟(jì)系統(tǒng)內(nèi)部的非線性特征、函數(shù)是確定的，但它卻是隱含的、未知的.我們至多能通過統(tǒng)計(jì)資料、調(diào)查實(shí)驗(yàn)手段等得到系統(tǒng)內(nèi)非線性特征的部分信息——有限個(gè)X(x1,x2,…,xm)和Y(y1,y2,…,yn)的對(duì)應(yīng)關(guān)系，這有限個(gè)模式對(duì)便構(gòu)成了網(wǎng)絡(luò)建模的基礎(chǔ).

這有限個(gè)模式對(duì)能不能保證網(wǎng)絡(luò)模型預(yù)測(cè)的效度和信度呢？先看在這有限個(gè)模式對(duì)處，能進(jìn)行精確插值的不同神經(jīng)網(wǎng)絡(luò)有多少個(gè).結(jié)合Kolmogorov定理，我們可以得到下面的結(jié)論：

結(jié)論1在有限個(gè)點(diǎn)X1(x11,x12,…,x1m)，X2(x21,x22,…,x2m), …，Xk(xk1,xk2,…,xkm)，(其中：Xi(xi1,xi2,…,xim)∈Em=[0,1]m,i=1,2,…,k)處具有相同映射Y1(y11,y12,…,y1n)，Y2(y21,y22,…,y2n), …，Yk(yk1,yk2,…,ykn)的三層前饋網(wǎng)絡(luò)有無窮多個(gè)，并且有c個(gè). (c即實(shí)數(shù)集R的“基數(shù)”)

證明: 由Kolmogorov定理存在性顯然,只需證明滿足條件的網(wǎng)絡(luò)有無窮多個(gè).

根據(jù)實(shí)分析中集合間“對(duì)等”[3]的概念，對(duì)于固定的j有：

進(jìn)一步對(duì)于所有的j有：

其中“∏”是集合的笛卡爾乘積.

這樣，就能夠得到c組在點(diǎn):X1(x11,x12,…,x1m)，X2(x21,x22,…,x2m), …，Xk(xk1,xk2,…,xkm)處具有相同映射Y1(y11,y12,…,y1n)，Y2(y21,y22,…,y2n), …，Yk(yk1,yk2,…,ykn)的不同模式對(duì)．由Kolmogorov定理，對(duì)于每一組給定的模式對(duì)都對(duì)應(yīng)一個(gè)三層的前饋神經(jīng)網(wǎng)絡(luò)可以精確逼近，從而至少存在c個(gè)三層網(wǎng)絡(luò)，在點(diǎn)X1(x11,x12,…,x1m)，X2(x21,x22,…,x2m), …，Xk(xk1,xk2,…,xkm)處有相同的映射：Y1(y11,y12,…,y1n)，Y2(y21,y22,…,y2n), …，Yk(yk1,yk2,…,ykn)．證畢！

另外，Kolmogorov定理成立的前提是連續(xù)函數(shù)，要求所研究的系統(tǒng)是連續(xù)系統(tǒng).而經(jīng)濟(jì)現(xiàn)象中的大量復(fù)雜系統(tǒng)都不能確定其連續(xù)性，此時(shí)Kolmogorov定理就不一定成立，這也是神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生泛化問題的本質(zhì)原因之一.

2 “泛化問題”的系統(tǒng)分析

此外，從系統(tǒng)科學(xué)角度來看，利用神經(jīng)網(wǎng)絡(luò)作經(jīng)濟(jì)預(yù)測(cè)時(shí)，其泛化問題還受到以下因素的影響：

(1) 系統(tǒng)外界噪音的干擾：影響經(jīng)濟(jì)系統(tǒng)運(yùn)行的因素復(fù)雜多變，涉及數(shù)據(jù)都是觀測(cè)數(shù)據(jù)，在對(duì)樣本模式對(duì)(X1,Y1), (X2,Y2), …，(Xk,Yk) 進(jìn)行統(tǒng)計(jì)觀測(cè)時(shí)，必然會(huì)受到各種外界噪音的干擾，產(chǎn)生誤差.實(shí)際建模的樣本模式對(duì)是：(X1+x1,Y1+y1), (X2+x2,Y2+y2), …，(Xk+xk,Yk+yk)，其中(xi,yi)是噪音等帶來的偏差.樣本模式對(duì)的準(zhǔn)確性受到影響，自然會(huì)反映到構(gòu)建的網(wǎng)絡(luò)模型上，由此產(chǎn)生泛化問題.

(2) 系統(tǒng)演化過程中外在隨機(jī)性的干擾：經(jīng)濟(jì)系統(tǒng)在演化過程中有時(shí)受到很多外在、偶然隨機(jī)因素的干擾，從而使系統(tǒng)的發(fā)展在一定程度上偏離正常的軌道.此時(shí)，系統(tǒng)內(nèi)部的非線性映射發(fā)生了擾動(dòng)，擾動(dòng)前數(shù)據(jù)得到的神經(jīng)網(wǎng)絡(luò)顯然不能準(zhǔn)確地反應(yīng)擾動(dòng)后的系統(tǒng)規(guī)律，造成“泛化性能”不理想.一個(gè)顯著的例子就是近幾年我國發(fā)生的地質(zhì)、氣象災(zāi)害明顯增多且難以預(yù)知，這對(duì)于區(qū)域的經(jīng)濟(jì)發(fā)展、金融證券、電力供應(yīng)、交通運(yùn)輸?shù)雀鱾€(gè)方面都產(chǎn)生了顯著的影響.

(3) 經(jīng)濟(jì)系統(tǒng)中內(nèi)在隨機(jī)性的影響：系統(tǒng)的非線性程度越高，其內(nèi)在隨機(jī)性就越明顯，系統(tǒng)對(duì)初值的敏感性也越強(qiáng)[4]，經(jīng)濟(jì)復(fù)雜系統(tǒng)尤其如此，這種系統(tǒng)內(nèi)在的隨機(jī)性會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)模型的泛化性能和預(yù)測(cè)效果產(chǎn)生十分嚴(yán)重的負(fù)面影響.假設(shè)系統(tǒng)Y=Ψ(X)在沒有噪音的理想情況下相應(yīng)的模式對(duì)是：(X1,Y1), (X2,Y2), …，(Xk,Yk)，結(jié)合第(1)點(diǎn)，實(shí)際統(tǒng)計(jì)到的模式對(duì)是其近似模式對(duì)：(X1+x1,Y1+y1), (X2+x2,Y2+y2), …，(Xk+xk,Yk+yk)，其中(xi,yi)是噪音帶來的誤差，我們只能將后者作為樣本模式對(duì).

在線性系統(tǒng)中，當(dāng)輸入誤差ΔX=‖(x1,x2,…，xk)‖很小時(shí)，相應(yīng)的輸出誤差ΔY=‖(y1,y2,…,yk)‖也很小，將Y′(Y1+y1,Y2+y2,…,Yk+yk)作為Y(Y1,Y2,…,Yk)的近似是合理的.

而經(jīng)濟(jì)系統(tǒng)大多是非線性的，尤其是近年興起的混沌經(jīng)濟(jì)學(xué)研究表明[5-7]，經(jīng)濟(jì)學(xué)中存在大量混沌系統(tǒng)，它們對(duì)初值極為敏感，系統(tǒng)初始狀態(tài)的“差之毫厘”就會(huì)導(dǎo)致系統(tǒng)演化結(jié)果的“謬以千里”[8].此時(shí)，盡管ΔX=‖(x1,x2,…,xk)‖很小，而由此產(chǎn)生的ΔY=‖(y1,y2,…,yk)‖卻很大，仍然將(Y1+y1,Y2+y2,…,Yk+yk)作為Y(Y1,Y2,…,Yk)的近似便不再合適.

實(shí)際上對(duì)于混沌經(jīng)濟(jì)系統(tǒng)，可以證明下面的結(jié)論2成立.

結(jié)論2對(duì)于混沌經(jīng)濟(jì)系統(tǒng)，單純的前饋神經(jīng)網(wǎng)絡(luò)無法保證預(yù)測(cè)結(jié)果的可靠性.

證明: 設(shè)經(jīng)濟(jì)混沌系統(tǒng)Y=Φ(X)是線性空間X?Rm到線性空間Y?Rn的映射，從而Y=Φ(X)是從X到Y(jié)的泛函.定義線性空間X上的距離d1(X1,X2)=‖X1-X2‖，線性空間Y上的距離d2(Y1,Y2)=‖Y1-Y2‖(距離的具體形式不影響證明)，于是，(X,d1),(Y,d2)都構(gòu)成距離空間.

為便于分析，假設(shè)模型的輸入、輸出誤差可以控制到任意精度，即對(duì)于任意小的正數(shù)ε，都可以保證：

d1(X,X′)=‖X-X′‖<ε,d2(Y,Y′)=‖Y-Y′‖<ε

(1)

另一方面，由混沌系統(tǒng)對(duì)初值的極端敏感性可知，即使d1(X,X′)=‖X-X′‖<ε，由此產(chǎn)生的系統(tǒng)輸出偏差卻很大.即仍然存在一個(gè)很大的正數(shù)M，有：

(2)

3 結(jié)束語

本文以實(shí)分析和混沌理論為工具，對(duì)經(jīng)濟(jì)系統(tǒng)預(yù)測(cè)中前饋神經(jīng)網(wǎng)絡(luò)泛化問題的本質(zhì)進(jìn)行了研究，所得到的結(jié)論對(duì)神經(jīng)網(wǎng)絡(luò)在其他領(lǐng)域的預(yù)測(cè)及泛化問題同樣具有重要的推廣意義.

此外，上述研究過程啟示我們，將其他非線性工具和神經(jīng)網(wǎng)絡(luò)進(jìn)行深度融合有助于增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型本身的非線性能力，改善其泛化性能，提高模型對(duì)經(jīng)濟(jì)系統(tǒng)預(yù)測(cè)的科學(xué)性和可靠性.例如將混沌理論、小波分析、灰色系統(tǒng)等和神經(jīng)網(wǎng)絡(luò)結(jié)合起來，構(gòu)建混沌網(wǎng)絡(luò)、小波網(wǎng)絡(luò)、灰色神經(jīng)網(wǎng)絡(luò)等可以提高網(wǎng)絡(luò)的泛化性能，改進(jìn)預(yù)測(cè)的效果[9,10].從應(yīng)用的角度出發(fā)，持續(xù)和深入地進(jìn)行這方面的研究有著重要的現(xiàn)實(shí)意義.

參考文獻(xiàn)

[1] 周志華.神經(jīng)計(jì)算中若干問題的研究[D].南京:南京大學(xué)博士學(xué)位論文,2000.

[2] Kolmogrov A N. On the representation of continuous function of many variables by superposition of continuous functions of one variable and addition[J]. American Math Society Trans, 1963, 28(1):55-59.

[3] 程其襄，張奠宙，魏國強(qiáng)，等.實(shí)變函數(shù)與泛函分析基礎(chǔ)[M].北京：高等教育出版社，1983.

[4] 孫 霞，吳自勤，黃 畇. 分形原理及其應(yīng)用[M]. 合肥：中國科學(xué)技術(shù)大學(xué)出版社，2003.

[5] 儲(chǔ)海林, 呂小寧, 李 哲.分形與統(tǒng)計(jì)學(xué)[J].統(tǒng)計(jì)研究，2004,(2):35-37.

[6] 張 梅, 蕭其尹.論混沌經(jīng)濟(jì)的演進(jìn)與發(fā)展[J].商業(yè)時(shí)代,2005,(14):10-11.

[7] 羅 勇，羅 猛.混沌、復(fù)雜性及經(jīng)濟(jì)分析[J].統(tǒng)計(jì)與決策，2006,(6)：137-140.

[8] 黃潤生，黃 浩.混沌及其應(yīng)用[M].武漢：武漢大學(xué)出版社，2000.

[9] 胡俊勝，肖冬榮，夏景明.基于小波神經(jīng)網(wǎng)絡(luò)的經(jīng)濟(jì)預(yù)測(cè)研究[J].統(tǒng)計(jì)與決策，2005,(6):18-20.

[10] 周志剛，郭 科，陳麗紅.時(shí)序數(shù)據(jù)預(yù)測(cè)的灰色神經(jīng)網(wǎng)絡(luò)技術(shù)[J].統(tǒng)計(jì)與決策，2007,(1):128-129.