基于自適應(yīng)極限學(xué)習(xí)機(jī)模型的經(jīng)濟(jì)增長率預(yù)測(cè)

姜閃閃，夏 旻

（1.南開大學(xué)商學(xué)院，天津 300071；2.南京信息工程大學(xué)信息與控制學(xué)院，南京 210044）

0 引言

經(jīng)濟(jì)增長預(yù)測(cè)歷來都是經(jīng)濟(jì)學(xué)領(lǐng)域研究的熱點(diǎn)，經(jīng)濟(jì)預(yù)測(cè)支持著政府部門的戰(zhàn)略決策。利用模型對(duì)經(jīng)濟(jì)問題進(jìn)行分析研究是重要的分析手段之一。模型選擇對(duì)預(yù)測(cè)精度起著關(guān)鍵的作用，如果沒有合理的建模方法，預(yù)測(cè)精度會(huì)很低，給決策者以錯(cuò)誤的導(dǎo)向。經(jīng)濟(jì)時(shí)間序列預(yù)測(cè)一直是預(yù)測(cè)領(lǐng)域的研究熱點(diǎn)[1]，針對(duì)經(jīng)濟(jì)時(shí)間序列，國內(nèi)外學(xué)者對(duì)其進(jìn)行了大量的研究，形成了眾多的預(yù)測(cè)方法，主要有：簡單移動(dòng)平均、自回歸滑動(dòng)平均、線性回歸、Kalman濾波[2]和非參數(shù)回歸模型等。傳統(tǒng)的方法，如回歸分析，指數(shù)平滑法和自回歸移動(dòng)整合（ARIMA），都是基于線性模型的[3]。所有這些方法都是假定預(yù)測(cè)變量是線性關(guān)系，很難把握宏觀經(jīng)濟(jì)系統(tǒng)中的非線性現(xiàn)象?，F(xiàn)代統(tǒng)計(jì)學(xué)習(xí)理論中神經(jīng)網(wǎng)絡(luò)在非線性時(shí)間序列模中應(yīng)用最為廣泛，該方法具有更好的預(yù)測(cè)性能和預(yù)測(cè)效果,能夠有效實(shí)現(xiàn)經(jīng)濟(jì)數(shù)據(jù)的短期預(yù)測(cè)[4]。人工神經(jīng)網(wǎng)絡(luò)以其良好的非線性品質(zhì)、靈活而有效的自組織學(xué)習(xí)方法以及完全分布的存儲(chǔ)結(jié)構(gòu)等特點(diǎn)[5,6]。許多文獻(xiàn)證實(shí)神經(jīng)網(wǎng)絡(luò)方法在預(yù)測(cè)中的效果優(yōu)于其它的傳統(tǒng)方法[7,8]。而在國內(nèi)也有大量的文章證明了該人工智能算法既可以用于短期經(jīng)濟(jì)預(yù)測(cè)，又可用于中長期經(jīng)濟(jì)預(yù)測(cè)[9,10,11]。神經(jīng)網(wǎng)絡(luò)相對(duì)于其他的學(xué)習(xí)模型具有更強(qiáng)的非線性化處理能力，更好的魯棒性及容錯(cuò)性，但是神經(jīng)網(wǎng)絡(luò)自身存在的一些缺點(diǎn)，具有學(xué)習(xí)速度較慢、過擬合、迭代次數(shù)過多、求解易于陷入局部極小等缺點(diǎn)。

極限學(xué)習(xí)機(jī)（Extreme Learning Machine,ELM）是最近提出來的一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。簡單地來說它是一種基于單層前饋神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)算法模型。ElM作為一種新的學(xué)習(xí)算法在保證網(wǎng)絡(luò)具有良好泛化性能的同時(shí)，極大的提高了網(wǎng)絡(luò)的學(xué)習(xí)速度，并且避免了基于梯度下降學(xué)習(xí)算法中許多問題，如局部最小、迭代次數(shù)多、性能指標(biāo)以及學(xué)習(xí)率的確定等。然而，由于神經(jīng)網(wǎng)絡(luò)對(duì)于模型建立缺乏解析式的建模，神經(jīng)網(wǎng)絡(luò)可能遭受欠擬合或過度擬合，一種網(wǎng)絡(luò)過于復(fù)雜可能適合不僅信號(hào)而且噪音并導(dǎo)致過度擬合。為了解決這一問題，本文基于極限學(xué)習(xí)機(jī)，根據(jù)輸入數(shù)據(jù)的自適應(yīng)度量提出了一種新穎的神經(jīng)網(wǎng)絡(luò)模型，輸出數(shù)據(jù)是由一種混合機(jī)制進(jìn)化而來。模型輸入的自適應(yīng)度量可以適應(yīng)局部變化的趨勢(shì)和振幅。輸入的網(wǎng)絡(luò)最接近歷史數(shù)據(jù)來避免由于訓(xùn)練數(shù)據(jù)和輸入數(shù)據(jù)之間的大的差異導(dǎo)致預(yù)測(cè)誤差急劇增加。在使用所提出的混合輸出的機(jī)制預(yù)測(cè)結(jié)果的相對(duì)誤差可以調(diào)整，使預(yù)測(cè)結(jié)果更加準(zhǔn)確。實(shí)驗(yàn)結(jié)果表明，該模型優(yōu)于其他傳統(tǒng)模型。

1 極限學(xué)習(xí)機(jī)模型

神經(jīng)網(wǎng)絡(luò)相對(duì)于其他的學(xué)習(xí)模型具有更強(qiáng)的非線性化處理能力，更好的魯棒性及容錯(cuò)性。針對(duì)神經(jīng)網(wǎng)絡(luò)處理過程中遇到的收斂速度慢，容易陷入局部最優(yōu),初始參數(shù)對(duì)結(jié)果的影響較大等問題提出了極限學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)來實(shí)現(xiàn)經(jīng)濟(jì)預(yù)測(cè)。ElM作為一種新的學(xué)習(xí)算法在保證網(wǎng)絡(luò)具有良好泛化性能的同時(shí)，極大的提高了網(wǎng)絡(luò)的學(xué)習(xí)速度，并且避免了基于梯度下降學(xué)習(xí)算法中許多問題，如局部最小、迭代次數(shù)多、性能指標(biāo)以及學(xué)習(xí)率的確定等，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。以下是ELM的實(shí)現(xiàn)過程：

圖1 神經(jīng)網(wǎng)絡(luò)構(gòu)造

對(duì)N個(gè)學(xué)習(xí)樣本(xi，yi)，xi為輸入樣本，yi為輸出樣本，i=1，2，...，N ，其中，xi=[xi1，xi2，...，xin]∈ Rn，yi=[yi1，yi2，...，yim]∈Rm。如果隱層節(jié)點(diǎn)個(gè)數(shù)為，激活函數(shù)為g(x)可以表示為：

通過N個(gè)樣本的學(xué)習(xí)，上述方程可以表述為：

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)通常采用誤差反向傳播迭代調(diào)整權(quán)值。不同于傳統(tǒng)的學(xué)習(xí)方式，極限學(xué)習(xí)機(jī)的隱含層節(jié)點(diǎn)偏置值和輸入權(quán)值在網(wǎng)絡(luò)訓(xùn)練時(shí)可隨機(jī)給定，那么矩陣H為常數(shù)矩陣，Hβ=Y就成為線性方程組，輸出權(quán)值可以通過最小二乘解的方式得到，即:

H+是矩陣H的Moore-Penrose廣義逆。通過極限學(xué)習(xí)的方式得到的網(wǎng)絡(luò)有一下一些特性：(1)網(wǎng)絡(luò)的最小訓(xùn)練誤差可以直接得到;(2)可以獲得權(quán)值的最小范數(shù)并且得到最優(yōu)的泛化性能;(3)權(quán)值的最小二乘解是唯一的，因此網(wǎng)絡(luò)不會(huì)出現(xiàn)局部最優(yōu)解。由于極限學(xué)習(xí)機(jī)的權(quán)值是由Moore-Penrose廣義逆得到的，因此通常設(shè)置≤N。

2 自適應(yīng)極限學(xué)習(xí)機(jī)模型

由于神經(jīng)網(wǎng)絡(luò)對(duì)于模型建立缺乏一個(gè)系統(tǒng)化的建模，神經(jīng)網(wǎng)絡(luò)可能遭受欠擬合或過度擬合。過擬合是特別具誤導(dǎo)性的，因?yàn)樗苋菀讓?dǎo)致預(yù)測(cè)遠(yuǎn)遠(yuǎn)超出了實(shí)際數(shù)據(jù)。為了減少這一缺點(diǎn)的影響，本文提出了一種基于K近鄰和ELM的混合方法進(jìn)行經(jīng)濟(jì)預(yù)測(cè)。在這個(gè)模型中，由于測(cè)試數(shù)據(jù)可能會(huì)遭受不確定性，使用k近鄰對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，使輸入數(shù)據(jù)更加接近訓(xùn)練樣本，使得網(wǎng)絡(luò)輸出更加可靠。首先，初始化測(cè)試數(shù)據(jù)Q=[q1，q2，…qn](qj，j=1，2，…，N 表示第j個(gè)測(cè)試數(shù)據(jù))，這時(shí)為網(wǎng)絡(luò)輸入源數(shù)據(jù)進(jìn)行預(yù)處理。采用k近鄰方法將測(cè)試數(shù)據(jù)集Q=[q1，q2，…qn]與訓(xùn)練模式進(jìn)行對(duì)比。本文中采用歐式距離來定義測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)之間的差異性：

基于這一策略選擇Q的k近鄰為 Xd1，Xd2，…Xdk,基于k近鄰預(yù)處理ELM的輸入數(shù)據(jù)，ELM網(wǎng)絡(luò)的輸入向量可以被定義為：

對(duì)于神經(jīng)網(wǎng)絡(luò)來講，即使有相同的學(xué)習(xí)樣本，ELM每次學(xué)習(xí)的網(wǎng)絡(luò)權(quán)值都是不一樣的。因此，預(yù)測(cè)ELM的結(jié)果一定是不同的。因此，本文對(duì)每一次預(yù)測(cè)重復(fù)s次，然后取平均值，以獲得更高的預(yù)測(cè)精度，并具有更可靠的結(jié)果。所提出的方法的算法的步驟如下。

步驟2：基于方程（7）使用的歐氏空間距離比較測(cè)試數(shù)據(jù)集 Q=[q1，q2，…qn]與訓(xùn)練數(shù)據(jù)。

步驟3：根據(jù)公式（8）選擇Q的k近鄰 Xd1，Xd2，…Xdk,初始化神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。

步驟4：應(yīng)用神經(jīng)網(wǎng)絡(luò)得到初步預(yù)測(cè)結(jié)果。

步驟5：利用相同的數(shù)據(jù)重復(fù)步驟1和步驟4 s次，取s次預(yù)測(cè)的平均值作為最終的預(yù)測(cè)結(jié)果。

為了與其它方法做仿真比較，本文利用歸一化均方誤差（NMSE）和絕對(duì)平均百分比誤差（MAPE）來作為標(biāo)準(zhǔn)。對(duì)于一個(gè)時(shí)間序列，歸一化均方誤差的定義如下：

上式中，yi是真實(shí)數(shù)據(jù)，是預(yù)測(cè)數(shù)據(jù)，M 代表被預(yù)測(cè)數(shù)據(jù)的個(gè)數(shù)。σ2表示從源數(shù)據(jù)估計(jì)得來的方差。絕對(duì)平均百分比誤差被視為標(biāo)準(zhǔn)的統(tǒng)計(jì)性能指標(biāo)之一，定義如下：

3 經(jīng)濟(jì)增長預(yù)測(cè)結(jié)果

本文的所有測(cè)試數(shù)據(jù)來自國家統(tǒng)計(jì)局官網(wǎng)，這用改革開放以來1978～2012年的經(jīng)濟(jì)數(shù)據(jù)來驗(yàn)證本文所提方法的有效性。本文利用多個(gè)經(jīng)濟(jì)指標(biāo)進(jìn)行研究，這些經(jīng)濟(jì)指標(biāo)包括：固定資產(chǎn)投入、財(cái)政收入、財(cái)政投入、國民收入指數(shù)、國民消費(fèi)指數(shù)、進(jìn)出口總額、居民消費(fèi)價(jià)格指數(shù)、第一產(chǎn)業(yè)增加值指數(shù)、第二產(chǎn)業(yè)增加值指數(shù)、第三產(chǎn)業(yè)增加值指數(shù)、房地產(chǎn)產(chǎn)業(yè)增加指數(shù)、工業(yè)增加值指數(shù)、金融業(yè)增加值指數(shù)、批發(fā)和零售業(yè)增加值指數(shù)、商品零售價(jià)格指數(shù)等15個(gè)。這些經(jīng)濟(jì)指標(biāo)在預(yù)測(cè)經(jīng)濟(jì)增長率的時(shí)候并不一定都是有效的，而且利用的經(jīng)濟(jì)指標(biāo)越多，模型越復(fù)雜，得到的結(jié)果也未必更精確。已有的一些研究主要利用人工經(jīng)驗(yàn)的方式選取其中的幾個(gè)指標(biāo)來對(duì)經(jīng)濟(jì)增長進(jìn)行預(yù)測(cè)，這樣的方式往往不能選取有效的經(jīng)濟(jì)指標(biāo)，從而使得預(yù)測(cè)的準(zhǔn)確度不高。為了有效的選擇合適的經(jīng)濟(jì)指標(biāo)，我們首先利用自回歸的方式選擇和經(jīng)濟(jì)增長相關(guān)度高的經(jīng)濟(jì)指標(biāo)。在此基礎(chǔ)上然后利用神經(jīng)網(wǎng)絡(luò)對(duì)經(jīng)濟(jì)增長進(jìn)行預(yù)測(cè)。

為了驗(yàn)證本文方法的有效性，本文將1978～2007的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，2008～2012的數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)。由于2008以來發(fā)生全球經(jīng)濟(jì)危機(jī)，經(jīng)濟(jì)增長相比之前存在各種不確定性，因此2008年之后的經(jīng)濟(jì)增長預(yù)測(cè)被研究人員認(rèn)為是很困難的一個(gè)工作。為了尋找有效的經(jīng)濟(jì)指標(biāo)，本文首先利用自回歸（AR）模型來擬合經(jīng)濟(jì)的增長率：

其中 y為經(jīng)濟(jì)增長率，xi（i=1,2,...,15）為各種經(jīng)濟(jì)指標(biāo)。ai（i=0,1,2,...,15）為系數(shù)，ai的絕對(duì)值越大代表經(jīng)濟(jì)指標(biāo)xi對(duì)經(jīng)濟(jì)增長的影響越大。自回歸模型擬合結(jié)果如圖2所示，可以看出自回歸模型可以很好的擬合各經(jīng)濟(jì)指標(biāo)和經(jīng)濟(jì)增長的關(guān)系。自回歸得到的各個(gè)經(jīng)濟(jì)指標(biāo)對(duì)經(jīng)濟(jì)增長的相關(guān)度結(jié)果如表1所示。從表1可以看出和經(jīng)濟(jì)增長相關(guān)度高的經(jīng)濟(jì)指標(biāo)主要有：國民收入指數(shù)、消費(fèi)價(jià)格指數(shù)、第一產(chǎn)業(yè)增加值指數(shù)、第二產(chǎn)業(yè)增加值指數(shù)、第三產(chǎn)業(yè)增加值指數(shù)、工業(yè)增加值指數(shù)和商品價(jià)格指數(shù)。這之前的很多文獻(xiàn)中使用的經(jīng)濟(jì)指標(biāo)不太一樣。比如，很多研究人員曾認(rèn)為固定資產(chǎn)投入和經(jīng)濟(jì)的相關(guān)度很高，但是數(shù)據(jù)表明并非如此。這是由于固定資產(chǎn)的投入主要由政府主導(dǎo)，而政府的主導(dǎo)的大力度的固定資產(chǎn)投入大部分是為了在經(jīng)濟(jì)下滑時(shí)保住經(jīng)濟(jì)的增長，大力度的固定資產(chǎn)投入很多是在經(jīng)濟(jì)不景氣的情況下產(chǎn)生的，因此固定資產(chǎn)的投入和經(jīng)濟(jì)增長存在弱的負(fù)相關(guān)。

表1 各經(jīng)濟(jì)指標(biāo)和經(jīng)濟(jì)增長的相關(guān)度

圖2 回歸模型擬合各經(jīng)濟(jì)指標(biāo)和經(jīng)濟(jì)增長的關(guān)系

基于國民收入指數(shù)、消費(fèi)價(jià)格指數(shù)、第二產(chǎn)業(yè)增加值指數(shù)、第三產(chǎn)業(yè)增加值指數(shù)利用自適應(yīng)極限學(xué)習(xí)機(jī)進(jìn)行經(jīng)濟(jì)增長的預(yù)測(cè)。AR模型，BP神經(jīng)網(wǎng)絡(luò)模型，自組織模型是已有的經(jīng)濟(jì)增長預(yù)測(cè)的常用模型，為了驗(yàn)證本文方法的有效性，將預(yù)測(cè)結(jié)果和AR模型，BP神經(jīng)網(wǎng)絡(luò)模型，自組織模型，和單一的極限學(xué)習(xí)機(jī)模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。圖3給出了各種模型預(yù)測(cè)經(jīng)濟(jì)增長的結(jié)果，從圖3中可以看出本文提出的方法可以很好的預(yù)測(cè)出經(jīng)濟(jì)增長率。表2給出了各種模型的預(yù)測(cè)精度對(duì)比。從表2可以看出，AD-ELM方法的兩種誤差都優(yōu)于其它三種方法，NMSE和MAPE分別只有0.0345和1.06%。從表2中可以得到，ELM網(wǎng)絡(luò)比傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)結(jié)果要好，這是由于ELM解決了BP網(wǎng)絡(luò)的迭代次數(shù)多、陷入局部最優(yōu)等缺陷。另外，AD-ELM方法的預(yù)測(cè)精度比ELM高，表明本文的自適應(yīng)學(xué)習(xí)機(jī)制通過對(duì)歷史樣本的有效利用，可以提高預(yù)測(cè)的精度。

表2 各種模型的預(yù)測(cè)精度對(duì)比

圖3 各種模型預(yù)測(cè)經(jīng)濟(jì)增長的結(jié)果

4 結(jié)論

如何利用各種經(jīng)濟(jì)指標(biāo)實(shí)現(xiàn)經(jīng)濟(jì)增長的預(yù)測(cè)是經(jīng)濟(jì)研究領(lǐng)域的一個(gè)重要課題，實(shí)現(xiàn)精確的經(jīng)濟(jì)增長預(yù)測(cè)對(duì)政府的決策有重要的支持作用。傳統(tǒng)的經(jīng)濟(jì)預(yù)測(cè)模型主要以線性模型為主，并且人為的選擇經(jīng)濟(jì)指標(biāo)來預(yù)測(cè)經(jīng)濟(jì)的增長。而線性模型很難捕捉經(jīng)濟(jì)過程中的非線性現(xiàn)象，并且人為選擇經(jīng)濟(jì)指標(biāo)并不科學(xué)。為了解決這些問題，本文首先利用自回歸的方法提取與經(jīng)濟(jì)增長相關(guān)系數(shù)高的經(jīng)濟(jì)指標(biāo)，然后提出了一種基于極限學(xué)習(xí)機(jī)理論和k近鄰理論的自適應(yīng)極限學(xué)習(xí)機(jī)模型用于經(jīng)濟(jì)時(shí)間序列預(yù)測(cè)。本方法比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)、自回歸模型、自組織模型、單一的極限學(xué)習(xí)機(jī)模型的精度更高，可以很好的預(yù)測(cè)經(jīng)濟(jì)的增長。

[1]Franses P.H著.商業(yè)和經(jīng)濟(jì)預(yù)測(cè)中的時(shí)間序列模型[M].北京:中國人民大學(xué)出版社，2002．

[2]Huang S C.Online Option Price Forecasting By Using Unscented Kalman Filters and Support Vector Machines[J].Expert Systems With Applications,2008,(34).

[3]Brooks C.Introductory Econometrics For Finance[M].Cambridge University Press,Cambridge,UK,2002.

[4]鄒曉玫,修春波.混沌算子網(wǎng)絡(luò)在經(jīng)濟(jì)數(shù)據(jù)預(yù)測(cè)中的應(yīng)用研究[J].廣西大學(xué)學(xué)報(bào),2011,(5).

[5]Funahashi K.On The Approximate Realization of Continuous Mappings By Neural Networks[J].Neural Networks,1989,(2).

[6]Cybenko G.Approximation By Superpositions of A Sigmoidal Function[J].Mathematics of Control Signals and Systems,1989,(2).

[7]Wang T,Chien S.Forecasting Innovation Performance Via Neural Networks-A Case of Taiwanese Manufacturing Industry[J].Technovation,2006,(26).

[8]Sahoo G B,Ray C.Flow Forecasting for A Hawaii Stream Using Rating Curves and Neural Networks[J].Journal of Hydrology,2006,(317).

[9]郝香芝,李少穎.我國GDP時(shí)間序列的模型建立與預(yù)測(cè)[J].統(tǒng)計(jì)與決策,2007.

[10]劉全,劉汀.基于ARIMA的多元時(shí)間序列神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型研究[J].統(tǒng)計(jì)與決策,2009,(11).

[11]王鑫,肖枝洪.基于干預(yù)模型與BP神經(jīng)網(wǎng)絡(luò)集成的GDP預(yù)測(cè)[J].統(tǒng)計(jì)與決策,2012,(20).