引入小波分解的神經(jīng)網(wǎng)絡(luò)預(yù)測
——以玉米大宗商品價(jià)格序列為例

霍永良

(廣州華商學(xué)院 數(shù)據(jù)科學(xué)學(xué)院, 廣州 511300)

玉米、水稻、小麥和大豆并稱為中國四大糧食作物,其中玉米產(chǎn)量的大約六成用作飼料谷物,其余的用作食品用麥片、甜味劑、工業(yè)用酒精等。隨著經(jīng)濟(jì)水平發(fā)展和生活品質(zhì)提升,全球市場對肉、蛋、奶的需求都在增加,致使玉米的市場用途越來越廣泛。在國際貿(mào)易中,中國是其中一個(gè)主要玉米進(jìn)口國,而出口國多分布在美洲和歐洲;在當(dāng)前復(fù)雜動(dòng)蕩多變的國際局勢之下,影響價(jià)格走勢的因素進(jìn)一步增多凸顯,作為大宗農(nóng)產(chǎn)品重要品種之一的玉米,與其他大宗商品共同構(gòu)成相互關(guān)聯(lián)的多邊網(wǎng)絡(luò)。加強(qiáng)研究大宗農(nóng)產(chǎn)品的價(jià)格預(yù)測,直接關(guān)系到國家糧食安全戰(zhàn)略。要增強(qiáng)中國農(nóng)產(chǎn)品進(jìn)出口的主動(dòng)權(quán),加大貿(mào)易談判的籌碼,其中必不可少的一個(gè)環(huán)節(jié)是追蹤、預(yù)測包括玉米在內(nèi)的大宗農(nóng)產(chǎn)品的國際價(jià)格。

世界銀行每月發(fā)布《大宗商品市場展望》報(bào)告(WorldBankCommodityMarketsOutlook),給出全球主要大宗商品的月度價(jià)格;現(xiàn)采集玉米從1960年1月到2022年8月共752期數(shù)據(jù),作為數(shù)據(jù)集,時(shí)間跨度為62年。

1 理論方法

傳統(tǒng)的時(shí)間序列分析,通常把數(shù)據(jù)信號(hào)分解為季節(jié)性、周期性、隨機(jī)性和趨勢4個(gè)組成部分,然后使用回歸方法進(jìn)行預(yù)測。表面上這種思路考慮到數(shù)據(jù)對象本身對現(xiàn)實(shí)世界的映射,但有兩種情況值得注意:一是并非所有應(yīng)用場景都在上述4種維度上有明顯表征;②現(xiàn)實(shí)世界的復(fù)雜性決定了這四種維度無法完整囊括所有場景特性。

從數(shù)理工具的角度看,需要存在工具去分解呈現(xiàn)時(shí)間序列的數(shù)值信號(hào),這里說的“分解”顯然不僅僅針對上面提及的4個(gè)傳統(tǒng)角度,該工具應(yīng)具備一定的自適應(yīng)能力,探求包含且不僅包含這4個(gè)方面特征的能力。正值又一輪人工智能發(fā)展高潮的當(dāng)下,作為分類器和函數(shù)逼近工具的神經(jīng)網(wǎng)絡(luò),在多個(gè)實(shí)踐領(lǐng)域都表現(xiàn)出強(qiáng)大的“類人腦”能力;帶有強(qiáng)烈預(yù)測需求的時(shí)間序列場景也逐漸引入神經(jīng)網(wǎng)絡(luò)的運(yùn)用,產(chǎn)生了大量有別于傳統(tǒng)回歸方法的新思路。

從“可解釋性人工智能”的角度看,時(shí)間序列信號(hào)的傳統(tǒng)處理方式偏重于可解釋、可理解的方向,一定程度上犧牲了部分難以直白解釋的信號(hào)特征;神經(jīng)網(wǎng)絡(luò)方案則傾向于內(nèi)核黑盒子的自適應(yīng)、自處理手法,由此不可避免地存在隨機(jī)性和盲目性,從而難以在應(yīng)用場合針對具體事物作出事理性的解釋。

在上述兩者之間事實(shí)上需要建立合理的數(shù)理彌合機(jī)制,既充分發(fā)揮兩方面優(yōu)勢,又能提供應(yīng)對各自缺陷的方案。

自一百多年前Alfred Haar發(fā)表關(guān)于正交函數(shù)系統(tǒng)(orthogonal function system)以來,多個(gè)領(lǐng)域已經(jīng)見證了小波理論的強(qiáng)大力量,盡管其系統(tǒng)性工程理論和應(yīng)用在20世紀(jì)80年代初才正式拉開帷幕[1-3]。小波理論同時(shí)具有理論深刻和應(yīng)用廣泛的雙重意義,無論對數(shù)學(xué)還是對工程應(yīng)用都具有重要價(jià)值。過去近40年已涌現(xiàn)出大量文獻(xiàn)和實(shí)踐,把小波理論運(yùn)用到圖像視頻處理、生物醫(yī)學(xué)工程、數(shù)字信號(hào)處理、工程故障診斷等多個(gè)領(lǐng)域;該理論以其獨(dú)特的自適應(yīng)、多尺度解釋能力,成為不容忽視的強(qiáng)大數(shù)學(xué)工具[4]。

1.1 小波變換

在許多應(yīng)用領(lǐng)域中,工程上需要使用傅立葉變換提取給定信號(hào)f(t)在特定局部時(shí)間的頻率(ω)成分,其突出缺陷在于時(shí)域上沒有分辨率,即無法從中獲悉某種頻率成分發(fā)生在哪些時(shí)間內(nèi),因此僅對平穩(wěn)信號(hào)有效[5]。

(1)

式中:f(x)為信號(hào)函數(shù)。

實(shí)踐中的信號(hào)幾乎都是非平穩(wěn)信號(hào),頻域特征隨時(shí)間變化,短時(shí)傅里葉變換由此應(yīng)運(yùn)而生:若要定位頻率則需保留頻率ω變量,若要定位時(shí)間則需保留時(shí)間t變量,短時(shí)傅里葉變換定義如下。

(2)

式中:*為復(fù)共軛;g(t)為以時(shí)間τ為中心的滑動(dòng)窗口函數(shù);基函數(shù)e-iωt則起頻限作用;Gf(ω,τ)為信號(hào)f(t)在時(shí)刻τ附近、頻率為ω的信號(hào)成分。一旦確定窗口函數(shù)g(t),時(shí)頻窗口的時(shí)寬和頻寬不變,意味著分辨率也固定下來。由于頻率跟周期成反比,高頻信號(hào)需要窄的時(shí)間窗口,低頻信號(hào)需要寬的時(shí)間窗口,短時(shí)傅里葉變換的瓶頸由此產(chǎn)生。20世紀(jì)80年代初法國工程師Morlet創(chuàng)造性地提出了小波理論,取得突破性成果[6]。

首先,小波是函數(shù)空間L2(R)中滿足下面條件的一個(gè)函數(shù)或信號(hào)φ(t),小波函數(shù)的可容許條件的公式為

(3)

把函數(shù)φ(t)進(jìn)行伸縮和平移,可得函數(shù)

(4)

式中:a,b∈R,且a>0;a為伸縮因子(尺度參數(shù));b為平移因子(位移參數(shù))。相應(yīng)的連續(xù)小波變換定義為

(5)

式中:WT為小波變換(wavelet transform);連續(xù)信號(hào)f(t)的參數(shù)a和b可連續(xù)取值。

(6)

相應(yīng)地,離散小波變換定義為

(7)

1.2 小波分解

從理論上講,小波定義在函數(shù)空間L2(R)中,該空間由平方可積的函數(shù)組成,意味著小波分析中的信號(hào)都是平方可積,那么其信號(hào)能量必須是有限的。正如前文所述,小波變換通過尺度參數(shù)和位移參數(shù),在一個(gè)時(shí)間序列的整個(gè)頻譜上分析出高頻的細(xì)節(jié)分量和低頻的逼近分量;也就是說信號(hào)函數(shù)f(t)被表示為一個(gè)逐級(jí)逼近的極限,整個(gè)過程包含一系列逐級(jí)逼近子空間{Vj,j∈Z}的子過程,每一個(gè)逼近過程都具有不同的分辨率和尺度。根據(jù)Stephane Mallat 和 Yves Meyer在20世紀(jì)80年代末提出的多分辨分析理論[7],存在一個(gè)函數(shù)φ(t)∈V0,其對應(yīng)閉子空間{φ(t-n)}n∈Z形成零尺度空間V0的正交基,該函數(shù)稱為尺度函數(shù)。一系列具有不同位移參數(shù)的同一尺度函數(shù)φ(t)組成了閉子空間{Vj,j∈Z}的集合。小波變換的多種離散形式中,使用比較普遍的一種形式是取式(7)中的a0=2以及b0=1(稱為二元離散化)[8]。那么小波函數(shù)φ(t)和尺度函數(shù)φ(t)之間的內(nèi)在關(guān)系可表示為如下的雙尺度方程[9]。

尺度方程定義為

(8)

小波方程定義為

(9)

式中:φ(t)為尺度函數(shù);n為形成零尺度空間V0的正交基的參數(shù);展開系數(shù)h(n)為低通濾波系數(shù),內(nèi)積形式的計(jì)算公式為

h(n)=〈φ(t),φ-1,n(t)〉

(10)

展開系數(shù)g(n)為高通濾波系數(shù),內(nèi)積形式的計(jì)算公式為

g(n)=〈φ(t),φ-1,n(t)〉

(11)

尺度方程φ(t)經(jīng)過伸縮和平移后,可得

n∈Z,j∈Z,k∈Z

(12)

令m=2k+n,由式(12)可得

m∈Z,j∈Z,k∈Z

(13)

基于Mallat算法,通過h(n)和g(n)這樣一對濾波器組,可以把信號(hào)分解為低頻的逼近分量和高頻的細(xì)節(jié)分量,實(shí)現(xiàn)諸如特征提取、噪聲消除等的數(shù)據(jù)預(yù)處理功能,具體為

m∈Z,j∈Z,k∈Z

(14)

式中:h為低通濾波系數(shù);g為高通濾波系數(shù);aj,k代表信號(hào)的低頻分量,稱為逼近系數(shù),通過把前一個(gè)尺度的逼近系數(shù),跟低通濾波器系數(shù)進(jìn)行卷積運(yùn)算獲得;dj,k代表信號(hào)的高頻分量,稱為細(xì)節(jié)系數(shù),通過把前一個(gè)尺度的逼近系數(shù)跟高通濾波器系數(shù)進(jìn)行卷積運(yùn)算獲得。圖1展現(xiàn)了基于Mallat算法對原始信號(hào)進(jìn)行兩層小波分解的過程。

圖1 基于Mallat算法的小波分解

離散小波變換的一個(gè)重要應(yīng)用是信號(hào)去噪,其核心目標(biāo)包括抑制噪聲和信號(hào)重構(gòu)兩個(gè)方面,一般來說包括三個(gè)步驟:首先挑選一個(gè)母小波函數(shù)和分解的層數(shù)j,進(jìn)行離散小波變換到j(luò)層;然后對每一個(gè)分解層級(jí)分別選擇一個(gè)閾值,應(yīng)用到對應(yīng)的細(xì)節(jié)系數(shù);最后使用經(jīng)過閾值處理過的每一層細(xì)節(jié)系數(shù),以及第j層原始的逼近系數(shù)重構(gòu)去噪后的信號(hào)。例如圖1中,信號(hào)重構(gòu)過程表達(dá)為信號(hào)s=d1+a1=d1+d2+a2。

1.3 小波神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是當(dāng)前人工智能熱潮中的重要推手,無論作為函數(shù)逼近器還是分類器,都表現(xiàn)出良好性能。從經(jīng)典的M-P模型(McCulloch-Pitts model)、多層感知機(jī)模型(multi-layer percep-tron,MLP)、BP模型(error back propagation model),到卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN),及其后數(shù)不勝數(shù)的衍生優(yōu)化模型,都彰顯著神經(jīng)網(wǎng)絡(luò)強(qiáng)大的挖掘潛力和廣闊的應(yīng)用前景。

已有文獻(xiàn)介紹小波分析理論跟神經(jīng)網(wǎng)絡(luò)模型相結(jié)合,進(jìn)行時(shí)間序列分析[10-11]。把小波分解引入神經(jīng)網(wǎng)絡(luò)、用于預(yù)測時(shí)間序列信號(hào),主要基于以下幾點(diǎn)考慮。

1)現(xiàn)實(shí)世界中的時(shí)間序列數(shù)據(jù)往往帶有隨機(jī)噪聲,例如大宗農(nóng)產(chǎn)品的價(jià)格波動(dòng)更是如此,疊加政治、經(jīng)濟(jì)、科技、自然乃至軍事等層面的大量周期性和突發(fā)性影響因素。然而傳統(tǒng)的平均回歸方法要求數(shù)據(jù)序列是穩(wěn)定的,且本質(zhì)上只能捕捉線性關(guān)系。

2)離散小波變換的分解和重構(gòu)適合對時(shí)間序列信號(hào)做特征提取和噪聲去除,尤其是Mallat算法強(qiáng)于自適應(yīng)獲取序列信號(hào)的高頻分量,十分適合處理非線性價(jià)格波動(dòng)的場景。

3)小波變換的過程可視為小波基函數(shù)在時(shí)域內(nèi)與原始信號(hào)做內(nèi)積運(yùn)算提取小波域特征,神經(jīng)網(wǎng)絡(luò)則使用隱藏層權(quán)重和卷積核對原始輸入進(jìn)行內(nèi)積運(yùn)算,因此兩者具備融合、相互優(yōu)化的基礎(chǔ)。

4)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)決定了在每一神經(jīng)層中進(jìn)行并行計(jì)算,其運(yùn)算效率優(yōu)于平均回歸方法,響應(yīng)實(shí)際場景中縮短計(jì)算時(shí)耗的期望。

經(jīng)典的全連接神經(jīng)網(wǎng)絡(luò)一般設(shè)置輸入層、隱藏層和輸出層的三層結(jié)構(gòu),各層之間的節(jié)點(diǎn)沒有直接連接[12];對于自然語言文本、價(jià)格時(shí)間序列等數(shù)據(jù),其前后樣本帶有確定性的先后順序關(guān)聯(lián)性質(zhì)并沒有體現(xiàn)在模型訓(xùn)練過程中,因此不適宜直接使用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)則是一種專門處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[13],基本思路是循環(huán)神經(jīng)網(wǎng)絡(luò)隱藏層的值h(t)綜合取決于本輪輸入x和上一輪隱藏層的值h(t-1),數(shù)學(xué)表達(dá)為

Zt=g(DHt)

(15)

式中:Ht=f(WXt+VHt-1);Zt為輸出層的值向量;D為從隱藏層到輸出層的權(quán)重矩陣;Ht為t時(shí)刻隱藏層的值向量;W為從輸入層到隱藏層的權(quán)重矩陣;V為隱藏層上一輪的值作為本輪輸入的權(quán)重矩陣;g和f為常見激活函數(shù)。具體如圖2所示。

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)

1.4 模型構(gòu)造

基于上述離散小波變換和循環(huán)神經(jīng)網(wǎng)絡(luò)的理論,結(jié)合含有非周期性高頻分量的價(jià)格序列的預(yù)測需求,構(gòu)造以下小波神經(jīng)網(wǎng)絡(luò)。

2)序列xt分解為(j+1)個(gè)分量序列,每一個(gè)分量序列各自應(yīng)用到如圖3結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。

圖3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)詳情如下。

輸入層含m個(gè)節(jié)點(diǎn),令i=1,2,…,m。

隱藏層含n個(gè)節(jié)點(diǎn),令j=1,2,…,n,隱藏層節(jié)點(diǎn)為

輸出層的值為

式中:dj為隱藏層到輸出層的權(quán)重。

上述神經(jīng)網(wǎng)絡(luò)的各層權(quán)重的初始值均隨機(jī)生成,使用隨機(jī)梯度下降的方法更新權(quán)重。

3)把上述j+1個(gè)分量序列的神經(jīng)網(wǎng)絡(luò)輸出值累加,即為時(shí)刻t+1的最終預(yù)測值。

2 研究實(shí)驗(yàn)

2.1 實(shí)驗(yàn)過程

采用玉米大宗商品價(jià)格連續(xù)752期月度數(shù)據(jù)作為數(shù)據(jù)集,視為離散的時(shí)間序列信號(hào)?；贛allat算法,對該序列進(jìn)行5層小波分解,由此獲取5組含有漸次升高的頻率分量,以及一組含有最低的頻率分量。然后把6組信號(hào)分量序列進(jìn)行歸一化處理之后,分別作為輸入導(dǎo)入各自獨(dú)立的循環(huán)神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)采用Morlet母小波函數(shù)。經(jīng)實(shí)驗(yàn)驗(yàn)證,循環(huán)神經(jīng)網(wǎng)絡(luò)在以下參數(shù)設(shè)置下取得較好擬合效果:隱藏層設(shè)10個(gè)節(jié)點(diǎn),學(xué)習(xí)率取0.005,迭代次數(shù)為20。最后把上述6個(gè)神經(jīng)網(wǎng)絡(luò)得出的分量預(yù)測值直接線性累加,作為最終預(yù)測值。

2.2 實(shí)驗(yàn)結(jié)果

圖4展示了小波分解的最后兩個(gè)分量序列(d5,a5)進(jìn)行歸一化處理之后,經(jīng)過神經(jīng)網(wǎng)絡(luò)處理得到的擬合值;從中可見小波分解對序列信號(hào)局部時(shí)頻實(shí)現(xiàn)了不同分辨率的分析:使用大尺度寬時(shí)窗口識(shí)別信號(hào)的輪廓,使用小尺度短時(shí)窗口識(shí)別信號(hào)的細(xì)節(jié),達(dá)到“既見森林、又見獨(dú)木”的效果。

圖4 小波分解得到d5、a5兩個(gè)分量序列的數(shù)據(jù)擬合情況

圖5呈現(xiàn)了同期實(shí)際值和最終擬合值的比較,并且給出相應(yīng)的誤差比例(等于最終擬合值跟實(shí)際值的差值,取絕對值后除以實(shí)際值,再轉(zhuǎn)換為百分比);可見擬合情況良好,玉米價(jià)格大幅波動(dòng)時(shí)期的誤差比例大部分在0%～4%,普遍小于價(jià)格平穩(wěn)的時(shí)期,如圖5中所示的四個(gè)窗口期;相對地,玉米價(jià)格相對平穩(wěn)的時(shí)期,誤差比例普遍在2%～7%。這說明引入小波分解的神經(jīng)網(wǎng)絡(luò)預(yù)測模型體現(xiàn)出小波分析擅長捕捉高頻分量的突出優(yōu)點(diǎn),該特性對于證券、期貨、貴金屬、大宗商品交易等價(jià)格頻繁劇烈波動(dòng)的場景具有重要意義。

圖5 實(shí)際值和最終擬合值的比較

時(shí)間序列預(yù)測模型的常見評估指標(biāo)有均方根誤差(root mean square error,RMSE)、平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)、R2(模型所解釋的方差所占的比例)。在本實(shí)驗(yàn)中的值分別是:RMSE=13.52,MAE=8.75,MAPE=0.07,R2=0.95。

應(yīng)該指出,部分樣本信號(hào)擬合效能有待改善。例如圖6中,實(shí)際值在橫軸方向,擬合值在縱軸方向,由此生成相應(yīng)的散點(diǎn)圖。容易看出,全部散點(diǎn)都趨向于圖中對角線,說明整體擬合效果良好;相對地,實(shí)際值在150～250的散點(diǎn)比較偏離對角線,偏離幅度大于前后兩個(gè)范圍的樣本信號(hào),而且這些樣本大部分在對角線上方,說明這個(gè)范圍內(nèi)的擬合值誤差較大,基本大于實(shí)際值。這種情況表明引入小波分解的神經(jīng)網(wǎng)絡(luò),應(yīng)用于包含多段高頻分量的序列信號(hào),對于低頻和高頻信號(hào)的擬合效果較好,高低頻之間分量的擬合程度需要后續(xù)研究算法的優(yōu)化改進(jìn)。

圖6 實(shí)際值跟擬合值的比較

3 小結(jié)

基于玉米對中國糧食安全的重要作用,選取玉米的國際大宗商品價(jià)格作為研究對象,共計(jì)連續(xù)752期的月度價(jià)格時(shí)間序列。研究方法方面,簡要回顧小波分析和循環(huán)神經(jīng)網(wǎng)絡(luò)的基本理論和特點(diǎn)后,提出引入小波分解構(gòu)造小波神經(jīng)網(wǎng)絡(luò)預(yù)測玉米價(jià)格時(shí)間序列。該方法的優(yōu)點(diǎn)主要是融合小波分解優(yōu)異的多尺度解釋能力和神經(jīng)網(wǎng)絡(luò)良好的非線性逼近能力。擬合結(jié)果表明,引入小波分解的神經(jīng)網(wǎng)絡(luò)適用于價(jià)格時(shí)間序列的預(yù)測場景,神經(jīng)網(wǎng)絡(luò)的擬合值較好地接近實(shí)際值。

后續(xù)可進(jìn)一步開展的研究如下:文中提及高頻跟低頻之間的數(shù)據(jù)擬合未如高頻、低頻分量的預(yù)測效果,需要進(jìn)一步探索合適的分解層數(shù)、合適的母小波函數(shù)。另外,由于梯度下降算法容易陷入局部最優(yōu),可考慮把經(jīng)典時(shí)間序列分析中的自回歸特性,融入小波分析的信號(hào)分解和重構(gòu)功能,并增加動(dòng)量因子進(jìn)入小波神經(jīng)網(wǎng)絡(luò)建模過程,獲取更合適的學(xué)習(xí)速率,以此提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率。