基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)金融時(shí)間序列的應(yīng)用

沐年國(guó)，姚洪剛

（上海理工大學(xué)，上海 200093）

0 引 言

傳統(tǒng)時(shí)間序列模型受限于固定的模型框架，無(wú)法對(duì)復(fù)雜的金融時(shí)間序列做出準(zhǔn)確的預(yù)測(cè)，而基于深度學(xué)習(xí)的方法從數(shù)據(jù)本身出發(fā)能更好地應(yīng)對(duì)“非理想化”的時(shí)間序列。近年來(lái)，具有非線(xiàn)性處理能力的方法，如支持向量機(jī)[1]、BP神經(jīng)網(wǎng)絡(luò)[2]、小波神經(jīng)網(wǎng)絡(luò)[3]以及循環(huán)神經(jīng)網(wǎng)絡(luò)[4]被應(yīng)用于分析時(shí)間序列，也有經(jīng)典計(jì)量模型與機(jī)器學(xué)習(xí)方法的組合模型[5?6]，取得了不錯(cuò)的效果。

目前而言，RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）及其變種LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）由于其關(guān)注歷史信息的網(wǎng)絡(luò)結(jié)構(gòu)而廣泛被應(yīng)用。LSTM可與進(jìn)化算法結(jié)合以提升預(yù)測(cè)能力[7?8]。Althelaya等使用雙向LSTM以及堆疊LSTM提高性能[9]?；诮鹑跁r(shí)間序列高噪聲的特點(diǎn)，也有在使用LSTM預(yù)測(cè)之前，對(duì)原始序列做相關(guān)處理：Li和Tam對(duì)原始序列進(jìn)行小波去噪[10]；Bao等在此基礎(chǔ)上加入堆疊自編碼器[11]；Singh等利用雙向二維主成分分析對(duì)原始序列降維提取特征[12]；Zhang等在LSTM單元內(nèi)的遺忘門(mén)以及輸入門(mén)后將狀態(tài)向量分解為多頻率信息，最后在輸出門(mén)前做聚合重構(gòu)[13]。

可以看出，一般通過(guò)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)或者對(duì)原始數(shù)據(jù)進(jìn)行前期處理兩個(gè)角度來(lái)提升預(yù)測(cè)能力。然而，對(duì)于特征序列對(duì)目標(biāo)序列在時(shí)間維度上的影響的關(guān)注卻很少，本文利用被廣泛應(yīng)用于情感分析[14]和機(jī)器翻譯[15]的注意力機(jī)制，對(duì)只有特征序列輸入的RNN的每一時(shí)間步的隱藏狀態(tài)通過(guò)注意力機(jī)制進(jìn)行重構(gòu)，并與目標(biāo)序列共同作為新的RNN輸入進(jìn)行預(yù)測(cè)。結(jié)果表明，加入注意力機(jī)制的RNN具有較好的預(yù)測(cè)性能，尤其是在特征維度增加的情況下，其預(yù)測(cè)效果相較于標(biāo)準(zhǔn)RNN提升更為明顯。

1 方法與模型

1.1 GRU原理和結(jié)構(gòu)介紹

循環(huán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層接收當(dāng)前時(shí)刻的輸入xt以及上一個(gè)時(shí)刻的網(wǎng)絡(luò)狀態(tài)ht-1，得到當(dāng)前時(shí)刻的網(wǎng)絡(luò)狀態(tài)ht并作為下一時(shí)刻的輸入。循環(huán)神經(jīng)網(wǎng)絡(luò)關(guān)注歷史因素的影響使其適合處理時(shí)間序列問(wèn)題，其工作原理如下：

式（1）表示狀態(tài)更新過(guò)程，式（2）表示預(yù)測(cè)輸出過(guò)程。式中：xt為t時(shí)刻的特征輸入；ht為t時(shí)刻的狀態(tài)向量；ot為t時(shí)刻的輸出。

標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)更新?tīng)顟B(tài)向量常常表示如下：

式中激活函數(shù)σ多采用tanh函數(shù)。

由于標(biāo)準(zhǔn)循環(huán)網(wǎng)絡(luò)的結(jié)構(gòu)過(guò)于簡(jiǎn)單，常常無(wú)法長(zhǎng)期保存有效信息，即短時(shí)記憶問(wèn)題。為了有效延長(zhǎng)這種短時(shí)記憶，提出LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）并取得了不錯(cuò)的效果，同時(shí)其簡(jiǎn)化的變種門(mén)控循環(huán)網(wǎng)絡(luò)（Gated Recurrent Unit，GRU）也被廣泛應(yīng)用。GRU將LSTM的內(nèi)部狀態(tài)向量和輸出向量合并為狀態(tài)向量，同時(shí)門(mén)控?cái)?shù)量也由3個(gè)（遺忘門(mén)、輸入門(mén)、輸出門(mén)）減少到2個(gè)（復(fù)位門(mén)、更新門(mén)）。雖然GRU是在LSTM的基礎(chǔ)上做出簡(jiǎn)化，但在大部分情況下兩者的效果相差不大，更為重要的是GRU的參數(shù)相比于LSTM要少，計(jì)算代價(jià)降低的同時(shí)減輕了過(guò)擬合的可能。

GRU的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，狀態(tài)的更新規(guī)則如下：

圖1 GRU網(wǎng)絡(luò)結(jié)構(gòu)

其中，式（4）和式（5）表示復(fù)位門(mén)的過(guò)程，用于控制上一時(shí)刻的狀態(tài)ht-1進(jìn)入GRU的量。r表示復(fù)位門(mén)門(mén)控向量，由當(dāng)前輸入xt和上一時(shí)刻的狀態(tài)ht-1得到，由于激活函數(shù)使用了sigmoid函數(shù)，r的取值范圍在0和1之間，所以可以控制ht-1的接收量并與xt共同得到新輸入式（6）和式（7）表示更新門(mén)的過(guò)程，用于控制新輸入與上一時(shí)刻狀態(tài)ht-1對(duì)當(dāng)前時(shí)刻狀態(tài)ht的貢獻(xiàn)量。z表示更新門(mén)門(mén)控向量，同樣使用sigmoid函數(shù)作為激活函數(shù)，以1-z作為上一時(shí)刻狀態(tài)ht-1對(duì)ht的貢獻(xiàn)程度，以z作為新輸入對(duì)ht的貢獻(xiàn)程度。

1.2 注意力機(jī)制

注意力機(jī)制實(shí)現(xiàn)了每一時(shí)刻的輸入對(duì)于當(dāng)前時(shí)刻的輸出的貢獻(xiàn)差異，通過(guò)構(gòu)造得分函數(shù)得到相應(yīng)的權(quán)重，通過(guò)加權(quán)平均的方法重構(gòu)新的輸入用來(lái)預(yù)測(cè)當(dāng)前輸出。注意力機(jī)制多在編碼?解碼模型（Encoder?Decoder）中使用，對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)而言，編碼器所有時(shí)刻的隱藏狀態(tài)對(duì)于某一時(shí)刻解碼器的隱藏狀態(tài)的貢獻(xiàn)度應(yīng)表現(xiàn)出差異，才能更有效地完成預(yù)測(cè)任務(wù)。這種貢獻(xiàn)度的度量可以通過(guò)得分函數(shù)式（8）獲得，具體形式多樣，如式（9）、式（10）所示。得分函數(shù)需要?dú)w一化才能表現(xiàn)為權(quán)重，一般使用softmax函數(shù)式（11），最后將編碼器的隱藏狀態(tài)加權(quán)平均即可得到新的解碼器輸入式（12）。

式中：st-1表示解碼器在t-1時(shí)刻的隱藏狀態(tài)；h=(h1,h2,…,hT)表示編碼器的各個(gè)時(shí)刻的隱藏狀態(tài)；et表示貢獻(xiàn)度的得分；at表示得到的權(quán)重；ct表示解碼器的新輸入。

1.3 基于注意力機(jī)制的GRU

將金融時(shí)間序列分為特征序列與目標(biāo)序列，設(shè)定時(shí)間窗大小為T(mén)，以特征序列為輸入，建立GRU網(wǎng)絡(luò)作為編碼器，將輸出的所有時(shí)刻狀態(tài)與解碼器的每一時(shí)間步的狀態(tài)使用注意力機(jī)制重構(gòu)新的解碼器輸入分量，并與目標(biāo)序列一起作為解碼器GRU網(wǎng)絡(luò)的輸入。基于注意力機(jī)制的GRU結(jié)構(gòu)如圖2所示。

圖2 基于注意力機(jī)制的GRU

2 實(shí)證分析

2.1 數(shù)據(jù)說(shuō)明與預(yù)處理

本文的實(shí)證數(shù)據(jù)來(lái)自于上證指數(shù)，上證指數(shù)反映了上海證券交易所上市的所有股票價(jià)格的變動(dòng)情況，其變動(dòng)趨勢(shì)在一定程度上能夠反映中國(guó)宏觀經(jīng)濟(jì)的走勢(shì)。本文的預(yù)測(cè)目標(biāo)是上證指數(shù)的收盤(pán)價(jià)，收盤(pán)價(jià)作為交易所每一個(gè)交易日的最后一筆交易價(jià)格，既是當(dāng)日行情的標(biāo)準(zhǔn)，又是下一個(gè)交易日的開(kāi)盤(pán)價(jià)的依據(jù)，具有重要的意義。為了更為準(zhǔn)確地考量模型的預(yù)測(cè)效果，考慮不同維度的特征輸入下模型的性能變化。因此，這里選擇兩個(gè)不同維度的特征輸入，一個(gè)是6個(gè)輸入維度的上證指數(shù)開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、交易量、成交額以及收盤(pán)價(jià)本身；另一個(gè)是在此基礎(chǔ)上增加了與上證指數(shù)相關(guān)的7個(gè)綜合指數(shù)（上證A指、上證B指、上證工業(yè)類(lèi)指數(shù)、上證商業(yè)類(lèi)指數(shù)、上證房地產(chǎn)指數(shù)、上證公用事業(yè)股指數(shù)、上證綜合股指數(shù)）的開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)、交易量和成交額作為特征輸入，即48個(gè)輸入維度。

本文選取了2000年1月4日—2019年12月26日的日交易數(shù)據(jù)，共4 843個(gè)樣本。選擇時(shí)間窗大小為30個(gè)交易日，即以連續(xù)30個(gè)交易日的特征輸入和收盤(pán)價(jià)數(shù)據(jù)預(yù)測(cè)下一個(gè)交易日的收盤(pán)價(jià)。因此共有4 813組數(shù)據(jù)作為模型的輸入樣本，并以最后900組數(shù)據(jù)作為模型的測(cè)試集，前3 913組數(shù)據(jù)作為模型的訓(xùn)練集。

為了克服序列之間不同量綱的影響，提升模型精度，并提高迭代求解的收斂速度，在訓(xùn)練模型之前選擇以訓(xùn)練集的序列數(shù)據(jù)的最大值和最小值對(duì)所有的特征序列以及目標(biāo)序列做歸一化處理：

式中：x為所有原始數(shù)據(jù)；xtrain為訓(xùn)練集數(shù)據(jù)；x′為所有歸一化后的數(shù)據(jù)。

將歸一化后的數(shù)據(jù)輸入模型，模型變成對(duì)歸一化后的收盤(pán)價(jià)的預(yù)測(cè)，因此需再將最終輸出的結(jié)果進(jìn)行反歸一化處理，即得到最終的預(yù)測(cè)結(jié)果。

2.2 衡量指標(biāo)

為了對(duì)比基于注意力機(jī)制的GRU與標(biāo)準(zhǔn)形式的GRU的預(yù)測(cè)效果，本文用絕對(duì)偏差和相對(duì)偏差兩個(gè)衡量指標(biāo)進(jìn)行表示。絕對(duì)偏差的衡量指標(biāo)選擇測(cè)試集的收盤(pán)價(jià)預(yù)測(cè)值和真實(shí)值的均方誤差（Mean Square Error，MSE），其計(jì)算公式為：

相對(duì)偏差的衡量指標(biāo)選擇測(cè)試集的收盤(pán)價(jià)預(yù)測(cè)值和真實(shí)值的平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE），其計(jì)算公式為：

式中：n為樣本總數(shù)；y′i為收盤(pán)價(jià)的預(yù)測(cè)值；yi為收盤(pán)價(jià)的真實(shí)值。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)定

為了盡可能減少參數(shù)，降低模型復(fù)雜度，選擇式（10）作為注意力機(jī)制的得分函數(shù)。另外，基于注意力機(jī)制的GRU模型的一些參數(shù)設(shè)定如下：編碼器與解碼器的GRU隱藏層神經(jīng)元個(gè)數(shù)均為64；時(shí)間窗大小為30；批處理大小為128（每訓(xùn)練128組樣本迭代更新一次參數(shù)）；訓(xùn)練次數(shù)為150次（將所有訓(xùn)練集樣本完整訓(xùn)練150次）；以歸一化后的收盤(pán)價(jià)的預(yù)測(cè)值和真實(shí)值的均方誤差MSE作為損失函數(shù)，使用Adam優(yōu)化算法更新參數(shù)。

2.4 實(shí)證結(jié)果

以上證指數(shù)收盤(pán)價(jià)為預(yù)測(cè)目標(biāo)，分別將6個(gè)輸入維度的特征序列和48個(gè)輸入維度的特征序列放入模型訓(xùn)練，將測(cè)試集數(shù)據(jù)輸入訓(xùn)練好的模型，得到實(shí)驗(yàn)結(jié)果。

表1和表2分別給出了6個(gè)輸入維度以及48個(gè)輸入維度下標(biāo)準(zhǔn)形式的GRU與基于注意力機(jī)制的GRU在測(cè)試集上的預(yù)測(cè)效果。可以看出，無(wú)論是哪一種輸入維度，基于注意力機(jī)制的GRU的預(yù)測(cè)效果均優(yōu)于標(biāo)準(zhǔn)形式的GRU，這說(shuō)明在GRU中加入注意力機(jī)制是有利于預(yù)測(cè)性能提升的。在輸入維度為6時(shí)，兩種模型在測(cè)試集上的MSE與MAPE相差不大，標(biāo)準(zhǔn)形式的GRU在MAPE上僅僅比基于注意力機(jī)制的GRU多0.14%。但在輸入維度為48時(shí)，由于輸入維度的增加，導(dǎo)致模型的參數(shù)增加，模型復(fù)雜度上升，對(duì)于信息的整合能力下降。

表1 6個(gè)輸入維度的模型比較

表2 48個(gè)輸入維度的模型比較

相較于6個(gè)輸入維度，此時(shí)GRU的MAPE增加了0.71%，增加了近1倍。而基于注意力機(jī)制的GRU預(yù)測(cè)性能變化不大，相反MAPE降低了0.03%。相較于標(biāo)準(zhǔn)形式的GRU，可以認(rèn)為注意力機(jī)制的引入增強(qiáng)了GRU應(yīng)對(duì)更高維輸入的能力。

圖3~圖6也分別給出了6個(gè)輸入維度以及48個(gè)輸入維度下標(biāo)準(zhǔn)形式的GRU與基于注意力機(jī)制的GRU在測(cè)試集上的實(shí)際預(yù)測(cè)結(jié)果。通過(guò)與原始數(shù)據(jù)的直觀對(duì)比，可以看出在6個(gè)輸入維度下兩種模型都有著不錯(cuò)的預(yù)測(cè)效果，2個(gè)模型在輸入維度變?yōu)?8后才出現(xiàn)較為明顯的預(yù)測(cè)差距。

圖3 6個(gè)輸入維度的GRU預(yù)測(cè)結(jié)果

圖4 6個(gè)輸入維度的基于注意力機(jī)制的GRU預(yù)測(cè)結(jié)果

圖5 48個(gè)輸入維度的GRU預(yù)測(cè)結(jié)果

圖6 48個(gè)輸入維度的基于注意力機(jī)制的GRU預(yù)測(cè)結(jié)果

3 結(jié) 語(yǔ)

本文通過(guò)在循環(huán)神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制，探尋其在金融時(shí)間序列方面的應(yīng)用。以上證指數(shù)為例，建立基于注意力機(jī)制的GRU，并與標(biāo)準(zhǔn)形式的GRU進(jìn)行對(duì)比，得出基于注意力機(jī)制的GRU可以提高預(yù)測(cè)金融時(shí)間序列的能力的結(jié)論。同時(shí)，考慮不同序列輸入維度對(duì)模型的影響，發(fā)現(xiàn)隨著輸入維度的增加，標(biāo)準(zhǔn)形式的GRU預(yù)測(cè)能力下降明顯，而基于注意力機(jī)制的GRU預(yù)測(cè)性能變化不大?？梢哉J(rèn)為加入注意力機(jī)制后，GRU對(duì)于信息的整合能力有所提升。因此，在循環(huán)神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制，對(duì)于金融時(shí)間序列的預(yù)測(cè)任務(wù)來(lái)說(shuō)，不僅可以提升預(yù)測(cè)性能，還能在保證預(yù)測(cè)效果的同時(shí)應(yīng)對(duì)更多維度輸入的情況。