基于遺傳算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)期貨價(jià)格預(yù)測(cè)模型研究

李瑩 王璐璐

摘要：該文提出一種基于遺傳算法優(yōu)化的長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型（GA-LSTM）。該模型在LSTM神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上應(yīng)用遺傳算法對(duì)窗寬及參數(shù)進(jìn)行尋優(yōu)，提高了期貨價(jià)格預(yù)測(cè)的精確度，防止陷入局部最優(yōu)。實(shí)驗(yàn)針對(duì)期貨市場(chǎng)價(jià)格的復(fù)雜、非線(xiàn)性時(shí)間序列數(shù)據(jù)進(jìn)行建模預(yù)測(cè)。通過(guò)結(jié)果發(fā)現(xiàn)模型預(yù)測(cè)效果良好，具有普遍適用性。

關(guān)鍵詞：LSTM神經(jīng)網(wǎng)絡(luò);遺傳算法;期貨價(jià)格預(yù)測(cè)

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）01-0182-03

1概述

隨著金融市場(chǎng)的逐步發(fā)展，期貨交易作為現(xiàn)貨交易的一種補(bǔ)充方式，有著發(fā)現(xiàn)價(jià)格、規(guī)避風(fēng)險(xiǎn)、套期保值的作用，逐漸受到越來(lái)越多學(xué)者的關(guān)注。針對(duì)期貨價(jià)格這種具有時(shí)間序列特征的數(shù)據(jù)人們通常采用傳統(tǒng)統(tǒng)計(jì)模型進(jìn)行研究，例如：ARIMA模型、GRACH模型等，而對(duì)于價(jià)格變動(dòng)具有非線(xiàn)性、非平穩(wěn)性的數(shù)據(jù)來(lái)說(shuō)，研究效果往往不盡如人意。因此，機(jī)器學(xué)習(xí)方法逐漸被廣泛應(yīng)用到此類(lèi)問(wèn)題中。常見(jiàn)的機(jī)器學(xué)習(xí)算法包括：決策樹(shù)、支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)。例如：黃秋萍等人在2015年進(jìn)行了SVM、BP神經(jīng)網(wǎng)絡(luò)和小波神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測(cè)中的應(yīng)用研究，對(duì)三種模型進(jìn)行了分析比較。其中長(zhǎng)短期記憶模型（LSTM）作為循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的一個(gè)變種，克服了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）面臨的梯度消失的問(wèn)題，具有選擇性通過(guò)新信息和選擇性刪除舊信息的功能，不僅在自然語(yǔ)言處理，圖像識(shí)別，文本翻譯等領(lǐng)域廣泛使用，而且在處理期貨價(jià)格變化等時(shí)序數(shù)據(jù)時(shí)仍有良好表現(xiàn)。彭燕等人在2019年將LSTM神經(jīng)網(wǎng)絡(luò)應(yīng)用在股票價(jià)格的研究當(dāng)中。與其他神經(jīng)網(wǎng)絡(luò)類(lèi)似，LSTM神經(jīng)網(wǎng)絡(luò)的一些參數(shù)也需要人為進(jìn)行設(shè)置，很難在有限時(shí)間內(nèi)找到最優(yōu)參數(shù)。本文應(yīng)用遺傳算法（Genetic Algorithm）的全局優(yōu)化能力對(duì)LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，尋找最優(yōu)時(shí)間窗口及隱藏層神經(jīng)元數(shù)目，建立神經(jīng)網(wǎng)絡(luò)模型，對(duì)期貨價(jià)格變化進(jìn)行預(yù)測(cè)。

2算法介紹

2.1神經(jīng)網(wǎng)絡(luò)

LSTM神經(jīng)網(wǎng)絡(luò)是基于RNN神經(jīng)網(wǎng)絡(luò)的改進(jìn)，是一種深度神經(jīng)網(wǎng)絡(luò)。LSTM神經(jīng)網(wǎng)絡(luò)在RNN的基礎(chǔ)上添加了一個(gè)用于處理信息是否有用的記憶單元，每一個(gè)記憶單元包括輸入門(mén)、輸出門(mén)以及遺忘門(mén)。

由于LSTM神經(jīng)網(wǎng)絡(luò)對(duì)具有時(shí)間或空間上相關(guān)特性的數(shù)據(jù)產(chǎn)生了良好的處理效果，因此也被廣泛應(yīng)用在金融時(shí)序數(shù)據(jù)的建模預(yù)測(cè)中。

2.2遺傳算法

遺傳算法是一種全局搜索最優(yōu)解的優(yōu)化方法，遺傳算法工作原理與生物種群中的進(jìn)化論相似，在自然界中應(yīng)用交叉、變異等方式產(chǎn)生新的染色體。遺傳算法的實(shí)現(xiàn)過(guò)程大致分為編碼、初始化種群、計(jì)算適應(yīng)度值、遺傳操作這四個(gè)步驟。遺傳算法因其能與其他算法結(jié)合，對(duì)其他算法進(jìn)行優(yōu)化和改進(jìn)，從而得到快速發(fā)展，被廣泛應(yīng)用到各類(lèi)優(yōu)化問(wèn)題中。

遺傳算法的優(yōu)點(diǎn)包括以下三個(gè)方面：第一，擁有良好的全局搜索能力，通過(guò)交叉、變異等手段，防止陷入局部最優(yōu)解，從而取得全局最優(yōu)解;第二，具有良好的兼容性，可與其他算法結(jié)合進(jìn)行優(yōu)化;第三，與一般尋優(yōu)問(wèn)題相比，對(duì)數(shù)學(xué)方面要求較低，不需建立目標(biāo)函數(shù)等條件，僅需根據(jù)問(wèn)題進(jìn)行求解?；谝陨先矫鎯?yōu)點(diǎn)，本文選取遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，尋找全局最優(yōu)解，進(jìn)行建模。

2.3模型建立

期貨數(shù)據(jù)作為一種金融時(shí)序數(shù)據(jù)，具有復(fù)雜的非線(xiàn)性、不穩(wěn)定性等特點(diǎn)，傳統(tǒng)時(shí)間序列模型針對(duì)這類(lèi)數(shù)據(jù)建模效果往往不盡人意。長(zhǎng)短期記憶模型作為一種基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法可以在處理此類(lèi)數(shù)據(jù)時(shí)發(fā)揮優(yōu)勢(shì)。本文在LSTM神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，融合遺傳算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，從而得出最優(yōu)解，建立模型，對(duì)期貨價(jià)格進(jìn)行預(yù)測(cè)。具體算法流程如圖1所示。

尋找最佳窗口及單元數(shù)方法大致分為以下四個(gè)步驟：

步驟1、解碼遺傳算法解決方案以獲得窗口大小和單元數(shù)。

步驟2、使用GA找到的窗口大小來(lái)準(zhǔn)備數(shù)據(jù)集，并將其劃分為訓(xùn)練和驗(yàn)證集。

步驟3、輸入LSTM模型，在驗(yàn)證集上計(jì)算RMSE，并返回該值將其作為當(dāng)前遺傳算法解決方案的適應(yīng)度值，得出最優(yōu)參數(shù)。

步驟4、建立LSTM神經(jīng)網(wǎng)絡(luò)模型，并使用上述步驟得出的最優(yōu)時(shí)間窗口大小及最優(yōu)神經(jīng)網(wǎng)絡(luò)隱藏層單元數(shù)作為相應(yīng)參數(shù)并預(yù)測(cè)結(jié)果。

本文中使用的染色體編碼為二進(jìn)制位，表示時(shí)間窗的大小和LSTM神經(jīng)單元數(shù)。隨機(jī)生成初始種群，使用伯努利分布隨機(jī)初始化。根據(jù)適應(yīng)度函數(shù)和選擇進(jìn)行評(píng)估，然后進(jìn)行交叉和變異，使用有序交叉、隨機(jī)突變和賭輪選擇。這個(gè)過(guò)程重復(fù)定義迭代的次數(shù)中重復(fù)。最后，選擇一個(gè)具有最高適應(yīng)度分?jǐn)?shù)的解決方案作為最佳解決方案。適應(yīng)度函數(shù)是遺傳算法的重要組成部分，必須慎重選擇。在本文中我們使用RMSE（均方根誤差）來(lái)計(jì)算每個(gè)染色體的適應(yīng)度，并返回最小的RMSE子集作為最優(yōu)解，得到最佳窗寬及單元數(shù)目。

3實(shí)證分析

3.1數(shù)據(jù)準(zhǔn)備

本文選取螺紋鋼期貨作為研究對(duì)象，數(shù)據(jù)通過(guò)上海期貨交易所平臺(tái)獲得。在本文中，選取收盤(pán)價(jià)為輸出變量。輸入變量除開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)以及持倉(cāng)量外，將一些技術(shù)指標(biāo)也考慮在內(nèi)，如MACD、KDJ、ROC等。技術(shù)指標(biāo)主要分為趨勢(shì)型指標(biāo)：MA、MACD等;反趨勢(shì)型指標(biāo)：KDJ、RSI、ROC等;以及人氣型指標(biāo)：PSY等。由于輸入變量較多，而各變量之間存在信息重疊，較多的輸入變量也會(huì)降低LSTM神經(jīng)網(wǎng)絡(luò)的收斂速度以及預(yù)測(cè)精度。因此，我們應(yīng)用主成分分析法（PcA）對(duì)輸入變量進(jìn)行降維，保留原始的開(kāi)盤(pán)價(jià)、收盤(pán)價(jià)、最高價(jià)、最低價(jià)，針對(duì)其他指標(biāo)進(jìn)行降維處理，最后保留七個(gè)輸入變量。

首先，由于期貨交易并不是每天都進(jìn)行，因此需要對(duì)缺失值進(jìn)行處理，本文為簡(jiǎn)化過(guò)程，選擇將卻是數(shù)據(jù)行直接刪除。接下來(lái)將數(shù)據(jù)進(jìn)行歸一化處理，消除數(shù)據(jù)不同量綱的影響，同時(shí)提高預(yù)測(cè)精度。在歸一化處理時(shí)我們選擇sldearn下的Min-MaxScaler函數(shù)，將數(shù)據(jù)歸一化至0到1之間。

3.2模型預(yù)測(cè)及結(jié)果分析

本實(shí)驗(yàn)均在Python語(yǔ)言下編程，深度學(xué)習(xí)模型使用tensor-flow下的keras完成，遺傳算法應(yīng)用DEAP包完成。將數(shù)據(jù)處理完成后，本文采用以下四個(gè)步驟進(jìn)行建模：

步驟1、確定輸入層及輸出層。通過(guò)遺傳算法挑選最優(yōu)窗寬，將處理好的七維數(shù)據(jù)對(duì)應(yīng)窗寬作為輸入變量，本文中訓(xùn)練出的最優(yōu)窗寬為9。換句話(huà)說(shuō)，也就是在預(yù)測(cè)一個(gè)收盤(pán)價(jià)數(shù)據(jù)時(shí)，我們需要用到過(guò)去九天的數(shù)據(jù)。輸出層為預(yù)測(cè)收盤(pán)價(jià)的連續(xù)數(shù)據(jù)。

步驟2、設(shè)置網(wǎng)絡(luò)參數(shù)。本實(shí)驗(yàn)設(shè)定隱藏層數(shù)目為一層，隱藏層神經(jīng)網(wǎng)絡(luò)單元數(shù)按照遺傳算法訓(xùn)練出的最優(yōu)單元數(shù)14個(gè)設(shè)定，激活函數(shù)選用默認(rèn)的Sigmoid函數(shù)，隱藏層到輸出層的激活函數(shù)選用Linear線(xiàn)性函數(shù)，LSTM神經(jīng)網(wǎng)絡(luò)使用Adam作為優(yōu)化函數(shù)，MSE作為損失函數(shù)。

步驟3、計(jì)算預(yù)測(cè)誤差。本文中使用均方根誤差（RMSE）計(jì)算預(yù)測(cè)值與真實(shí)值之間的誤差：

本文選取上海螺紋鋼期貨2009年3月30日至2018年4月4日的交易數(shù)據(jù)，共2196條作為實(shí)驗(yàn)樣本，其中80%作為訓(xùn)練集，20%作為測(cè)試集。經(jīng)過(guò)前期數(shù)據(jù)處理，計(jì)算技術(shù)指標(biāo)，進(jìn)行主成份分析，將得到的數(shù)據(jù)輸入構(gòu)建的GA-LSTM模型。本文為驗(yàn)證實(shí)驗(yàn)結(jié)果，將設(shè)置GA-RNN模型、LSTM模型、RNN模型作為對(duì)照組。實(shí)驗(yàn)結(jié)果如下圖2所示。

其中，綠色線(xiàn)為測(cè)試數(shù)據(jù)的收盤(pán)價(jià)真實(shí)值，藍(lán)色線(xiàn)為不同模型的收盤(pán)價(jià)預(yù)測(cè)值。從上圖可以粗略看出遺傳算法改進(jìn)的RNN及LSTM模型都較原模型擬合效果好，GA-LSTM模型的預(yù)測(cè)值更貼近于真實(shí)值，較GA-RNN模型更為準(zhǔn)確。為了更清晰的評(píng)價(jià)各模型預(yù)測(cè)精度，計(jì)算各模型的均方根誤差進(jìn)行對(duì)比。各個(gè)模型的均方根誤差值如表1所示。

在建立傳統(tǒng)LSTM神經(jīng)網(wǎng)絡(luò)及RNN神經(jīng)網(wǎng)絡(luò)模型時(shí)，本文根據(jù)多次實(shí)驗(yàn)及經(jīng)驗(yàn)選取適當(dāng)?shù)膮?shù)進(jìn)行建模，由于時(shí)間等因素限制并不能保證參數(shù)為最優(yōu)。從實(shí)驗(yàn)結(jié)果可以得出結(jié)論，GA-LSTM神經(jīng)網(wǎng)絡(luò)具有良好的預(yù)測(cè)效果，模型擬合效果最好，均方根誤差最小，并在有限時(shí)間內(nèi)找出了最佳窗寬及最優(yōu)神經(jīng)網(wǎng)絡(luò)隱藏層單元數(shù)目，多次實(shí)驗(yàn)結(jié)果也較為穩(wěn)定，可以看出此改進(jìn)方法有效。

4結(jié)論

針對(duì)具有時(shí)間序列特征的期貨價(jià)格預(yù)測(cè)問(wèn)題，本文創(chuàng)新地提出了GA-LSTM模型，應(yīng)用遺傳算法對(duì)長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，找出最佳時(shí)間窗口大小及神經(jīng)網(wǎng)絡(luò)隱藏層單元數(shù)目的參數(shù)，以得到最佳預(yù)測(cè)結(jié)果。本文選取螺紋鋼期貨作為實(shí)驗(yàn)數(shù)據(jù)，通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證了該模型的可行性，并取得了良好的預(yù)測(cè)結(jié)果，提高了預(yù)測(cè)精度。該模型在時(shí)間序列數(shù)據(jù)的研究中將有更廣闊的應(yīng)用前景。