基于注意力機制的LSTM股價趨勢預(yù)測研究

林杰　康慧琳

摘 要： 針對中國股票市場，提出了一種基于注意力機制的LSTM股價趨勢預(yù)測模型。選取42只中國上證50從2009年到2017年的股票數(shù)據(jù)為實驗對象，根據(jù)股票市場普遍認可的經(jīng)驗規(guī)則，分別對每個技術(shù)指標(biāo)進行量化處理得到股票漲跌的趨勢數(shù)據(jù)，并和交易數(shù)據(jù)混合作為預(yù)測模型的輸入，然后使用基于注意力機制的LSTM模型提取股價趨勢特征進行預(yù)測。實驗結(jié)果表明：引入股票離散型趨勢數(shù)據(jù)到預(yù)測模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測精確度，與傳統(tǒng)的機器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預(yù)測能力。

關(guān)鍵詞： 股價趨勢預(yù)測;LSTM;注意力機制

中圖分類號： TP 183/ F 830.9

文獻標(biāo)志碼： A

Abstract： This paper addresses problem of stock price movements prediction for china stock markets. We present an Attention-Based LSTM approach to predict stock price movements. Nine years of historical data from 2009 to 2017 of 42 stocks of SSE 50 are selected for experimental evaluation. According to the empirical rules generally accepted by the stock market， the stock technical indicators are quantified to obtain the stock price movements prediction and together with the trading data as input to the prediction model. Then， we use Attention-Based LSTM to extract important features for prediction. The experimental results suggest that introducing stock discrete trend data into the prediction model can achieve higher prediction accuracy based on trading data and technical indicators. Experimental results also show that the Attention-Based LSTM model outperforms both traditional machine learning model SVM and the single LSTM model on overall performance.

Key words： stock price movements prediction; LSTM; attention mechanism

股票市場被稱為“經(jīng)濟晴雨表”，它的波動與市場經(jīng)濟的興衰息息相關(guān)。股價趨勢預(yù)測是一個經(jīng)典問題，一直受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。Fama（1970）的有效市場假說（efficient market hypothesis）指出，股票市場是“有效信息”市場。也就是說，如果能把股票交易數(shù)據(jù)進行有效處理并使用合適的算法，就可以預(yù)測股票的漲跌趨勢，這一理論成為后續(xù)股票預(yù)測研究工作的基礎(chǔ)和依據(jù)。

目前越來越多的學(xué)者開始投入股票預(yù)測研究中，試圖用各種方法和模型來解決金融時間序列數(shù)據(jù)非線性、非平穩(wěn)、高噪聲，以及股票市場規(guī)則高復(fù)雜性的問題。近年來， 隨著大數(shù)據(jù)與云計算的興起，深度學(xué)習(xí)算法取得了巨大突破。深度神經(jīng)網(wǎng)絡(luò)是一個高度復(fù)雜的非線性人工智能系統(tǒng)，適合處理多影響因素、不穩(wěn)定的非線性難題，它能夠從數(shù)據(jù)中提取抽象特征，并能在不依賴計量經(jīng)濟學(xué)假設(shè)和金融專業(yè)知識的情況下識別隱藏的非線性關(guān)系，這使得深度學(xué)習(xí)可能成為解決股價趨勢預(yù)測問題的突破口。

早在20世紀(jì)90年代，應(yīng)用神經(jīng)網(wǎng)絡(luò)來預(yù)測股價趨勢便受到國外學(xué)術(shù)界的廣泛關(guān)注。White（1988）首次將BP神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于股票市場時間序列的處理和預(yù)測中，使用IBM公司股票日收益率為實證研究的對象。Kolarik和Rudorfer （1994）將ANN模型和ARIMA模型比較，發(fā)現(xiàn)ANN模型預(yù)測效果更優(yōu)。近年來，國內(nèi)外學(xué)者對神經(jīng)網(wǎng)絡(luò)預(yù)測股票市場問題的研究也取得了進展。Bildirici 等（2009）學(xué)者將ARCH/GARCH模型和ANN模型相結(jié)合，選取伊斯坦布爾股票市場三十年的股票歷史數(shù)據(jù)作為研究對象，發(fā)現(xiàn)GARCH和ANN的混合模型比APGARCH模型具有更好的預(yù)測效果，但處理海量數(shù)據(jù)比較棘手。Hammad等（2007）利用多層BP神經(jīng)網(wǎng)絡(luò)分析了約旦證劵市場的股票價格，通過實證分析發(fā)現(xiàn)相比較于統(tǒng)計學(xué)和計量經(jīng)濟學(xué)分析方法，BP神經(jīng)網(wǎng)絡(luò)預(yù)測效果更優(yōu)，但是文章中并未提及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的問題。

雖然人工神經(jīng)網(wǎng)絡(luò)相較于其他模型有較好的預(yù)測能力，但經(jīng)過多年的模型優(yōu)化，人工神經(jīng)網(wǎng)絡(luò)及其各種改進的模型仍不能完全擺脫易陷入局部最小值的缺陷，研究人員開始尋找新的解決思路。近年來，深度學(xué)習(xí)算法在語音識別、自然語言處理、計算機視覺等諸多領(lǐng)域均取得了巨大成功?？紤]到時序關(guān)系在金融領(lǐng)域是普遍存在的，加上深度學(xué)習(xí)中LSTM對時間序列有著良好的處理能力，研究人員開始將LSTM模型應(yīng)用到金融時間序列問題的研究中。例如，Chen等（2015）使用LSTM預(yù)測中國股票回報率，根據(jù)投資回報率將標(biāo)簽分為7類，利用LSTM模型對股票回報率進行預(yù)測。與隨機預(yù)測方法相比，LSTM模型提高了股票回報率預(yù)測的準(zhǔn)確率。Fischer（2018）使用LSTM預(yù)測了金融市場的表現(xiàn)，形成了短期的投資策略，包括直接預(yù)測股價和投資組合等。

目前將LSTM模型應(yīng)用于金融時間序列的研究偏少，同時LSTM模型用于金融時間序列預(yù)測的結(jié)果并不令人滿意。注意力機制（attention mechanism）最早由Treisman等（1980）提出，通過計算注意力概率分布從眾多信息中選出關(guān)鍵信息，對關(guān)鍵性輸入進行突出，實現(xiàn)對傳統(tǒng)模型的優(yōu)化。已有實驗表明，融入注意力機制的LSTM比單一的LSTM在機器翻譯、情感分類、關(guān)系分類等問題中有更好的表現(xiàn)。例如，Wang等（2016）提出的AT-LSTM模型，在LSTM的隱藏層中加入了注意力機制，提高了文本情感分類的精確度。

因此，本文提出了一種基于注意力機制的LSTM股價趨勢預(yù)測模型，用來提高股價趨勢預(yù)測的精度。首先，介紹了實驗使用的數(shù)據(jù)集，著重描述了連續(xù)型技術(shù)指標(biāo)和離散型技術(shù)指標(biāo)。然后，詳細描述了本文提出的基于注意力機制的LSTM預(yù)測模型架構(gòu)。最后進行兩個對比實驗，驗證了引入股票離散型趨勢數(shù)據(jù)和本文提出的基于注意力機制的LSTM股價趨勢預(yù)測模型的有效性。

1 數(shù)據(jù)集描述

從大智慧客戶端獲取了42只中國上證50從2009年1月至2017年12月的股票交易數(shù)據(jù)，每條交易數(shù)據(jù)都有開盤價、收盤價、最高價、最低價、交易量等信息，共計83716條交易數(shù)據(jù)，并根據(jù)交易數(shù)據(jù)計算得到股票的技術(shù)指標(biāo)。選取每支股票2016年和2017年的數(shù)據(jù)作為測試集，其余部分用來模型訓(xùn)練。42只股票數(shù)據(jù)共同構(gòu)成實驗的數(shù)據(jù)集，共同反映市場情況。

1.1 數(shù)據(jù)預(yù)處理

1.1.1 數(shù)據(jù)標(biāo)準(zhǔn)化

股票交易數(shù)據(jù)各變量數(shù)值處于不同的量級，如果不進行標(biāo)準(zhǔn)化處理，大量級變量對結(jié)果的影響會覆蓋小量級變量對結(jié)果的影響，從而丟失小量級變量所包含的信息。需注意的是，由于開盤價、收盤價、最高價和最低價4者間具有相關(guān)性，因此對這4個變量統(tǒng)一進行標(biāo)準(zhǔn)化處理。本文采用min-max標(biāo)準(zhǔn)化法，如下所示：

1.2 技術(shù)指標(biāo)介紹

1.2.1 連續(xù)型技術(shù)指標(biāo)——實際時序序列

使用以下7個技術(shù)指標(biāo)用于股價趨勢預(yù)測：MA、K、D、WR、MACD、RSI和CCI。根據(jù)表1中的公式，通過股票交易數(shù)據(jù)，可以計算得到這7個技術(shù)指標(biāo)值。通過觀察表1可知，技術(shù)指標(biāo)是連續(xù)型數(shù)值，它們的值在[-1，1]，不會出現(xiàn)大量級覆蓋小量級信息的情況。

1.2.2 離散型技術(shù)指標(biāo)——股價趨勢預(yù)測

根據(jù)現(xiàn)有的專家知識經(jīng)驗，對1.2.1中的股票技術(shù)指標(biāo)（連續(xù)型）進行量化處理得到各指標(biāo)對股票漲跌趨勢的預(yù)測，它反映的是各指標(biāo)對未來股價“上漲”和“下跌”的判斷。在這里，把它稱為離散型技術(shù)指標(biāo)。其中，用“+1”代表“上漲”，“-1”代表“下跌”。下文將詳細介紹每個離散型技術(shù)指標(biāo)漲跌判斷的專家規(guī)則。

（1）移動平均線（MA）

移動平均線又稱均線，將一定時期內(nèi)的股票（指數(shù)）收盤價加以平均得到。將某一股票不同時間的平均值連接起來，形成一根MA，用以觀察股票變動趨勢。有專家經(jīng)驗知識指出：若當(dāng)前價高于其移動平均線，則產(chǎn)生購買信號，預(yù)示未來行情看漲;若當(dāng)前價低于其移動平均線，則產(chǎn)生出售信號，預(yù)示未來行情看跌。因此，量化規(guī)則如下：如果當(dāng)前收盤價Clsprc高于MA，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;如果當(dāng)前收盤價Clsprc低于MA，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。在股票市場，常用線有5天、10天、30天、60天、120天和240天的指標(biāo)。本文中使用10日均線，即MA2。

（2）隨機指標(biāo)（K、D）

K和D通過最近幾個交易日的最高價、最低價和收盤價的波動，來估計未來的漲跌趨勢，精準(zhǔn)反映股票在一段時間內(nèi)的隨機振幅，是進行中短期趨勢波段分析研判的較佳的技術(shù)指標(biāo)。有專家經(jīng)驗知識指出：一般當(dāng)月K、D值在低位時逐步進場吸納，即產(chǎn)生購買信號。因此，量化規(guī)則如下：如果當(dāng)前K值大于前一天，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;如果當(dāng)前K值小于前一天，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。D也遵從此規(guī)定。

（3）威廉指標(biāo)（WR）

利用“最后一周期”的最高價、最低價、收市價，計算當(dāng)日收盤價的擺動點，度量市場處于超買還是超賣狀態(tài)。有專家經(jīng)驗知識指出：WR屬于擺動類反向指標(biāo)，即股價上漲，WR指標(biāo)向下，股價下跌，WR指標(biāo)向上。因此，量化規(guī)則如下：如果當(dāng)前WR值小于前一天，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;如果當(dāng)前WR值大于前一天，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。WR1是10天買賣強弱指標(biāo);WR2是6天買賣強弱指標(biāo)。本文中使用WR1。

（4）指數(shù)平滑移動平均線（MACD）

MACD由快的指數(shù)移動平均線（EMA12）減去慢的指數(shù)移動平均線（EMA26）得到。有專家經(jīng)驗知識指出：MACD從負數(shù)轉(zhuǎn)向正數(shù)，是購買的信號;MACD從正數(shù)轉(zhuǎn)向負數(shù)，是售出的信號。因此，量化規(guī)則如下：如果當(dāng)前MACD值大于前一天，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;如果當(dāng)前MACD值小于前一天，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。

（5）相對強弱指數(shù)（RSI）

相對強弱指數(shù)RSI以數(shù)字計算的方式來量化分析市場買賣意向和實力。相對強弱指數(shù)RSI認為，在一個正常的股市中，多空買賣雙方的力量必須得到均衡，股價才能穩(wěn)定。有專家經(jīng)驗知識指出：RSI指標(biāo)的取值范圍在0～100，70以上可認為是超買，30以下可認為是超賣。在正常區(qū)間（30，70）內(nèi)，若向上的力量較大，則RSI曲線上升，是購買的信號，若向下的力量較大，則RSI曲線下降，是售出的信號。因此，量化規(guī)則如下：若當(dāng)前RSI值小于30，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;若當(dāng)前RSI值大于70，行情漲跌趨勢為“跌”，標(biāo)記為“-1”;如果RSI值在30～70，當(dāng)前RSI值大于前一天，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;若當(dāng)前RSI值小于前一天，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。

（6）隨順市勢指標(biāo)（CCI）

CCI是專門測量股價是否已超出常態(tài)分布范圍，波動于正無窮大和負無窮大之間的指標(biāo)。有專家經(jīng)驗知識指出：在100以上可認為是超買，-100以下可認為是超賣。在振蕩區(qū)（-100，+100），若向上的力量較大，是購買的信號，若向下的力量較大，則是售出的信號。因此，量化規(guī)則如下：若當(dāng)前CCI值小于-100，行情漲跌趨勢為“漲”，標(biāo)記為“+1”;若當(dāng)前CCI值大于100，行情漲跌趨勢為“跌”，標(biāo)記為“-1”;如果CCI值在-100～+100，當(dāng)前CCI值大于前一天，行情漲跌趨勢為“漲”， 標(biāo)記為“+1”，若當(dāng)前CCI值小于前一天，行情漲跌趨勢為“跌”，標(biāo)記為“-1”。

2 預(yù)測模型

本文所提出的基于注意力機制的LSTM的股價趨勢預(yù)測模型架構(gòu)如圖1所示。它包括數(shù)據(jù)準(zhǔn)備層、輸入層、長短時記憶網(wǎng)絡(luò)層、注意力機制層、全連接層和輸出層。數(shù)據(jù)準(zhǔn)備層完成股票混合數(shù)據(jù)集的構(gòu)建;長短時記憶網(wǎng)絡(luò)層充分發(fā)揮LSTM的優(yōu)勢，保持股票數(shù)據(jù)信息并提取其特征;注意力機制層用來識別股票漲跌最主要的特征;最后經(jīng)過全連接層，使用Softmax分類器得出分類結(jié)果。

2.1 數(shù)據(jù)準(zhǔn)備層

預(yù)測模型的輸入包括交易數(shù)據(jù)和技術(shù)指標(biāo)兩部分，技術(shù)指標(biāo)又分為連續(xù)型（詳見1.2.1）和離散型（詳見1.2.2），預(yù)測模型的輸出是“漲跌”預(yù)測標(biāo)簽。將前t天的股票數(shù)據(jù)依次輸入Attention-Based LSTM網(wǎng)絡(luò)中，預(yù)測第t+1天的漲跌情況。將模型預(yù)測得到的結(jié)果與真實的漲跌情況進行對比，來調(diào)整預(yù)測模型。

2.2 長短時記憶網(wǎng)絡(luò)層

用數(shù)據(jù)準(zhǔn)備層的輸出數(shù)據(jù)作為長短時記憶網(wǎng)絡(luò)層的輸入，充分發(fā)揮LSTM的時間序列處理優(yōu)勢，保持股票信息并提取其特征。長短時記憶網(wǎng)絡(luò)（long short term memory，LSTM）是一種改進的RNN模型，它解決了RNN訓(xùn)練過程中梯度爆炸或者梯度消失等問題，所有的RNN都有一種重復(fù)的神經(jīng)網(wǎng)絡(luò)模塊鏈?zhǔn)降男问?。在?biāo)準(zhǔn)的RNN中，這個重復(fù)的模塊只有一個非常簡單的結(jié)構(gòu)，例如一個tanh層或者sigmoid層。與單一tanh循環(huán)體結(jié)構(gòu)不同，LSTM是一種擁有三個“門”的特殊網(wǎng)絡(luò)結(jié)構(gòu)，它們分別是忘記門（forget gate）、輸入門（input gate）和輸出門（output gate）。忘記門負責(zé)選擇忘記過去無用信息;輸入門負責(zé)確定有用的新信息被存放在細胞狀態(tài)中;輸出門決定輸出信息。LSTM單元結(jié)構(gòu)如圖2所示。

記憶模塊進行狀態(tài)更新和信息輸出的過程如下：

（1） LSTM的核心是Cell ：“Cell State”即細胞狀態(tài)，是隨著時間而變化的整個模型的記憶傳輸帶。傳送帶本身是無法控制哪些信息是否被記憶，起控制作用的忘記門、輸入門和輸出門。

3 實驗結(jié)果與分析

為了檢驗本文提出的離散型技術(shù)性指標(biāo)的效果，以及基于注意力機制的LSTM預(yù)測模型的作用，設(shè)置了以下兩組實驗。實驗一， 為檢驗本文提出的離散型技術(shù)性指標(biāo)的效果，使用三種不同的輸入數(shù)據(jù)，分別使用基于注意力機制的LSTM模型進行股價趨勢預(yù)測實驗;實驗二，為了檢驗本文提出的基于注意力機制的LSTM模型的效果，使用基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）為輸入數(shù)據(jù)，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進行股價趨勢預(yù)測實驗。

本文的實驗環(huán)境為Ubuntu 16.04操作系統(tǒng)， 采用Tensorflow 開源平臺作為深度學(xué)習(xí)平臺，采用Python3.5編寫實驗程序，利用Python調(diào)用Tensorflow框架來實現(xiàn)基于注意力機制的LSTM模型的搭建。在SVM分類對比實驗中，采用Python的第三方機器學(xué)習(xí)庫Scikit-learn來實現(xiàn)傳統(tǒng)機器學(xué)習(xí)的分類方法。

3.1 模型參數(shù)

在傳統(tǒng)機器學(xué)習(xí)SVM分類方法中，設(shè)置Kernel為Polynomia，目標(biāo)函數(shù)的懲罰系數(shù)C為1，degree設(shè)置為1。在LSTM模型和Attention-Based LSTM模型中，設(shè)置droupout rate 為 0.5。在訓(xùn)練的時候采用小批量隨機梯度下降法，以減少訓(xùn)練損失，mini-batch設(shè)置為64。

3.2 評價指標(biāo)

實驗采用的評估分類模型的指標(biāo)為模型分類的準(zhǔn)確率（Accuracy）和F值（F-measuree）。計算這兩個評估統(tǒng)計指標(biāo)需要先計算精確率（Precision）和召回率（Recall）。精確率和召回率公式如下：

Precisionpositive=TPTP+FP（13）

Precisionnegative=TNTN+FN（14）

Recallpositive=TPTP+FN（15）

Recallnegative=TNTN+FP（16）

其中：TP表示預(yù)測上漲趨勢，實際也為上漲的樣本個數(shù);FP表示預(yù)測下跌趨勢，實際也為上漲的樣本個數(shù);TN表示預(yù)測下跌趨勢，實際也為下跌的樣本個數(shù);FN表示預(yù)測下跌趨勢，實際也為上漲的樣本個數(shù)。

Accuracy和F-measure公式如下：

Accuracy=TP+TNTP+FN+TN+FP（17）

F-measure=2×Precision×RecallPrecision+Recall（18）

其中：Precision是Precisionpositite和Precisionnegative的加權(quán)平均;Recall是Recallpositite和Recallnegative的加權(quán)平均。

3.3 對比實驗分析

3.3.1 不同輸入數(shù)據(jù)集的預(yù)測對比實驗

為檢驗本文提出的離散型技術(shù)性指標(biāo)的效果，實驗分別采用以下三種輸入數(shù)據(jù)集：a. 基本交易數(shù)據(jù)（7維）;b. 基本交易數(shù)據(jù)（7維）+連續(xù)型技術(shù)指標(biāo)（7維）;c. 基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）。本實驗中，用前20天的股票數(shù)據(jù)去預(yù)測第21天的股票漲跌，使用基于注意力機制的LSTM網(wǎng)絡(luò)作為預(yù)測模型。實驗結(jié)果如表2所示。

使用BASIC+離散型指標(biāo)數(shù)據(jù)的數(shù)據(jù)集在基于注意力機制的LSTM模型中是最優(yōu)的，將近55%的正確率。相較于只使用交易數(shù)據(jù)，正確率提升將近2.5%，相較于BASIC+連續(xù)型輸入，正確率有1%的提高，實驗結(jié)果驗證了加入離散型技術(shù)指標(biāo)的有效性。離散型技術(shù)指標(biāo)數(shù)據(jù)作為模型的輸入時，它向模型輸入了各個技術(shù)指標(biāo)所感知的趨勢信息，相較于輸入股票實際的技術(shù)指標(biāo)，這是向前邁進的一步。實驗小結(jié)：引入股票離散型趨勢數(shù)據(jù)到預(yù)測模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測精確度。

3.3.2 Attention-Based LSTM模型與SVM、LSTM模型的對比實驗

為了檢驗本文提出的含有注意力機制的LSTM模型的效果，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進行股價漲跌預(yù)測實驗。本實驗中，用前20天的股票數(shù)據(jù)去預(yù)測第21天的股票漲跌，使用基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）為輸入數(shù)據(jù)。實驗結(jié)果如表3所示。

表3列出了含有離散型技術(shù)指標(biāo)混合數(shù)據(jù)集分別在SVM、LSTM和LSTM+ Attention 模型的分類正確率和F值。從實驗結(jié)果可以看出，SVM在本次試驗中表現(xiàn)最差，使用LSTM模型進行股票預(yù)測，相較于SVM模型，預(yù)測的正確率提高了3%。實驗結(jié)果表明了LSTM模型在股票預(yù)測中的有效性。Attention-Based LSTM模型表現(xiàn)最為出色，正確率提升將近5%。實驗結(jié)果表明，與傳統(tǒng)的機器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預(yù)測能力。

4 總結(jié)與展望

針對金融時間序列動態(tài)不穩(wěn)定性以及長期依賴的特性，本文提出了一種基于注意力機制的LSTM股價趨勢預(yù)測模型。實驗結(jié)果表明引入股票離散型趨勢數(shù)據(jù)到預(yù)測模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測精確度，與傳統(tǒng)的機器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機制的LSTM模型具有更好的預(yù)測能力。未來可以進一步從豐富專家經(jīng)驗規(guī)律特征，引入宏觀經(jīng)濟指標(biāo)，加入金融新聞與評論、網(wǎng)民情緒語料等方面來優(yōu)化本模型。

參考文獻：

[1] MALKIEL B G， FAMA E F. Efficient capital markets： a review of theory and empirical work[J]. The journal of Finance， 1970， 25（2）： 383-417.

[2] WHITE H. Economic prediction using neural networks： the case of IBM daily stock returns[C]//Neural Networks， 1988， IEEE International Conference on. IEEE，1988：451-458.

[3] KOLARIK T， RUDORFER G.Time series forecasting using neural networks[J].Time Series and Neural Networks，1994，12（3）：86-94.

[4] BILDIRICI M， ERSIN. Improving forecasts of GARCH family models with the artificial neural networks： an application to the daily returns in Istanbul Stock Exchange[J]. Expert Systems with Applications， 2009， 36（4）： 7355-7362.

[5] HAMMAD A， ALI S M A， HALL E L. Forecasting the Jordanian stock price using artificial neural network[J]. Intelligent Engineering Systems through Artificial Neural Networks， 2007， 17.

[6] GRAVES A， MOHAMED A， HINTON G. Speech recognition with deep recurrent neural networks[C]//Acoustics， speech and signal processing （icassp）， 2013 ieee international conference on. IEEE， 2013： 6645-6649.

[7] WANG S， JIANG J. Learning natural language inference with LSTM[J]. arXiv preprint arXiv：1512.08849， 2015.

[8] SUN Y， WANG X， TANG X. Deeply learned face representations are sparse， selective， and robust[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015： 2892-2900.

[9] CHEN K， ZHOU Y， DAI F. A LSTM-based method for stock returns prediction： a case study of China stock market[C]//Big Data （Big Data）， 2015 IEEE International Conference on. IEEE， 2015： 2823-2824.

[10] FISCHER T， KRAUSS C. Deep learning with long short-term memory networks for financial market predictions[J]. European Journal of Operational Research， 2018， 270（2）： 654-669.

[11] TREISMAN A M， GELADE G. A feature-integration theory of attention[J]. Cognitive psychology， 1980， 12（1）： 97-136.

[12] LUONG M T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv：1508.04025， 2015.

[13] WANG Y， HUANG M， ZHAO L. Attention-based lstm for aspect-level sentiment classification[C]//Proceedings of the 2016 conference on empirical methods in natural language processing. 2016： 606-615.

[14] ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. 2016， 2： 207-212.

[15] KARA Y， BOYACIOGLU M A， BAYKAN ? K. Predicting direction of stock price index movement using artificial neural networks and support vector machines： the sample of the Istanbul Stock Exchange[J]. Expert systems with Applications， 2011， 38（5）： 5311-5319.

[16] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural computation， 1997， 9（8）： 1735-1780.

[17] MIKOLOV T， KARAFI？T M， BURGET L， et al. Recurrent neural network based language model[C]//Eleventh Annual Conference of the International Speech Communication Association. 2010.

[18] ABADI M， BARHAM P， CHEN J， et al. Tensorflow： a system for large-scale machine learning[C]//OSDI. 2016， 16： 265-283.