基于遷移學習的卷積神經(jīng)網(wǎng)絡的金融指數(shù)預測

李子玥 曲英偉

（大連交通大學 軟件工程學院 遼寧省大連市 116028）

1 引言

與傳統(tǒng)的金融指數(shù)相比，互聯(lián)網(wǎng)金融指數(shù)起步較晚，其原因在于互聯(lián)網(wǎng)金融的起源比較晚。國外的相關研究資料較少，國外提出一種電子金融，類似于我們國內(nèi)所研究的互聯(lián)網(wǎng)金融。這是因為國外的發(fā)達國家的金融業(yè)發(fā)展較早，當互聯(lián)網(wǎng)技術成熟更新后，他們已經(jīng)形成了穩(wěn)定的能經(jīng)受考驗的金融市場體系。而我們國家互聯(lián)網(wǎng)金融起源于20 世紀末到21 世紀初期，在招商銀行開通了招商銀行的官網(wǎng)，標志著我們國家金融電子服務進入了一個網(wǎng)絡時代。隨著電子商務的興起，我們國家的互聯(lián)網(wǎng)時代進入了一個新的階段，此時我們可以借助于手機查看各種的金融理財產(chǎn)品。當大量的互聯(lián)網(wǎng)企業(yè)開始涌入市場時，互聯(lián)網(wǎng)金融也進入了一個高速發(fā)展階段并逐步趨向于成熟。簡單來講互聯(lián)網(wǎng)金融就是基于互聯(lián)網(wǎng)技術和互聯(lián)網(wǎng)環(huán)境而進行的一個金融活動，是一種新的金融模式。互聯(lián)網(wǎng)金融指數(shù)就是基于與金融相關的互聯(lián)網(wǎng)上市公司或關聯(lián)上市公司編制而得的股票指數(shù)。

遷移學習理論最早是Thorndike 和Woodworth 在1901年從心理教育學的角度提出，后來隨著機器學習的發(fā)展，人們猜想機器能否像人一樣進行學習的遷移，在學習已有的知識內(nèi)容上能夠很快的學會相類似的知識內(nèi)容。在1995 年NIPS-95 的“學會學習(learning to learn)”的專題研討會上正式開始對遷移學習的研究。能夠進行遷移學習的內(nèi)容可以分為兩部分，把已知的知識內(nèi)容或者是帶有標簽的數(shù)據(jù)記為源域或者是源任務，把想要進行學習的新內(nèi)容或者是沒有標注標簽的數(shù)據(jù)記為目標域或者是源任務，找到源域與目標域之間的共性進行學習，從而完成目標域任務。遷移學習常用來解決數(shù)據(jù)量較少或者是個性化的問題。

1998 年紐約大學的Yann Lecun 首次提出局部連接和權值共享的方式的卷積神經(jīng)網(wǎng)絡，該算法不僅減小了過擬合現(xiàn)象而且利用共享權值使網(wǎng)絡因權值量減少而優(yōu)化。卷積神經(jīng)網(wǎng)絡可以按照輸入信息的結構進行平移不變的分類，同時是一種有深度結構和卷積計算的前反饋神經(jīng)網(wǎng)絡，因此也稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡”。卷積神經(jīng)網(wǎng)絡對輸入的數(shù)據(jù)進行處理，通過特征提取進行局部特征提取，特征與其所在空間位置確定；通過特征映射結構中的激活函數(shù)使特征映射具有位移不變性，這些工作主要在卷積層完成。池化層進行信息的篩選和過濾，全連接層將提取的特征進行非線性組合，輸出層采用邏輯函數(shù)或歸一化函數(shù)進行分類輸出。更詳細分析整個卷積過程即分析這幾層的運算過程：

（1）卷積計算：能進行學習的卷積核與前面的特征圖卷積后經(jīng)激活函數(shù)形成本層特征圖；

（2）池化運算：該步驟即把上層特征圖分割不重疊的區(qū)域進行池化降低網(wǎng)絡空間分辨率，可以消除信號的偏移，常見的方式有最大池化層、均值池化層和隨機池化層。

（3）全連接運算：將多組信號依次組合為一組信號。

（4）識別運算（輸出）：經(jīng)過前面的特征學習運算，根據(jù)實際需要加上一層進行分類輸出。

卷積神經(jīng)網(wǎng)絡屬于神經(jīng)網(wǎng)絡的一種，具有多層網(wǎng)絡結構，同時還具有權值共享、局部連接、池化操作。一般是由輸入層、卷積層、池化層、全連接層和輸出層構成。輸入層的神經(jīng)元個數(shù)取決于輸入的特征個數(shù)，卷積層和池化層對特征進行再次提取同時池化層具有降噪的作用，全連接層的輸出值傳給輸出層，根據(jù)輸出的結果的要求可以選擇邏輯回歸函數(shù)進行分類。經(jīng)典的CNN 結構是卷積層和池化層進行交替連接最后通過一個或者是多個全連接層輸出。卷積神經(jīng)網(wǎng)絡的不同結構所應用的場景不同，對于時間序列分析或者是對自然語言的處理常采用一維的結構，對輸入數(shù)據(jù)進行調整為一維矩陣；二維結構則用于日常所見的圖片處理，計算機視覺處理，數(shù)據(jù)輸入是常規(guī)矩陣形式；三維結構更多用于醫(yī)學上的ct影響，或者是攝像頭對工作環(huán)境中的人物識別檢測，比如常見的火車站的人物是否戴口罩，回放視頻中人物是否佩戴安全帽等。在做實驗中，如何選取合適的卷積神經(jīng)網(wǎng)絡結構則需要看實驗研究領域進行確定，也可以重新搭建合適的結構層次。

隨著人工智能、機器學習的發(fā)展，借助于BP、LSTM、RNN 等神經(jīng)網(wǎng)絡對金融指數(shù)的趨勢走向研究越來越多，近年來CNN 的研究發(fā)展也讓學者把目光放在對金融時序問題的研究上，并且取得較好的結果。本文是基于python 庫中的卷積神經(jīng)網(wǎng)絡對傳統(tǒng)金融指數(shù)的價格趨勢進行模型預訓練，同時在獲得預訓練模型的基礎上進行遷移學習得到新的模型進行數(shù)據(jù)量較少的互聯(lián)網(wǎng)金融指數(shù)的預測，預測效果比用CNN 單一模型較好。

2 文獻綜述

從互聯(lián)網(wǎng)金融概念的提出后，不少學者對其進行了不同方面的研究。李燁（2014）從互聯(lián)網(wǎng)金融的定義、分類和發(fā)展進行分析構建互聯(lián)網(wǎng)金融指數(shù)指標體系的理論依據(jù)。黃銳、黃劍（2016）基于98 家商業(yè)銀行的面板數(shù)據(jù)證明互聯(lián)網(wǎng)金融給傳統(tǒng)的金融帶來了競爭，提高了風險但也提高了盈利能力。申創(chuàng)、趙樹敏（2017）基于101 家商業(yè)銀行首次利用百度指數(shù)構建的互聯(lián)網(wǎng)金融指數(shù)，理論加實證分析的方法分析了互聯(lián)網(wǎng)金融對商業(yè)銀行收益的影響。戴天驕（2018）利用Realized EGARCH 模型和時變Copula 模型分析發(fā)現(xiàn)互聯(lián)網(wǎng)金融行業(yè)和金融行業(yè)的股票指數(shù)有明顯的尾部相關性。多層前饋神經(jīng)網(wǎng)絡的CNN 在金融指數(shù)價格趨勢的應用也有一定的發(fā)展，部分研究利用k 線圖進行特征分析還有一部分是通過轉換金融數(shù)據(jù)的維度進行分析預測。王希峰（2017）進行了基于卷積神經(jīng)網(wǎng)絡的K 線圖有效性的驗證。孫舒蓉（2020）通過構建新的卷積網(wǎng)絡結構驗證K 線圖以圖片的形式能夠被卷積神經(jīng)網(wǎng)絡識別并分類預測。陳祥一（2017）利用卷積神經(jīng)網(wǎng)絡強大的監(jiān)督功能以及從不同的角度進行模型調優(yōu)使得模型在對股票指數(shù)未來一分鐘和五分鐘的價格趨勢變動中取得了較高的預測結果。章靜怡（2020）構建的引入平均趨向指標ADX 卷積神經(jīng)網(wǎng)絡模型在股票指數(shù)價格趨勢預測中取得較好的結果。遷移學習與卷積神經(jīng)網(wǎng)絡結合模型在各個應用領域也有一定的進展。楊子文（2019）針對傳統(tǒng)抽象圖像情感識別任務中“語義鴻溝”的問題和數(shù)據(jù)集小樣本問題提出一種基于兩層遷移卷積神經(jīng)網(wǎng)絡的抽象圖像情感識別模型。徐旭東、馬立乾（2018）通過經(jīng)典的卷積神經(jīng)網(wǎng)絡VGG16 和遷移學習在相同樣本的條件下提高了控制圖識別的準確度。陳立福、武鴻（2018）等人針對卷積神經(jīng)網(wǎng)絡中因網(wǎng)絡參數(shù)隨機初始化和參數(shù)過多導致的收斂速度慢及過擬合的問題，提出了一種基于遷移學習監(jiān)督式預訓練的卷積神經(jīng)網(wǎng)絡。所以，利用卷積神經(jīng)網(wǎng)絡特征提取的優(yōu)勢以及遷移學習解決小樣本容量問題對于解決當前數(shù)據(jù)量較少的互聯(lián)網(wǎng)金融指數(shù)預測準確度具有一定的可行性。

3 預訓練模型構建及測試

3.1 預訓練模型構建

卷積神經(jīng)網(wǎng)絡的卷積層，池化層全連接層又稱為隱藏層，總體劃分卷積神經(jīng)網(wǎng)絡的架構即為三大層，輸入層，隱含層和輸出層。卷積神經(jīng)網(wǎng)絡的一維卷積更適合用于時序序列的數(shù)據(jù)，因此本次實驗采用一維卷積網(wǎng)絡結構，由單個神經(jīng)元構成輸入層連接卷積層和池化層進行數(shù)據(jù)處理再通過輸入層輸出。同層神經(jīng)元之間相互獨立，不同層之間的神經(jīng)元相互連接。一維卷積神經(jīng)的卷積核可以看做是一個向量在一個方向上進行移動，對于時序數(shù)據(jù)就是在時間列上進行移動，樣本中的一個數(shù)據(jù)所擁有的特征可以看成是該數(shù)據(jù)的多個維度，可以類比對文本數(shù)據(jù)的分析。

按照金融數(shù)據(jù)的日數(shù)據(jù)，輸入最高價、最低價、開盤價、收盤價以及成交量，在卷積層和池化層進行特征提取之后進行平坦化連接全連接層進行輸出。設置濾波器大小為64，卷積核大小為2，步長為1，激活函數(shù)使用常用的Relu 函數(shù)。Relu 函數(shù)輸入值小于0 時輸出值為0，輸入值大于0 時輸出值等于輸入值，且在反向傳播中減輕梯度彌散在正向傳播中可加快傳播速度。池化層使用最大池化層，池化大小為2，以前一天的漲跌預測第二天的漲跌趨勢。為防止數(shù)據(jù)過擬合加入Dropout 層，參數(shù)設置為0.5。Dropout 層會隨機地為網(wǎng)絡中的神經(jīng)元賦值零權重。參數(shù)設置為0.5 表示有一半的神經(jīng)元將是零權重，降低對數(shù)據(jù)微小變化敏感度，提高對不可見數(shù)據(jù)的準確度。損失函數(shù)用來描述真實值與預測值的不同程度，常用來衡量模型的性能，本實驗選擇的平均絕對函數(shù)是通過計算真實值與預測值差的絕對值來衡量模型。

步驟一：通過財經(jīng)網(wǎng)站和軟件獲取實驗日數(shù)據(jù)和對應的研究的五大指標，并進行實驗數(shù)據(jù)的處理，剔除掉數(shù)據(jù)殘缺的樣本；

步驟二：將預處理后的訓練集數(shù)據(jù)以一維日頻形式輸入模型中進行訓練；

步驟三：將預處理后的預測集數(shù)據(jù)以一維日頻形式輸入訓練后的模型中，將結果與真實值進行比對；

步驟四：利用平均絕對函數(shù)作為損失函數(shù)進行估測與真實值的誤差。

3.2 數(shù)據(jù)集確定及預處理

實驗數(shù)據(jù)選用標準普爾500、恒生指數(shù)均從2000 年一月到2010 年十二月共十年的數(shù)據(jù)；互聯(lián)網(wǎng)金融數(shù)據(jù)選取2015年一月到2020 年12 月共五年的數(shù)據(jù)。經(jīng)分析之后選取實驗數(shù)據(jù)不存在殘缺樣本。

將當天的收盤價作為此時的預測標簽以此來應用監(jiān)督學習序列，對輸入的數(shù)據(jù)指標按照日期形式轉換為整數(shù)編碼。

3.3 模型預訓練及測試

模型數(shù)據(jù)中，實驗的前80%數(shù)據(jù)為訓練數(shù)據(jù)，20%為預測數(shù)據(jù)。圖1 為標準普爾500 訓練集和測試集上損失函數(shù)值的下降情況，橫坐標是輪次，縱坐標是損失函數(shù)值。

圖1：標準普爾500 損失函數(shù)

標準普爾500 的真實值與預測值的平均絕對誤差（MAPE）值為1.097%，損失函數(shù)值約在0.003，訓練輪次約在10 左右達到穩(wěn)定。

圖2 為恒生訓練集和測試集上損失函數(shù)值的下降情況。

圖2：恒生指數(shù)損失函數(shù)

恒生指數(shù)的真實值與預測值的平均絕對誤差（MAPE）值為1.566%，損失函數(shù)值約在0.0035，訓練輪次約在75 左右達到穩(wěn)定

圖3 為互聯(lián)網(wǎng)金融指數(shù)訓練集和測試集上損失函數(shù)值的下降情況。

圖3：互聯(lián)網(wǎng)金融指數(shù)損失函數(shù)

互聯(lián)網(wǎng)金融指數(shù)的真實值與預測值的平均絕對誤差（MAPE）值為2.076%，損失函數(shù)值約在0.0002，訓練輪次約在10 左右達到穩(wěn)定。

經(jīng)過實驗結果對比，使用卷積神經(jīng)網(wǎng)絡構造的模型比使用LSTM 模型效果在整體上具有一定的優(yōu)勢。

4 基于遷移學習的金融指數(shù)預測

引言內(nèi)容介紹了遷移學習本質上就是模仿人類在學習一定的內(nèi)容知識后再次去學習新的相關內(nèi)容的時候能更容易更快的接收，在機器學習中將算法先進行數(shù)據(jù)的訓練形成一個學習好的模型，之后再該模型的基礎上進行新的數(shù)據(jù)集的部分數(shù)據(jù)的訓練作為新知識進行遷移學習，最后將進行遷移學習后的模型進行驗證數(shù)據(jù)集的實驗，并將實驗結果與真實值進行比較，完成卷積神經(jīng)網(wǎng)絡的遷移學習。

實驗步驟：

步驟一：獲取標準普爾500，恒生指數(shù)在一維卷積神經(jīng)網(wǎng)絡算法下得到的預測模型一、二；

步驟二：將互聯(lián)網(wǎng)金融指數(shù)數(shù)據(jù)進行預處理后分成訓練集和驗證集；

步驟三：將步驟二的訓練集放入步驟一的到的預訓練模型一和二進行遷移學習，得到學習后的新模型三和四；

步驟四：將互聯(lián)網(wǎng)金融指數(shù)數(shù)據(jù)的驗證集放入學習后的新模型中進行對比實驗；

步驟五：分析實驗結果得出結論，并用平均絕對函數(shù)進行誤差估測。

使用前面的預訓練模型進行遷移學習，獲得基于前面兩種模型基礎上的互聯(lián)網(wǎng)金融指數(shù)的二次訓練模型，使得預測精度進一步提高。仍然使用互聯(lián)網(wǎng)金融數(shù)據(jù)的前80%作為訓練數(shù)據(jù)集，即是在預訓練模型的基礎上進一步進行數(shù)據(jù)的訓練，20%作為預測數(shù)據(jù)集。

圖4 和圖5 為基于標準普爾500 遷移學習后的模型結果圖。

圖4：基于標準普爾500 的遷移學習模型損失函數(shù)

圖5：基于標準普爾500 遷移學習模型的真實值與預測值對比

遷移后的模型的預測值與真實值的平均絕對誤差（MAPE）值為1.024%，比原來下降了1.052%。

圖6 為基于恒生遷移學習后的模型結果圖。

圖6：基于恒生指數(shù)遷移學習模型的損失函數(shù)

遷移后的模型的預測值與真實值的平均絕對誤差（MAPE）值為1.330%，比原來下降了0.746%。由此可以得出，在同樣數(shù)據(jù)量的條件下基于標準普爾的數(shù)據(jù)模型的預測值與真實值的誤差更小，預測結果更為準確。

5 結論

本文利用卷積神經(jīng)網(wǎng)絡與遷移學習相結合的模型進行預測互聯(lián)網(wǎng)金融指數(shù)，首先在卷積神經(jīng)網(wǎng)絡上進行數(shù)據(jù)的訓練預測形成預測模型，然后再選取互聯(lián)網(wǎng)金融數(shù)據(jù)的部分數(shù)據(jù)再前面的預測模型上進行第二次的數(shù)據(jù)訓練形成遷移后的新模型，用該模型進行預測，通過代碼運行結果和圖形顯示可知在一定的程度上提高了準確度。此外，用卷積神經(jīng)網(wǎng)絡進行股指數(shù)值的預測在一定的程度上具有較好的預測效果，表明了用一維卷積神經(jīng)網(wǎng)絡進行數(shù)據(jù)預測是可行的。當預訓練模型的數(shù)據(jù)量相當時，標準普爾500 的預測準確度較高，標準普爾的走向趨勢與互聯(lián)網(wǎng)金融指數(shù)數(shù)據(jù)相似度更高。