基于深度學習模型DeepAR的時間序列預測及應用實例

朱剛 李文 杜守國 崔久強

摘要：時間序列是一種廣泛存在于現(xiàn)實中的數(shù)據(jù)，常見的例子有股市的每日波動，每月家庭耗電量的記錄等。經(jīng)典的時間預測方法，往往有很多局限性，如自回歸積分滑動平均方法（ARIMA）或指數(shù)平滑方法（ETS），將一個模型擬合到各個單獨的時間序列，進行單點預測。而在真實場景中，知道某個商品的將來需求量的概率分布情況，比簡單預測該商品未來需求量的實值更有價值。深度神經(jīng)網(wǎng)絡在時間序列預測領域已經(jīng)有了許多成功的應用，F(xiàn)lunkert和Gasthaus等人（2019）提出了深度自回歸模型（DeepAR），通過聯(lián)合所有時間序列來訓練單個模型受益，當數(shù)據(jù)集包含數(shù)百個相關時間序列時，DeepAR優(yōu)于標準ARIMA和ETS方法。本文運用GluonTS框架對DeepAR模型在上海市制造業(yè)歷年就業(yè)人數(shù)數(shù)據(jù)集上進行實證分析。

關鍵詞：時間序列預測；循環(huán)神經(jīng)網(wǎng)絡；DeepAR模型；GluonTS

★基金項目：本研究得到海關總署決策咨詢研究課題（HG-YB009）、國家社會科學基金項目（17BTJ025）、上海市科學技術委員會軟科學研究項目（18692116100）、上海市領軍人才項目的資助。

1、相關理論研究

1.1 時間序列預測

1.3 DeepAR模型

DeepAR是Amazon于2017年提出的基于深度學習的時間序列預測方法。

傳統(tǒng)的時間方法（ARIMA，Holt-Winters等）往往針對一維時間序列本身建模，難以利用額外特征。此外，傳統(tǒng)方法的預測目標通常是序列在每個時間步上的取值。與此相比，基于神經(jīng)網(wǎng)絡的DeepAR方法可以很方便的將額外的特征納入考慮，且其預測目標是序列在每個時間步上取值的概率分布。在特定場景下，概率預測比單點預測更有意義。以零售業(yè)為例，若已知商品未來銷量的概率分布，則可以利用運籌優(yōu)化方法推算在不同業(yè)務目標下的最優(yōu)采購量，從而輔助決策。

DeepAR是一個自回歸RNN時間序列模型，是一個含隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡（使用LSTM或GRU單元）模型，DeepAR學習的是周期性的表現(xiàn)并且是基于貫穿時間序列的協(xié)變量，在獲取高復雜度、組依賴的表現(xiàn)時，僅有少量的數(shù)據(jù)處理需要手動進行。

其中藍框的weighted sum即為仿射變換函數(shù)，它的輸出就是μ；綠框就是softplus函數(shù)，紅框表示最終輸出，結果就是σ。本文采用高斯分布作為似然模型。

2、案例應用分析

2.1 數(shù)據(jù)

實驗采用的數(shù)據(jù)集是上海市制造業(yè)歷年就業(yè)人數(shù)的數(shù)據(jù)。該數(shù)據(jù)集樣本一共有68個時間序列，每個時間序列有84個時間點的數(shù)據(jù)，數(shù)據(jù)集的開始時間為2013年1月，截止時間為2019年12月。時間序列以月為時間步，即時間頻率為月。按照6：1的分配模式來確定訓練數(shù)據(jù)集和評估數(shù)據(jù)集，時間序列前72個數(shù)據(jù)作為訓練數(shù)據(jù)集，評估數(shù)據(jù)集包含所有84個時間步，評估數(shù)據(jù)集后12個數(shù)據(jù)作為驗證數(shù)據(jù)，用來對預測模型進行評估。協(xié)變量時間序列有區(qū)縣制造業(yè)歷年就業(yè)人數(shù)，市區(qū)兩級的制造業(yè)歷年退工人數(shù)，市區(qū)兩級的制造業(yè)歷年總產值，市區(qū)兩級的制造業(yè)歷年人員流出人數(shù)等。協(xié)變量時間序列的時間頻率也為月，但時間序列的開始時間和結束時間可以不相同。數(shù)據(jù)集的詳細信息見表1。

● SimpleFeedForward前饋神經(jīng)網(wǎng)絡是一種最簡單的神經(jīng)網(wǎng)絡，各神經(jīng)元分層排列，整個網(wǎng)絡中無反饋，信號從輸入層向輸出層單向傳播。

● Transformer模型是基于CNN（卷積神經(jīng)網(wǎng)絡）的時間序列預測方法。單純依靠注意力機制（Attention Mechanism），一步到位獲得全局信息。

● WaveNet是一個自回歸概率模型，該模型在文字轉語（Text-to-Speech，TTS）任務上取得了極佳的效果，它的建模方式與DeepAR十分類似，因而可以很自然地遷移到時間序列預測的任務上。

從實驗結果看出，以上四種預測模型均能夠大致預測出上海市制造業(yè)就業(yè)人數(shù)的未來變化趨勢，這是因為基于深度學習的時間序列預測方法可以更好的提取時間序列的內部特征。從預測效果圖來看，基于RNN的自回歸循環(huán)神經(jīng)網(wǎng)絡模型（DeepAR）的預測效果較好，大部分預測值都落在了90%的預測區(qū)間內，前饋神經(jīng)網(wǎng)絡模型（SimpleFeedForward）和基于Attention的轉換模型（Transformer）的預測效果一般，基于CNN的自回歸概率模型（WaveNet）的預測效果較差。從表2的預測值評估數(shù)據(jù)來看，也應證了上述觀點，DeepAR在四個評估指標中均取得了最好的預測效果，其四個指標的評估值都是所有模型中最小的，而WaveNet的預測效果較差，可以得出結論，對于上海市制造業(yè)歷年就業(yè)人數(shù)這個數(shù)據(jù)集的預測，DeepAR模型是比較適合的。