基于TCN－Attention模型的多變量黃河徑流量預(yù)測

王 軍，高梓勛，單春意

（1.鄭州大學(xué) 管理工程學(xué)院，河南 鄭州 450001；2.鄭州航空工業(yè)管理學(xué)院 大數(shù)據(jù)科學(xué)研究院，河南 鄭州 450046）

河流徑流量預(yù)測一直是水文研究領(lǐng)域的基礎(chǔ)工作之一［1］，精準(zhǔn)的徑流量預(yù)測對及時有效的水資源管理、灌溉管理決策、洪水風(fēng)險預(yù)警以及水庫調(diào)度等有極為重要的作用［2］。然而，河流徑流量受氣候變化、人類活動等的影響［3］，呈現(xiàn)出強(qiáng)烈的非線性、隨機(jī)性特征，因此精準(zhǔn)的徑流量預(yù)測成為水文學(xué)者們研究的熱點(diǎn)［4］。長期以來，各學(xué)者在河流徑流量預(yù)測方面使用的方法大體上分為兩類：一是基于概念性或物理性水文模型的徑流量預(yù)測方法，此類方法通過過程概念化或物理定律方程組來描述徑流形成過程［5］；二是基于數(shù)據(jù)驅(qū)動模型的徑流量預(yù)測方法，此類方法不依賴水文物理機(jī)制，把徑流量和其他相關(guān)要素的歷史觀測數(shù)據(jù)輸入模型，通過建立變量間的輸入與輸出關(guān)系對徑流量進(jìn)行預(yù)測［6］。

近年來，隨著水文觀測技術(shù)和機(jī)器學(xué)習(xí)算法的高速發(fā)展，智能算法在水文領(lǐng)域的應(yīng)用日益受到重視，數(shù)據(jù)驅(qū)動模型受到學(xué)者們的廣泛關(guān)注，以BP神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)（LSTM）為代表的機(jī)器學(xué)習(xí)算法越來越多地應(yīng)用到河流徑流量預(yù)測中。王佳等［7］結(jié)合集合經(jīng)驗(yàn)?zāi)B(tài)分解（EEMD）與BP神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對黃河上游龍羊峽水庫入庫月徑流量的精準(zhǔn)預(yù)測。李代華［8］基于主成分分析（PCA）－斑點(diǎn)鬣狗優(yōu)化（SHO）－BP神經(jīng)網(wǎng)絡(luò)對盤龍河月徑流量和年徑流量進(jìn)行預(yù)測，證實(shí)了PCA－SHO－BP組合模型對月徑流量和年徑流量的預(yù)測性能均優(yōu)于SHO－SVM、PCA－SVM等未優(yōu)化的模型。范宏翔等［9］利用LSTM構(gòu)建鄱陽湖流域氣象－徑流模型，探究最佳的模擬窗口長度，證實(shí)了該模型可以有效模擬鄱陽湖流域的徑流過程。蔡文靜等［10］通過時頻分析和預(yù)報因子篩選對LSTM模型進(jìn)行優(yōu)化，分別將經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）、變模態(tài)分解（VMD）、離散小波變換與LSTM模型組合來預(yù)測瑪納斯河的徑流量，結(jié)果表明VMD－LSTM模型對徑流量的總體變化趨勢和極值均具有良好的預(yù)測效果。包苑村等［11］在VMD－LSTM模型的基礎(chǔ)上引入卷積神經(jīng)網(wǎng)絡(luò)（CNN），構(gòu)建VMD－CNN－LSTM模型對渭河流域張家山水文站、魏家堡水文站的月徑流量進(jìn)行預(yù)測，證實(shí)了該組合模型具有較高的預(yù)測精度。

各學(xué)者雖然對BP神經(jīng)網(wǎng)絡(luò)和LSTM模型進(jìn)行了一定程度的優(yōu)化，但由于影響河流徑流量的因素眾多，不確定性很大，BP神經(jīng)網(wǎng)絡(luò)在預(yù)測精度和適應(yīng)性上還有提升空間，LSTM模型存在梯度問題和訓(xùn)練時間長的問題。時間卷積神經(jīng)網(wǎng)絡(luò)（TCN）的因果卷積、膨脹卷積特性可以很好地解決上述問題，其在數(shù)值天氣預(yù)報［12］、風(fēng)電功率預(yù)測［13］、太陽輻射預(yù)測［14］方面的精度和泛化性能已經(jīng)超過了LSTM模型。本文以黃河花園口水文站為研究對象，基于花園口水文站歷年降水量、流量、含沙量的觀測數(shù)據(jù)，采用TCN模型預(yù)測河流徑流量（以日均流量表示），通過引入Attention機(jī)制為TCN模型中的關(guān)鍵特征賦予更大權(quán)重，建立多變量TCN－Attention黃河花園口水文站日均流量預(yù)測模型。通過實(shí)驗(yàn)對LSTM模型和TCN模型的預(yù)測結(jié)果進(jìn)行比較，得出TCN－Attention模型預(yù)測日均流量的精度和泛化性能。

1 黃河花園口水文站概況與數(shù)據(jù)預(yù)處理

1.1 黃河花園口水文站概況

黃河花園口水文站是黃河干流重要的控制站和黃河下游防汛的標(biāo)準(zhǔn)站，控制流域面積為73萬km2，占黃河流域總面積的92%［15］。該水文站監(jiān)測流量長期以來是下游防汛工作的重要參照指標(biāo)，但該水文站所處河道沖淤劇烈，徑流量變化復(fù)雜，對徑流量的精準(zhǔn)預(yù)測十分困難。選取黃河花園口水文站2008年1月1日—2012年12月31日共1 827 d的實(shí)測日均流量、日降水量、日均含沙量作為研究數(shù)據(jù)［16］，數(shù)據(jù)源自國家地球系統(tǒng)科學(xué)數(shù)據(jù)中心，研究期內(nèi)各變量的變化情況見圖1。

圖1 花園口水文站日均流量、日降水量、日均含沙量變化情況

1.2 數(shù)據(jù)預(yù)處理

為使原始數(shù)據(jù)滿足多維模型訓(xùn)練的要求，需要對各變量的原始數(shù)據(jù)進(jìn)行預(yù)處理，具體步驟如下：

（1）選取輸入變量和輸出變量。從圖1可以看出，花園口水文站日均流量、日降水量、日均含沙量有相似的變化趨勢，把流量、降水量、含沙量作為模型的輸入變量，把日均流量作為模型最終預(yù)測的輸出變量。

（2）數(shù)據(jù)歸一化。為使大小差異巨大的原始時序數(shù)據(jù)輸入模型后加快模型訓(xùn)練收斂速度、提高預(yù)測精度，將以上3個變量的原始時序數(shù)據(jù)統(tǒng)一調(diào)整至［0，1］區(qū)間［17］，歸一化公式為

式中：Xt為t時刻的原始觀測數(shù)據(jù)；Xnorm為歸一化后的數(shù)據(jù)；Xmax、Xmin分別為3個變量原始數(shù)據(jù)的最大值、最小值。

（3）數(shù)據(jù)集劃分。為使模型得到更充分的迭代訓(xùn)練，將3個變量數(shù)據(jù)中90%的數(shù)據(jù)作為訓(xùn)練集、10%的數(shù)據(jù)作為驗(yàn)證集。

（4）數(shù)據(jù)反歸一化。在模型訓(xùn)練完畢后進(jìn)行模型性能評價時，需要將歸一化處理的數(shù)據(jù)反歸一化，以更加準(zhǔn)確地評估模型輸出的預(yù)測值與真實(shí)值之間的差距，反歸一化公式為

2 研究方法

2.1 TCN模型

傳統(tǒng)一維CNN應(yīng)用于時間序列預(yù)測時，用卷積層提取時序信息形成記憶，卷積層感受野決定了記憶序列的長短。CNN雖擁有并行高效計算的優(yōu)勢，但受限于信息易泄露、感受野擴(kuò)張難度大，預(yù)測精度仍較低。TCN是一種新型的可以用來解決時間序列預(yù)測問題的模型，由因果卷積、膨脹卷積、殘差連接等模塊組成，具有更穩(wěn)定的梯度、更高的計算效率、更長的記憶序列等優(yōu)勢，不會引入未來時刻的數(shù)據(jù)信息，避免了數(shù)據(jù)泄露。

2.1.1 因果卷積

TCN作為一個主要用于時間序列預(yù)測的網(wǎng)絡(luò)模型，在該模型中引入因果卷積可以使模型在預(yù)測t時刻的目標(biāo)數(shù)據(jù)yt時僅對t時刻以及t時刻之前的輸入數(shù)據(jù)（xt，xt－1，xt－2，…）進(jìn)行卷積計算并提取時序特征，這就使得TCN對yt的預(yù)測只與t時刻及t時刻之前的信息有關(guān)，避免了傳統(tǒng)CNN卷積計算會提取到未來數(shù)據(jù)信息的缺點(diǎn)。此外TCN還使用步長為1、零填充大小為kz－1（kz為卷積核尺寸）的一維全卷積網(wǎng)絡(luò)，確保了模型輸入大小與輸出大小相等。

2.1.2 膨脹卷積

引入膨脹卷積可以在保證TCN模型輸入大小與輸出大小相等以及引入因果卷積的前提下，使TCN模型的感受野指數(shù)倍擴(kuò)大，從而讓TCN以更長的記憶序列進(jìn)行預(yù)測。其原理是按照膨脹系數(shù)d的大小對普通CNN的感受野插入空白信息，d的數(shù)值通常是形如（1，2，4，8，…）的指數(shù)數(shù)列。膨脹卷積計算公式為

式中：X為輸入序列；s－d?i為對時序數(shù)據(jù)信息的索引；f（i）為卷積核的第i個元素。

2.1.3 殘差連接

當(dāng)TCN引入因果卷積和膨脹卷積擴(kuò)大感受野時，無法避免地會增加網(wǎng)絡(luò)深度，需要使用殘差連接來解決梯度衰退甚至梯度彌散問題［18］。殘差連接是在一般的CNN連接結(jié)構(gòu)中增加一條快捷通道，將模型的輸入序列X添加至卷積計算的輸出序列F（X）中。區(qū)別于一般的ResNet模型把X直接添加到殘差模塊的輸出序列中，TCN模型使用1×1卷積處理X，確保F（X）與X有相同的寬度。

2.2 Attention機(jī)制

Attention機(jī)制是對人腦注意力集中于有用信息的仿真模擬，通過權(quán)重分配使模型減少對無用信息的關(guān)注，從而充分關(guān)注重要信息［19］。Attention權(quán)重值計算公式為

式中：ht為TCN模型隱層的輸出；et為ht對應(yīng)的Attention權(quán)重值；w、v為所需要訓(xùn)練的權(quán)重參數(shù)；b為偏置系數(shù)；at為歸一化指數(shù)函數(shù)（softmax）計算后ht對應(yīng)的Attention權(quán)重值；yt′為模型輸出的預(yù)測值。

本文使用多個變量的輸入來進(jìn)行日均流量預(yù)測，不同變量與不同時刻的數(shù)據(jù)對日均流量的影響程度各不相同，Attention機(jī)制的使用可以篩選出對日均流量變化影響較大的關(guān)鍵因素，并賦予關(guān)鍵因素較大的權(quán)重，減小非關(guān)鍵因素的權(quán)重，提升對日均流量預(yù)測的準(zhǔn)確性。

2.3 TCN－Attention模型

針對黃河花園口水文站流量影響因素多、變化趨勢不確定性強(qiáng)、峰值變化大等問題，將花園口水文站的流量、降水量、含沙量3個變量作為模型輸入數(shù)據(jù)，結(jié)合TCN模型與Attention機(jī)制，設(shè)計一種多變量TCNAttention日均流量預(yù)測模型，模型整體結(jié)構(gòu)見圖2，以ht輸出為例展示TCN膨脹卷積和因果卷積過程，前期已進(jìn)行實(shí)驗(yàn)調(diào)參。TCN－Attention模型第一層為輸入層，將3個變量的時序數(shù)據(jù)輸入模型，依照膨脹系數(shù)d分別為1、2、4、8、16、32，結(jié)合因果卷積和膨脹卷積的一維卷積隱層對輸入數(shù)據(jù)進(jìn)行信息提取。隱層通過權(quán)重歸一化進(jìn)行加速計算和收斂，隱層之間使用線性整流激活函數(shù)（Relu）作為激活函數(shù)，并在隔層之間使用殘差連接，以1×1卷積操作保證隔層之間維度相同，殘差模塊結(jié)構(gòu)見圖3。每一隱層的卷積核尺寸為2，卷積核數(shù)量為32。由Attention機(jī)制自動判定隱層輸出的特征信息ht對日均流量變化影響的大小，對信息h1、h2、…、ht分別賦予權(quán)重a1、a2、…、at，隨后每個特征向量與其對應(yīng)的權(quán)重向量合并成新向量，全連接層作為最后的輸出層，最終輸出TCN－Attention模型的預(yù)測值。

圖2 TCN－Attention模型結(jié)構(gòu)

圖3 殘差模塊結(jié)構(gòu)

TCN－Attention模型以降低真實(shí)值與預(yù)測值之間的誤差作為訓(xùn)練目標(biāo)，迭代更新卷積層、全連接層與Attention機(jī)制中的參數(shù)，直至誤差收斂完成訓(xùn)練。使用平均絕對誤差（MAE）、均方根誤差（RMSE）以及平均絕對百分比誤差（MAPE）作為評估模型預(yù)測精度的指標(biāo)，計算公式分別為

式中：n為時序數(shù)據(jù)個數(shù)。

3 預(yù)測效果與分析

3.1 仿真實(shí)驗(yàn)

使用TensorFlow的Keras框架作為深度學(xué)習(xí)開發(fā)平臺進(jìn)行仿真實(shí)驗(yàn)。為驗(yàn)證多變量TCN－Attention模型預(yù)測日均流量的性能，設(shè)置LSTM模型和TCN模型的預(yù)測對比實(shí)驗(yàn)。這3個模型均使用黃河花園口水文站流量、降水量、含沙量數(shù)據(jù)作為輸入，在劃分好的訓(xùn)練集上進(jìn)行迭代更新，均使用MAE作為損失函數(shù)。按照以往相似研究經(jīng)驗(yàn)設(shè)置實(shí)驗(yàn)超參數(shù)［20］，并經(jīng)過實(shí)驗(yàn)調(diào)優(yōu)得到最終超參數(shù)，優(yōu)化器選擇Adam優(yōu)化器，初始學(xué)習(xí)率為0.001，batch＿size設(shè)置為32，訓(xùn)練輪次為200個epoch。LSTM模型結(jié)構(gòu)包括輸入層、兩個包含20個神經(jīng)元的隱層以及輸出層，兩個隱層間有dropout結(jié)構(gòu)緩解過擬合，TCN模型的部分參數(shù)與TCN－Attention模型相同。

3.2 預(yù)測結(jié)果分析

3.2.1 模型訓(xùn)練集預(yù)測值、驗(yàn)證集預(yù)測值分析

對LSTM、TCN、TCN－Attention模型訓(xùn)練完成后，分別繪制模型輸出的訓(xùn)練集預(yù)測值、驗(yàn)證集預(yù)測值以及對應(yīng)的真實(shí)值的折線圖，見圖4～圖6。對比3個模型的預(yù)測值與真實(shí)值可知，3個模型無論是在訓(xùn)練集還是在驗(yàn)證集都能大致預(yù)測出與真實(shí)值接近的日均流量，證明建立基于多變量數(shù)據(jù)驅(qū)動的日均流量預(yù)測模型的思路切實(shí)可行。但對于不同時間范圍內(nèi)日均流量峰值附近的預(yù)測值，3個模型出現(xiàn)了不同程度的誤差。LSTM模型在日均流量峰值附近的預(yù)測誤差最大，這種情況在訓(xùn)練集和驗(yàn)證集中都有出現(xiàn)，集中體現(xiàn)在日均流量超過4 000 m3／s時誤差最明顯。日均流量峰值的預(yù)測對防洪預(yù)警、水庫調(diào)度等非常重要，因此使用單一LSTM模型難以滿足實(shí)際需求。TCN模型對日均流量的整體預(yù)測以及峰值預(yù)測均優(yōu)于LSTM模型，其在日均流量平穩(wěn)變化和周期變化時可以較好地預(yù)測，但日均流量變化具有不確定性，使用單一TCN模型仍無法準(zhǔn)確預(yù)測在939～944 d、956～961 d時間范圍內(nèi)出現(xiàn)的日均流量小峰值。與TCN模型相比，TCN－Attention模型中的Attention機(jī)制可以很好地篩選對流量值影響更大的特征向量，非線性擬合能力更強(qiáng)，解決了TCN模型在預(yù)測日均流量部分峰值時誤差較大的問題，有效應(yīng)對隨機(jī)性強(qiáng)、影響因素眾多的流量變化。此外，TCN－Attention模型訓(xùn)練集預(yù)測效果與驗(yàn)證集預(yù)測效果相差不大，說明該模型沒有出現(xiàn)嚴(yán)重的過擬合現(xiàn)象，有較好的泛化性能。

圖4 LSTM模型擬合情況

圖6 TCN－Attention模型擬合情況

3.2.2 誤差評價指標(biāo)分析

為更直觀地比較3種模型預(yù)測日均流量的性能差異，表1列出了3種模型預(yù)測值與真實(shí)值的誤差評價指標(biāo)值。由表1可知TCN模型和TCN－Attention模型的3種誤差評價指標(biāo)值均遠(yuǎn)小于LSTM的，說明LSTM模型對日均流量峰值預(yù)測的較大誤差很大程度地影響了模型整體的預(yù)測性能，對于多變量情況下的日均流量預(yù)測，LSTM模型的整體性能不如TCN模型。與TCN模型相比，TCN－Attention模型的MAE、RMSE、MAPE值分別降低了20.25%、24.90%、24.39%，由此可見，Attention機(jī)制的使用有利于TCN模型更準(zhǔn)確地預(yù) 測日均流量，其平均絕對百分比誤差僅為0.967%。

圖5 TCN模型擬合情況

表1 3種模型的誤差評價指標(biāo)值

4 結(jié) 論

以2008—2012年黃河花園口水文站日均流量、日降水量、日均含沙量歷史觀測數(shù)據(jù)為依據(jù)，提出了一種基于TCN－Attention模型的多變量黃河日均流量預(yù)測模型，該模型在迭代更新卷積層權(quán)重的同時，還能自動調(diào)整向量權(quán)重，使得對日均流量變化影響更大的向量權(quán)重增大。該模型使用了因果卷積、膨脹卷積、殘差連接的結(jié)構(gòu)，既保留了CNN并行高效計算的優(yōu)勢，增大了記憶序列的長度，還避免了LSTM存在的梯度問題和CNN存在的信息泄露問題。對TCN－Attention、LSTM、TCN模型進(jìn)行對比，得出了以下結(jié)論：

（1）LSTM、TCN、TCN－Attention模型都可以大致預(yù)測出日均流量的變化趨勢，TCN模型和TCNAttention模型的預(yù)測性能整體優(yōu)于LSTM模型。

（2）Attention機(jī)制可以通過調(diào)整特征向量權(quán)重進(jìn)一步提升TCN模型的預(yù)測性能，與TCN模型相比，TCN－Attention模型的MAE、RMSE、MAPE值分別降低了20.25%、24.90%、24.39%，TCN－Attention模型具有較優(yōu)的泛化性能。