基于時域卷積網(wǎng)絡的水文模型

聶青青，萬定生*，朱躍龍，李致家，姚成

基于時域卷積網(wǎng)絡的水文模型

聶青青1，萬定生1*，朱躍龍1，李致家2，姚成2

（1.河海大學計算機與信息學院，南京 211100； 2.河海大學水文水資源學院，南京 210098）（*通信作者電子郵箱dshwan@hhu.edu.cn）

水位預測是防洪預警工作的輔助決策支持。為了進行準確的水位預測，為預防自然災害提供科學依據(jù)，提出一種結(jié)合改進的灰狼優(yōu)化（MGWO）算法與時域卷積網(wǎng)絡（TCN）的預測模型MGWO-TCN。針對標準灰狼優(yōu)化（GWO）算法存在早熟停滯的不足引入差分進化（DE）算法，擴展灰狼種群的多樣性；改進灰狼種群更新時的收斂因子和變異時的變異算子，以自適應的形式對參數(shù)進行調(diào)整，提升算法的收斂速度，均衡算法的全局與局部搜索能力；利用MGWO算法對TCN的重要參數(shù)尋優(yōu)，提升TCN的預測性能。將MGWO-TCN預測模型用于河流水位預測，預測結(jié)果的均方根誤差（RMSE）為0.039。實驗結(jié)果表明，與對比模型相比，MGWO-TCN預測模型具有更好的尋優(yōu)能力和更高的預測精度。

水文預測；灰狼優(yōu)化算法；時域卷積網(wǎng)絡；差分進化算法；收斂因子

0 引言

近年來，通過深度學習算法對水文數(shù)據(jù)進行分析，從中獲取有效的信息以提高預測精度是水文時間序列研究的重要方向。對于時序問題的建模，常用基于循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）的結(jié)構(gòu)及其相關變體［1-4］的方法，如王亦斌等［2］提出的EMD-LSTM（Empirical Model Decomposition and Long Short-Term Memory network）模型、Pan等［3］提出的CNN-GRU（Convolutional Neural Network and Gated Recurrent Unit）模型、劉青松等［4］提出的AR-RNN（AutoRegressive and RNN）模型等對河流的水位進行預測，特定的循環(huán)自回歸結(jié)構(gòu)能對序列數(shù)據(jù)進行良好表示。經(jīng)典的卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network， CNN）模型由于卷積核的限制很少用于時序問題的處理。目前，很多的研究工作［5-8］表明特定的卷積結(jié)構(gòu)在序列處理任務上的性能可以達到甚至超過RNN，這種時域卷積網(wǎng)絡（Temporal Convolutional Network， TCN）被應用于語音識別［7］、太陽輻射預測［8］等領域，取得了良好的實驗效果。

本文利用TCN對河流水位進行預測，在構(gòu)建與應用過程中，模型預測效果與參數(shù)選擇存在很大關系，因此引入元啟發(fā)性的灰狼優(yōu)化（Grey Wolf Optimization， GWO）算法［9］對其做出改進以用于TCN參數(shù)的尋優(yōu)。針對GWO算法與常用參數(shù)尋優(yōu)算法類似的易陷入局部最優(yōu)［10］的問題，在標準GWO算法中引入差分進化（Differential Evolution， DE）思想，并改進收斂因子和變異算子，提出一種由改進GWO（Modified GWO， MGWO）算法優(yōu)化的TCN模型用于河流水位預測，稱為MGWO-TCN。實驗結(jié)果表明，該模型比TCN、PSO-TCN、GWO-TCN等傳統(tǒng)模型的預測結(jié)果更好，具有更強的穩(wěn)定性。

1 基于TCN的水文預報

1.1 TCN模型

循環(huán)網(wǎng)絡結(jié)構(gòu)的優(yōu)勢在于能夠通過門結(jié)構(gòu)保留歷史信息，從而實時更新模型參數(shù)；但連續(xù)訓練同樣會帶來很多的問題［11］，如模型訓練時間長、模型構(gòu)建時定性參數(shù)較多、內(nèi)存消耗大等。TCN由傳統(tǒng)的CNN發(fā)展而來，是一種用于改善序列建模問題的卷積結(jié)構(gòu)，能夠有效避免RNN中時常出現(xiàn)的梯度消失或爆炸的情況，其基本結(jié)構(gòu)如圖1所示。

圖1 TCN基本結(jié)構(gòu)

TCN使用殘差連接的方式構(gòu)建深層神經(jīng)網(wǎng)絡，殘差塊的引入使得數(shù)據(jù)信息可以跨層傳播［8］，即在模型構(gòu)建時執(zhí)行的是包含了整個殘差模塊的層而不是單獨的一層卷積。TCN的殘差塊結(jié)構(gòu)如圖2所示。

圖2 殘差塊結(jié)構(gòu)

1.2 基于TCN的水位預測

本文將TCN用于水文時間序列問題的研究，構(gòu)建TCN模型對長江流域洞庭湖口處的蓮花塘站水位值進行預測，數(shù)據(jù)的處理見3.1節(jié)。選取蓮花塘站2020-07-09T14：00—2020-08-03T13：00共600條樣本數(shù)據(jù)作為展示，預測結(jié)果如圖3所示。

圖3 TCN預測結(jié)果

從圖3中可以看出TCN對水位整體變化趨勢的預判大致正確，但是預測值的波動較大，在真實觀測值曲線的谷峰和谷底處，預測值與真實值差異較為明顯，模型的擬合效果有待進一步提高。

模型預測性能的好壞與其網(wǎng)絡參數(shù)存在很大的關系：TCN中卷積核的數(shù)量通常都按經(jīng)驗設置：數(shù)量越大特征圖越多，提取的特征更為全面，模型擬合能力就越強，但同時會導致計算量偏大、參數(shù)個數(shù)增加，出現(xiàn)過擬合的情況；而數(shù)量太少，模型擬合能力不夠，容易欠擬合。TCN訓練時，批尺寸batch_size也是十分重要的參數(shù)：設置過小算法難以收斂，設置過大內(nèi)存容量要求高，想達到同等精度需花費的時間極大增加。為了提高TCN的預測精度，本文提出改進的GWO算法對TCN參數(shù)尋優(yōu)，在標準TCN的基礎上進一步改善模型預測效果。

2 基于MGWO?TCN的水文預報模型

2.1 改進的GWO算法

狼群在搜索到獵物時會將其包圍，計算公式如下：

其中：表示當前的迭代次數(shù)；（）表示當前狀態(tài)下灰狼個體的位置；f（）表示獵物的位置（即第次迭代種群中的最優(yōu)解）；為灰狼個體與獵物之間的間隔；和為系數(shù)變量，分別由式（8）和式（9）計算。

其中：1、2?。?，1］區(qū)間的隨機數(shù)；為收斂因子，其值隨著迭代次數(shù)的變化由2線性降到0。

其中：表示當前的迭代次數(shù)，為最大迭代次數(shù)；max為收斂因子的最大值，取值為2。在這個公式中的值隨著值的增大而減小，前期種群中灰狼個體的位置分散，值減小較快，有利于發(fā)現(xiàn)潛在獵物的位置信息；后期值變化緩慢，在精細搜索中可以防止遺漏重要的候選解。

其中：1，2，3的取值為（1，2，…，），且互不相同；是變異算子，取值通常為0～2的隨機常數(shù)。當為固定的常數(shù)時并不能合理地使用偏差向量以達到算法全局搜索能力和收斂速度的平衡［17］。因此，本文改進了的計算方式，讓其以自適應的方式進行調(diào)整，公式如下：

其中：init為的初始值，為0～2的常數(shù)；為當前迭代次數(shù)，為最大迭代次數(shù)。的值在迭代開始時較大，但是隨著迭代次數(shù)的變化逐漸減小。

其中：表示交叉概率；randi（1，）表示（1，2，…，）的隨機整數(shù)。

6）對父代種群中的灰狼個體進行更新。比較子代種群與父代種群中個體適應度值的大小，如果子代個體優(yōu)于父代個體，則用子代灰狼個體替換父代中的個體，公式表示為：

2.2 基于MGWO算法的TCN水位預測

在MGWO的基礎上提出一種結(jié)合MGWO算法和TCN的水位預測模型MGWO-TCN，使用MGWO算法對TCN參數(shù)：卷積核數(shù)量以及模型訓練時的批尺寸大小進行尋優(yōu)。MGWO-TCN模型預測流程如圖4所示。

圖4 MGWO-TCN模型預測流程

如圖4所示，采用MGWO-TCN模型進行水位預測時主要包括：運用MGWO算法搜索TCN模型的最優(yōu)參數(shù)組合；使用算法尋優(yōu)得到的解構(gòu)建TCN，解決水位預測問題。模型預測的偽代碼步驟描述如下。

輸入 歸一化后的訓練集，測試集；

輸出 未來水位預測結(jié)果。

1）初始化模型參數(shù)，狼群的個體規(guī)模，搜索空間維度，交叉概率，最大迭代次數(shù)，搜索上界，搜索下界，TCN學習率和數(shù)據(jù)迭代次數(shù)；

（，，）=

（最優(yōu)狼的位置，次優(yōu)狼的位置，第三頭狼的位置）；

3） While（<）

｛For=1 to

（2）產(chǎn)出指標。產(chǎn)出指標的直接體現(xiàn)就是收益，文中選取新產(chǎn)品銷售收入和有效發(fā)明專利作為創(chuàng)新產(chǎn)出指標。新產(chǎn)品銷售收入作為創(chuàng)新產(chǎn)出的代表性指標，能較好地衡量創(chuàng)新產(chǎn)出效果，應用相對比較廣泛；專利雖然難以反映創(chuàng)新活動的全部成果，但由于數(shù)據(jù)易得，且在某些程度上沒有更好的指標來代替，所以在研究中應用也較為普遍，而由于發(fā)明專利申請難度大，審核更為嚴格，能更好地衡量創(chuàng)新產(chǎn)出水平，因此選用有效發(fā)明專利數(shù)作為另一個創(chuàng)新產(chǎn)出指標。

產(chǎn)生變異種群；

計算更新后的父代種群適應度，確定、、；

4）為最優(yōu)參數(shù)組合，代入TCN中并訓練得到最終預測模型，輸入測試集，模型計算，輸出預測水位。

3 實驗與分析

3.1 數(shù)據(jù)處理

本文以長江中游地區(qū)蓮花塘水文站的水位值作為預測對象，選取蓮花塘站及其上游相關水文站的歷史水位數(shù)據(jù)作為預報因子進行實驗。由于上游站點的水位變化會對蓮花塘站的水位造成影響，因此對蓮花塘站和上游的水文站進行相關性分析，選定相關系數(shù)大于預設閾值的13個水文站：宜昌站、高壩洲站、枝城站、沙市站、新江口站、沙道觀站、彌陀寺站、藕池站、監(jiān)利站、七里山站、南咀站、小河咀站、鹿角站，以及蓮花塘在內(nèi)的14個站點的數(shù)據(jù)構(gòu)建MGWO-TCN模型的輸入數(shù)據(jù)集。

實驗中使用蓮花塘站和另外13個相關水文站2014年2月—2020年12月的水位數(shù)據(jù)，數(shù)據(jù)中記錄的是每隔1 h站點的水位值，共59 427條數(shù)據(jù)，將原始數(shù)據(jù)預處理后按照時間順序以7∶3的比例劃分為訓練樣本和測試樣本。實驗結(jié)果表明使用前5 h的實時水位來預測蓮花塘站未來的水位值時效果較好，即將14個站點前5 h的水位數(shù)據(jù)作為輸入特征，未來時刻的水位值作為預測的輸出樣本。

由于數(shù)據(jù)采集時可能存在突發(fā)事件以及數(shù)據(jù)本身的不穩(wěn)定性，會導致數(shù)據(jù)間量級差別較大，為TCN的預測帶來不利影響，為了消除這種影響，提高網(wǎng)絡的收斂效率，對訓練樣本數(shù)據(jù)采用歸一化處理，將數(shù)據(jù)的浮動范圍壓縮到［0，1］，計算公式如下：

3.2 實驗結(jié)果與分析

表1 不同模型的最優(yōu)參數(shù)

圖5分別展示了PSO-TCN、GWO-TCN、DE_GWO-TCN、 MGWO-TCN模型的適應度值隨著種群迭代次數(shù)的變化。從適應度變化曲線可以看出，PSO-TCN模型在達到最大迭代次數(shù)時算法收斂在局部最優(yōu)解中；GWO-TCN模型在迭代過程中最佳適應度值的波動較大，并且難以收斂；DE_GWO-TCN模型相對于GWO-TCN模型收斂效果要好；MGWO-TCN模型在種群迭代過程中，最佳適應度值在整體上呈現(xiàn)穩(wěn)步下降的趨勢，最終收斂在一個較小的值，由此可知改進后的算法性能更優(yōu)。

將MGWO算法尋優(yōu)得到的參數(shù)組合代入TCN中，訓練模型并用于蓮花塘站水位預測，得到MGWO-TCN預測結(jié)果如圖6所示。

為了更直觀地展現(xiàn)MGWO-TCN模型的預測效果，將該模型與DE_GWO-TCN模型、GWO-TCN模型、PSO-TCN模型及原始TCN模型的預測進行比較，同樣選取蓮花塘站2020-07-09T14：00—2020-08-03T13：00的數(shù)據(jù)作為展示，不同模型預測結(jié)果對比如圖7所示。

圖5 不同模型的適應度曲線

圖6 MGWO-TCN模型的預測結(jié)果及其局部放大圖

圖7 不同模型的預測結(jié)果與局部放大圖

從圖7中可以看出：TCN模型和PSO-TCN模型對蓮花塘水位的預測與實際觀測值擬合度較低，尤其在對波峰和波谷的預測時，結(jié)果差別較大；GWO-TCN模型、DE_GWO-TCN模型對水位值的變化趨勢預判基本正確，但擬合程度不夠；本文提出的MGWO-TCN模型相對于其他對比模型來說，水位預測值的擬合程度最高，預測效果最好。

為了便于分析實驗結(jié)果，本文選取均方根誤差（Root Mean Square Error， RMSE）、平均絕對誤差（Mean Absolute Error， MAE）、對稱平均絕對百分比誤差（symmetric Mean Absolute Percentage Error， sMAPE）等指標作為實驗結(jié)果的評價標準［13］。MGWO-TCN模型與其他模型在整個測試集上的預測結(jié)果對比如表2所示。從表2中可知，MGWO-TCN模型預測結(jié)果的RMSE為0.039，MAE為0.027，sMAPE為0.120，這三種評價指標的值都優(yōu)于其他3個模型，RMSE、MAE表明MGWO-TCN模型的預測誤差較小，模型精度高，sMAPE表明MGWO-TCN模型性能更為穩(wěn)定。綜合各項系數(shù)，MGWO-TCN的預測值更接近真實觀測值，體現(xiàn)了模型的準確性和有效性。

表2 不同模型預測結(jié)果對比

4 結(jié)語

為了進行準確的水位預測，本文提出了改進的灰狼優(yōu)化算法（MGWO）結(jié)合TCN的河流水位預測模型MGWO-TCN。在標準GWO算法中引入DE算法的思想，并對收斂因子、變異算子計算方式做出改進，再結(jié)合該算法得到TCN的最優(yōu)參數(shù)組合，進一步訓練模型對蓮花塘水文站的小時水位進行應用分析。通過與TCN、PSO-TCN、GWO-TCN、DE_GWO-TCN等傳統(tǒng)模型預測結(jié)果的對比，驗證了本文模型具有較好的預測效果和良好的穩(wěn)定性，在不同評價指標下都能取得不錯的結(jié)果，有較好的應用前景。未來工作會考慮將改進的灰狼優(yōu)化算法的搜索擴展至更多維度，對多個參數(shù)同時尋優(yōu)，提升算法的計算效率。

[1] 丁尹，桑楠，李曉瑜，等. 基于循環(huán)神經(jīng)網(wǎng)絡的電信行業(yè)容量數(shù)據(jù)預測方法［J］. 計算機應用， 2021， 41（8）：2373-2378.（DING Y， SANG N， LI X Y， et al. Prediction method of capacity data in telecom industry based on recurrent neural network［J］. Journal of Computer Applications， 2021， 41（8）：2373-2378.）

[2] 王亦斌，孫濤，梁雪春，等. 基于EMD-LSTM模型的河流水量水位預測［J］. 水利水電科技進展， 2020， 40（6）：40-47.（WANG Y B， SUN T， LIANG X C， et al. Prediction of river water flow and water level based on EMD-LSTM model［J］. Advances in Science and Technology of Water Resources， 2020， 40（6）：40-47.）

[3] PAN M Y， ZHOU H N， CAO J Y， et al. Water level prediction model based on GRU and CNN［J］. IEEE Access， 2020， 8： 60090-60100.

[4] 劉青松，嚴華，盧文龍. 基于AR-RNN的多變量水位預測模型研究［J］. 人民長江， 2020， 51（10）：94-99.（LIU Q S， YAN H， LU W L. Multivariable water level prediction based on AR-RNN model［J］. Yangtze River， 2020， 51（10）：94-99.）

[5] 張杰，白光偉，沙鑫磊，等. 基于時空特征的移動網(wǎng)絡流量預測模型［J］. 計算機科學， 2019， 46（12）：108-113.（ZHANG J， BAI G W， SHA X L， et al. Mobile traffic forecasting model based on spatio -temporal features［J］. Computer Science， 2019， 46（12）：108-113.）

[6] ZHAO Y， JIA L. A short-term hybrid wind power prediction model based on singular spectrum analysis and temporal convolutional networks［J］. Journal of Renewable and Sustainable Energy， 2020， 12（5）： No.056101.

[7] 武欽芳，吳張倩，蘇兆品，等. 遺傳算法優(yōu)化時間卷積網(wǎng)絡的手機來源識別［J］. 計算機工程與應用， 2022， 58（3）：151-158.（WU Q F， WU Z Q， SU Z P， et al. Source cell-phone identification using genetic algorithm optimized temporal convolutional network［J］. Computer Engineering and Applications， 2022， 58（3）：151-158.）

[8] SONG Z Y， BROWN L E. Multi-dimensional evaluation of temporal neural networks on solar irradiance forecasting［C］// Proceedings of the 2019 IEEE Innovative Smart Grid Technologies - Asia. Piscataway： IEEE， 2019： 4192-4197.

[9] MIRJALILI S， MIRJALILI S M， LEWIS A. Grey wolf optimizer［J］. Advances in Engineering Software， 2014， 69：46-61.

[10] 張文勝，郝孜奇，朱冀軍，等. 基于改進灰狼算法優(yōu)化BP神經(jīng)網(wǎng)絡的短時交通流預測模型［J］. 交通運輸系統(tǒng)工程與信息， 2020， 20（2）：196-203.（ZHANG W S， HAO Z Q， ZHU J J， et al. BP neural network model for short-time traffic flow forecasting based on transformed grey wolf optimizer algorithm［J］. Journal of Transportation Systems Engineering and Information Technology， 2020， 20（2）：196-203.）

[11] YANG Y Q， ZHAO Y X， LAI S. Temporal convolutional network for pork price prediction［C］// Proceedings of the 2020 International Conference on Big Data in Management. New York： ACM， 2020：91-95.

[12] ZHANG Z Y， CHEN H R， HUANG Y X， et al. Quantile huber function guided TCN for short-term consumer-side probabilistic load forecasting［C］// Proceedings of the 2020 IEEE/IAS Industrial and Commercial Power System Asia. Piscataway： IEEE， 2020：322-329.

[13] EMARY E， ZAWBAA H M， GROSAN C. Experienced gray wolf optimization through reinforcement learning and neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2018， 29（3）：681-694.

[14] 李建民，陳慧，楊冬芹，等. 改進GWO優(yōu)化SVM的服務器性能預測［J］. 計算機工程與設計， 2019， 40（11）：3099-3105， 3163.（LI J M， CHEN H， YANG D Q， et al. Prediction of server performance based on SVM algorithm of improved GWO［J］. Computer Engineering and Design， 2019， 40（11）：3099-3105， 3163.）

[15] 郭振洲，劉然，拱長青，等. 基于灰狼算法的改進研究［J］. 計算機應用研究， 2017， 34（12）：3603-3606， 3610.（GUO Z Z， LIU R， GONG C Q， et al. Study on improvement of gray wolf algorithm［J］. Application Research of Computers， 2017， 34（12）：3603-3606， 3610.）

[16] PADHY S， PANDA S， MAHAPATRA S. A modified GWO technique based cascade PI-PD controller for AGC of power systems in presence of Plug in Electric Vehicles［J］. Engineering Science and Technology， an International Journal， 2017， 20（2）：427-442.

[17] 方曉玉，李曉斌，郭震. 一種改進的混合灰狼優(yōu)化支持向量機預測算法及應用［J］. 激光與光電子學進展， 2020， 57（12）：341-347.（FANG X Y， LI X B， GUO Z. Improved hybrid grey wolf optimization support vector machine prediction algorithm and its application［J］. Laser and Optoelectronics Progress， 2020， 57（12）： 341-347.）

Hydrological model based on temporal convolutional network

NIE Qingqing1， WAN Dingsheng1*， ZHU Yuelong1， LI Zhijia2， YAO Cheng2

（1，，211100，；2，，210098，）

Water level prediction is an auxiliary decision support for flood warning work. For accurate water level prediction and providing scientific basis for natural disaster prevention， a prediction model combining Modified Gray Wolf Optimization （MGWO） algorithm and Temporal Convolutional Network （TCN） was proposed， namely MGWO-TCN. In view of the shortage of premature and stagnation in the original Gray Wolf Optimization （MGWO） algorithm， the idea of Differential Evolution （DE） algorithm was introduced to extend the diversity of the grey wolf population. The convergence factor during update and the mutation operator during mutation of the grey wolf population were improved to adjust the parameters in the adaptive manner， thereby improving the convergence speed and balancing the global and local search capabilities of the algorithm. The proposed MGWO algorithm was used to optimize the important parameters of TCN to improve the prediction performance of TCN. The proposed prediction model MGWO-TCN was used for river water level prediction， and the Root Mean Square Error （RMSE） of the model’s prediction results was 0.039. Experimental results show that compared with the comparison model， the proposed MGWO-TCN has better optimization ability and higher prediction accuracy.

hydrological prediction; Grey Wolf Optimization (GWO) algorithm; Temporal Convolutional Network (TCN); Differential Evolution (DE) algorithm; convergence factor

This work is partially supported by National Key Research and Development Program of China （2018YFC1508100）.

NIE Qingqing， born in 1997， M. S. candidate. Her research interests include data management， data mining.

WAN Dingsheng， born in 1963， professor. His research interests include data management， data mining.

ZHU Yuelong， born in 1959， Ph. D.， professor. His research interests include intelligent information processing， data mining.

LI Zhijia， born in 1962， Ph. D.， professor. His research interests include simulation and prediction of hydrological physical laws， data mining.

YAO Cheng， born in 1982， Ph. D.， associate professor. His research interests include hydrological model， hydrological forecast， data mining， numerical simulation.

TP391

A

1001-9081（2022）06-1756-06

10.11772/j.issn.1001-9081.2021061366

2021?08?02；

2021?11?15；

2021?11?15。

國家重點研發(fā)計劃項目（2018YFC1508100）。

聶青青（1997—），女，安徽安慶人，碩士研究生，主要研究方向：數(shù)據(jù)管理、數(shù)據(jù)挖掘；萬定生（1963—），男，江蘇溧陽人，教授，CCF會員，主要研究方向：數(shù)據(jù)管理、數(shù)據(jù)挖掘；朱躍龍（1959—），男，江蘇建湖人，教授，博士，CCF會員，主要研究方向：智能信息處理、數(shù)據(jù)挖掘；李致家（1962—），男，山西運城人，教授，博士，主要研究方向：水文物理規(guī)律模擬與預報、數(shù)據(jù)挖掘；姚成（1982—），男，江蘇揚州人，副教授，博士，主要研究方向：水文模型、水文預報、數(shù)據(jù)挖掘、數(shù)值模擬。