基于圖注意力網(wǎng)絡(luò)與雙階注意力機(jī)制的徑流預(yù)報模型

胡鶴軒，隋華超，胡強(qiáng)*，張曄，胡震云，馬能武

（1.河海大學(xué) 計算機(jī)與信息學(xué)院，南京 211100； 2.水利部水利大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室（河海大學(xué)），南京 211100；3.西藏農(nóng)牧學(xué)院 電氣工程學(xué)院，西藏 林芝 8 60000； 4.河海大學(xué) 商學(xué)院，南京 211100；5.長江勘測規(guī)劃設(shè)計研究有限責(zé)任公司，武漢 430010； 6.長江空間信息技術(shù)工程有限公司，武漢 430010；7.湖北省水利信息感知與大數(shù)據(jù)工程技術(shù)研究中心，武漢 430010）（?通信作者電子郵箱huqianghhu@163.com）

基于圖注意力網(wǎng)絡(luò)與雙階注意力機(jī)制的徑流預(yù)報模型

胡鶴軒1，2，3，隋華超1，2，胡強(qiáng)1，2*，張曄1，2，胡震云4，馬能武5，6，7

（1.河海大學(xué) 計算機(jī)與信息學(xué)院，南京 211100； 2.水利部水利大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室（河海大學(xué)），南京 211100；3.西藏農(nóng)牧學(xué)院 電氣工程學(xué)院，西藏 林芝 8 60000； 4.河海大學(xué) 商學(xué)院，南京 211100；5.長江勘測規(guī)劃設(shè)計研究有限責(zé)任公司，武漢 430010； 6.長江空間信息技術(shù)工程有限公司，武漢 430010；7.湖北省水利信息感知與大數(shù)據(jù)工程技術(shù)研究中心，武漢 430010）（?通信作者電子郵箱huqianghhu@163.com）

為了提高流域徑流量預(yù)報的準(zhǔn)確率，考慮數(shù)據(jù)驅(qū)動水文模型缺乏模型透明度與物理可解釋性的問題，提出了一種使用圖注意力網(wǎng)絡(luò)與基于長短期記憶網(wǎng)絡(luò)（LSTM）的雙階注意力機(jī)制（GAT-DALSTM）模型來進(jìn)行徑流預(yù)報。首先，以流域站點(diǎn)的水文資料為基礎(chǔ)，引入圖神經(jīng)網(wǎng)絡(luò)提取流域站點(diǎn)的拓?fù)浣Y(jié)構(gòu)并生成特征向量；其次，針對水文時間序列數(shù)據(jù)的特點(diǎn)，建立了基于雙階注意力機(jī)制的徑流預(yù)報模型對流域徑流量進(jìn)行預(yù)測，并通過基于注意力系數(shù)熱點(diǎn)圖的模型評估方法驗(yàn)證所提模型的可靠性與透明度。在屯溪流域數(shù)據(jù)集上，將所提模型與圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）和長短期記憶網(wǎng)絡(luò)（LSTM）在各個預(yù)測步長下進(jìn)行比較，實(shí)驗(yàn)結(jié)果表明，所提模型的納什效率系數(shù)分別平均提高了3.7%和4.9%，驗(yàn)證了GAT-DALSTM徑流預(yù)報模型的準(zhǔn)確性。從水文與應(yīng)用角度對注意力系數(shù)熱點(diǎn)圖進(jìn)行分析，驗(yàn)證了模型的可靠性與實(shí)用性。所提模型能為提高流域徑流量的預(yù)測精度與模型透明度提供技術(shù)支撐。

圖神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制；編碼器-解碼器；長短期記憶網(wǎng)絡(luò)；時間序列預(yù)測；水文預(yù)報

0 引言

準(zhǔn)確可靠地預(yù)測流域徑流量對于洪水風(fēng)險評估和防洪安全決策起著至關(guān)重要的作用［1］。在水文預(yù)報領(lǐng)域，學(xué)者們一直都在嘗試對結(jié)構(gòu)與參數(shù)進(jìn)行耦合從而在流域內(nèi)進(jìn)行降雨-徑流建模，其模型參數(shù)是通過長期實(shí)踐和對水文規(guī)律認(rèn)識基礎(chǔ)上建立起來的，具有明確的物理意義，即傳統(tǒng)意義上的過程驅(qū)動模型。隨著研究的深入，過程驅(qū)動水文預(yù)報模型也從集中式模型向分布式模型發(fā)展，空間復(fù)雜度和時空復(fù)雜度提高，這對基礎(chǔ)數(shù)據(jù)的精度和采集頻率提出了更高的要求。但水文模型復(fù)雜度的提高并不意味著精度的提高，同時還會受到異參同效的影響，使預(yù)報結(jié)果增加了不確定性［2］。

隨著水利信息化的進(jìn)一步發(fā)展，流域水文資料與氣象資料得到了極大的豐富與補(bǔ)充。與此同時，隨著神經(jīng)網(wǎng)絡(luò)模型的不斷優(yōu)化，數(shù)據(jù)驅(qū)動模型在降雨-徑流建模過程中的應(yīng)用愈加廣泛。數(shù)據(jù)驅(qū)動模型方法是從時間序列自身的角度挖掘其變化的規(guī)律并進(jìn)行預(yù)測，具有較好的數(shù)理統(tǒng)計基礎(chǔ)。目前在數(shù)據(jù)驅(qū)動徑流預(yù)報模型中使用最多的是神經(jīng)網(wǎng)絡(luò)［3］，人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）是模擬人腦中大量神經(jīng)元密集連接，最終由多個神經(jīng)信息傳遞得到一個準(zhǔn)確輸出的工作方式，其中隱含神經(jīng)元之間的相互作用就是挖掘數(shù)據(jù)的過程［4-5］。但是，水文預(yù)報是一個時間序列預(yù)測，應(yīng)用于時間序列分析的人工神經(jīng)網(wǎng)絡(luò)最主要缺點(diǎn)就是丟失了有關(guān)輸入順序的相關(guān)信息。而遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network， RNN）［6］則是一種以序列數(shù)據(jù)為輸入進(jìn)行建模的深度學(xué)習(xí)模型，很好地彌補(bǔ)了人工神經(jīng)網(wǎng)絡(luò)的不足。Carriere等［7］和Hsu等［8］先后使用循環(huán)神經(jīng)網(wǎng)絡(luò)模擬降雨-徑流關(guān)系，后者將循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較。Nagesh Kumar等［9］也將RNN用于月徑流預(yù)測，發(fā)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)在預(yù)報精度上比傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)更為出色。但是因?yàn)镽NN中的時間維度共享了參數(shù)矩陣，導(dǎo)致計算隱態(tài)時會循環(huán)計算矩陣乘法，所以當(dāng)使用反向誤差傳播算法求解梯度時出現(xiàn)了參數(shù)矩陣的累乘［10］，使得RNN很難保持較長時間的記憶，即可利用的歷史數(shù)據(jù)是有限的。

長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory network， LSTM）［11］是由RNN擴(kuò)展而來，在設(shè)計之初就用于解決RNN長期依賴的問題。Kratzert等［12］將LSTM應(yīng)用于降雨-徑流模擬，其優(yōu)點(diǎn)是它能夠?qū)W習(xí)網(wǎng)絡(luò)提供的輸入和輸出之間的長期依賴關(guān)系，這對于水文預(yù)報建模是必不可少的。Zhang等［13］根據(jù)雨量計和水位傳感器的公開數(shù)據(jù)，比較了不同神經(jīng)網(wǎng)絡(luò)在德拉門模擬和預(yù)測地下水位的預(yù)報性能，并通過實(shí)驗(yàn)驗(yàn)證了LSTM比沒有記憶門的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更適合于多步預(yù)測。朱躍龍等［14］使用了圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network， GCN）對流域的拓?fù)浣Y(jié)構(gòu)進(jìn)行空間挖掘，結(jié)合門控循環(huán)單元實(shí)現(xiàn)了流量過程智能模擬，取得了較好的實(shí)驗(yàn)效果。

模型的可解釋性與結(jié)果的準(zhǔn)確性是決定水文預(yù)報模型是否能投入實(shí)際應(yīng)用的兩個重要因素，但數(shù)據(jù)驅(qū)動的模型僅從歷史數(shù)據(jù)中挖掘徑流量演變趨勢，模型內(nèi)部結(jié)構(gòu)不可見，相關(guān)模型參數(shù)不具有物理可解釋性［15］，這使得防洪策略的選擇具有很強(qiáng)的不可控因素。在某些情況下，必須選擇較為復(fù)雜的黑箱模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)，而不是預(yù)報精度較低但更具可解釋性的傳統(tǒng)模型，如新安江模型。這種權(quán)衡給水文預(yù)報帶來了挑戰(zhàn)，因?yàn)闇?zhǔn)確性和可解釋性都很重要。隨著深度學(xué)習(xí)的不斷發(fā)展，學(xué)術(shù)界對于模型的可解釋性進(jìn)行了廣泛的研究與探討。正如Chakraborty等［16］所述，模型可解釋性的概念并不是一個整體的概念，而是反映了幾個不同的維度，具體如下：

1）模型透明度。即模型在執(zhí)行過程中內(nèi)部的運(yùn)轉(zhuǎn)方式。這部分主要包括：①可模擬性，指是否可以使用輸入數(shù)據(jù)和模型來重現(xiàn)進(jìn)行預(yù)測所需的每一個計算步驟。②可分解性，指是否對所有模型參數(shù)都有直觀的解釋；③算法的透明度，指這本質(zhì)上是解釋學(xué)習(xí)算法工作的能力。

2）事后可解釋性。即在無法準(zhǔn)確闡述模型內(nèi)部的工作機(jī)制的情況下，通過對模型相關(guān)參數(shù)可視化來較為直觀地展現(xiàn)輸入數(shù)據(jù)與模型結(jié)果的關(guān)系［17］，或通過局部解釋計算特定輸入向量對輸出結(jié)果的影響，使人類加深對黑盒模型的理解［18］。

在深度學(xué)習(xí)可視化方面，Samek等［19］提出了一種基于區(qū)域擾動的方法來對輸入數(shù)據(jù)進(jìn)行評估，并可視化為熱圖，解釋了深度神經(jīng)網(wǎng)絡(luò)得出特定分類的決策依據(jù)。

神經(jīng)網(wǎng)絡(luò)模型是基于多個神經(jīng)元組成，一個性能良好的深度學(xué)習(xí)網(wǎng)絡(luò)往往包含成百上千個參數(shù)，所以神經(jīng)網(wǎng)絡(luò)模型的透明度較低，可解釋性也較差。因此，神經(jīng)網(wǎng)絡(luò)模型的自解釋性只能通過引入額外的解釋性模塊來實(shí)現(xiàn)，一種有效的方法是引入注意力機(jī)制。Choi等［20］提出通過復(fù)雜的注意力機(jī)制生成過程來提高醫(yī)療診斷的預(yù)測精度，同時保持表示學(xué)習(xí)部分的簡單解釋，使整個算法有較好的準(zhǔn)確和可解釋性。王天罡等［21］提出建立基于可解釋的層次注意力網(wǎng)絡(luò)，用于提前預(yù)警患者搶救過程中可能并發(fā)的危急重癥。在水文預(yù)報方面，Ding等［22］在長短期記憶網(wǎng)絡(luò)的基礎(chǔ)上，通過時空注意力機(jī)制使長短期記憶網(wǎng)絡(luò)能識別出相關(guān)的時空信息，提高長短期記憶網(wǎng)絡(luò)的水文預(yù)報性能。

基于上述研究進(jìn)行優(yōu)化，本文提出了一種基于雙階注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)的徑流預(yù)報模型應(yīng)用于中長期水文預(yù)報，主要的工作如下：

1）將圖注意力網(wǎng)絡(luò)（Graph Attention neTwork， GAT）［23］與雙階注意力機(jī)制進(jìn)行結(jié)合，通過流域站點(diǎn)的拓?fù)潢P(guān)系，構(gòu)建由上游站點(diǎn)指向下游站點(diǎn)的有向圖。通過圖注意力機(jī)制對同階上的不同節(jié)點(diǎn)進(jìn)行賦權(quán)，充分反映出上游節(jié)點(diǎn)對預(yù)測節(jié)點(diǎn)的貢獻(xiàn)度，挖掘了流域的空間關(guān)系。

2）將所提模型與ANN、CatBoost（Categorical features and gradient Boosting）、GCN和LSTM等模型進(jìn)行預(yù)報性能比較，以多個評價指標(biāo)為基礎(chǔ)分析各個預(yù)報模型之間的預(yù)報性能差異。

3）提出了一種熱點(diǎn)圖分析方法，使用一種數(shù)值擾動的方式保證注意力系數(shù)熱點(diǎn)圖能充分反映模型特征，提高模型的透明度和可解釋性；并從水文角度分析熱點(diǎn)圖的可行性，即熱點(diǎn)圖是否符合人類在徑流預(yù)報領(lǐng)域的經(jīng)驗(yàn)推斷。

1 相關(guān)工作

1.1 注意力機(jī)制

近年來，注意力機(jī)制的應(yīng)用極大地促進(jìn)了圖像分類、機(jī)器翻譯、多媒體推薦等領(lǐng)域的發(fā)展，在原有的深度學(xué)習(xí)基礎(chǔ)上進(jìn)一步提升了模型的效果。注意力機(jī)制幫助神經(jīng)網(wǎng)絡(luò)識別輸入數(shù)據(jù)與輸出結(jié)果之間的關(guān)系，幫助神經(jīng)網(wǎng)絡(luò)擁有信息捕捉的能力，該機(jī)制首次被提出是為了提高神經(jīng)機(jī)器翻譯中序列到序列模型的性能。注意力機(jī)制不僅能獲取輸入數(shù)據(jù)和輸出結(jié)果之間的相關(guān)性，還提高了預(yù)測結(jié)果的準(zhǔn)確性，同時具有良好的模型可解釋性。

1.2 圖注意力網(wǎng)絡(luò)

圖注意力網(wǎng)絡(luò)（GAT）［23］引入了基于圖卷積神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制，通過聚合為節(jié)點(diǎn)和鄰接節(jié)點(diǎn)的特征計算權(quán)重，同時遵循一種自我聚合的策略。圖注意力網(wǎng)絡(luò)可以更好地提取節(jié)點(diǎn)的空間特征關(guān)系，在有向圖的應(yīng)用中優(yōu)于圖卷積神經(jīng)網(wǎng)絡(luò)［24］。GAT的輸入是每個節(jié)點(diǎn)的特征向量，模型輸出的是經(jīng)過注意力機(jī)制計算后新的特征向量。

GAT是通過各個節(jié)點(diǎn)的注意力機(jī)制計算出一個新的特征向量集合：

注意力系數(shù)計算式如下：

根據(jù)節(jié)點(diǎn)的空間關(guān)系特點(diǎn)，引入masked attention機(jī)制，通過計算節(jié)點(diǎn)的鄰居節(jié)點(diǎn)的注意力系數(shù)將注意力機(jī)制引入到有向圖中。如圖1所示，如果計算節(jié)點(diǎn)的注意力權(quán)重，只需計算其鄰近節(jié)點(diǎn)即和的相關(guān)度和即可，并使用softmax對所有相鄰接點(diǎn)計算出的注意力系數(shù)進(jìn)行歸一化處理，從而更好地分配注意力系數(shù)，使其便于計算與比較。綜上所述，的計算式為：

為了使模型更具有健壯性，本文采用了多頭注意力機(jī)制計算K組注意力系數(shù)，并使用取平均操作來對多個注意力頭進(jìn)行整合，計算式如下：

式中：K代表注意力頭的數(shù)量；代表第k組的注意力系數(shù)；代表第k組的特征變化權(quán)重矩陣。

多頭注意力機(jī)制獨(dú)立計算了K組注意力系數(shù)，通過取均值的方式綜合評價了模型的多次訓(xùn)練效果，從而獲得了更為全面的信息，并豐富了模型的特征提取能力。

圖1 圖注意力網(wǎng)絡(luò)計算示意圖Fig. 1 Schematic diagram of graphic attention network calculation

1.3 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)［11］是遞歸神經(jīng)網(wǎng)絡(luò)的改進(jìn)版本，旨在解決循環(huán)神經(jīng)網(wǎng)絡(luò)可用歷史數(shù)據(jù)有限的問題。

LSTM每個神經(jīng)元的內(nèi)部結(jié)構(gòu)由記憶儲存和3個門控組成，其中記憶儲存負(fù)責(zé)記憶神經(jīng)元狀態(tài)，輸入門和輸出門用來接收、修正和輸出狀態(tài)參數(shù)，遺忘門負(fù)責(zé)控制上一個單元層狀態(tài)的被遺忘程度，具體內(nèi)部結(jié)構(gòu)如圖2所示。

圖2 長短期記憶網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)Fig. 2 Internal structure of LSTM

2 本文徑流預(yù)報模型

流域的降雨量、蒸發(fā)量和總產(chǎn)流量等輸入數(shù)據(jù)實(shí)際上都是特征范疇相互獨(dú)立的時間序列數(shù)據(jù)，但都與流域的徑流量在同一時刻具有非線性關(guān)系，與此同時，在某一時間步長內(nèi)的輸入時間序列數(shù)據(jù)對流域站點(diǎn)徑流量的預(yù)測也起到了一定的作用。本文提出了使用圖注意力網(wǎng)絡(luò)和基于長短期記憶網(wǎng)絡(luò)的雙階注意力（Graph Attention neTwork and Dual-stage Attention mechanism-based Long Short-Term Memory network， GAT-DALSTM）模型分別對流域的時空關(guān)系進(jìn)行提取，結(jié)合長短期記憶網(wǎng)絡(luò)對流域的徑流量進(jìn)行預(yù)測，具體流程如圖3所示。

圖3 GAT-DALSTM模型流程Fig. 3 Flow chart of GAT-DALSTM model

2.1 流域拓?fù)潢P(guān)系提取

從圖論的角度看，同一流域的水文站點(diǎn)在空間上具有依賴性，即上游的降雨事件往往會對下游的徑流量產(chǎn)生一定的影響，因此同一流域的水文站點(diǎn)在空間分布上具有天然的圖結(jié)構(gòu)關(guān)系。將水文站點(diǎn)與水系結(jié)構(gòu)抽象為由頂點(diǎn)和邊構(gòu)成的圖，其結(jié)構(gòu)關(guān)系定義如下：

式中：G表示水文站空間分布上的拓?fù)浣Y(jié)構(gòu)關(guān)系；V表示各個水文站；E表示站點(diǎn)與站點(diǎn)之間的一組邊。

受洪水坦化作用的影響［25］，不僅要考慮站點(diǎn)本身的水文數(shù)據(jù)信息，更要考慮站點(diǎn)之間的地理距離。如果兩個具有上下游關(guān)系的水文站點(diǎn)的地理距離過大，則上游降雨事件對下游徑流量的影響相對較小，且在大多數(shù)情況下，下游的降水事件對上游的影響微乎其微，該特征符合有向圖的定義。因此，本節(jié)使用鄰接上游站點(diǎn)的水文時間序列數(shù)據(jù)作為節(jié)點(diǎn)特征，構(gòu)建有向圖網(wǎng)絡(luò)，圖的鄰接矩陣A用來描述鄰近水文站點(diǎn)的上下游關(guān)系，其中。如果站點(diǎn)位于站點(diǎn)的上游，則、，構(gòu)建鄰接矩陣A如下：

圖注意力網(wǎng)絡(luò)節(jié)點(diǎn)輸入數(shù)據(jù)如下：

當(dāng)上游突發(fā)極端降雨事件、水庫攔洪蓄水或開閘放水，往往會對下游河流的徑流量產(chǎn)生較大的影響。式（3）中的注意力機(jī)制需要訓(xùn)練的權(quán)重矩陣W與式（4）的相關(guān)度函數(shù)a只與節(jié)點(diǎn)輸入特征有關(guān)，改變節(jié)點(diǎn)輸入特征即可在空間上實(shí)現(xiàn)自我調(diào)節(jié)水文站點(diǎn)之間的注意力系數(shù)。

2.2 水文時間序列數(shù)據(jù)生成

已有的數(shù)據(jù)驅(qū)動水文預(yù)報模型僅僅將降雨量、蒸發(fā)量和流量作為模型的輸入數(shù)據(jù)進(jìn)行降雨-徑流建模，沒有將流域的地理高程、土壤和植被信息考慮在內(nèi)，故該類數(shù)據(jù)模型不能很好地反映一個流域的特征。本文在原有特征值的基礎(chǔ)上，使用數(shù)字高程數(shù)據(jù)、土地覆蓋數(shù)據(jù)和土壤屬性數(shù)據(jù)對下墊面地形、植被和土壤特征定性估算柵格尺度張力水蓄水容量，并計算每個柵格的產(chǎn)流量，然后將所有柵格的產(chǎn)流量累積到流域出口段，從而計算出流域的透水產(chǎn)流和非透水產(chǎn)流，該類值能在一定程度上反映流域的下墊面特征［26-28］。

2.3 編碼器

注意力機(jī)制的主要目的是從對當(dāng)前目標(biāo)更關(guān)鍵的信息中選擇。受Qin等［29］在時間序列預(yù)測中的相關(guān)工作啟發(fā)，當(dāng)長序列數(shù)據(jù)輸入到編碼器-解碼器模型中時，前面的信息將被后面所覆蓋。編碼器實(shí)際上是一個遞歸神經(jīng)網(wǎng)絡(luò)，它將輸入的特征序列數(shù)據(jù)編碼為特征表示。對于時間序列預(yù)測，給定輸入特征序列，編碼器可以應(yīng)用于學(xué)習(xí)從輸入序列到遞歸神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)之間的映射，如式（16）所示：

通過引入注意力機(jī)制可以提取序列數(shù)據(jù)中的重要信息，以更好地預(yù)測目標(biāo)值，如圖4所示。引入LSTM單元對時刻隱藏層狀態(tài)和單元層狀態(tài)提取參數(shù)權(quán)重，是訓(xùn)練后得到的注意力系數(shù)，用來表示輸入時間序列的特征值和對目標(biāo)序列的影響程度，同時使用softmax函數(shù)用來確保注意力系數(shù)的和為1。注意力系數(shù)計算式如下：

t時刻的隱藏狀態(tài)可以更新為：

2.4 解碼器

時間注意力機(jī)制可以自適應(yīng)地調(diào)整編碼器中神經(jīng)網(wǎng)絡(luò)的隱藏層狀態(tài)，如圖5所示。通過LSTM單元前一時刻的隱藏層狀態(tài)和單元層狀態(tài)來計算每個時間步的注意力系數(shù)，即不同時刻對目標(biāo)序列的貢獻(xiàn)權(quán)重。

圖4 輸入注意力機(jī)制Fig. 4 Input attention mechanism

圖5 時間注意力機(jī)制Fig. 5 Time attention mechanism

在解碼器解碼后，將解碼器的當(dāng)前時刻隱藏層狀態(tài)與由外部因素組成的離散特征拼接起來，解碼后將解碼器的當(dāng)前隱藏層狀態(tài)與時間注意力模塊t時刻的輸出特征進(jìn)行拼接，輸入到一個全連接神經(jīng)網(wǎng)絡(luò)，最終得到目標(biāo)預(yù)測值。

3 對比模型與評價指標(biāo)

3.1 對比模型

3.1.1 人工神經(jīng)網(wǎng)絡(luò)

本文采用多層感知機(jī)（Multi-Layer Perceptron， MLP）作為對比模型中人工神經(jīng)網(wǎng)絡(luò)的具體算法。多層感知機(jī)是一種易于構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型，其相鄰層中的神經(jīng)元節(jié)點(diǎn)相互連接，而同一層中的神經(jīng)元節(jié)點(diǎn)不完全連接。輸入數(shù)據(jù)由輸入層通過一個或多個全連接層輸入，全連接層中的每個神經(jīng)元都可以擬合原始數(shù)據(jù)，最后通過輸出層輸出數(shù)據(jù)。多層感知機(jī)采用梯度下降算法迭代優(yōu)化損失函數(shù)，并通過反向傳播算法更新模型參數(shù)，具有較好的預(yù)報性能，是一種常見的數(shù)據(jù)驅(qū)動水文預(yù)報模型。

3.1.2 CatBoost算法

決策樹是具有較強(qiáng)可解釋性和模型透明度的典型機(jī)器學(xué)習(xí)模型。CatBoost算法由梯度提升（Gradient Boosting， GB）算法和類別型特征（Categorical Features，GF）兩部分組成，具有能更好地處理范疇特征的能力，同時組合范疇特征對特征維度進(jìn)行了提升。CatBoost通過添加先驗(yàn)分布項的策略使噪聲和頻率較低的數(shù)據(jù)不過度影響數(shù)據(jù)分布，并同時使用整個數(shù)據(jù)集進(jìn)行訓(xùn)練，該種策略最大限度上避免了算法過度擬合，如式（25）所示：

CatBoost引入了先驗(yàn)項和權(quán)重系數(shù)，其目的在于減少從低頻范疇特征中獲取的噪聲。CatBoost將目標(biāo)樹作為元學(xué)習(xí)機(jī)，并將目標(biāo)樹中每個葉節(jié)點(diǎn)的索引編碼對應(yīng)為一個長度等于樹深度的二進(jìn)制矢量。在目標(biāo)樹的整個層次上采用相同的分割準(zhǔn)則，使目標(biāo)樹達(dá)到平衡，不易過擬合，其權(quán)限系數(shù)能較好地反映輸入數(shù)據(jù)對于決策選擇的影響。

3.1.3 圖卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在圖像識別、自然語言處理等領(lǐng)域應(yīng)用十分廣泛，取得了較大的成功。但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只限于處理歐氏空間的數(shù)據(jù)，生活中廣泛存在的圖數(shù)據(jù)并不能應(yīng)用于該類模型。基于此，圖卷積神經(jīng)網(wǎng)絡(luò)通過提取圖結(jié)構(gòu)的拓?fù)潢P(guān)系生成拉普拉斯矩陣，使用層次線性模型約束和切比雪夫多項式計算譜卷積解，實(shí)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)在圖數(shù)據(jù)上的應(yīng)用。圖卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、圖卷積層和輸出層組成，該模型能較好地提取流域的拓?fù)浣Y(jié)構(gòu)。

3.2 評價指標(biāo)

由于沒有一種評價指標(biāo)能夠完全體現(xiàn)出一個水文模型的一致性、可靠性、準(zhǔn)確性和精確性，因此有必要使用多種性能指標(biāo)對模型進(jìn)行基準(zhǔn)測試。在本文實(shí)驗(yàn)中采用了納什效率系數(shù)（Nash-Sutcliffe Efficiency coefficient， NSE）、均方根誤差（Root Mean Squared Error， RMSE）和平均絕對誤差（Mean Absolute Error， MAE）作為評價指標(biāo)。

NSE評估預(yù)報結(jié)果的誤差，常用于驗(yàn)證水文模型模擬結(jié)果的優(yōu)劣：

MAE是所有個別觀測值與算術(shù)平均值之和的絕對值的平均值，主要評價平均預(yù)報誤差對模型的影響，其計算式如下：

RMSE評估回歸結(jié)果的準(zhǔn)確性，能較好地衡量出預(yù)測值與觀測值之間的偏差，其與MAE的區(qū)別在于，RMSE先對偏差進(jìn)行平方計算，使其誤差的離散度更高，更能凸顯局部預(yù)報誤差對評價指標(biāo)的影響，其計算式如下：

4 實(shí)驗(yàn)與結(jié)果分析

本文研究采用了屯溪流域12個雨量站的降雨蒸發(fā)資料和1個流量站的每小時平均徑流量資料，如圖6所示。屯溪流域數(shù)據(jù)集共包含49 532個樣本，共收錄1981—2001年汛期的相關(guān)資料，數(shù)據(jù)長度為1981—2001年。本文選用1981—1996年的汛期資料作為模型訓(xùn)練集，利用1997—2001年的汛期資料對模型進(jìn)行驗(yàn)證，時間步長為1 h，具體數(shù)據(jù)結(jié)構(gòu)如表1所示。在傳統(tǒng)的河流流量過程模擬中，流域的徑流量、降雨量、蒸發(fā)量等因素對河流徑流量的影響較為顯著。

經(jīng)多次實(shí)驗(yàn)驗(yàn)證后可得，本文實(shí)驗(yàn)采用的最佳超參數(shù)組合為：長短期記憶網(wǎng)絡(luò)采用Adam算法對神經(jīng)網(wǎng)絡(luò)的超參數(shù)進(jìn)行尋優(yōu)，設(shè)置學(xué)習(xí)率為0.05，batch_size為200，dropout為0.2，迭代次數(shù)為300。模型結(jié)構(gòu)采用雙層長短期記憶網(wǎng)絡(luò)和一層全連接網(wǎng)絡(luò)，激活函數(shù)為sigmoid函數(shù)，其損失函數(shù)為均方根誤差。圖注意力網(wǎng)絡(luò)設(shè)置層數(shù)為2，學(xué)習(xí)率為0.005，批大小為32，多頭注意力頭數(shù)為8。

圖6 屯溪流域站點(diǎn)分布Fig. 6 Distribution of Tunxi watershed stations

表1 實(shí)驗(yàn)數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)Tab. 1 Data structure of experimental data

4.1 模型評價指標(biāo)比較

在逐小時滾動未來7 h的徑流預(yù)報實(shí)驗(yàn)中，分別計算五種模型預(yù)見期為1 h～7 h的評價指標(biāo)。該實(shí)驗(yàn)?zāi)軓慕y(tǒng)計指標(biāo)的角度上展現(xiàn)流域下墊面特征提取模塊對于模型預(yù)報精度與準(zhǔn)確度的提升。

本文采用多評價指標(biāo)交叉驗(yàn)證的方式進(jìn)行實(shí)驗(yàn)分析，將測試集所得到的預(yù)測值作為模型評價的標(biāo)準(zhǔn)，模型預(yù)報性能的評價指標(biāo)結(jié)果如表2所示。在預(yù)測步長為時，GAT-DALSTM模型相較其他基準(zhǔn)深度學(xué)習(xí)模型在NSE上差距較小，但從RMSE和MAE指標(biāo)上可以看出，GAT-DALSTM的局部誤差和平均誤差均遠(yuǎn)遠(yuǎn)小于其他基準(zhǔn)深度學(xué)習(xí)模型，表明模型的擬合效果較好，其變化趨勢與實(shí)際流量值更為貼近。隨著預(yù)測步長的增加，指標(biāo)下降較為明顯，表明隨著預(yù)測步長的增加，模型的魯棒性和泛化性會逐步變差，但這是符合預(yù)期結(jié)果的。相較于其他基準(zhǔn)模型，GAT-DALSTM在到時間段的準(zhǔn)確性差別不大，但隨著預(yù)測步長的增加，GAT-DALSTM模型的準(zhǔn)確性下降速度明顯放緩，表明GAT-DALSTM模型在多步預(yù)報中預(yù)報精度優(yōu)勢更為明顯，其原因在于GAT-DALSTM模型中的圖注意力網(wǎng)絡(luò)和雙階注意力模型能夠提取流域的拓?fù)潢P(guān)系與時空信息，指導(dǎo)深度神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)降雨-徑流過程。但因?yàn)槠溆?xùn)練過程較為復(fù)雜，GAT-DALSTM模型的訓(xùn)練時間較長，相較基準(zhǔn)模型的耗時增加了20%～80%不等。

表2 模型預(yù)報性能統(tǒng)計指標(biāo)匯總Tab. 2 Summary of statistical indicators of model forecast performance

4.2 注意力系數(shù)可視化

注意力系數(shù)熱點(diǎn)圖如圖7所示，將熱力圖定義為二維矩陣中預(yù)定義的網(wǎng)格，將輸入時刻作為橫坐標(biāo)，將輸入數(shù)據(jù)的注意力系數(shù)作為縱坐標(biāo)，每個特定位置的注意力系數(shù)是范圍在0～1的常數(shù)，由式（18）計算所得，其詳細(xì)計算過程見2.2節(jié)和2.3節(jié)。為了更好地體現(xiàn)外界因素對流域徑流量的影響，本節(jié)的注意力系數(shù)熱點(diǎn)圖選取了到時刻的降雨量、蒸發(fā)量、透水徑流、非透水徑流和上游站點(diǎn)拓?fù)潢P(guān)系特征等相關(guān)信息得到。

由圖7可知，在任意時間步中流域降雨量的權(quán)重占比較高，這是符合預(yù)期結(jié)果的，因?yàn)榻涤?徑流過程的模擬就是基于前一時刻的降雨量進(jìn)行產(chǎn)流和蒸散發(fā)計算，時間步長內(nèi)任意時刻的實(shí)際降雨量值都會對預(yù)測徑流量值產(chǎn)生巨大影響；其次，透水產(chǎn)流總量和不透水產(chǎn)流總量所占權(quán)重較高，且在各個時段權(quán)重均較大，這是符合預(yù)期效果的，因?yàn)橥杆a(chǎn)流和非透水產(chǎn)流在經(jīng)過匯流過程之后才會對徑流量產(chǎn)生影響，所以會有一定的時差。

圖7 注意力系數(shù)可視化Fig. 7 Visualization of attention coefficient

圖注意力網(wǎng)絡(luò)生成的拓?fù)潢P(guān)系特征向量在一定程度上反映了上游來水對預(yù)測值的影響。圖7中，圖結(jié)構(gòu)拓?fù)涮卣髦练謩e代表屯溪流域的上游鄰階站點(diǎn)，即休寧、石門和五城氣象站。其中，五城站點(diǎn)對屯溪站點(diǎn)的影響程度相對較小，觀察圖6屯溪站點(diǎn)與五城站點(diǎn)的距離可以推斷其地理距離相差較遠(yuǎn)。從水文角度分析，地理距離相差越大，洪水的坦化作用就越明顯，故五城站點(diǎn)的降雨量對預(yù)測徑流量的影響相對較小，而休寧和石門站點(diǎn)均能較好地反映出上游節(jié)點(diǎn)對預(yù)測節(jié)點(diǎn)的貢獻(xiàn)度。

圖中蒸發(fā)量占比相對較小，但仍然在特定時刻發(fā)揮著理論指導(dǎo)作用：在非降雨時段，降雨量、透水產(chǎn)流總量和不透水產(chǎn)流總量均為0，其對應(yīng)的注意力系數(shù)對神經(jīng)網(wǎng)絡(luò)的指導(dǎo)作用暫時失去效果，但蒸發(fā)量仍然會通過注意力系數(shù)對預(yù)測值產(chǎn)生影響，保證模型在旱期與汛期均有較好的預(yù)報精度。

在本節(jié)主要驗(yàn)證了圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制在功能上的作用：GAT-DALSTM模型主要依靠注意力機(jī)制提供時間和空間兩個維度上對輸出數(shù)據(jù)的權(quán)重關(guān)系，通過熱點(diǎn)圖進(jìn)行可視化。當(dāng)上游發(fā)生降雨事件導(dǎo)致上游來水出現(xiàn)異常情況時，能通過圖神經(jīng)網(wǎng)絡(luò)的特征提取機(jī)制與注意力機(jī)制相融合共同反饋到徑流預(yù)報值上，將流域空間關(guān)系融入到徑流量預(yù)報之中。流域中透水徑流、非透水徑流、降雨量、流量和蒸發(fā)量是屬于該流域特有的時間序列數(shù)據(jù)，通過注意力機(jī)制區(qū)分降雨時段與非降雨時段輸入數(shù)據(jù)對徑流預(yù)測量的影響，兩者均提高了模型的預(yù)報精度與健壯性，并通過熱點(diǎn)圖從水文角度分析其模型可靠性。

4.3 基于注意力系數(shù)熱力圖的模型評價

本文所提模型可解釋性評估方法是基于注意力系數(shù)矩陣的數(shù)值擾動方法，其基本思想是在原注意力系數(shù)矩陣的基礎(chǔ)上，將高斯噪聲以越來越大的方差加入到注意力系數(shù)矩陣中，評估每個噪聲水平下模型性能的變化。標(biāo)準(zhǔn)差為0的選擇讓模型在不改變注意力系數(shù)總和的情況下，合理地評估每一個注意力系數(shù)對模型輸出的影響。具體來說，添加的噪聲來自于5個不同方差的正態(tài)分布：。

模型評價結(jié)果如圖8所示。雖然模型的性能隨著注意力系數(shù)矩陣中噪聲的增加而退化，但是這種退化并不是突然變化的，而是隨著噪聲水平的增加而平滑發(fā)生，表明注意力系數(shù)能有效計算特定輸入向量對輸出結(jié)果的影響，并對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練起到了指導(dǎo)作用，在提高模型預(yù)報精度的基礎(chǔ)之上，使人類加深了對黑盒模型的理解，并有了判斷模型可靠與否的依據(jù)，提高了模型的透明度與可解釋性。

圖8 高斯噪聲擾動下的納什效率系數(shù)變化趨勢Fig. 8 Change trend of Nash-Sutcliffe efficiency coefficient under Gaussian noise disturbance

5 結(jié)語

本文在分析屯溪流域徑流量隨時間和空間變化趨勢的基礎(chǔ)上，利用圖神經(jīng)網(wǎng)絡(luò)提取流域站點(diǎn)拓?fù)浣Y(jié)構(gòu)，并結(jié)合雙階注意力機(jī)制指導(dǎo)長短期記憶網(wǎng)絡(luò)更好地學(xué)習(xí)輸入水文時間序列數(shù)據(jù)與預(yù)測值之間的非線性關(guān)系。通過多個模型的預(yù)測結(jié)果與誤差分析比較發(fā)現(xiàn)，本文所提出的基于圖神經(jīng)網(wǎng)絡(luò)和雙階注意力機(jī)制的徑流預(yù)報模型在多個評價指標(biāo)下均保持了較好的預(yù)報精度，且隨著預(yù)報步長的增長，其精度衰減相較純數(shù)據(jù)驅(qū)動模型明顯變緩。

此外，通過可視化注意力系數(shù)形成熱點(diǎn)圖，實(shí)現(xiàn)從時空角度分析注意力機(jī)制對模型訓(xùn)練的指導(dǎo)作用，并從水文角度分析熱點(diǎn)圖的可行性，即熱點(diǎn)圖是否符合人類在徑流預(yù)報領(lǐng)域的經(jīng)驗(yàn)推斷。最后，使用一種數(shù)值擾動的方式，通過向注意力系數(shù)中添加高斯噪聲保證注意力系數(shù)熱點(diǎn)圖能充分反映模型特征，實(shí)驗(yàn)結(jié)果表明模型的預(yù)測值受到了較為明顯的影響，驗(yàn)證了模型的有效性與可靠性，有助于提高模型的透明度與可解釋性。

在后續(xù)的研究中，需要考慮流域本身的下墊面特征，將更多相關(guān)領(lǐng)域的物理知識與工程理論加入到深度學(xué)習(xí)之中，增加了“黑盒子”模型的透明度與物理可解釋性。

[1] 芮孝芳.論流域水文模型［J］.水利水電科技進(jìn)展，2017，37（4）：1-7，58.（RUI X F. Discussion of watershed hydrological model ［J］. Advances in Science and Technology of Water Resources，2017， 37（4）： 1-7， 58.）

[2] 黎云云，暢建霞，金文婷，等.基于SWAT模型的渭河流域分區(qū)徑流模擬研究［J］.西北農(nóng)林科技大學(xué)學(xué)報（自然科學(xué)版），2017，45（4）：204-212.（LI Y Y， CHANG J X，JIN W T， et al. Runoff simulation in subzones of the Wei River Basin based on the SWAT model ［J］. Journal of Northwest A amp; F University （Natural Science Edition）， 2017， 45（4）： 204-212.）

[3] ZOUNEMAT-KERMANI M， MATTA E， COMINOLA A， et al. Neurocomputing in surface water hydrology and hydraulics： a review of two decades retrospective，current status and future prospects ［J］. Journal of Hydrology， 2020， 588： Article No.125085.

[4] DAWSON C W， ABRAHART R J， SHAMSELDIN A Y， et al. Flood estimation at ungauged sites using artificial neural networks ［J］. Journal of Hydrology， 2006， 319（1/2/3/4）：391-409.

[5] HALFF A H， HALFF H M， AZMOODEH M. Predicting runoff from rainfall using neural networks ［C］// Proceedings of the 1993 Symposium： Engineering Hydrology. New York： American Society of Civil Engineers， 1993： 760-765.

[6] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning internal representations by error propagation ［M］// COLLINS A， SMITH E E. Readings in Cognitive Science： A Perspective from Psychology and Artificial Intelligence. San Francisco： Morgan Kaufmann， 1988： 399-421.

[7] CARRIERE P， MOHAGHEGH S， GASKARI R. Performance of a virtual runoff hydrograph system ［J］. Journal of Water Resources Planning and Management， 1996， 122（6）： 421-427.

[8] HSU K L， GUPTA H V， SOROOSHIAN S. Application of a recurrent neural network to rainfall-runoff modeling ［C］// Proceedings of the 1997 24th Annual Water Resources Planning and Management Conference. New York： American Society of Civil Engineers， 1997： 68-73.

[9] NAGESH KUMAR D， SRINIVASA RAJU K， SATHISH T. River flow forecasting using recurrent neural networks ［J］. Water Resources Management， 2004， 18（2）： 143-161.

[10] BENGIO Y， SIMARD P， FRASCONI P. Learning long-term dependencies with gradient descent is difficult ［J］. IEEE Transactions on Neural Networks， 1994， 5（2）： 157-166.

[11] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.

[12] KRATZERT F， KLOTZ D， BRENNER C， et al. Rainfall-runoff modelling using Long Short-Term Memory （LSTM） networks ［J］. Hydrology and Earth System Sciences， 2018， 22（11）： 6005-6022.

[13] ZHANG D， LINDHOLM G， RATNAWEER H. Use long short-term memory to enhance Internet of Things for combined sewer overflow monitoring ［J］. Journal of Hydrology， 2018， 556： 409-418.

[14] 朱躍龍，趙群，余宇峰，等.基于時空特征挖掘的流量過程智能模擬方法［J］.河海大學(xué)學(xué)報（自然科學(xué)版），2021，49（1）：7-12.（ZHU Y L， ZHAO Q， YU Y F， et al. Intelligent simulation method of runoff process based on spatiotemporal feature mining［J］. Journal of Hohai University （Natural Sciences）， 2021， 49（1）： 7-12.）

[15] YIN Z K， LIAO W H， LEI X H， et al. Comparing the hydrological responses of conceptual and process-based models with varying rain gauge density and distribution ［J］. Sustainability， 2018， 10（9）： Article No.3209.

[16] CHAKRABORTY S， TOMSETT R， RAGHAVENDRA R， et al. Interpretability of deep learning models： a survey of results ［C］// Proceedings of the 2017 IEEE SmartWorld， Ubiquitous Intelligence amp; Computing，Advanced amp; Trusted Computed， Scalable Computing amp; Communications， Cloud amp; Big Data Computing， Internet of People and Smart City Innovation. Piscataway： IEEE： 2017： 1-6.

[17] LAURENS M van der， HINTON G. Visualizing data using t-SNE ［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.

[18] RIBEIRO M T， SINGH S， GUESTRIN C. “Why should I trust you？”： explaining the predictions of any classifier ［C］// Proceedings of the 2016 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining . New York： ACM， 2016：1135-1144.

[19] SAMEK W， BINDER A， MONTAVON G， et al. Evaluating the visualization of what a deep neural network has learned ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 28（11）： 2660-2673.

[20] CHOI E， BAHADORI M T， KULAS J A， et al. RETAIN： interpretable predictive model in healthcare using reverse time attention mechanism ［C］// Proceedings of the 2016 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 3512-3520.

[21] 王天罡，張曉濱，馬紅葉，等.可解釋的層次注意力機(jī)制網(wǎng)絡(luò)危重癥預(yù)警［J］.計算機(jī)工程與應(yīng)用，2021，57（5）：131-138.（WANG T G， ZHANG X B，MA H Y， et al. Early warning of critical illness based on explicable hierarchical attention mechanism ［J］. Computer Engineering and Applications，2021， 57（5）： 131-138.）

[22] DING Y K， ZHU Y L， FENG J， et al. Interpretable spatio-temporal attention LSTM model for flood forecasting ［J］. Neurocomputing，2020， 403： 348-359.

[23] VELI?KOVI? P， CUCURULL G，CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2021-03-09］. https：//arxiv.org/pdf/1710.10903.pdf.

[24] ZHU L P， WAN B H， LI C Y， et al. Dyadic relational graph convolutional networks for skeleton-based human interaction recognition ［J］. Pattern Recognition， 2021， 115： Article No.107920.

[25] 夏軍，謝平.論概念性元素的推移和坦化作用［J］.水利學(xué)報，1995（10）：65-68.（XIA J， XIE P. On the transposition and attenuation of conceptual elements ［J］. Journal of Hydraulic Engineering， 1995（10）： 65-68.）

[26] YAO C， LI Z J， YU Z B， et al. A priori parameter estimates for a distributed， grid-based Xinanjiang model using geographically based information ［J］. Journal of Hydrology， 2012， 468/487/488/469： 47-62.

[27] 王斌，黃金柏，宮興龍.基于HWSD的流域柵格土壤水分常數(shù)估算［J］.水文，2015，35（2）：8-11.（WANG B， HUANG J B， GONG X L. Grid soil moisture constants estimation based on HWSD over basin ［J］. Journal of China Hydrology， 2015， 35（2）： 8-11.）

[28] 楊哲，張行南，夏達(dá)忠，等.基于包氣帶厚度的流域蓄水容量計算及水文模擬［J］.水力發(fā)電學(xué)報，2015，34（3）：8-13.（YANG Z， ZHANG X N，XIA D Z， et al. Calculation of maximum thickness of unsaturated zone and modeling of hydrological process in Xingxing watershed ［J］. Journal of Hydroelectric Engineering， 2015， 34（3）： 8-13.）

[29] QIN Y， SONG D J， CHEN H F， et al. A dual-stage attention-based recurrent neural network for time series prediction ［C］// Proceedings of the 2017 26th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2017： 2627-2633.

Runoff forecast model based on graph attention network and dual-stage attention mechanism

HU Hexuan1，2，3， SUI Huachao1，2， HU Qiang1，2*， ZHANG Ye1，2， HU Zhenyun4， MA Nengwu5，6，7

（1.College of Computer and Information，Hohai University，Nanjing Jiangsu211100，China；2.Key Laboratory of Water Big Data Technology of Ministry of Water Resources（Hohai University），Nanjing Jiangsu211100，China；3.College of Electrical Engineering，Tibet Agriculture and Animal Husbandry University，Linzhi Xizang860000，China；4.Business School，Hohai University，Nanjing Jiangsu211100，China；5.Yangtze River Survey Planning and Design Research Company Limited，Wuhan Hubei430010，China；6.Changjiang Space Information Technology Engineering Company Limited，Wuhan Hubei430010，China；7.Hubei Research Center of Water Conservancy Information Perception and Large Data Engineering Technology，Wuhan Hubei430010，China）

To improve the accuracy of watershed runoff volume prediction， and considering the lack of model transparency and physical interpretability of data-driven hydrological model， a new runoff forecast model named Graph Attention neTwork and Dual-stage Attention mechanism-based Long Short-Term Memory network （GAT-DALSTM） was proposed. Firstly， based on the hydrological data of watershed stations， graph neural network was introduced to extract the topology of watershed stations and generate the feature vectors. Secondly， according to the characteristics of hydrological time series data， a runoff forecast model based on dual-stage attention mechanism was established to predict the watershed runoff volume， and the reliability and transparency of the proposed model were verified by the model evaluation method based on attention coefficient heat map. On the Tunxi watershed dataset， the proposed model was compared with Graph Convolution Neural network （GCN） and Long Short-Term Memory network （LSTM） under each prediction step. Experimental results show that， the Nash-Sutcliffe efficiency coefficient of the proposed model is increased by 3.7% and 4.9% on average respectively，which verifies the accuracy of GAT-DALSTM runoff forecast model. By analyzing the heat map of attention coefficient from the perspectives of hydrology and application， the reliability and practicability of the proposed model were verified. The proposed model can provide technical support for improving the prediction accuracy and model transparency of watershed runoff volume.

graph neural network; attention mechanism; encoder-decoder; Long Short-Term Memory network (LSTM); time series prediction; hydrological forecast

TP183

A

1001-9081（2022）05-1607-09

10.11772/j.issn.1001-9081.2021050829

2021?05?19；

2021?10?08；

2021?10?09。

國家重點(diǎn)研發(fā)計劃項目（2018YFC0407904）。

胡鶴軒（1975—），男，江蘇南京人，教授，博士，CCF會員，主要研究方向：人工智能、機(jī)器學(xué)習(xí)、水利大數(shù)據(jù)； 隋華超（1997—），男，山東青島人，碩士研究生，CCF會員，主要研究方向：數(shù)據(jù)挖掘、人工智能、水利大數(shù)據(jù)； 胡強(qiáng)（1992—），男，江蘇鎮(zhèn)江人，博士研究生，CCF會員，主要研究方向：機(jī)器學(xué)習(xí)、人工智能； 張曄（1976—），女，江蘇南京人，講師，博士，主要研究方向：水利大數(shù)據(jù)、人工智能； 胡震云（1968—），女，江蘇南京人，教授，博士，主要研究方向：水資源管理； 馬能武（1965—），男，湖北天門人，教授級高級工程師，博士，主要研究方向：水利水電安全監(jiān)測。

This work is partially supported by National Key Research and Development Program of China （2018YFC0407904）.

HU Hexuan， born in 1975， Ph. D.， professor. His research interests include artificial intelligence， machine learning， big data of water conservancy.

SUI Huachao， born in 1997， M. S. candidate. His research interests include data mining， artificial intelligence， big data of water conservancy.

HU Qiang， born in 1992， Ph. D. candidate. His research interests include machine learning， artificial intelligence.

ZHANG Ye， born in 1976， Ph. D.， lecturer. Her research interests include big data of water conservancy， artificial intelligence.

HU Zhenyun， born in 1968， Ph. D.， professor. Her research interests include water resource management.

MA Nengwu， born in 1965， Ph. D.， professor of engineering. His research interests include water conservancy and hydropower safety monitoring.