胡昊 孫爽 馬鑫 李擎 徐鵬
摘 要:極端暴雨天氣多發(fā)頻發(fā)造成的城市內(nèi)澇,嚴重威脅居民的人身財產(chǎn)安全,準確高效的內(nèi)澇點積水面積預測在提高城市災害應急處置能力中發(fā)揮著至關重要的作用。為了提高城市內(nèi)澇點積水預測的準確性和直觀性,提出一種基于GAT 和LSTM 網(wǎng)絡的GATLSTM 組合預測模型,通過GAT 提取積水信息局部空間特征,并通過節(jié)點分配權重的方式加強對關鍵信息序列的記憶,隨后采用LSTM 提取積水面積序列的時間特征,對內(nèi)澇點積水面積進行預測。以開封市區(qū)某內(nèi)澇點的積水數(shù)據(jù)建立模型并評估驗證,將GATLSTM 模型和LSTM、GAT 以及GCNLSTM 模型進行對比,結(jié)果表明:GATLSTM 模型的預測精度優(yōu)于另外3 種模型,能夠準確地對內(nèi)澇點積水面積進行預測,可以為防汛工作和應急響應措施的制定提供科學依據(jù)。
關鍵詞:積水預測;城市暴雨;圖注意力網(wǎng)絡;長短期記憶網(wǎng)絡
中圖分類號:TP391.9 文獻標志碼:A doi:10.3969/ j.issn.1000-1379.2024.04.007
引用格式:胡昊,孫爽,馬鑫,等.基于圖注意力網(wǎng)絡的城市內(nèi)澇積水預測與研究[J].人民黃河,2024,46(4):43-48.
0 引言
近年來,在全球氣候變化以及我國城鎮(zhèn)化建設高速發(fā)展的雙重作用下,極端暴雨天氣出現(xiàn)的頻次和強度都明顯提高。暴雨導致的城市內(nèi)澇造成了極大的危害,尤其是2021 年鄭州“7·20”特大暴雨事件,因災死亡失蹤398 人[1] ,直接經(jīng)濟損失高達1 200.6 億元。城市內(nèi)澇對居民的人身財產(chǎn)安全造成了巨大的威脅,同時制約著城市的發(fā)展速度[2-3] 。針對該問題,國內(nèi)外學者對內(nèi)澇預測進行了大量的研究,并提出了多種預測模型,目前國內(nèi)外常用SWMM、Info Works、MikeUrban 等數(shù)值模型[4] 來預測城市內(nèi)澇,但隨著城市化進程的加快,下墊面、地下管網(wǎng)、河道排澇等因素越來越復雜,城市水文數(shù)據(jù)難以完整收集,模型的建模難度也隨之增加。同時,模型運行求解復雜、耗時,難以滿足內(nèi)澇預測的時效要求。針對數(shù)值模型的問題,研究人員開始通過機器學習預測城市內(nèi)澇,如劉媛媛等[5]將城市內(nèi)澇模型的模擬結(jié)果作為數(shù)據(jù)驅(qū)動,構建了各積水點的反向傳播神經(jīng)網(wǎng)絡(Back Propagation,BP)預測模型,驗證了BP 神經(jīng)網(wǎng)絡在積水預測中的適用性,但BP 神經(jīng)網(wǎng)絡的預測精度較低。針對該問題,周小力等[6] 提出了一種基于卷積神經(jīng)網(wǎng)絡(ConvolutionalNeural Network,CNN)和長短期記憶網(wǎng)絡(Long Short?Time Memory,LSTM)的CNLSTM 組合時序預測模型,通過CNN 提取積水序列空間特征,再通過LSTM 提取積水序列時間特征,提高了預測模型的精度。趙兵等[7] 提出一種基于Attention 機制和CNN 以及門控循環(huán)單元(Gated Recurrent Unit, GRU)的短期電力負荷預測模型,該模型通過CNN 提取歷史負荷序列的特征,利用與Attention 機制結(jié)合的GRU 對提取的特征進行動態(tài)時序建模,完成短期電力負荷預測。
傳統(tǒng)神經(jīng)網(wǎng)絡被廣泛應用于積水水位和電力負荷的預測,但是現(xiàn)實中越來越多的問題可以抽象成非歐式結(jié)構數(shù)據(jù),研究人員通過引入圖論中抽象意義上的“圖”來表示非歐氏結(jié)構數(shù)據(jù),鑒于圖的不規(guī)則性,傳統(tǒng)神經(jīng)網(wǎng)絡無法處理圖結(jié)構數(shù)據(jù)。針對該問題,研究人員開發(fā)出圖神經(jīng)網(wǎng)絡(Graph Neural Networks,GNN)用來學習圖的拓撲結(jié)構,以挖掘蘊藏在圖結(jié)構數(shù)據(jù)中的深層次信息[8-10] 。黃警明等[11] 提出了一種基于圖卷積網(wǎng)絡(Graph Convolutional Networks,GCN)的時空預測模型,通過圖卷積網(wǎng)絡提取各時刻的空間隱含特征,對基站用戶量進行預測,證明了GCN 能夠有效提取時序信息的空間隱含特征并進行預測,但GCN 無法處理長距離依賴關系。針對該問題,曾筠程等[12] 構建有向的圖卷積算子,并將其應用到LSTM 模型中,構建了可學習交通路網(wǎng)時空雙重特性的有向圖卷積-長短期記憶網(wǎng)絡(Directed Graph Convolutional-LSTM,DGC-LSTM)模型,其能夠挖掘長時間交通流數(shù)據(jù)中的時空相關性。趙靜等[13] 提出了一種結(jié)合圖注意力網(wǎng)絡(Graph Attention Networks,GAT)和GRU 的時空交通流量預測模型,通過GAT 學習復雜圖結(jié)構并捕獲空間依賴,通過GRU 捕獲時間依賴,減小了模型的預測誤差,增強了模型在交通流預測中的適用性,其中GAT能夠充分考慮各維度數(shù)據(jù)間的依賴關系,有效提高模型的預測精度和適用性。
目前大多數(shù)的城市內(nèi)澇研究是對積水水位進行預測,為了提高模型預測的準確性和直觀性,筆者選擇對內(nèi)澇點積水面積進行預測與研究,提出一種結(jié)合GAT與LSTM 的GATLSTM 組合時序模型來預測城市內(nèi)澇點積水面積,直觀展現(xiàn)道路積水情況,以期為城市防澇措施的制定提供科學依據(jù)。該模型通過GAT 捕獲各維度數(shù)據(jù)間的空間依賴關系,實現(xiàn)對關鍵信息序列的學習,采用LSTM 提取時間特征,并通過并行計算的方式提高模型的運算效率,實現(xiàn)快速且準確的城市內(nèi)澇點積水面積預測。
1 理論基礎與模型構建
1.1 圖注意力網(wǎng)絡
GAT 是一種圖神經(jīng)網(wǎng)絡,通過自注意力機制,可以自適應性地分配權重,將鄰居節(jié)點的特征聚合到中心節(jié)點,更有效地學習圖中的關鍵信息[14-15] 。
式中: δ 為sigmoid 激活函數(shù), Ni 為節(jié)點i 的鄰居節(jié)點數(shù)量。
多頭注意力機制能夠提高模型的結(jié)構穩(wěn)定性和表達能力,即多個結(jié)構相同的GAT 網(wǎng)絡存在于一個網(wǎng)絡層中,每個注意力頭都有獨立的注意力權重矩陣Wk與α 。對于注意力頭數(shù)為K(K≥2)的網(wǎng)絡層,節(jié)點通過多頭注意力機制在其鄰域內(nèi)得到自身的特征表示[16-17] ,如圖1 所示。
將多個注意力頭進行拼接或者平均,得到節(jié)點的特征。拼接方式可表示為
1.2 長短期記憶網(wǎng)絡
LSTM[18-19] 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡,LSTM 加入了門控機制,引入細胞狀態(tài)的概念,解決了RNN 梯度爆炸、爆炸消失和長期記憶能力不足的問題,使得LSTM 能夠有效利用長距離的時序信息,被廣泛地應用于預測研究中。LSTM 模型的內(nèi)部結(jié)構見圖2。
假設輸入序列為(x1,x2,…,xn ) ,隱藏層輸出序列為(h1,h2,…,hn ) ,那么在t 時刻記憶細胞的輸入輸出結(jié)構表示如下:
式中: it 、ft 、Ct 、ot 分別為t 時刻的輸入門、遺忘門、細胞狀態(tài)以及輸出門, w 和b 分別為對應的權重系數(shù)矩陣和偏置值, ζ 和tanh 分別為sigmoid 函數(shù)和雙曲正切激活函數(shù)[20] 。
1.3 多圖并行訓練
因為GAT 中待訓練的參數(shù)較多,所以GAT 模型的訓練會花費較長的時間。同時,GAT 模型需要逐一提取輸入的圖數(shù)據(jù)信息,嚴重影響了模型的效率,為提高模型的運行效率,選擇對數(shù)據(jù)進行多圖并行處理。
多圖并行訓練如圖3 所示,將n 張圖對角依次排列拼接成一張圖輸入到GAT 模型中,模型能夠同時提?。?張圖的數(shù)據(jù)信息。由于子圖之間無連接關系,且GAT 在同一網(wǎng)絡層之間共享參數(shù),因此采用多圖并行訓練與串行訓練的結(jié)果相同。
1.4 GATLSTM 模型的構建
GATLSTM 模型結(jié)構如圖4 所示,模型由輸入層、GAT 層、LSTM 層、全連接層和輸出層組成。將歷史積水數(shù)據(jù)輸入GAT 層中,計算各節(jié)點間的注意力系數(shù),據(jù)此分配權重,加強關鍵信息序列的記憶,再使用LSTM 對提取到的特征序列進行建模并預測,最后由全連接層輸出預測結(jié)果。
輸入層:將標準化后的歷史降雨積水數(shù)據(jù)轉(zhuǎn)換為圖結(jié)構數(shù)據(jù),并行輸入GAT 層中。
GAT 層:GAT 層主要捕獲各維度數(shù)據(jù)間的空間依賴關系,通過節(jié)點分配權重的方式加強對關鍵信息序列的記憶。GAT 層由兩層GAT 組成, GAT 采用LeakyReLU 激活函數(shù),兩層GAT 之間采用Elu 激活函數(shù)。訓練數(shù)據(jù)通過GAT 層后,將得到的結(jié)果進行拆分,還原為Hc 的形式輸入LSTM 層中,GAT 層的輸出為Hc = {h1→′,h2→′,…,hN′ →} ,其中 h′i ∈ RF ,可表示為
LSTM 層:LSTM 層對GAT 層提取到的特征進行學習,建立單層LSTM 提取積水面積的時間特征,在t時刻,LSTM 層的輸出ht 表示為
ht = LSTM(Hc,i -1,Hc,i ) (t ∈ [1,i]) (14)
全連接層:將LSTM 層輸出的結(jié)果輸入到全連接層中,采用ReLU 激活函數(shù),預測t 時刻的積水面積。計算公式為
yt = ReLU(w0ht + b0) (15)
式中: yt 為t 時刻降雨積水面積預測值, w0 為權重系數(shù), b0 為偏置值。
輸出層:將不包含激活函數(shù)的全連接層作為模型的輸出層,輸出模型的預測結(jié)果。
2 實驗設置
2.1 數(shù)據(jù)來源與處理
采用開封市內(nèi)某一內(nèi)澇點2021 年5 月—2023 年4 月的10 場降雨數(shù)據(jù)評估模型的性能,采集時間間隔設置為10 min。實驗數(shù)據(jù)包含氣溫、濕度、氣壓、積水水位、降雨量及積水面積。其中積水水位數(shù)據(jù)來自內(nèi)澇點設置的傳感器,氣溫、濕度、氣壓、降雨量等數(shù)據(jù)通過氣象監(jiān)測站獲得,通過監(jiān)控設備獲取積水影像,根據(jù)胡昊等[21] 的研究成果獲得積水面積數(shù)據(jù)。本文選擇對積水面積進行預測,按照7 ∶ 2 ∶ 1 的比例將數(shù)據(jù)劃分為訓練集、測試集和驗證集。
2.1.1 異常數(shù)據(jù)處理
在歷史積水數(shù)據(jù)和氣象數(shù)據(jù)的采集過程中,存在操作失誤、測量方法不當?shù)葐栴},導致數(shù)據(jù)異常,影響模型的預測精度,因此對異常數(shù)據(jù)進行刪除并采用插值法予以填充。
2.1.2 標準化處理
本研究采用的數(shù)據(jù)種類較多,在量綱及數(shù)量級上存在較大差異,容易導致神經(jīng)網(wǎng)絡難以收斂,因此對數(shù)據(jù)進行標準化處理[6] 。本文采用Min-Max 標準化,公式如下:
式中: x? 為數(shù)據(jù)標準化后的值;x 為原始樣本數(shù)據(jù);max 和min 分別為區(qū)間的最大值和最小值,分別為1和0; xmax 和xmin 分別為樣本數(shù)據(jù)中的最大值和最小值。
2.1.3 數(shù)據(jù)轉(zhuǎn)換
通過皮爾遜相關系數(shù)法將樣本數(shù)據(jù)轉(zhuǎn)換為圖結(jié)構數(shù)據(jù),變量之間的皮爾遜相關系數(shù)[22] 表示它們的關聯(lián)程度。設定閾值,當相關系數(shù)超過所設閾值時,就認為變量之間存在相關性,即存在邊。皮爾遜相關系數(shù)的計算公式為
式中: cov(X,Y) 為兩個變量間的協(xié)方差, σx、σy 分別為X、Y 的標準差。
2.2 實驗環(huán)境以及參數(shù)設置
本次實驗的計算機配置如下:處理器為11th GenIntel(R) Core(TM) i9-11900 @ 2.50 GHz 2.50 GHz,顯卡為NVIDIA GeForce RTX 3090,內(nèi)存為64 GB,操作系統(tǒng)為Windows 11.0(64 位)。集成開發(fā)環(huán)境為Py?charm,安裝CUDA11.1,開發(fā)語言為Python 3.8.16,并應用Pytorch1.8.0 的學習框架。GAT 網(wǎng)絡層設置為兩層,注意力頭數(shù)設置為4,在LSTM 層中,隱藏層的神經(jīng)元個數(shù)為128。在訓練期間,輸入的批次大小為512,迭代次數(shù)epoch 設置為50。選用Adam 優(yōu)化器,初始學習率設置為0.006,通過不斷地迭代更新模型的網(wǎng)絡權重和偏差,使模型達到最優(yōu)狀態(tài)。
2.3 評價指標
為評估GATLSTM 模型的預測性能,選取均方根誤差(RMSE,Root Mean Square Error)、平均絕對百分比誤差(MAPE,Mean Absolute Percentage Error) 和校正決定系數(shù)( R2,Adjusted R-Square)來進行模型的評估,各指標的計算公式如下:
式中: n 為樣本數(shù)量,y ^i 為預測值, yi 為實際值, yi 為實際值的平均值,p 為特征數(shù)量。
MAPE 可以衡量模型預測結(jié)果的好壞;RMSE 對結(jié)果中極端數(shù)據(jù)的誤差較敏感,可以評價預測的精度。在預測實驗中,RMSE 和MAPE 的值越小,預測結(jié)果越準確。R2 取值范圍為0 到1,越接近1,模型的擬合效果越好。
3 實驗結(jié)果和分析
3.1 預測結(jié)果
為驗證GATLSTM 模型的性能,使用訓練集對模型進行訓練,GATLSTM 模型在測試集上的預測結(jié)果見圖5。從圖5 中可以看出GATLSTM 模型的預測值曲線與實際值曲線高度吻合,并在積水點面積變化較大時能夠準確預測積水面積的變化趨勢,表明GATLSTM模型能夠準確預測內(nèi)澇點的積水面積。
圖6 為預測值與實際值的百分比誤差散點。最大誤差絕對值為1.87%,最小誤差絕對值為0.08%,93%的預測結(jié)果誤差絕對值在1%以內(nèi),表明GATLSTM 模型具有較高的預測精度。
圖7 為GATLSTM 模型損失函數(shù)的收斂曲線。損失函數(shù)曲線在初始階段快速下降,當損失值下跌至0.017附近時,下降速度開始減緩,當?shù)螖?shù)為9 時,模型達到收斂,損失值穩(wěn)定在0.004 左右,收斂效果較好,可以看出GATLSTM 模型具有較好的泛化性。
圖8 為降雨量與積水面積的變化曲線。積水面積的變化相較于降雨量變化具有一定的滯后性,主要原因是從降雨到積水的匯聚需要一定的時間。降雨量較大時的積水面積變化速度明顯大于降雨量較小時的,主要原因是降雨量較大時積水匯聚速度遠大于下滲速度,導致積水面積的變化更加明顯。
3.2 模型對比分析
為了驗證模型的優(yōu)越性,將GATLSTM 模型與LSTM、GAT、GCNLSTM 模型在驗證集上的預測結(jié)果進行對比,見表1。
在精度方面,預測精度最高和最低的模型分別為GATLSTM 和LSTM 模型。與LSTM、GAT、GCNLSTM模型相比, GATLSTM 模型的MAPE 分別降低了49.01%、1.48%、7.17%,RMSE 分別降低了9%、0.98%、1.94%。結(jié)果表明,在本實驗中GATLSTM 模型具有最好的預測精度。從R2 值可以看出GATLSTM 模型相較其他模型具有更好的擬合效果和泛化性,適用范圍更廣。
在效率方面,GATLSTM 模型的平均運行時間為106 s,相較于LSTM、GCNLSTM 模型分別快了64、1 s,但是比GAT 模型慢了9 s。主要原因是GATLSTM 模型將GAT 和LSTM 相結(jié)合,進一步捕獲數(shù)據(jù)的長時間依賴關系,提高預測精度的同時增加了模型的訓練時間。
由上述分析可知,本文通過GAT 與LSTM 模型的組合,提高了模型的預測精度,同時采用并行計算的方式提高了模型的效率,使得該模型能夠同時滿足城市防汛工作在預測精度和預測效率方面的要求。
圖9 為4 種模型預測的積水面積變化過程對比??梢钥闯觯蹋樱裕?模型的預測值曲線與實際值曲線的跟隨效果較差,尤其是在積水面積變化較大時,預測值有較大的誤差。GAT 和GCNLSTM 模型在平緩時段的預測精度較高,當積水面積變化較大時,模型的預測值曲線與實際值曲線跟隨效果較差。相較于其他模型,本文所建模型在平緩的時段能夠準確預測積水面積,并且在積水面積變化較大時仍然能夠準確預測積水面積的變化。與GCN 相比,GAT 引入了注意力機制,能夠更加有效地學習圖結(jié)構數(shù)據(jù)中的信息,準確地預測積水面積的變化。
4 結(jié)束語
本文構建了一種用于城市內(nèi)澇點積水面積預測的GATLSTM 組合時序預測模型。采用開封市近兩年的降雨積水數(shù)據(jù)進行驗證,并與以往的預測模型進行對比分析,結(jié)果表明:本文所建GATLSTM 模型能夠準確且高效地預測內(nèi)澇點積水面積,與LSTM、GAT 以及GCNLSTM 模型相比,RMSE 分別下降了9%、0.98%、1.94%,MAPE 分別降低了49.01%、1.48%、7.17%;通過并行訓練的方法提高了模型的運算效率,能夠滿足城市應急防汛工作的時效要求;通過GAT 提高了模型的預測精度,但在GAT 的訓練中,需要通過大量的運算來進行節(jié)點更新以及網(wǎng)絡參數(shù)的確定,影響了模型的效率。未來可以通過研究圖注意力網(wǎng)絡與其他優(yōu)化算法相結(jié)合的方式,進一步提高預測模型的運算效率。同時,隨著科學技術的發(fā)展,未來可以從監(jiān)控視頻中得到更加準確的歷史積水面積,從而得到更為準確的預測結(jié)果。
參考文獻:
[1] 張金萍,楊鋒,方宏遠.鄭州市致災暴雨積水點成因分析[J].水電能源科學,2022,40(5):64-67,173.
[2] 侯精明,康永德,李軒,等.西安市暴雨致澇成因分析及對策[J].西安理工大學學報,2020,36(3):269-274.
[3] 王偉武,汪琴,林暉,等.中國城市內(nèi)澇研究綜述及展望[J].城市問題,2015(10):24-28.
[4] 臧文斌,趙雪,李敏,等.城市洪澇模擬技術研究進展及發(fā)展趨勢[J].中國防汛抗旱,2020,30(11):1-13.
[5] 劉媛媛,劉業(yè)森,鄭敬偉,等.BP 神經(jīng)網(wǎng)絡和數(shù)值模型相結(jié)合的城市內(nèi)澇預測方法研究[J].水利學報,2022,53(3):284-295.
[6] 周小力,李云,王國胤,等.CNLSTM 模型預測城市積水[J].重慶郵電大學學報(自然科學版),2021,33(4):529-535.
[7] 趙兵,王增平,紀維佳,等.基于注意力機制的CNN-GRU短期電力負荷預測方法[J].電網(wǎng)技術,2019,43(12):4370-4376.
[8] 徐冰冰,岑科廷,黃俊杰,等.圖卷積神經(jīng)網(wǎng)絡綜述[J].計算機學報,2020,43(5):755-780.
[9] 王健宗,孔令煒,黃章成,等.圖神經(jīng)網(wǎng)絡綜述[J].計算機工程,2021,47(4):1-12.
[10] 吳博,梁循,張樹森,等.圖神經(jīng)網(wǎng)絡前沿進展與應用[J].計算機學報,2022,45(1):35-68.
[11] 黃警明,陳翔.基于圖卷積網(wǎng)絡的基站用戶數(shù)量預測[J].無線電通信技術,2023,49(5):939-945.
[12] 曾筠程,邵敏華,孫立軍,等.基于有向圖卷積神經(jīng)網(wǎng)絡的交通預測與擁堵管控[J].中國公路學報,2021,34(12):239-248.
[13] 趙靜,李昕.基于GAT-GRU 模型的交通流預測方法[J].遼寧工業(yè)大學學報(自然科學版),2022,42(3):170-176.
[14] ZHAO K D,XU M Y,YANG Z Z, et al.A Spatial?TemporalSimilar Graph Attention Network for Cyber Physical SystemPerception via Traffic Forecasting[J].Journal of Circuits,Systems and Computers,2022,31(6):2250112.
[15] 馬帥,劉建偉,左信.圖神經(jīng)網(wǎng)絡綜述[J].計算機研究與發(fā)展,2022,59(1):47-80.
[16] 楊紅,張賀,靳少寧.融合卷積與多頭注意力的人體姿態(tài)遷移模型[J].計算機應用,2023,43(11):3403-3410.
[17] 石琇赟,李順勇,韓翔.基于多頭圖注意力網(wǎng)絡與圖模型的多標簽圖像分類[J].計算機系統(tǒng)應用,2023,32(6):286-292.
[18] 王軍,馬小越,張宇航,等.基于SSA-LSTM 模型的黃河水位預測研究[J].人民黃河,2023,45(9):65-69.
[19] JIANG S C,YANG S H.Distributed State Estimation Methodof Distribution Networks Based on LSTM [ J]. Journal ofPhysics:Conference Series, 2023, 2418(1):012089.
[20] 陸繼翔,張琪培,楊志宏,等.基于CNN-LSTM 混合神經(jīng)網(wǎng)絡模型的短期負荷預測方法[J].電力系統(tǒng)自動化,2019,43(8):131-137.
[21] 胡昊,李擎,馬鑫,等.基于影像的道路積水監(jiān)測研究[J].華北水利水電大學學報(自然科學版),2023,44(1):62-70.
[22] 肖勇,趙云,涂治東,等.基于改進的皮爾遜相關系數(shù)的低壓配電網(wǎng)拓撲結(jié)構校驗方法[J].電力系統(tǒng)保護與控制,2019,47(11):37-43.
【責任編輯 許立新】
基金項目: 河南省重大科技專項( 221100320200,231100320100);河南省高等學校青年骨干教師培養(yǎng)計劃項目(2019GCJS105);開封市重點研發(fā)專項(22ZDYF007)