基于注意力機制的跨境斷面水質(zhì)預(yù)測模型研究

摘" 要： 為了充分掌握水體污染治理效果，為水環(huán)境保護和生態(tài)治理提供科學依據(jù)和技術(shù)支持，提出一種基于注意力機制的跨境斷面水質(zhì)預(yù)測模型。運用長短期記憶神經(jīng)網(wǎng)絡(luò)建立跨境斷面水質(zhì)預(yù)測模型，引入注意力機制，建立跨境斷面水質(zhì)預(yù)測序列編碼矩陣。利用長短期記憶神經(jīng)網(wǎng)絡(luò)解碼器對序列矩陣數(shù)據(jù)進行解碼操作后，輸出跨境斷面水質(zhì)的預(yù)測結(jié)果。實驗結(jié)果表明，所提模型可有效提取跨境河流縱向斷面水質(zhì)化學需氧量（COD）時間特征與數(shù)據(jù)特征，同時可預(yù)測跨境縱向斷面水質(zhì)內(nèi)的余氯、濁度等，且預(yù)測跨境斷面水質(zhì)高錳酸鹽指數(shù)較為準確，應(yīng)用效果較佳。

關(guān)鍵詞： 注意力機制； 長短期記憶神經(jīng)網(wǎng)絡(luò)； 跨境斷面； 水質(zhì)預(yù)測； 序列編碼矩陣； 編解碼器； 化學需氧量（COD）

中圖分類號： TN911.23?34； TP302" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）16?0145?05

Research on cross border section water quality prediction model

based on attention mechanism

ZHU Qiliang， YU Xueting

（School of Information Engineering， North China University of Water Resources and Electric Power， Zhengzhou 450046， China）

Abstract： In order to fully grasp the effectiveness of water pollution control and provide scientific basis and technical support for water environment protection and ecological governance， a cross?border section water quality prediction model based on attention mechanism is proposed. A cross?border section water quality prediction model is established by means of long short?term memory neural networks， and a sequence coding matrix for cross?border section water quality prediction is established by introducing attention mechanisms. After decoding the sequence matrix data using a long short?term memory neural network encoder， the predicted results of cross?border cross?sectional water quality are output. The experimental results show that the proposed model can effectively extract the temporal and data characteristics of COD （chemical oxygen demand） in the longitudinal section of cross?border river， and can also predict residual chlorine and turbidity in the water quality of cross?border longitudinal sections. The prediction of the permanganate index in the water quality of cross?border sections is more accurate， and the application effect is better.

Keywords： attention mechanism; long short?term memory neural networks; cross border section; water quality prediction; sequence encoding matrix; encoder decoder; chemical oxygen demand

0" 引" 言

隨著全球化的加速和工業(yè)化的深入，跨境水體的水質(zhì)受到越來越多的關(guān)注，因為它們的水質(zhì)狀況直接影響到周邊環(huán)境和生態(tài)系統(tǒng)，進而影響到人類的健康和生活質(zhì)量[1?2]。因此，對跨境斷面水質(zhì)進行準確預(yù)測，對于預(yù)防和治理水污染、保護水資源具有重要意義。

目前有很多學者研究跨境斷面水質(zhì)預(yù)測模型，如魯言波等研究的粒子群優(yōu)化的跨境斷面水質(zhì)預(yù)測模型，使用GRU人工神經(jīng)網(wǎng)絡(luò)建立預(yù)測模型，將跨境斷面水質(zhì)采集數(shù)據(jù)輸入到該模型內(nèi)，使用粒子群優(yōu)化算法求解其預(yù)測模型后，輸出跨境斷面水質(zhì)預(yù)測結(jié)果[3]。石翠翠等提出一種支持向量回歸的水質(zhì)預(yù)測模型，該方法在人工神經(jīng)網(wǎng)絡(luò)中，運用回歸支持向量機作為分類器，輸出跨境斷面水質(zhì)預(yù)測結(jié)果[4]。馬創(chuàng)等提出一種基于遺傳算法與支持向量機的水質(zhì)預(yù)測模型，該模型使用遺傳算法訓練當前數(shù)據(jù)的特征權(quán)重向量，使權(quán)重適配當前預(yù)測問題，得出跨境斷面水質(zhì)預(yù)測結(jié)果[5]。以上水質(zhì)預(yù)測方法主要基于統(tǒng)計模型來實現(xiàn)，在預(yù)測精度和實時性方面存在一定的局限性。

為了解決上述問題，本文提出一種基于注意力機制的跨境斷面水質(zhì)預(yù)測模型。利用傳感器在跨境河流斷面位置采集水質(zhì)實時數(shù)據(jù)，構(gòu)建跨境斷面水質(zhì)預(yù)測模型。引入注意力機制提升模型性能，將跨境斷面水質(zhì)預(yù)測綜合特征序列編碼矩陣進行映射處理，使用長短期記憶神經(jīng)網(wǎng)絡(luò)解碼器進行解碼，輸出跨境斷面水質(zhì)預(yù)測結(jié)果，從而更準確地預(yù)測跨境斷面的水質(zhì)狀況。

1" 跨境斷面水質(zhì)預(yù)測模型

利用傳感器在跨境河流斷面位置采集水質(zhì)實時數(shù)據(jù)，如濁度、溶解氧、余氯、pH值、ORP等數(shù)據(jù)[6?7]，再將以上水質(zhì)數(shù)據(jù)輸入到長短期記憶神經(jīng)網(wǎng)絡(luò)內(nèi)；長短期記憶神經(jīng)網(wǎng)絡(luò)利用水質(zhì)實時數(shù)據(jù)建立水質(zhì)預(yù)測序列矩陣，然后將該矩陣輸入到特征注意力機制層內(nèi)，通過特征注意力權(quán)重計算后，獲取到跨境斷面水質(zhì)數(shù)據(jù)的特征；再將該特征輸入到LSTM編碼器內(nèi)，編碼器對該特征進行編碼處理后，將其輸入到時間注意力機制層內(nèi)，通過選取時間注意力權(quán)重，從時間維度獲取跨境斷面水質(zhì)預(yù)測的特征；最后通過解碼器進行解碼操作，輸出跨境斷面水質(zhì)預(yù)測結(jié)果。

1.1" 構(gòu)建跨境斷面水質(zhì)預(yù)測模型

運用長短期記憶神經(jīng)網(wǎng)絡(luò)建立跨境斷面水質(zhì)預(yù)測模型。該模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為遺忘門、輸入門、細胞更新以及輸出門等，其在預(yù)測跨境斷面水質(zhì)時，利用遺忘門接收跨境斷面水質(zhì)實時數(shù)據(jù)后，利用Sigmoid激活函數(shù)[8?9]評估當前跨境斷面水質(zhì)實時數(shù)據(jù)的一級狀態(tài)，獲得介于0～1之間的值；再將該值與跨境斷面水質(zhì)實時數(shù)據(jù)初始記憶狀態(tài)相乘，遺忘門數(shù)值接近1的跨境斷面水質(zhì)實時數(shù)據(jù)被保留，建立水質(zhì)預(yù)測序列[ft]。[ft]公式如下所示：

[ft=σ（?fht-1+xt+bf）] （1）

式中：[ht-1]表示上一個時刻遺忘門細胞輸出向量；[xt]表示輸入的跨境斷面水質(zhì)實時數(shù)據(jù)；[bf]表示遺忘門偏置；[?f]表示遺忘門權(quán)重；[σ?]表示激活函數(shù)。

將公式（1）結(jié)果輸入到長短期記憶神經(jīng)網(wǎng)絡(luò)的輸入門內(nèi)，輸入門對每個細胞對應(yīng)的跨境斷面水質(zhì)實時數(shù)據(jù)進行選擇后，獲取跨境斷面水質(zhì)的候選值向量[Qt]，公式如下：

[Qt=tanh（?cht-1+xt-1+bc）] （2）

式中：[?c]、[bc]分別表示輸入門權(quán)重和偏置；[xt-1]為上一個時刻的跨境斷面水質(zhì)數(shù)據(jù)。

獲取到跨境斷面水質(zhì)的候選值向量后，采用長短期記憶神經(jīng)網(wǎng)絡(luò)對每個細胞進行更新處理，將細胞狀態(tài)由[Qt-1]更新到[Qt]，公式如下所示：

[Qt=Qt-1⊙ft+it⊙Qt] （3）

式中：符號“[⊙]”表示“同或”運算符；[it]表示輸入門選擇后的跨境斷面水質(zhì)實時數(shù)據(jù)。

通過上述步驟即可完成對于跨境斷面水質(zhì)的預(yù)測分析。在此基礎(chǔ)上，本文所提出的變壓器負荷能力評估模型表達式如下：

[Mt=ft（Qt⊙Qt）] （4）

1.2" 建立跨境斷面水質(zhì)預(yù)測序列編碼矩陣

引入注意力機制可以幫助跨境斷面水質(zhì)預(yù)測模型更好地處理多樣化的特征關(guān)注，捕捉序列數(shù)據(jù)的長程依賴關(guān)系，以及提升模型的魯棒性和泛化能力[10?11]。這有助于提高模型的預(yù)測準確性和可解釋性，使得水質(zhì)預(yù)測結(jié)果更加可靠。因此，跨境斷面水質(zhì)預(yù)測模型在長短期記憶神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入了注意力機制，其中包括特征注意力模塊和時間注意力模塊。

令[X]表示時間注意力模塊接收到的跨境斷面水質(zhì)實時數(shù)據(jù)矩陣，該矩陣具有[m]行[n]列，在時間為[t]時，該模塊計算的跨境斷面水質(zhì)實時數(shù)據(jù)特征注意力權(quán)重[ati]公式如下所示：

[ati=softmax（xti）] （5）

式中[xti∈X]。

通過公式（5）得到跨境斷面水質(zhì)實時數(shù)據(jù)特征注意力權(quán)重，建立特征矩陣[X']；然后將[x'ti]作為輸入，通過時間注意力模塊獲得每個特征的時間特征注意力權(quán)重[bti]，公式如下：

[bti=softmax（x'ti）] （6）

式中[x'ti∈X']。

利用公式（6）獲得跨境斷面水質(zhì)實時數(shù)據(jù)特征的時間特征后，建立時間權(quán)重矩陣[B]；然后將跨境斷面水質(zhì)數(shù)據(jù)的特征和時間特征進行融合處理[12]，得到跨境斷面水質(zhì)預(yù)測綜合特征的序列編碼矩陣，公式如下：

[C=MtBTati+bti] （7）

式中[C]表示跨境斷面水質(zhì)預(yù)測綜合特征序列編碼矩陣。通過將水質(zhì)預(yù)測序列轉(zhuǎn)化為編碼矩陣，可以對數(shù)據(jù)進行特征提取。編碼矩陣將序列數(shù)據(jù)按照一定規(guī)則進行編碼，使得模型能夠更好地理解數(shù)據(jù)的結(jié)構(gòu)和模式，提取有用的特征。

1.3" 跨境斷面水質(zhì)預(yù)測結(jié)果輸出

長短期記憶神經(jīng)網(wǎng)絡(luò)編碼器?解碼器是一種常見的模型架構(gòu)，用于將一個輸入序列轉(zhuǎn)換為另一個輸出序列。這個結(jié)構(gòu)由編碼器和解碼器兩個主要部分組成。編碼器負責將輸入序列轉(zhuǎn)換為固定長度的向量表示；解碼器是接收編碼器的輸出，以及先前生成的目標序列的部分作為輸入。

長短期記憶神經(jīng)網(wǎng)絡(luò)的編碼器在本質(zhì)上是一個循環(huán)神經(jīng)網(wǎng)絡(luò)，其可將輸入的跨境斷面水質(zhì)預(yù)測綜合特征序列編碼矩陣進行映射處理[13?14]。令[ci]表示跨境斷面水質(zhì)預(yù)測綜合特征序列編碼矩陣[C]內(nèi)的任意序列，利用下式進行映射處理。

[ht=C（ht-1，xt）] （8）

式中[ht]表示映射后的跨境斷面水質(zhì)預(yù)測綜合特征序列。

將映射處理后的數(shù)據(jù)作為輸入，通過長短期記憶神經(jīng)網(wǎng)絡(luò)解碼器進行解碼，輸出跨境斷面水質(zhì)預(yù)測結(jié)果，公式如下所示：

[y（t）=f?ht] （9）

式中[f]是激活函數(shù)。

通過長短期記憶神經(jīng)網(wǎng)絡(luò)解碼器進行解碼，能夠捕捉長期依賴關(guān)系，并獲取具有自適應(yīng)能力的跨境斷面水質(zhì)預(yù)測結(jié)果，這將有助于對水質(zhì)狀況的準確評估。

2" 實驗分析

以我國東部某跨境河流作為實驗對象，該河流全長447 km，大小支系縱橫交錯，河流主脈穿過3個省，該跨境河流流域面積為2.33萬km2，流域內(nèi)年降水量為400～600 mm，年均徑流量為17.91億m3。該跨境河流流域范圍內(nèi)水資源較為豐富，但含沙量較大，水土流失問題較為嚴重，同時流域附近工業(yè)較為發(fā)達，跨境河流水質(zhì)存在不同程度污染。然而，在某些河段和下游地區(qū)，經(jīng)過治理和水質(zhì)改善措施的實施，水質(zhì)得到了一定程度改善，但對于該跨境河流治理來說任重道遠。為此，應(yīng)用本文模型對該跨境河流的斷面水質(zhì)展開預(yù)測，為跨境河流治理提供技術(shù)支持。本文使用型號為Hach Sension 8173的水質(zhì)傳感器實時采集水質(zhì)數(shù)據(jù)。該傳感器可實時采集氨氮、總磷、濁度、溶解氧、pH值、溫度等水質(zhì)數(shù)據(jù)，傳感器安裝現(xiàn)場圖如圖1所示。

水質(zhì)傳感器參數(shù)如表1所示。

以該跨境河流某河段縱向斷面作為實驗對象，在該縱向斷面內(nèi)每隔50 m設(shè)置一個預(yù)測點，一共設(shè)置10個預(yù)測點。以河流水質(zhì)衡量指標COD（化學需氧量）作為衡量指標，使用本文模型的注意力機制提取10個預(yù)測點的水質(zhì)COD時間序列特征和數(shù)據(jù)特征，提取結(jié)果如表2所示。

根據(jù)表2可以清晰地看到，在跨境河流的縱向斷面內(nèi)，每個預(yù)測點的COD數(shù)據(jù)特征和時間特征都是獨特的。這表明，該河流在各個斷面位置的水體質(zhì)量不盡相同。例如：當關(guān)注編碼為1的預(yù)測點時，其時間特征為15：22，這表明在這個特定的時間點，該預(yù)測點的水質(zhì)中的COD數(shù)值較高，說明該處的水體受到了較為嚴重的污染；進一步觀察該預(yù)測點的數(shù)據(jù)特征，其COD數(shù)值為23.02 mg/L，這個具體的數(shù)值也明確地反映了該預(yù)測點的水質(zhì)污染程度。綜上可知，采用本文所提出的方法能夠有效地從時間和數(shù)據(jù)兩個維度揭示跨境斷面水質(zhì)的特性，這為后續(xù)的跨境斷面水質(zhì)預(yù)測提供了堅實的基礎(chǔ)。為了更全面地理解和評估跨境斷面的水質(zhì)狀況，建議將該方法擴展到更多的預(yù)測點，并考慮在不同時間點的水質(zhì)變化情況，這有助于更好地了解跨境河流的水質(zhì)狀況，并為水質(zhì)管理和保護提供更有力的依據(jù)。

以該跨境河流某段縱向斷面作為實驗對象，該跨境河流縱向斷面的預(yù)測點設(shè)置如圖2所示。

以20天作為預(yù)測時間段，使用本文模型在該時間段內(nèi)對該跨境河流縱向斷面6個預(yù)測點的水質(zhì)指標即余氯、濁度進行預(yù)測，預(yù)測結(jié)果如表3、表4所示。

分析表3可知：該跨境河流縱斷面靠近上游的監(jiān)測點，其水質(zhì)中的余氯數(shù)值相對較小；然而，隨著時間的推移，水質(zhì)預(yù)測點的余氯數(shù)值呈現(xiàn)出逐漸增加的趨勢，但增加的幅度較為平緩。這一預(yù)測結(jié)果表明，隨著時間的推移，該跨境斷面的水質(zhì)逐漸變差，水體內(nèi)的余氯數(shù)值不斷升高。因此，為了更好地保護和管理跨境斷面的水質(zhì)，需要加強對余氯的監(jiān)測和控制，以降低其對水質(zhì)的負面影響。同時，建議進一步研究余氯在水中的擴散和降解機制，為水質(zhì)管理和保護提供更科學和可靠的依據(jù)。

分析表4可知，該跨境斷面河流隨著時間推移，其水體濁度逐漸上升，但靠近河流下游，預(yù)測點編碼為4、5、6位置處，水質(zhì)濁度呈現(xiàn)略低狀態(tài)，且隨著時間增加，該位置處的水質(zhì)濁度增加幅度小于編碼為1、2、3的預(yù)測點。原因在于：該跨境斷面河流上游河床較窄，縱向呈直線型分布，導致該位置水體流速較大，因此預(yù)測點1、2、3位置處的水質(zhì)濁度較高；而預(yù)測點4、5、6位置處，其水質(zhì)縱向深度數(shù)值較大，受河床轉(zhuǎn)彎對水體的緩沖作用，該區(qū)域水體流速略緩，同時水質(zhì)沉積，使得該區(qū)域水質(zhì)濁度有所降低。綜合表3和表4的結(jié)果，本文提出的方法能夠有效地預(yù)測跨境斷面的水質(zhì)余氯數(shù)值和濁度數(shù)值，具有較為顯著的水質(zhì)預(yù)測能力，這為水質(zhì)的管理和保護提供了科學可靠的依據(jù)，其應(yīng)用效果較為顯著。

使用本文模型對一段時間內(nèi)跨境斷面水質(zhì)的高錳酸鹽指數(shù)進行預(yù)測，同時采用實地測量方法獲取跨境斷面水質(zhì)內(nèi)高錳酸鹽指數(shù)，并與本文預(yù)測結(jié)果進行對比分析，驗證本文模型對跨境斷面水質(zhì)預(yù)測的有效性。高錳酸鹽指數(shù)測試結(jié)果如圖3所示。

分析圖3可知，該跨境斷面水質(zhì)內(nèi)的高錳酸鹽指數(shù)隨著時間的增加忽高忽低，呈現(xiàn)不規(guī)律狀態(tài)。其原因在于：水質(zhì)生態(tài)具有凈化功能，在大自然凈化作用下，數(shù)值內(nèi)的高錳酸鹽被凈化，其指數(shù)表現(xiàn)為下降趨勢；但受污染物排放，又會導致跨境斷面水質(zhì)內(nèi)的高錳酸鹽指數(shù)上升。而本文模型對該跨境斷面水質(zhì)進行預(yù)測時，僅在時間為第30天和第40天時，預(yù)測結(jié)果與其實際值之間存在輕微差異，在其他時間點時預(yù)測結(jié)果均與實際值完全吻合，這說明本文模型對跨境斷面水質(zhì)預(yù)測精度較高，進一步驗證了本文模型的實際應(yīng)用性。

3" 結(jié)" 論

為提高水質(zhì)預(yù)測的準確性和實時性，本文提出一種基于注意力機制的跨境斷面水質(zhì)預(yù)測模型。通過引入注意力機制，模型能夠更好地捕捉數(shù)據(jù)中的時序依賴關(guān)系和特征間的關(guān)聯(lián)性，從而更準確地預(yù)測跨境斷面的水質(zhì)狀況。實驗結(jié)果表明，該模型具有較為顯著的水質(zhì)預(yù)測能力，對跨境斷面水質(zhì)預(yù)測精度較高。所提模型不僅為跨境斷面水質(zhì)預(yù)測提供了新的解決方案，也為深度學習技術(shù)在環(huán)境監(jiān)測和生態(tài)治理領(lǐng)域的應(yīng)用提供了有益的探索。

參考文獻

[1] 王驥，謝再秘，莫春梅.神經(jīng)網(wǎng)絡(luò)在養(yǎng)殖水質(zhì)精準預(yù)測方面的研究進展[J].水產(chǎn)學報，2023，47（8）：19?34.

[2] 肖燚，郭亞會，李明蔚，等.基于機器學習的地下水水質(zhì)預(yù)測研究[J].北京師范大學學報（自然科學版），2022，58（2）：261?268.

[3] 魯言波，陳湛峰，李曉芳.基于粒子群優(yōu)化的GRU廣東省跨境斷面水質(zhì)預(yù)測模型研究[J].生態(tài)環(huán)境學報，2023，32（9）：1673?1681.

[4] 石翠翠，劉媛華，陳昕.基于粒子群算法優(yōu)化支持向量回歸的水質(zhì)預(yù)測模型[J].信息與控制，2022，51（3）：307?317.

[5] 馬創(chuàng)，王堯，李林峰.基于遺傳算法與支持向量機的水質(zhì)預(yù)測模型[J].重慶大學學報，2021，44（7）：108?114.

[6] 施珮，匡亮，王泉，等.基于PC?RELM的養(yǎng)殖水體溶解氧數(shù)據(jù)流預(yù)測模型[J].農(nóng)業(yè)工程學報，2023，39（7）：227?235.

[7] 楊明潤，郭星鋒，黃元峰，等.基于數(shù)據(jù)壓縮的WSN水質(zhì)異常數(shù)據(jù)檢測算法[J].電視技術(shù)，2022，46（5）：204?207.

[8] 張陽，冼慧婷，趙志杰.基于空間相關(guān)性和神經(jīng)網(wǎng)絡(luò)模型的實時河流水質(zhì)預(yù)測模型[J].北京大學學報（自然科學版），2022，58（2）：337?344.

[9] 林鈺棽，魏云龍，陳琪琪，等.一種嵌入式計算平臺的Sigmoid函數(shù)優(yōu)化方法[J].小型微型計算機系統(tǒng)，2021，42（10）：2053?2058.

[10] 夏正新，蘇翀.一種多參數(shù)學習的門控激活函數(shù)[J].南京郵電大學學報（自然科學版），2022，42（5）：83?90.

[11] 張俐，陳小波.動態(tài)加權(quán)條件互信息的特征選擇算法[J].電子與信息學報，2021，43（10）：3028?3034.

[12] 江釓泓，畢然，杜家豫，等.基于不同水廠水質(zhì)調(diào)查的消毒副產(chǎn)物生成趨勢及模型預(yù)測[J].環(huán)境工程學報，2022，16（2）：515?523.

[13] 王昱文，杜震洪，戴震，等.基于復(fù)合神經(jīng)網(wǎng)絡(luò)的多元水質(zhì)指標預(yù)測模型[J].浙江大學學報（理學版），2022，49（3）：354?362.

[14] 趙春蘭，李屹，何婷，等.基于動態(tài)隸屬度的模糊時間序列模型的水質(zhì)預(yù)測研究[J].計算機工程與科學，2022，44（8）：1488?1496.