基于新型聯(lián)合循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)模型的出水總氮預(yù)測

夏文澤，馮 驍，王 喆,*，錢志明，劉 杰，許雪喬

(1. 北京華展匯元信息技術(shù)有限公司，北京 100044；2.北京首創(chuàng)股份有限公司技術(shù)中心，北京 100044)

隨著工業(yè)與經(jīng)濟(jì)的迅速發(fā)展，水資源短缺與經(jīng)濟(jì)發(fā)展之間產(chǎn)生了突出的矛盾，而水環(huán)境污染使得這一矛盾更加突出，因此，提高污水處理質(zhì)量日益重要[1-4]。此外，日益嚴(yán)格的環(huán)境管理標(biāo)準(zhǔn)和政策以及污染物總量削減等約束性指標(biāo)實(shí)施，大量現(xiàn)有污水處理廠出水水質(zhì)指標(biāo)難以達(dá)到要求，其中，出水總氮(TN)是污水廠排放標(biāo)準(zhǔn)中的核心指標(biāo)之一[5-7]。如果能夠提前預(yù)知污水廠出水TN的濃度，污水廠便可以提前做出響應(yīng)，降低出水TN的濃度，達(dá)到最新國家標(biāo)準(zhǔn)的要求。因此，如何準(zhǔn)確地預(yù)測出水TN吸引了大量學(xué)者開展研究[8-10]。

在智能模型法中，循環(huán)神經(jīng)網(wǎng)絡(luò)RNN因具有記憶功能(可以從歷史輸入數(shù)據(jù)中提取信息)在污水廠出水水質(zhì)預(yù)測中得到廣泛應(yīng)用[25-26]。污水處理過程是一個(gè)復(fù)雜的強(qiáng)耦合系統(tǒng)，最終出水水質(zhì)不僅與入水水質(zhì)的歷史變化相關(guān)，還與中間各個(gè)處理過程的歷史變化相關(guān)。普通RNN網(wǎng)絡(luò)沒有充分考慮這些耦合性，無法充分地從歷史數(shù)據(jù)中提取關(guān)鍵信息，造成出水水質(zhì)預(yù)測精度偏低。本文提出了一種聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)，該聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)是基于傳統(tǒng)RNN網(wǎng)絡(luò)的改進(jìn)型網(wǎng)絡(luò)，其由一系列并排的單RNN網(wǎng)絡(luò)構(gòu)成，每個(gè)RNN網(wǎng)絡(luò)的輸出不僅與本網(wǎng)絡(luò)的當(dāng)前和歷史輸入相關(guān)，還與相鄰RNN網(wǎng)絡(luò)的歷史輸入相關(guān)，解決了普通RNN神經(jīng)網(wǎng)絡(luò)無法充分地從歷史數(shù)據(jù)中提取關(guān)鍵信息的問題，并通過與常規(guī)RNN神經(jīng)網(wǎng)絡(luò)的對比試驗(yàn)，證明所提出的算法提高了出水TN的預(yù)測精度。

1 理論

1.1 預(yù)測模型

本文所提出的預(yù)測模型框架如圖1所示，該模型包括訓(xùn)練過程和應(yīng)用過程，在訓(xùn)練過程中，水廠的歷史數(shù)據(jù)首先經(jīng)過數(shù)據(jù)清洗，剔除不合規(guī)的數(shù)據(jù)，并做數(shù)據(jù)補(bǔ)償，然后通過剩余數(shù)據(jù)訓(xùn)練聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)，聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)中的每個(gè)單獨(dú)的RNN網(wǎng)絡(luò)分別對應(yīng)污水處理全流程中的一個(gè)位置。網(wǎng)絡(luò)的訓(xùn)練過程分為兩步，首先斷開不同RNN網(wǎng)絡(luò)的連接，單獨(dú)訓(xùn)練每一個(gè)RNN網(wǎng)絡(luò)，然后恢復(fù)不同RNN網(wǎng)絡(luò)的連接，聯(lián)合訓(xùn)練所有RNN網(wǎng)絡(luò)。在應(yīng)用過程中，實(shí)際采集的水廠數(shù)據(jù)首先經(jīng)過數(shù)據(jù)清洗，剔除不合規(guī)的數(shù)據(jù)，然后將剩余數(shù)據(jù)送入早已訓(xùn)練好的聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)，得到最終預(yù)測結(jié)果。

圖1 預(yù)測模型框架Fig.1 Diagram of Prediction Model

1.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗是水質(zhì)預(yù)測過程中重要的組成步驟，數(shù)據(jù)從傳感器底層上傳服務(wù)器過程中會(huì)累加各種噪聲，而這些噪聲會(huì)對后續(xù)數(shù)據(jù)分析產(chǎn)生干擾，為提高數(shù)據(jù)預(yù)測的準(zhǔn)確性，需要對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。本文針對原始數(shù)據(jù)集的奇異值噪聲和結(jié)構(gòu)型噪聲進(jìn)行了清洗，分別采用了拉依達(dá)數(shù)據(jù)清洗算法[27]與盒式數(shù)據(jù)清洗算法[28]。在數(shù)據(jù)清洗以后，很多數(shù)據(jù)會(huì)被剔除，為保證數(shù)據(jù)的連貫性，被剔除的數(shù)據(jù)點(diǎn)由左右兩個(gè)點(diǎn)的均值代替。

拉依達(dá)數(shù)據(jù)清洗算法假設(shè)待檢測數(shù)據(jù)只含有隨機(jī)誤差，通過數(shù)據(jù)的標(biāo)準(zhǔn)差得到一個(gè)區(qū)間范圍，如果數(shù)據(jù)超出這個(gè)范圍，則認(rèn)為該數(shù)據(jù)屬于奇異值，需要將該奇異數(shù)據(jù)予以剔除。具體如式(1)。

(1)

σ——數(shù)據(jù)x集合的標(biāo)準(zhǔn)偏差。

盒式數(shù)據(jù)清洗算法是根據(jù)數(shù)據(jù)集中位數(shù)搭建的清洗模型，通過數(shù)據(jù)集求得其下四分位數(shù)Q1、中位數(shù)Q2、和上四分位數(shù)Q3，根據(jù)這些數(shù)值可以計(jì)算出數(shù)據(jù)模型的上下限值，最終確定數(shù)據(jù)清洗范圍，將超出該范圍的數(shù)值予以剔除。具體如式(2)～式(4)。

IQR=Q3-Q1

(2)

上限=Q3+1.5×IQR

(3)

下限=Q1-1.5×IQR

(4)

其中：IQR——四分位距離。

1.3 普通RNN神經(jīng)網(wǎng)絡(luò)

普通神經(jīng)網(wǎng)絡(luò)滿足輸入和輸出的一一對應(yīng)性，也就是一個(gè)輸入對應(yīng)著一個(gè)輸出，不同的輸入相互之間沒有關(guān)聯(lián)。RNN神經(jīng)網(wǎng)絡(luò)不同于普通的神經(jīng)網(wǎng)絡(luò)，它具有一種特殊的網(wǎng)絡(luò)結(jié)構(gòu)，是根據(jù)“人的認(rèn)知是基于過往的經(jīng)驗(yàn)和記憶”而提出的，不僅考慮網(wǎng)絡(luò)當(dāng)前時(shí)刻的輸入，還要考慮之前所有時(shí)刻的輸入，賦予了網(wǎng)絡(luò)對之前所有時(shí)刻內(nèi)容的一種“記憶”功能。

普通RNN網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示，圖2(a)為真實(shí)結(jié)構(gòu)圖，圖2(b)為邏輯展開圖。RNN網(wǎng)絡(luò)會(huì)對前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，即隱藏層之間的節(jié)點(diǎn)不再是無連接的而是有連接的，且隱藏層的輸入不僅包括輸入層的輸出還包括上一時(shí)刻隱藏層的輸出。自然界中很多過程都具有相似性質(zhì)，因此，RNN網(wǎng)絡(luò)在自然語言處理、機(jī)器翻譯、語音識別和圖像描述等領(lǐng)域得到廣泛應(yīng)用。

圖2 普通RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Diagram of Common RNN Structure

1.4 聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)

本文所提出的聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)如圖3所示，N個(gè)RNN神經(jīng)網(wǎng)絡(luò)并排放置，且每個(gè)RNN網(wǎng)絡(luò)中間層的輸入還要同時(shí)再接收左右兩個(gè)RNN網(wǎng)絡(luò)中間層的輸出。即每個(gè)RNN網(wǎng)絡(luò)的中間層的輸入包括4部分：本網(wǎng)絡(luò)當(dāng)前的輸入、本網(wǎng)絡(luò)中間層上一時(shí)刻的輸出、左邊RNN網(wǎng)絡(luò)中間層上一時(shí)刻的輸出和右邊RNN網(wǎng)絡(luò)中間層上一時(shí)刻的輸出。并且當(dāng)RNN網(wǎng)絡(luò)在接收來自左右兩個(gè)RNN網(wǎng)絡(luò)的數(shù)據(jù)時(shí)還要再乘以一個(gè)高斯系數(shù)，以決定RNN網(wǎng)絡(luò)所要接收的來自于左右兩個(gè)RNN網(wǎng)絡(luò)的信息量。

圖3 聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Diagram of Combined RNN Structure

圖4 聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)的局部結(jié)構(gòu)Fig.4 Diagram of Combined RNN Local Structure

(5)

為了實(shí)現(xiàn)網(wǎng)絡(luò)的反向傳播訓(xùn)練，需要得到所有可訓(xùn)練參數(shù)的梯度公式，具體如式(6)～式(12)。

(6)

(7)

(8)

(9)

(10)

(11)

(12)

其中：T——訓(xùn)練集數(shù)據(jù)時(shí)間長度；

t——時(shí)間序號；

N——RNN子模塊的數(shù)量；

i、j——子模塊的序號；

式(6)～式(10)為遞推公式，所以在求解過程中只能以類似于動(dòng)態(tài)規(guī)劃算法按照時(shí)間從小到大依次遞推求解。

由于本聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)相比常規(guī)RNN神經(jīng)網(wǎng)絡(luò)更加復(fù)雜，在訓(xùn)練過程中極易陷入局部極小值甚至出現(xiàn)無法收斂的問題。因此,在網(wǎng)絡(luò)訓(xùn)練過程中，采用分步訓(xùn)練的方式，首先斷開不同RNN網(wǎng)絡(luò)之間的連接，分別獨(dú)自訓(xùn)練，然后恢復(fù)不同RNN網(wǎng)絡(luò)之間的連接，進(jìn)行聯(lián)合訓(xùn)練。

2 試驗(yàn)

2.1 試驗(yàn)數(shù)據(jù)

圖5 進(jìn)水TN的變化曲線Fig.5 Diagram of Influent TN

2.2 預(yù)測試驗(yàn)

根據(jù)以上數(shù)據(jù)構(gòu)建兩個(gè)網(wǎng)絡(luò),分別為普通RNN神經(jīng)網(wǎng)絡(luò)和聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)，用于對比試驗(yàn)。對于普通RNN神經(jīng)網(wǎng)絡(luò)，輸入結(jié)點(diǎn)數(shù)為18，對應(yīng)著所采集的18維數(shù)據(jù)，輸出節(jié)點(diǎn)數(shù)為3，對應(yīng)著輸入、輸出和好氧池3個(gè)采樣位置的TN指標(biāo)，中間層包含30個(gè)神經(jīng)元，訓(xùn)練次數(shù)為500次。對于聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)，包含3個(gè)并排的RNN網(wǎng)絡(luò)，對應(yīng)著3個(gè)采樣位置。對于每個(gè)RNN網(wǎng)絡(luò)，輸入結(jié)點(diǎn)數(shù)為6，對應(yīng)著每個(gè)采樣位置所采集的6維數(shù)據(jù)，輸出節(jié)點(diǎn)數(shù)為1，對應(yīng)著每個(gè)采樣位置的TN指標(biāo)，中間層包含10個(gè)神經(jīng)元。其訓(xùn)練過程分為兩步，首先斷開不同RNN網(wǎng)絡(luò)的連接，單獨(dú)訓(xùn)練每個(gè)RNN網(wǎng)絡(luò)，訓(xùn)練次數(shù)為100次；然后恢復(fù)不同RNN網(wǎng)絡(luò)的連接，聯(lián)合訓(xùn)練所有RNN網(wǎng)絡(luò)，訓(xùn)練次數(shù)為400次。普通RNN神經(jīng)網(wǎng)絡(luò)和聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)均通過Tensorflow深度學(xué)習(xí)框架編程獲得，并運(yùn)行于英偉達(dá)RTX2080Ti顯卡之上。

需要說明的兩點(diǎn)：第一點(diǎn)，為了滿足嚴(yán)格的因果性，需要對入水、出水和好氧池的數(shù)據(jù)分別拉齊時(shí)間軸，拉齊時(shí)間軸是假定污水從水廠進(jìn)水端流動(dòng)到水廠出水端的時(shí)間為Δt，那么在將水質(zhì)數(shù)據(jù)送入神經(jīng)網(wǎng)絡(luò)時(shí)，水廠進(jìn)水端采集的水質(zhì)數(shù)據(jù)相比在水廠出水端采集的數(shù)據(jù)要沿時(shí)間軸向前平移Δt；第二點(diǎn)，不管是普通RNN神經(jīng)網(wǎng)絡(luò)還是聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)或者其3個(gè)子RNN神經(jīng)網(wǎng)絡(luò)，其輸入中包含TN指標(biāo),而預(yù)測輸出也是TN指標(biāo)，那這兩個(gè)TN指標(biāo)的區(qū)別就是，神經(jīng)網(wǎng)絡(luò)輸出TN比網(wǎng)絡(luò)輸入TN指標(biāo)晚2 h。

試驗(yàn)結(jié)果如圖6、圖7和圖8所示，圖6為預(yù)測曲線圖，圖7和圖8為結(jié)果分析圖。圖6中實(shí)線為實(shí)際出水TN指標(biāo)，點(diǎn)線為常規(guī)RNN網(wǎng)絡(luò)預(yù)測的出水TN指標(biāo)，虛線為聯(lián)合RNN網(wǎng)絡(luò)預(yù)測的出水TN指標(biāo)。由圖6可知，兩種網(wǎng)絡(luò)都成功地預(yù)測輸出了出水TN的變化，但是很難判定兩種網(wǎng)絡(luò)的優(yōu)劣。計(jì)算兩種網(wǎng)絡(luò)下的相關(guān)系數(shù)R以及均方誤差E，結(jié)果如圖7和圖8所示，橫軸為實(shí)際出水TN指標(biāo)，縱軸為預(yù)測出水TN指標(biāo)，點(diǎn)描述實(shí)際出水TN和預(yù)測出水TN的對應(yīng)關(guān)系，每個(gè)點(diǎn)對應(yīng)著一個(gè)預(yù)測結(jié)果，直線為當(dāng)實(shí)際出水TN和預(yù)測出水TN完全相同時(shí)的理想散點(diǎn)分布。理想情況下，圖中所有的點(diǎn)應(yīng)該嚴(yán)格分布在y=x這條直線上，實(shí)際效果為所有點(diǎn)分布在y=x這條直線的附近。由圖7、圖8可知，在測試集中，聯(lián)合RNN網(wǎng)絡(luò)的效果(R=0.902，E=0.245)好于常規(guī)RNN網(wǎng)絡(luò)的預(yù)測效果(R=0.863，E=0.361)，原因是聯(lián)合RNN網(wǎng)絡(luò)可以從歷史數(shù)據(jù)中學(xué)習(xí)到更加綜合的信息。所以，聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)可以提高污水廠出水TN的預(yù)測精度。

圖6 出水TN的預(yù)測曲線Fig.6 Prediction Diagram of Effluent TN

圖7 常規(guī)RNN神經(jīng)網(wǎng)絡(luò)的分析Fig.7 Analysis of Conventional RNN

圖8 聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)的分析Fig.8 Analysis of Combined RNN

3 結(jié)論

(1)本文提出一種基于聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)的出水TN預(yù)測算法，解決了普通RNN神經(jīng)網(wǎng)絡(luò)無法充分地從歷史數(shù)據(jù)中提取關(guān)鍵信息的問題，提高了污水廠出水TN的預(yù)測精度。

(2)聯(lián)合RNN神經(jīng)網(wǎng)絡(luò)是基于傳統(tǒng)RNN網(wǎng)絡(luò)的改進(jìn)型網(wǎng)絡(luò)，其由一系列并排的單RNN網(wǎng)絡(luò)構(gòu)成，每個(gè)RNN網(wǎng)絡(luò)的輸出不僅與本網(wǎng)絡(luò)的當(dāng)前輸入和歷史輸入相關(guān)，還與相鄰RNN網(wǎng)絡(luò)的歷史輸入相關(guān)。網(wǎng)絡(luò)的訓(xùn)練過程分為兩步，首先斷開不同RNN網(wǎng)絡(luò)的連接，單獨(dú)訓(xùn)練每一個(gè)RNN網(wǎng)絡(luò)，然后恢復(fù)不同RNN網(wǎng)絡(luò)的連接，聯(lián)合訓(xùn)練所有RNN網(wǎng)絡(luò)。

(3)利用來自真實(shí)水廠的水質(zhì)數(shù)據(jù)與常規(guī)RNN網(wǎng)絡(luò)進(jìn)行對比試驗(yàn)，試驗(yàn)結(jié)果顯示聯(lián)合RNN網(wǎng)絡(luò)的效果(R=0.902，E=0.245)好于常規(guī)RNN網(wǎng)絡(luò)的效果(R=0.863，E=0.361)，其中R為相關(guān)系數(shù)，E為均方誤差，這證明所提出的算法提高了出水TN的預(yù)測精度。當(dāng)前預(yù)測精度無法進(jìn)一步提高的主要原因是當(dāng)前水廠所能采集的數(shù)據(jù)維度無法全面反映水廠內(nèi)污泥的真實(shí)生化反應(yīng)過程。理論上該算法也可以推廣至其他出水指標(biāo)的預(yù)測，但是實(shí)際預(yù)測效果受到所選取的輸入?yún)⒘康姆N類的影響。