基于互信息變量選擇與LSTM的電站鍋爐NOx排放動態(tài)預(yù)測

楊國田， 王英男， 李新利， 劉 凱

(華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院， 北京 102206)

0 引 言

燃煤過程中產(chǎn)生的NOx是大氣污染物的重要來源，嚴(yán)重影響人類健康和空氣質(zhì)量。2011年，環(huán)保部頒布了新的污染物排放標(biāo)準(zhǔn)，要求燃煤鍋爐NOx排放不超過100 mg /m3[1]。隨著NOx排放標(biāo)準(zhǔn)的提高與排放量限制線的降低，對NOx的實(shí)時監(jiān)測與控制成為了評價火電機(jī)組的清潔生產(chǎn)的重要指標(biāo)。但現(xiàn)有的測量設(shè)備難以滿足實(shí)時測量的要求，監(jiān)控難度大[2]。因而，建立高精度實(shí)時預(yù)測的NOx排放模型，實(shí)現(xiàn)對NOx排放的快速、有效監(jiān)測十分必要。

燃煤鍋爐NOx的生成機(jī)制非常復(fù)雜，受燃煤特性、爐內(nèi)溫度和配風(fēng)方式等多種因素的影響，這些變量間相互耦合，難以用簡單的機(jī)理模型描述。因此，多數(shù)研究者通過機(jī)器學(xué)習(xí)算法建立基于熱工過程參數(shù)的NOx排放預(yù)測模型。文獻(xiàn)[3-5]引入了神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)建立了電廠鍋爐運(yùn)行數(shù)據(jù)和NOx排放量之間的關(guān)系。文獻(xiàn)[6,7]采用支持向量機(jī)(support vector machine，SVM)對NOx排放進(jìn)行建模，由于支持向量機(jī)具有良好的非線性映射能力，使模型具有較好的預(yù)測性能。J. Smrekar針對燃煤鍋爐NOx排放問題，構(gòu)建了一種基于靜態(tài)ARX的多步預(yù)測模型[8]，并通過交叉驗(yàn)證對模型的輸入變量進(jìn)行了篩選，取得了較好的預(yù)測效果。牛培峰等利用極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)建立NOx排放模型[9,10]，并結(jié)合優(yōu)化算法，對模型參數(shù)進(jìn)行搜索和優(yōu)化，提高了網(wǎng)絡(luò)的學(xué)習(xí)速度。然而，上述方法只實(shí)現(xiàn)了對NOx預(yù)測的靜態(tài)建模，但在實(shí)際運(yùn)行過程中影響NOx排放的多個過程參數(shù)與NOx排放測量存在較大的延遲，而且校準(zhǔn)它們之間的準(zhǔn)確對應(yīng)關(guān)系十分困難，因此所建立的NOx排放靜態(tài)預(yù)測模型的精度往往難以滿足要求。同時在基于機(jī)組歷史運(yùn)行數(shù)據(jù)進(jìn)行NOx排放建模中，選擇影響NOx排放的特征變量至關(guān)重要。由于機(jī)組的歷史運(yùn)行數(shù)據(jù)通常耦合較嚴(yán)重且信息量和變量規(guī)模較大，預(yù)測模型準(zhǔn)確度受選擇特征變量的直接影響。模型的復(fù)雜度和訓(xùn)練的時間取決于特征變量的數(shù)目，高維的特征變量會知道導(dǎo)致模型訓(xùn)練時間增多，結(jié)構(gòu)更復(fù)雜，且更容易引入噪聲，導(dǎo)致模型精度降低；而特征變量少選或漏選將會導(dǎo)致模型不夠精確，預(yù)測性能隨過程時變而下降。目前NOx排放預(yù)測特征選擇一般通過分析NOx生成的相關(guān)機(jī)制，選擇合適的特征變量進(jìn)行建模，以減少特征變量的數(shù)目。

伴隨著大數(shù)據(jù)時代的到來，深度學(xué)習(xí)模型逐漸被應(yīng)用到時序數(shù)據(jù)的研究中。深度學(xué)習(xí)作為一種基于對數(shù)據(jù)進(jìn)行高度表征的學(xué)習(xí)方法，能夠?qū)斎胄盘栔饘映橄蟛⑻崛√卣?，挖掘出更深層次的潛在?guī)律[11]。長短期記憶(long-short term memory, LSTM)是一種著名的深度學(xué)習(xí)模型。它將時序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，其內(nèi)部有自循環(huán)，允許數(shù)據(jù)在網(wǎng)絡(luò)中循環(huán)流動，可以保存之前的信息供將來使用，對時間序列數(shù)據(jù)具有強(qiáng)大的處理能力。近年來，在電力負(fù)荷預(yù)測[12]，自然語言處理[13]、機(jī)器翻譯[14]等不同領(lǐng)域中，均利用LSTM模型實(shí)現(xiàn)了良好效果?；诨バ畔⑦M(jìn)行特征變量選擇是一種新型的變量選擇方法，其中互信息量化并計(jì)算了不同相關(guān)變量之間的關(guān)聯(lián)性，可以在線性空間或者非線性空間中描述變量之間的關(guān)系。本文提出一種基于互信息變量選擇和長短期記憶網(wǎng)絡(luò)的NOx動態(tài)預(yù)測算法。首先基于互信息“最小冗余最大相關(guān)”準(zhǔn)則對原始數(shù)據(jù)集進(jìn)行篩選和重要性排序，獲取以互信息值為度量標(biāo)準(zhǔn)的變量集。然后輸入至預(yù)測模型，并采用多層網(wǎng)格搜索對LSTM的參數(shù)進(jìn)行優(yōu)化，建立NOx排放動態(tài)預(yù)測模型。最后采用某660 MW超超臨界燃煤機(jī)組歷史數(shù)據(jù)實(shí)現(xiàn)對NOx排放動態(tài)預(yù)測模型的驗(yàn)證。

1 LSTM網(wǎng)絡(luò)

在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的基礎(chǔ)上，Schmidhuber和Hochreiter改進(jìn)了神經(jīng)網(wǎng)絡(luò)的時間遞歸細(xì)胞，解決了RNN使用過程中所產(chǎn)生的梯度消失、梯度爆炸以及缺乏長期記憶能力等問題，并在1997年正式提出長短期記憶(Long Short- Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)，使得循環(huán)神經(jīng)網(wǎng)絡(luò)能夠有效地運(yùn)用于長跨度的時序信息[15]。

LSTM是一種特殊的RNN。RNN的核心為循環(huán)，在信息的傳遞鏈中，經(jīng)過每次循環(huán)時會有部分信息仍然被保留在隱含層的神經(jīng)元中，并與新的信息一起作為輸入進(jìn)入下一個神經(jīng)元。所有 RNN 都是一種具有重復(fù)模塊的鏈?zhǔn)叫问剑琇STM的隱含層重復(fù)模塊A被稱作記憶模塊，如圖1所示。LSTM獨(dú)特的記憶細(xì)胞和門機(jī)制，可以對RNN的序列化輸入進(jìn)行處理，因此有效的避免了RNN在任意時間長度序列下產(chǎn)生的長期依賴關(guān)系，并解決了RNN進(jìn)行反向誤差傳播算法(Back Propagation Through Time，BPTT)訓(xùn)練過程中回傳殘差使指數(shù)下降所產(chǎn)生的梯度彌散問題。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of LSTM

LSTM神經(jīng)網(wǎng)絡(luò)控制門包含輸入門(input gate)、遺忘門(forget gate)和輸出門(output gate)，其中遺忘門是決定神經(jīng)元之間信息傳遞過程中是否保留的關(guān)鍵部分。每個門結(jié)構(gòu)都各自配備一個乘法器，實(shí)現(xiàn)對信息的輸入和輸出以及每個細(xì)胞的狀態(tài)的控制。LSTM 工作流程如圖1所示，當(dāng)前時刻的xt和上一時刻LSTM隱藏狀態(tài)ht-1這兩類信息通過三個“門”結(jié)構(gòu)輸入到當(dāng)前時刻的LSTM，每個“門”的激活狀態(tài)根據(jù)其邏輯函數(shù)對輸入信息的計(jì)算而判斷。經(jīng)過非線性函數(shù)的變換后的輸入門的輸出，疊加上遺忘門處理過的記憶單元狀態(tài)，形成新的記憶單元狀態(tài)ct。最終記憶單元狀態(tài)ct通過非線性函數(shù)的運(yùn)算和輸出門的動態(tài)控制形成LSTM單元的輸出ht。各變量之間的計(jì)算公式如下：

it=σ(Wixt+Uiht-1+Vict-1+bi)

(1)

ft=σ(Wfxt+Ufht-1+Vfct-1+bf)

(2)

ct=ft·ct-1+it·tanh(Wcxt+Ucht-1+bc)

(3)

ot=σ(Woxt+Uoht-1+VoCt+bo)

(4)

ht=ot·tanh(ct)

(5)

式中：ht表示t時刻計(jì)算單元的輸出；ct、it、ft、ot分別表示t時刻LSTM細(xì)胞、輸入門、遺忘門和輸出門的計(jì)算規(guī)則；W、U、V均為參數(shù)矩陣；b為偏置項(xiàng)；σ(·)和tanh(·)為激活函數(shù)。

LSTM預(yù)測模型中，涉及到眾多參數(shù)，其中學(xué)習(xí)速率、隱含層神經(jīng)元數(shù)目和時間步長最為關(guān)鍵[16]。為了達(dá)到更好的預(yù)測效果，本文采用網(wǎng)格搜索的方法對模型參數(shù)進(jìn)行尋優(yōu)。網(wǎng)格搜索是一種簡單實(shí)用、容易并行計(jì)算且計(jì)算耗時可控的優(yōu)化方法[17]，能夠很好地滿足任務(wù)需求和實(shí)驗(yàn)要求。

2 基于互信息的變量選擇

2.1 互信息

信息熵理論由Shannon在1948年提出，信息熵的提出解決了信息的量化表達(dá)問題?；バ畔?Mutual Information, MI)在信息熵的基礎(chǔ)上進(jìn)一步計(jì)算了兩個變量之間的信息包含量[18，19]。因此變量之間相關(guān)度的大小可以通過MI值標(biāo)定。

隨機(jī)變量X信息熵的計(jì)算公式為

(6)

式中：H(X)代表X的信息熵，X不同取值下的概率分布為P(X)。

設(shè)離散型隨機(jī)向量(X,Y)的聯(lián)合概率分布為P(X,Y)，則(X,Y)的二維聯(lián)合熵定義為

(7)

如果假設(shè)隨機(jī)變量X和Y的邊際分布分別為P(x)和P(y)，可定義在已知隨機(jī)變量X的條件下，隨機(jī)變量Y的條件熵H(Y|X)為

(8)

H(X|Y)≤H(X)說明Y中包含了X的某些信息，該部分信息稱為互信息I(X,Y)，計(jì)算公式如式(9)所示。

I(X,Y)=H(X)-H(X|Y)

(9)

通常情況下，X、Y的概率分布未知，則互信息如式(10)所示。

(10)

2.2 變量篩選規(guī)則

變量的篩選依據(jù)是互信息準(zhǔn)則，即在保證待選特征變量與主導(dǎo)變量之間互信息最大的前提下，同時期望待選變量與已選變量之間的互信息之和最小。因此，選擇如下評價函數(shù)

(11)

式中：fi∈F為待選變量；c為主導(dǎo)變量；Sj∈S為已選變量；β為懲罰因子。其值越大，候選變量與已選變量之間的信息冗余性則越需要考慮進(jìn)變量篩選的過程中。

根據(jù)互信息進(jìn)行變量篩選步驟如下：

Step1：選擇輸出變量Y與輸入樣本X=[x1,x2,…xk]，k表示輸入變量特征個數(shù)。

Step2：根據(jù)直方圖概率密度估計(jì)計(jì)算輸出變量Y的概率分布函數(shù)PY(x)。

Step3：根據(jù)直方圖概率密度估計(jì)計(jì)算某特征變量xi的概率分布函數(shù)Pi(x)。

Step4：計(jì)算特征變量xi關(guān)于輸出變量Y的互信息I(xi,Y)。

Step5：重復(fù)步驟3、4，獲得樣本X所有特征變量關(guān)于Y的互信息向量P=[p1(x),p2(x),…pk(x)]。

Step6：計(jì)算所有特征變量關(guān)于輸出變量Y的評價函數(shù)，根據(jù)評價函數(shù)進(jìn)行變量篩選，獲得變量篩選向量J=[J1(x),J2(x),…Jk(x)],{Ji(x)>Jk(x),i>k}。

3 MI-LSTM預(yù)測模型

為了降低預(yù)測模型復(fù)雜度，提高NOx預(yù)測精度，本文提出基于互信息變量選擇和長短期記憶神經(jīng)網(wǎng)絡(luò)(MI-LSTM)的NOx排放動態(tài)預(yù)測模型，如圖2所示。 首先，利用互信息篩選原始特征集，得到以MI值為度量標(biāo)準(zhǔn)的特征序列子集；然后，基于LTSM建立NOx排放模型，使用網(wǎng)格搜索算法確定最優(yōu)超參數(shù)集，以預(yù)測模型的RMSE為指標(biāo)，開展前向特征選擇，獲取最優(yōu)特征子集；最后，以最優(yōu)特征子集構(gòu)建LSTM預(yù)測模型，動態(tài)預(yù)測NOx排放。

圖2 基于MI-LSTM的NOx排放模型Fig.2 Structure of MI-LSTM model

3.1 建模步驟

基于MI-LSTM的NOx排放動態(tài)預(yù)測模型建模步驟如圖3所示。

圖3 基于MI-LSTM神經(jīng)網(wǎng)絡(luò)的NOx預(yù)測模型流程圖Fig.3 Prediction flow chart of NOx based on MI-LSTM neural network

3.2 模型評價方法

本文使用以下3類指標(biāo)衡量模型預(yù)測精度。

平均絕對誤差(Mean Absolute Percentage Error，MAPE)是單個觀測值與算術(shù)平均值之間偏差的絕對值平均，可以準(zhǔn)確反映實(shí)際預(yù)測誤差的大小。

(12)

皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient，R)是用來描述兩組數(shù)據(jù)一同變化移動的趨勢。

(13)

標(biāo)準(zhǔn)誤差(Root Mean Square Error，RMSE)，也稱為均方根誤差，它對預(yù)測數(shù)據(jù)中的特大或特小誤差反映非常敏感，因此能夠很好地反映預(yù)測的精確度。

(14)

4 NOx排放的MI-LSTM建模與測試

4.1 研究對象

本文研究的對象是河南某燃煤電廠660 MW機(jī)組，鍋爐為DG2060/26.15-Ⅱ2型超超臨界參數(shù)變壓運(yùn)行直流爐。鍋爐燃燒方式為前后墻對沖燃燒，共布置6層燃燒器(前后墻各3層)，每層各有6只旋流燃燒器，前墻從下往上依次為A、B、C層，后墻從下往上依次為D、E、F層，每臺中速磨煤機(jī)為同層的6只煤粉燃燒器提供風(fēng)粉混合物。同時各布置1層燃盡風(fēng)在前、后墻旋流煤粉燃燒器上方，其中每層6只燃盡風(fēng)(AAP)噴口、2只側(cè)燃盡風(fēng)(SAP)噴口。

從電廠監(jiān)控信息系統(tǒng)((supervisory information system，SIS))中采集歷史數(shù)據(jù)進(jìn)行挖掘與預(yù)測，采樣周期為1 min，負(fù)荷跨度為 300～660 MW。計(jì)算各采集變量與NOx排放量互信息，按照互信息從大到小排序后選擇前27個變量作為輸入變量，其互信息見表。主導(dǎo)變量為選擇性催化還原(selective catalytic reduction，SCR)反應(yīng)器入口處NOx濃度。所采集的3 500組數(shù)據(jù)分為測試集和測試集兩部分。其中，選取3 000組的數(shù)據(jù)用來建立基于MI-LSTM的NOx排放量預(yù)測模型，其余500組數(shù)據(jù)作為測試集，用來驗(yàn)證模型的準(zhǔn)確度和泛化能力。

4.2 基于MI-LSTM的NOx排放建模

利用序列前向選擇方法選擇最優(yōu)特征子集，輸入變量按互信息輸出由大到小排序，變量數(shù)目從3到27以2為差值遞增，同時針對LSTM網(wǎng)絡(luò)的時間步長、學(xué)習(xí)速率和隱層神經(jīng)元數(shù)目3個重要參數(shù)進(jìn)行網(wǎng)格搜索，尋找最優(yōu)輸入變量子集及最佳模型參數(shù)，網(wǎng)格搜索結(jié)果如圖4所示。

圖4中，橫軸表示訓(xùn)練時間步長，縱軸表示輸入特征數(shù)量個數(shù)，其中時間步長劃分如表2所示，同時根據(jù)表1學(xué)習(xí)速率與隱層神經(jīng)元個數(shù)獲得共3×3=9組對比模型。

從圖4可以看出，顏色越深代表RMSE值越低，隨著特征數(shù)量的增多，RMSE的值逐漸上升，說明高維數(shù)據(jù)特征將包含大量的信息冗余，致使LSTM模型擬合效果變差。9組對比模型中，中間三組模型RMSE明顯低于其他各組，表明學(xué)習(xí)速率對模型預(yù)測效果影響最大，且學(xué)習(xí)速率為0.001時，訓(xùn)練效果最好，模型獲得較好的預(yù)測效果。

模型最佳輸入變量的數(shù)目為7，篩選出最優(yōu)特征變量特征子集為：后墻固定端燃盡風(fēng)量、F層二次風(fēng)量、E給煤機(jī)給煤率反饋、總風(fēng)量、E磨一次風(fēng)量、主給水溫度及機(jī)組負(fù)荷。使用篩選出來的變量集合作為模型的輸入，SCR反應(yīng)器入口處NOx濃度為模型的輸出，建立排放量預(yù)測模型。根據(jù)網(wǎng)格搜索結(jié)果可知，LSTM模型中超參數(shù)如表3所示。

表 1 入口變量及其互信息

表2 待網(wǎng)格搜索的變量

圖4 特征個數(shù)對模型RMSE的影響Fig.4 Impact of number of input variables on model RMSE

參數(shù)名參數(shù)值時間步長4學(xué)習(xí)速率0.001隱含層神經(jīng)元數(shù)目256迭代次數(shù)2 000Batchsize16

MI-LSTM模型測試集的預(yù)測結(jié)果如圖5所示。從圖中可以看出，預(yù)測值分布在理想直線附近，預(yù)測結(jié)果與實(shí)測數(shù)據(jù)吻合度高。由計(jì)算可知，模型預(yù)測誤差為：MAPE=0.175%，R=0.905，RMSE=0.498。樣本的預(yù)測誤差很小，模型有較好的預(yù)測能力。

圖5 MI-LSTM模型對NOx排放質(zhì)量濃度的預(yù)測結(jié)果Fig.5 NOx emission predicted by MI-LSTM

4.3 模型比較

為了分析模型性能，作為對比，參考燃燒機(jī)理，選取機(jī)組負(fù)荷，給煤量，一次風(fēng)量，二次風(fēng)量，燃盡風(fēng)量，爐膛出口煙氣含氧量，總風(fēng)量和主蒸汽溫度共27組特征變量作為輸入，使用相同的數(shù)據(jù)集建立NOx預(yù)測模型。

本文構(gòu)建了其他3種模型作為對比：(1)LSTM模型；(2)MI-RNN模型；(3)MI-BP模型。LSTM是在RNN的基礎(chǔ)上進(jìn)行改進(jìn)的時間遞歸神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)則是常用的NOx排放建模方法。結(jié)果如圖6～9及表4所示。

圖6 MI-LSTM與LSTM模型的NOx排放預(yù)測Fig.6 Prediction of NOx emission for MI-LSTM and LSTM

圖7 MI-LSTM與LSTM模型預(yù)測誤差對比Fig.7 Comparison of the prediction error for MI-LSTM and LSTM

圖8 不同模型的NOx排放預(yù)測Fig.8 Prediction of NOx emission using different models

圖9 不同模型預(yù)測誤差對比Fig.9 Comparison of prediction error using different models

Tab.4 Comparison of prediction results of different models

模型MAPE/%RRMSEMI-LSTM0.1750.9050.498LSTM0.5860.7271.640MI-RNN0.5300.7741.444MI-BP1.1060.5403.963

由圖6和圖7可知，在建立火電機(jī)組的NOx排放預(yù)測模型時，如果沒有利用互信息篩選模型輸入變量，直接根據(jù)機(jī)理分析建立基于LSTM的NOx排放模型，模型的預(yù)測趨勢與原始數(shù)據(jù)仍相同，但其預(yù)測誤差顯然高于基于MI-LSTM的預(yù)測模型，這表明經(jīng)互信息變量選擇之后，得到了更有效的輸入變量集合，減少了輸入變量的個數(shù)，降低模型復(fù)雜度，提高了模型預(yù)測精度，表現(xiàn)出更好的泛化能力。

圖7和圖10分別為MI-LSTM、MI-RNN和MI-BP 3種模型的預(yù)測結(jié)果和預(yù)測誤差對比圖，其中LSTM和RNN均為動態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)，BP為常規(guī)前向網(wǎng)絡(luò)由圖中可知，MI-LSTM模型及MI-RNN模型的預(yù)測值準(zhǔn)確率均高于MI-BP模型，表明了動態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測結(jié)果準(zhǔn)確率遠(yuǎn)高于傳統(tǒng)模型，且MI-BP模型在數(shù)據(jù)量大的情況下訓(xùn)練時間遠(yuǎn)遠(yuǎn)高于其它兩個模型。此外，在具有相同結(jié)構(gòu)和模型參數(shù)時，與MI-RNN模型相比，MI-LSTM模型取得了更高的預(yù)測精度。

圖10 誤差頻率直方圖Fig.10 Error frequency histogram

表4和圖8分別給出了不同模型的預(yù)測結(jié)果的指標(biāo)對比和誤差的頻率直方圖。由預(yù)測結(jié)果可以看出，基于互信息變量選擇之后的模型，取得了更好的預(yù)測效果。MI-LSTM神經(jīng)網(wǎng)絡(luò)對火電廠NOx排放預(yù)測效果最好，誤差指標(biāo)RMSE和MAPE均低于對比模型；同時其相關(guān)系數(shù)R明顯大于其他模型，證明數(shù)據(jù)跟蹤效果明顯好于其他模型，且預(yù)測結(jié)果波動較小，預(yù)測精度高。

5 結(jié) 論

針對電站鍋爐NOx的排放受多個熱工變量的影響，而變量間具有相關(guān)性以及現(xiàn)場數(shù)據(jù)的時序特性，本文提出一種基于互信息變量選擇和長短期記憶網(wǎng)絡(luò)的NOx動態(tài)預(yù)測模型。首先，使用基于互信息的變量選擇算法對多個影響NOx排放的輸入變量進(jìn)行篩選，并采用網(wǎng)格搜索算法優(yōu)化LSTM網(wǎng)絡(luò)參數(shù)，建立NOx排放的動態(tài)預(yù)測模型?；谀?60 MW燃煤鍋爐的現(xiàn)場運(yùn)行數(shù)據(jù)，構(gòu)建了MI-LSTM、LSTM、MI-RNN和MI-BP四種NOx預(yù)測模型，仿真結(jié)果表明，與LSTM模型相比，基于互信息的變量選擇算法可以減少模型輸入變量個數(shù)，降低模型復(fù)雜度，提高模型精度和泛化能力；與MI-RNN和MI-BP模型相比，所提出的長短期記憶動態(tài)模型具有更高的預(yù)測精度。