基于特征優(yōu)化和改進長短期記憶神經(jīng)網(wǎng)絡的NOx質(zhì)量濃度預測

劉 岳，于 靜，金秀章

（華北電力大學控制與計算機工程學院，河北 保定 071003）

隨著大氣污染問題日益嚴重，我國對燃煤機組NOx的排放要求也日益嚴格[1]。目前火電廠常用的煙氣脫硝技術是選擇性催化還原（SCR）脫硝技術，該技術設備結構簡單，脫硝效率高。但電廠運行工況復雜多變，SCR設備入口煙氣NOx含量波動頻繁，使得脫硝過程噴氨量難以控制。當噴氨量過少時，NOx排放超標；噴氨量過多時不僅影響脫硝效率，還會腐蝕設備影響鍋爐正常運行。因此，建立精準有效的入口NOx排放量預測模型，可為噴氨量的優(yōu)化控制提供理論基礎，對提高SCR煙氣脫硝系統(tǒng)控制品質(zhì)、減少電廠脫硝成本具有重要意義[2]。

燃煤機組NOx的產(chǎn)生受到多種因素如燃燒溫度、一次風量、總煤量等影響，這些變量相互耦合，導致難以建立準確的 NOx排放量的預測模型。近年來，隨著機器學習發(fā)展，許多建模方法被提出并應用于NOx排放量的預測。Zhou等人[3]采用支持向量機（SVM）建立了鍋爐NOx排放量的預測模型。王博等[4]在SVM的基礎上提出了一種基于支持向量回歸（SVR）的預測模型，提升了模型的穩(wěn)定性。Li等人[5]利用改進的粒子群（PSO）算法對SVM模型進行參數(shù)優(yōu)化，提高了NOx排放量預測模型的精度。此外，神經(jīng)網(wǎng)絡也被廣泛應用于NOx預測模型建立。谷麗景等[6]利用人工神經(jīng)網(wǎng)絡對NOx的排放進行了建模預測。李忠鵬等[7]利用尋優(yōu)算法優(yōu)化了BP神經(jīng)網(wǎng)絡參數(shù)，建立了更加精確的BP神經(jīng)網(wǎng)絡預測模型。周洪煜等[8]對傳統(tǒng)的RBF神經(jīng)網(wǎng)絡進行了改進，通過引入混結構隱含層，改善了傳統(tǒng)RBF神經(jīng)網(wǎng)絡變工況控制時的非線性和擾動適應能力。雖然人工神經(jīng)網(wǎng)絡擬合能力較強，但仍存在結構復雜、易陷入局部收斂等問題。長短期記憶（LSTM）神經(jīng)網(wǎng)絡是近年來新興的一種循環(huán)神經(jīng)網(wǎng)絡，能夠?qū)?shù)據(jù)進行長期記憶，在時序數(shù)據(jù)處理上具有獨特優(yōu)勢。楊國田等[9]利用LSTM神經(jīng)網(wǎng)絡對NOx的排放建立了預測模型，錢虹等[10]將LSTM神經(jīng)網(wǎng)絡與深度學習相結合，提高了預測模型的泛化能力和收斂速度。

除建模方法外，輸入變量的選取也直接影響預測模型的精度。呂游等[11]采用偏最小二乘方法對輸入變量進行特征提取以降低維數(shù)和消除相關性，唐振浩等[12]采用LASSO選擇算法分析變量的重要性，并利用經(jīng)驗模態(tài)分解（EMD）對信息進行特征提取，防止模型過擬合。Peng等人[13]將基于概率密度的互信息法引入非線性建模中，用于估計輸入變量與輸出變量的時延，提高了模型泛化能力。上述方法均從輸入側進行分析處理，并未考慮輸出側歷史數(shù)據(jù)的影響。

綜上所述，本文提出了一種基于特征優(yōu)化和改進LSTM神經(jīng)網(wǎng)絡的SCR脫銷入口NOx質(zhì)量濃度預測模型。通過互信息算法確定變量之間的最佳延遲時間。通過mRMR算法對各個輸入變量進行選擇，以模型的精度作為評價函數(shù)，確定預測模型的最優(yōu)輸入變量。通過網(wǎng)格搜索算法和改進粒子群算法對LSTM神經(jīng)網(wǎng)絡進行參數(shù)尋優(yōu)，建立SCR脫硝入口NOx質(zhì)量濃度的預測模型，并加入出口NOx質(zhì)量濃度歷史數(shù)據(jù)。經(jīng)實驗證明，改進后的預測模型與經(jīng)典預測模型相比預測精度更高，能夠滿足實際生產(chǎn)的需求。

1 樣本特征優(yōu)化

1.1 互信息和mRMR算法原理

在建模時，選取合適的數(shù)據(jù)可以體現(xiàn)輸入和輸出之間的關系，提高預測模型的精度。一般情況下都是選取與輸出變量之間具有強相關性的變量，但是不同的輸入變量之間可能也具有強相關性，此時輸入集就產(chǎn)生了冗余變量，冗余變量會增加模型的復雜度，降低建模效率[14]。為此，提出了一種基于互信息的最大相關最小冗余特征選擇算法。

互信息可以描述2個變量是否有關系，以及關系的強弱[15]。2個變量x、y互信息I(x;y)的公式為

式中，p(x)和p(y)分別是x和y的邊緣概率分布函數(shù)，p(x,y)表示x和y的聯(lián)合概率密度函數(shù)。

mRMR算法是一種filter特征選擇算法，在保證特征子集最大相關性的同時又去除了冗余特征。其評價函數(shù)為

式中，fi為待選的輸入變量，c為輸出變量，Sj為已選變量，β為懲罰因子。

當懲罰因子較大時特征集的冗余性會降低，但會影響輸入特征集對輸出變量的相關性。文獻[15]提出采用已選特征集的特征數(shù)量作為懲罰因子，充分考慮了已選變量集對候選變量的影響。此時mRMR的評價函數(shù)為

1.2 基于互信息和mRMR的特征優(yōu)化

輸入變量特征選擇的算法流程如下：

1）初始化已選輸入變量集合S（此時為空集），初始化待選輸入變量集f（包含全部的變量）。

2）采用序列前向選擇算法，首先從集合f中選出與輸出變量相關性最大的變量作為初始變量加入S中，從剩下的變量中依次選取1個變量加入集合S中，通過式(2)計算評價函數(shù)J，選取J最大時對應特征變量為第2個加入集合S的特征變量。

3）通過上述方法依次確定各個特征加入集合的順序，從而完成對初始變量的重要性排序。

4）在對各個變量進行重要性排序后，還需要確定輸入變量的具體個數(shù)。由于RBF神經(jīng)網(wǎng)絡具有很強的非線性映射能力，能夠反映不同的輸入變量對輸出的影響。因此，通過將不同特征子集輸入RBF神經(jīng)網(wǎng)絡模型進行訓練并預測，將預測結果作為評價函數(shù)，進而確定一組最佳的輸入變量。

2 MPSO-LSTM網(wǎng)絡預測模型

2.1 LSTM神經(jīng)網(wǎng)絡

長短期記憶神經(jīng)網(wǎng)絡（LSTM）是一種特殊的循環(huán) 神 經(jīng) 網(wǎng) 絡（RNN），它 由Hochreiter &Schmidhuber[16]1997年提出，并由Alex Graves[17]進行了改良和推廣。RNN是一類能夠處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡，它通過在神經(jīng)網(wǎng)絡結構中增加循環(huán)鏈接，因而具有短期記憶能力，可以用來處理序列數(shù)據(jù)。但RNN在處理長期依賴（即時間序列上距離較遠的節(jié)點）時會遇到巨大的困難，會產(chǎn)生梯度消失或者梯度爆炸的問題，LSTM神經(jīng)網(wǎng)絡在RNN的基礎上增加了輸入門限、遺忘門限和輸出門限，使得不同時刻的積分尺度可以動態(tài)改變，避免了梯度消失或者梯度爆炸問題。LSTM神經(jīng)網(wǎng)絡結構如圖1所示。

圖1 LSTM神經(jīng)網(wǎng)絡結構示意Fig.1 Schematic diagram of the LSTM structure

LSTM神經(jīng)網(wǎng)絡由多個圖1這樣的模塊組成，圖1中ht–1為上一個細胞層的細胞狀態(tài)，yt–1為上一個細胞層的輸出，xt為外部輸入，3個σ表示sigmod函數(shù)，分別對應于LSTM神經(jīng)網(wǎng)絡的遺忘門、輸入門和輸出門，3個門共同合作，控制和保護細胞的狀態(tài)，tanh層用來產(chǎn)生新的細胞狀態(tài)值[18]。

LSTM神經(jīng)網(wǎng)絡的細胞單元更新過程如下：

1）細胞中第1個σ對應LSTM神經(jīng)網(wǎng)絡中的遺忘門，它決定了從細胞狀態(tài)中丟棄的信息，遺忘門的計算公式為

2）第2個σ對應LSTM神經(jīng)網(wǎng)絡輸入門，其對細胞狀態(tài)中的信息進行更新，輸出門計算為：

3）輸出門輸出細胞狀態(tài)值，其計算公式為：

式中，W為各個門的權重系數(shù)，b為偏差。

2.2 改進PSO算法

為了提高預測模型的精度，需要對LSTM神經(jīng)網(wǎng)絡的參數(shù)進行優(yōu)化，PSO算法是一種應用較廣的群體智能算法，該算法源自對鳥類捕食問題的研究。它采用速度-位置搜索模型。每個粒子代表解空間的1個候選解，解的優(yōu)劣程度由適應度函數(shù)決定，而適應度函數(shù)根據(jù)優(yōu)化目標定義。PSO算法中粒子更新自身的速度和位置的計算公式為：

式中，V為速度，c1和c2為學習因子，r1、r2為隨機數(shù)，w為慣性權重，X為粒子的位置[19]。

目前PSO算法主要存在以下問題：

1）在迭代早期可能出現(xiàn)最優(yōu)解導致種群陷入局部最優(yōu)，降低粒子的多樣性。

2）由于慣性權重w固定不變，導致粒子種群的全局和局部的搜索能力不平衡，降低算法的搜索效率。

基于上述問題，本文提出了一種改進的PSO（MPSO）算法。根據(jù)文獻[20-22]可知，慣性因子w較大時算法的全局搜索能力強，有利于增加種群的多樣性；w較小時，算法的局部搜索能力強，能夠加快算法的收斂。因此將w設置為隨迭代次數(shù)遞減，遞減函數(shù)通過比較效果得出。最終得到慣性因子的計算公式為

式中：t為當前迭代次數(shù)，tmax為最大迭代次數(shù)，w的上下限分別設置為0.9和0.4。

MPSO算法流程如下：

1）對種群中每一個粒子進行位置和速度的初始化，計算每個粒子的適應度值，并初始化Pbest和

gbest。

2）在迭代過程中，通過計算適應度值，對粒子種群的個體最優(yōu)Pbest和總體最優(yōu)gbest進行更新。

3）當?shù)儆谝欢ù螖?shù)時，判斷每個粒子是否滿足Pbest＜pbest，若滿足，則對粒子進行變異操作，重置粒子的速度和位置，對其他粒子則按式(10)和式(11)進行更新。

2.3 基于MPSO-LSTM網(wǎng)絡的預測模型

將特征優(yōu)化后的數(shù)據(jù)作為模型輸入變量，改進LSTM網(wǎng)絡作為預測模型，圖2為總體算法流程。

圖2 基于MPSO-LSTM網(wǎng)絡的預測模型算法流程Fig.2 Flow chart of the algorithm for MPSO-LSTM pridiction

3 實驗設計與結果分析

3.1 數(shù)據(jù)選取與處理

本文采用保定某600 MW電廠所提供的現(xiàn)場運行數(shù)據(jù)。該電廠采用選擇性非催化還原（SNCR）和SCR聯(lián)合脫硝的方式，通過向鍋爐與SCR反應器之間的煙氣管道噴灑尿素溶液，對煙氣中NOx進行初步脫硝處理。

為驗證模型的有效性，在負荷420~510 MW工況下，選取包括穩(wěn)定工況和變工況數(shù)據(jù)共6 000組，其采樣周期為5 s。其中前5 000組用來對預測模型做訓練，后1 000組作為測試集檢驗模型的預測精度與泛化能力。通過分析NOx的生成機理確定包括機組負荷、總煤量、總風量、管道尿素流量、二次風量、給煤機電流等24個初始輔助變量。

由于鍋爐燃燒具有大遲延的特性，采集到的數(shù)據(jù)與入口NOx質(zhì)量濃度具有時間延遲，因此設計了一種基于最大互信息的時延分析方法。由于鍋爐燃燒時間約10 min，所以設計時間延遲最大為10 min。通過計算輔助變量前10 min內(nèi)各個時刻與輸出變量NOx質(zhì)量濃度的互信息，進而選取與入口NOx質(zhì)量濃度相關性最大的時刻作為時間延遲補償值，實現(xiàn)輸入變量與輸出變量的時序統(tǒng)一。表1為輔助變量與輸出變量之間的最佳延遲及其互信息值。

表1 輔助變量的時間最佳延遲及其互信息值Tab.1 The time delay and maximum mutual information of auxiliary variables

在確定時間延遲后，還要對選取的輔助變量進行篩選。首先通過mRMR算法尋找不同輸入變量的最優(yōu)組合，再利用RBF神經(jīng)網(wǎng)絡預測模型分別對不同的最優(yōu)特征組合進行訓練和預測。通過比較預測誤差，確定了11個輔助變量為模型的輸入變量。

經(jīng)過文獻[23]證明，在輸入變量中加入歷史入口NOx質(zhì)量濃度，可以顯著提高LSTM神經(jīng)網(wǎng)絡預測模型的精度。為了確定最佳歷史時間，分別選取前5、10、15、20 s的入口NOx質(zhì)量濃度作為輸入變量，與上述11個輔助變量共同加入預測模型中進行訓練和預測，其預測結果見表2。

表2 不同輸入變量下的模型預測誤差Tab.2 The model prediction errors with different input variables

通過比較預測效果，最終確定將前5 s的入口NOx質(zhì)量濃度作為最終的輸入變量。

3.2 模型參數(shù)選取

利用LSTM神經(jīng)網(wǎng)絡搭建預測模型，網(wǎng)絡的超參數(shù)通過尋優(yōu)算法確定。由文獻[23]可知，影響LSTM神經(jīng)網(wǎng)絡的重要參數(shù)主要為隱含層神經(jīng)元數(shù)、最大迭代次數(shù)和初始學習率。對于隱含層神經(jīng)元數(shù)和最大迭代次數(shù)，經(jīng)實驗證明，當?shù)螖?shù)和隱含層神經(jīng)元數(shù)過大時，預測模型的精度反而會降低，因此利用網(wǎng)格搜索算法進行參數(shù)尋優(yōu)。對于初始學習率則通過2.2節(jié)的MPSO算法進行參數(shù)尋優(yōu)，并以LSTM神經(jīng)網(wǎng)絡模型的預測誤差作為適應度函數(shù)，最終確定LSTM神經(jīng)網(wǎng)絡的隱含層神經(jīng)元數(shù)55，最大迭代次數(shù)250，初始學習率0.004 4。

3.3 模型評價指標

本文采用的模型評價指標為均方根誤差δRMSE、平均相對誤差δMAPE和皮爾遜性關系R，其計算公式為：

式中，yi為實際值，為預測值，n為測試集樣本數(shù)量，σ表示方差，cov表示協(xié)方差。

3.4 實驗結果分析

3.4.1 不同預測模型對實驗結果的影響

為了比較LSTM神經(jīng)網(wǎng)絡模型的預測特點，分別利用RBF神經(jīng)網(wǎng)絡和LSSVM搭建了預測模型。RBF神經(jīng)網(wǎng)絡是一種擬合能力很強的前饋神經(jīng)網(wǎng)絡，LSSVM是一種基于SVM的改進算法，這2種方法在建模方面具有代表性，將LSTM神經(jīng)網(wǎng)絡模型與它們對比可以體現(xiàn)LSTM預測模型的特點。

本次實驗通過MPSO算法確定了RBF神經(jīng)網(wǎng)絡和LSSVM預測模型的最優(yōu)超參數(shù)，在輸入變量和其他條件保持一致條件下，3種模型預測結果如圖3所示，3種模型各評價指標結果見表3。由圖3和表3可見：LSTM神經(jīng)網(wǎng)絡預測模型均方根誤差比LSSVM模型降低了18%，比RBF神經(jīng)網(wǎng)絡模型降低了29%；LSTM神經(jīng)網(wǎng)絡平均相對誤差比LSSVM模型降低了25%，比RBF神經(jīng)網(wǎng)絡模型降低了24%。在相關性方面，LSTM神經(jīng)網(wǎng)絡模型與真實值的相關系數(shù)最大，LSSVM模型次之，RBF神經(jīng)網(wǎng)絡模型最低。

圖3 3種模型預測效果對比Fig.3 The prediction results of each model

表3 3種模型評價指標Tab.3 The evaluation indexes of different models

為了更好地比較3種預測模型的特點，分別挑選不同時段進行放大，放大后測試集1和測試集2預測結果分別如圖4和圖5所示。

由圖4和圖5可見，在其他條件一致的情況下，RBF神經(jīng)網(wǎng)絡模型預測結果震蕩嚴重，LSSVM模型預測效果穩(wěn)定，但都沒有LSTM神經(jīng)網(wǎng)絡模型接近實際值，充分證明了LSTM神經(jīng)網(wǎng)絡在建立NOx質(zhì)量濃度預測模型上具有更高的精準度和更好的預測能力。

圖4 測試集1預測結果Fig.4 Prediction results of test set 1

圖5 測試集2預測結果Fig.5 Prediction results of test set 2

3.4.2 特征優(yōu)化對實驗結果的影響

本文通過對數(shù)據(jù)進行時延分析，確定了輸入變量與輸出變量之間的最佳延遲時間。通過特征選擇算法選出最優(yōu)特征子集。為了研究特征優(yōu)化對LSTM神經(jīng)網(wǎng)絡模型的影響，分別利用不加時延和包含所有輔助變量的特征集數(shù)據(jù)對LSTM神經(jīng)網(wǎng)絡模型進行訓練和預測，其他條件保持不變，得到對不同特征選擇下的預測結果和不同特征訓練集評價指標對比如圖6和表4所示。

圖6 不同特征選擇下的預測結果Fig.6 Prediction results with different feature selections

表4 不同特征訓練集評價指標比較Tab.4 The evaluation indexes of different feature training sets

由圖表6和表4可見：經(jīng)過時延分析的數(shù)據(jù)比未經(jīng)過時延分析的數(shù)據(jù)均方根誤差降低了26%，時延分析可以提升模型的精度。經(jīng)過特征優(yōu)化的數(shù)據(jù)比未經(jīng)特征優(yōu)化的變量均方根誤差降低了50%，說明當輸入變量較多時，由于冗余變量的存在，降低了模型的泛化能力，導致模型在測試集上的效果較差。時延分析和特征優(yōu)化有效提升了預測模型的精度和泛化能力。

3.4.3 歷史入口NOx質(zhì)量濃度對實驗結果的影響

為了研究歷史入口NOx質(zhì)量濃度對不同預測模型的影響，分別在輸入變量中加入和去除前5 s的歷史入口NOx質(zhì)量濃度數(shù)據(jù)，利用LSTM神經(jīng)網(wǎng)絡、LSSVM和RBF神經(jīng)網(wǎng)絡預測模型進行實驗，歷史數(shù)據(jù)對3種預測模型結果對比及其評價指標如圖7和表5所示。

圖7 歷史數(shù)據(jù)對3種預測模型影響結果對比Fig.7 Effect of historical data on prediction results of the above three models

表5 歷史數(shù)據(jù)對3種預測模型影響評價指標Tab.5 The prediction results of the above three models when considering the historical data

由圖7和表5可見：LSTM神經(jīng)網(wǎng)絡模型加入1個前5 s的NOx質(zhì)量濃度其均方根誤差降低84%，而常用的RBF神經(jīng)網(wǎng)絡模型只能降低15%，說明LSTM神經(jīng)網(wǎng)絡能夠?qū)v史數(shù)據(jù)進行記憶。由于電廠NOx質(zhì)量濃度數(shù)據(jù)在時間前后上具有一定的重復性，通過LSTM神經(jīng)網(wǎng)絡獨特的記憶功能，可以從數(shù)據(jù)中挖掘出更多的信息，從而構造出精確的NOx質(zhì)量濃度預測模型，相比于常見的預測模型，LSTM神經(jīng)網(wǎng)絡在預測時間序列數(shù)據(jù)時具有明顯的優(yōu)勢。

4 結 語

本文針對SCR反應器入口處NOx質(zhì)量濃度波動頻繁、難以準確測量的問題，提出了一種基于特征優(yōu)化和改進LSTM神經(jīng)網(wǎng)絡的預測模型?；诂F(xiàn)場運行數(shù)據(jù)的實驗結果表明，經(jīng)特征優(yōu)化后的輸入變量，去除了冗余變量，提高了模型的泛化能力?；诨バ畔⒌臅r延分析，加強了輸入變量與輸出變量間的對應關系，有效提升了模型精度。采用LSTM神經(jīng)網(wǎng)絡建立預測模型，由于LSTM神經(jīng)網(wǎng)絡具有長期記憶的功能，在輸入變量中加入歷史入口NOx質(zhì)量濃度，可以進一步提升模型的預測精度，最終在入口NOx質(zhì)量濃度預測上取得較好效果，為以后建立預測模型提供了一種新的思路。此外，由于在輸入變量中加入了前一時刻的NOx質(zhì)量濃度，所以限制了預測模型在實際生產(chǎn)中的應用，下一階段需考慮將模型預測輸出作為下一次預測的輸入變量，以滿足實際生產(chǎn)的需求。