基于AE-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的NOx排放預(yù)測①

蘇盈盈， 張氣皓， 羅妤， 周昊， 何亞平， 閻壘

重慶科技學(xué)院 電氣工程學(xué)院，重慶 401331

從環(huán)境保護(hù)的角度考慮,垃圾焚燒廠需要建立一個(gè)能夠反映鍋爐燃燒變量和排放尾氣NOx濃度之間關(guān)系的模型,以便能夠快速響應(yīng)對NOx尾氣的控制.NOx是垃圾焚燒發(fā)電廠的主要排放物之一,對環(huán)境和人類健康有害[1].人們已經(jīng)考慮采用不同的技術(shù)來減少NOx的排放,例如低NOx燃燒技術(shù)[2]、選擇性催化還原(Selective Catalytic Reduction,SCR)和非催化還原(Selective Non-Catalytic Reduction,SNCR)技術(shù)[3-4]．

隨著機(jī)器學(xué)習(xí)的不斷發(fā)展,許多研究者開始利用神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)[5]對NOx濃度進(jìn)行建模和預(yù)測.其中,文獻(xiàn)[6]引入了一個(gè)具有外部輸入神經(jīng)網(wǎng)絡(luò)的非線性自回歸模型,以建立一個(gè)動態(tài)模型來預(yù)測NOx的排放.文獻(xiàn)[7]使用人工神經(jīng)網(wǎng)絡(luò)開發(fā)了一個(gè)預(yù)測210MW煤粉鍋爐滿負(fù)荷條件下NOx排放的模型,并發(fā)現(xiàn)所提出的方法可用于生成可行的運(yùn)行條件.除了人工神經(jīng)網(wǎng)絡(luò),支持向量機(jī)(Support Vector Machine,SVM)[8-9]和極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)[10-11]也被引入用以模擬燃煤電廠NOx的排放.這些預(yù)測模型和方法都是在原有模型上進(jìn)行的改進(jìn),雖然預(yù)測精度有所提高,但是同時(shí)也帶來了更大的時(shí)間開銷．

由于淺層網(wǎng)絡(luò)模型的泛化能力不強(qiáng),不能很好地適用于多種對象,因此,通過加深網(wǎng)絡(luò)深度可優(yōu)化淺層網(wǎng)絡(luò)模型.文獻(xiàn)[12-13]建立了最小二乘支持向量機(jī)LS-SVM預(yù)測模型,實(shí)現(xiàn)排放量等多種參數(shù)的軟測量,隨后將建立的模型與BP(Back Propagation,BP)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比,結(jié)果表明基于最小二乘支持向量機(jī)的網(wǎng)絡(luò)模型的預(yù)測結(jié)果和運(yùn)行速度均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型.文獻(xiàn)[14]采用風(fēng)驅(qū)動算法和基于混沌分組教與學(xué)算法優(yōu)化極端學(xué)習(xí)機(jī)的NOx模型,通過參數(shù)調(diào)整及模型優(yōu)化方法對NOx的預(yù)測提供了指導(dǎo).文獻(xiàn)[15]采用混沌分組教與學(xué)優(yōu)化算法對NOx的預(yù)測建模,該模型具有較好的辨識與泛化能力,可以為解決工程實(shí)際問題提供思路.文獻(xiàn)[16]在超臨界機(jī)組的基礎(chǔ)上,提出了一種改進(jìn)的差分量子粒子群(Differential Evolution Quantum Particle Swarm Optimization,DEQPSO)算法,將其與極限學(xué)習(xí)機(jī)ELM相結(jié)合從而達(dá)到對NOx的排放預(yù)測.文獻(xiàn)[17]提出了一種改進(jìn)的最優(yōu)覓食算法,并用該算法對鍋爐NOx的排放特性進(jìn)行建模.然而,上述運(yùn)用傳統(tǒng)的方式搭建的神經(jīng)網(wǎng)絡(luò)注重于數(shù)據(jù)的內(nèi)部時(shí)序特征,卻忽略了數(shù)據(jù)內(nèi)部的空間特征聯(lián)系,導(dǎo)致其模型對NOx的濃度預(yù)測精度低．

為了提高模型預(yù)測精度,本研究提出了一種基于自動編碼器(AE)和長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)的預(yù)測模型.首先,對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,剔除掉數(shù)據(jù)的異常值和缺失值; 然后,使用AE自動編碼器來提取數(shù)據(jù)深層次的多維信息特征; 最后,將標(biāo)準(zhǔn)化后得到的數(shù)據(jù)輸入LSTM網(wǎng)絡(luò)中進(jìn)行建模,并優(yōu)化網(wǎng)絡(luò)參數(shù),建立基于AE-LSTM的NOx濃度預(yù)測模型.最終,以重慶市某垃圾焚燒廠某鍋爐的燃燒數(shù)據(jù)作為研究對象來驗(yàn)證該預(yù)測模型的準(zhǔn)確性．

1 LSTM網(wǎng)絡(luò)模型

長短期記憶(Long Short Term Memory,LSTM)網(wǎng)絡(luò)是一種具有記憶機(jī)制的神經(jīng)網(wǎng)絡(luò),可以處理不同時(shí)間步的序列長度,以及能夠?qū)W習(xí)到時(shí)間序列的關(guān)系等特點(diǎn),因此可以非常有效地進(jìn)行時(shí)間序列的建模．

LSTM與循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)最主要的不同就是LSTM有多個(gè)門控機(jī)制,如圖1所示的LSTM細(xì)胞圖結(jié)構(gòu),其中,紅色圓圈代表Sigmoid函數(shù),藍(lán)色圓圈代表Tanh 函數(shù),輸入門可以控制數(shù)據(jù)信息通過該門進(jìn)入到LSTM細(xì)胞中; 遺忘門可以決定LSTM細(xì)胞對數(shù)據(jù)的遺忘程度,即保留或者丟棄數(shù)據(jù)信息; 輸出門則控制LSTM細(xì)胞的輸出．

圖1 LSTM細(xì)胞結(jié)構(gòu)

為了獲得這2個(gè)值,第一,需要計(jì)算3個(gè)門的狀態(tài)和單元輸入的狀態(tài):

1) 輸入門Input gate

(1)

(2)

2) 遺忘門Forget gate

遺忘門決定應(yīng)丟棄或保留“哪些信息”．

(3)

其中,ft為0～1之間的數(shù),ht-1為上一單元的輸出,xt為當(dāng)前時(shí)刻的輸入．

3) 輸出門Output gate

(4)

第二,計(jì)算單元的輸出狀態(tài):

(5)

第三,計(jì)算隱藏層的輸出:

ht=ot·tanh(Ct)

(6)

單元的輸出定義為

(7)

其中,W2是2個(gè)元素之間的權(quán)重,b為輸入層和輸出層的偏置．

LSTM網(wǎng)絡(luò)模型如圖2所示,包含輸入層、2個(gè)隱含LSTM層、2個(gè)Dropout層和一個(gè)Dense全連接層,共6個(gè)部分組成.該模型是用于NOx數(shù)據(jù)處理的,數(shù)據(jù)首先經(jīng)過輸入層后進(jìn)入第一層隱含LSTM層,LSTM單元計(jì)算處理后得到輸出狀態(tài)和隱藏狀態(tài).為了避免過擬合,經(jīng)過一個(gè)Dropout層進(jìn)行正則化處理后,數(shù)據(jù)再次輸入到第二層隱含LSTM層,得到新的輸出狀態(tài)和隱藏狀態(tài).在這之后,數(shù)據(jù)再經(jīng)過一個(gè)Dropout層進(jìn)行正則化處理,以進(jìn)一步減少過擬合.最后,正則化后的數(shù)據(jù)輸入到Dense全連接層,計(jì)算預(yù)測值,并輸出NOx濃度的預(yù)測結(jié)果．

圖2 LSTM 網(wǎng)絡(luò)模型結(jié)構(gòu)

2 AE-LSTM混合神經(jīng)網(wǎng)絡(luò)模型

2.1 AE-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

自動編碼器(Autoencoder,AE)是一種網(wǎng)絡(luò)模型,對于神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了促進(jìn)作用,尤其在對高維復(fù)雜數(shù)據(jù)的特征提取方面具有重要作用.自動編碼器的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示.它是一種單隱含層的無監(jiān)督學(xué)習(xí)模型,自動編碼器通過對內(nèi)在特征的不斷持續(xù)學(xué)習(xí),對輸入層和輸出層進(jìn)行誤差計(jì)算,使得兩者之間的誤差盡可能小,從而得到高維數(shù)據(jù)的特征輸出.這個(gè)過程起到了數(shù)據(jù)降維的作用,其作用類似于主成分分析法、因子分析法等.與傳統(tǒng)的數(shù)據(jù)降維方法相比,自動編碼器能夠更有效地提取新特征．

圖3 自動編碼器結(jié)構(gòu)圖

h=S(W·x+b)

(8)

其中,h為自動編碼器的編碼函數(shù)輸出,也稱之為隱含層的特征變量,S為自動編碼器編碼過程的激活函數(shù),一般使用Sigmoid函數(shù),W為輸入層到隱含層的網(wǎng)絡(luò)連接權(quán)重,b為網(wǎng)絡(luò)偏置.通過解碼過程得到輸出層數(shù)據(jù),再通過解碼與編碼的過程重構(gòu)原始數(shù)據(jù),保留原始數(shù)據(jù)中的重要特征.解碼過程為

x′=S(WT·h+b′)

(9)

其中,x′為解碼器的重構(gòu)信息,S為自動編碼器解碼過程的激活函數(shù),該激活函數(shù)使用Sigmoid函數(shù),WT為隱含層到輸出層的網(wǎng)絡(luò)連接權(quán)重,b′為網(wǎng)絡(luò)偏置．

趨勢二：京津同城化將成為更加有效地推進(jìn)京津冀協(xié)同發(fā)展，進(jìn)而建立環(huán)渤海協(xié)同發(fā)展新機(jī)制的重大戰(zhàn)略支點(diǎn)。以北京、天津?yàn)橹行母訌?qiáng)調(diào)京津聯(lián)動，加快實(shí)現(xiàn)京津同城化發(fā)展。同城化是區(qū)域經(jīng)濟(jì)一體化和城市群建設(shè)過程中的一個(gè)重要階段，是區(qū)域城市間經(jīng)濟(jì)和社會發(fā)展到一定程度的必然趨勢。推動京津同城化，關(guān)鍵是要實(shí)現(xiàn)京津基礎(chǔ)設(shè)施一體化、產(chǎn)業(yè)發(fā)展一體化、市場一體化、公共服務(wù)一體化、資源配置一體化等，共同發(fā)揮高端引領(lǐng)和輻射帶動作用，成為推動京津冀協(xié)同發(fā)展，建立環(huán)渤海協(xié)同發(fā)展新機(jī)制的重大戰(zhàn)略支點(diǎn)。

經(jīng)過自動編碼器的編碼和解碼過程后,輸入數(shù)據(jù)x映射為隱含層的特征h,再將特征h重構(gòu)后輸出為x′.為了確保最后的輸出特征能夠有效地代表原始數(shù)據(jù),保留有原始數(shù)據(jù)的大部分信息,所以需要計(jì)算輸入數(shù)據(jù)和輸出數(shù)據(jù)的誤差,對于自動編碼器的誤差損失函數(shù)通常為均方誤差,公式如下:

(10)

自動編碼器能夠自動將高維數(shù)據(jù)特征提取至低維數(shù)據(jù)特征,同時(shí)還能保留原始數(shù)據(jù)的大量信息,保證數(shù)據(jù)的有效性不受破壞.這些低維數(shù)據(jù)特征可以被輸入到LSTM神經(jīng)網(wǎng)絡(luò)中,LSTM網(wǎng)絡(luò)通過不斷學(xué)習(xí)權(quán)重參數(shù)來獲得收斂,降低網(wǎng)絡(luò)的預(yù)測復(fù)雜性,從而提高了預(yù)測的性能.AE-LSTM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示,該網(wǎng)絡(luò)結(jié)構(gòu)由兩部分組成,第一部分是自動編碼器,利用自動編碼器將輸入數(shù)據(jù)的高階特征轉(zhuǎn)換為低階特征,并保留原始數(shù)據(jù)的信息.第二部分是LSTM神經(jīng)網(wǎng)絡(luò),該部分將自動編碼器輸出的低階有效數(shù)據(jù)輸入到網(wǎng)絡(luò)中,并對NOx進(jìn)行預(yù)測,從而得到預(yù)測值．

圖4 AE-LSTM 模型結(jié)構(gòu)圖

2.2 AE-LSTM模型預(yù)測設(shè)計(jì)框架

AE-LSTM模型的預(yù)測過程如圖5所示.首先,預(yù)處理好的數(shù)據(jù)集被劃分為訓(xùn)練集和測試集.訓(xùn)練集用于訓(xùn)練模型的內(nèi)部參數(shù),得到收斂的預(yù)測模型,而測試集用于監(jiān)測模型的預(yù)測性能.具體而言,原始數(shù)據(jù)首先輸入自動編碼器中,通過自動編碼器的編碼和解碼過程得到低維度數(shù)據(jù)特征,然后將此數(shù)據(jù)輸入LSTM網(wǎng)絡(luò)中,經(jīng)過LSTM網(wǎng)絡(luò)的學(xué)習(xí)和調(diào)整,得到收斂的AE-LSTM網(wǎng)絡(luò).最后,將訓(xùn)練好的模型用于測試集上,得到預(yù)測值和真實(shí)值,并使用準(zhǔn)確率和誤差等指標(biāo)來評估模型的性能．

1) 將處理好的數(shù)據(jù)矩陣劃分成訓(xùn)練集與測試集;

2) 將數(shù)據(jù)輸入AE中得到低維數(shù)據(jù)特征;

3) 確定AE-LSTM網(wǎng)絡(luò)的結(jié)構(gòu);

4) 計(jì)算網(wǎng)絡(luò)神經(jīng)元的LOSS;

6) 達(dá)到迭代次數(shù),網(wǎng)絡(luò)訓(xùn)練結(jié)束,獲得收斂的AE-LSTM網(wǎng)絡(luò);

7) 將測試集輸入收斂的網(wǎng)絡(luò)中,輸出預(yù)測值,并計(jì)算準(zhǔn)確率和誤差,模型結(jié)束．

圖5 AE-LSTM 模型預(yù)測流程

3 基于AE-LSTM的NOx排放預(yù)測

3.1 研究對象

工業(yè)預(yù)測的有效性很大程度上取決于數(shù)據(jù)的質(zhì)量,因此數(shù)據(jù)預(yù)處理工作非常重要.本文使用的變量相關(guān)數(shù)據(jù)集來自于重慶市某垃圾焚燒廠的鍋爐垃圾焚燒系統(tǒng),如下表1所示.通過數(shù)據(jù)挖掘技術(shù)對原始數(shù)據(jù)中的異常值、缺失值進(jìn)行處理,再消除數(shù)據(jù)共線性,最后對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,這些操作可以獲得有效和可用的數(shù)據(jù),有利于提高預(yù)測模型的性能．

表1 某垃圾焚燒廠燃燒過程的各工況變量

3.2 數(shù)據(jù)異常值和缺失值的處理

根據(jù)數(shù)據(jù)缺失的機(jī)理,可以將缺失值分為以下3類: 完全缺失、隨機(jī)缺失和不完全缺失.通過對每個(gè)變量定義合理的取值范圍,檢查數(shù)據(jù)是否符合實(shí)際工況要求,并消除原始數(shù)據(jù)中的噪聲,可以提高原始數(shù)據(jù)的質(zhì)量.在數(shù)據(jù)預(yù)處理中,本文使用了樣本均值來填充缺失鎮(zhèn),以提升數(shù)據(jù)的完整性.如表2為通過數(shù)學(xué)統(tǒng)計(jì)的方法來對數(shù)據(jù)進(jìn)行的分析,分別計(jì)算每個(gè)變量的平均值、中位數(shù)、最大值、最小值、1stQu(25%值)和3stQu(75%值).另外,本文的數(shù)據(jù)集會用平均值對缺失值進(jìn)行填充．

表2 數(shù)據(jù)的分析

3.3 數(shù)據(jù)共線性的消除與標(biāo)準(zhǔn)化

垃圾焚燒鍋爐中相關(guān)的工藝變量共89維,變量間存在普遍的相關(guān)關(guān)系即共線性會影響模型的運(yùn)行,降低預(yù)測精度.為了提高NOx預(yù)測的精度,計(jì)算各變量的相關(guān)系數(shù),以消除共線性.通過反復(fù)測試,發(fā)現(xiàn)當(dāng)刪除相關(guān)性系數(shù)大于0.9的數(shù)據(jù)后,能夠在線性范圍內(nèi)消除數(shù)據(jù)之間的共線性,使得模型精度最佳.因此最終得到了56維的工藝變量．

標(biāo)準(zhǔn)化是一項(xiàng)重要技術(shù),通常在許多機(jī)器學(xué)習(xí)模型之前作為預(yù)處理步驟執(zhí)行.本文的研究對象為垃圾焚燒NOx預(yù)測,采用Z-score標(biāo)準(zhǔn)化的方式對數(shù)據(jù)的量綱進(jìn)行統(tǒng)一的去量綱處理,該處理方法對于模型的學(xué)習(xí)速度和訓(xùn)練速度都有所提升.利用Python 軟件對現(xiàn)場采集的數(shù)據(jù)進(jìn)行 Z-score 標(biāo)準(zhǔn)化處理,標(biāo)準(zhǔn)化后數(shù)據(jù)集中共有56×3612維數(shù)據(jù)．

4 實(shí)驗(yàn)及結(jié)果分析

AE-LSTM的初始參數(shù)設(shè)置如表3所示,對于自動編碼器,主要由編碼層和解碼層兩部分組成,其中解碼層會將輸入的數(shù)據(jù)進(jìn)行壓縮并提取特征,再對特征重新構(gòu)造.由于自動編碼器具有成鏡像的對稱結(jié)構(gòu),所以通過實(shí)驗(yàn)可得到最優(yōu)的自動編碼器結(jié)構(gòu),前面對原始數(shù)據(jù)預(yù)處理中得到56維變量,進(jìn)而可以確定輸入層節(jié)點(diǎn)為56個(gè).為了減少權(quán)重的相互依賴,使用 Sigmoid 函數(shù)作為激活函數(shù),損失函數(shù)使用均方誤差,優(yōu)化函數(shù)為 Adam 函數(shù)．

表3 AE-LSTM模型最優(yōu)參數(shù)

通過十折交叉檢驗(yàn),得到基于AE-LSTM的NOx平均預(yù)測準(zhǔn)確率如表4、圖6和圖7所示,其中圖7為截取的圖6部分片斷以便觀察.表4展示了不同模型的平均預(yù)測準(zhǔn)確率和RMSE指標(biāo),其中,AE-LSTM網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率為85.1%,高于CNN-LSTM網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率83.8%和LSTM網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率79.7%.AE-LSTM網(wǎng)絡(luò)的RMSE為0.705,低于CNN-LSTM 網(wǎng)絡(luò)的RMSE 0.725和LSTM網(wǎng)絡(luò)的RMSE 0.833.可見AE-LSTM在NOx預(yù)測方面表現(xiàn)最優(yōu)．

圖6 基于AE-LSTM 模型的NOx預(yù)測結(jié)果

圖7 截取的部分NOx預(yù)測效果

表4 AE-LSTM與LSTM、CNN-LSTM模型對比

5 結(jié)語

通過建立有效的NOx濃度預(yù)測模型,可以幫助垃圾焚燒廠提前做出規(guī)劃,減少NOx排放.本文提出了一種基于自動編碼器和長短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測模型,針對垃圾焚燒NOx數(shù)據(jù)的空間特征,實(shí)現(xiàn)對長短期記憶神經(jīng)網(wǎng)絡(luò)的改進(jìn).長短期記憶神經(jīng)網(wǎng)絡(luò)主要關(guān)注數(shù)據(jù)的內(nèi)部時(shí)序特征,而忽略了數(shù)據(jù)內(nèi)部的空間特征聯(lián)系,引入自動編碼器可提升模型對數(shù)據(jù)內(nèi)部的空間特征聯(lián)系和數(shù)據(jù)多維度特征的提取能力.本文以重慶市某垃圾焚燒廠鍋爐的燃燒數(shù)據(jù)為研究對象,首先利用LSTM網(wǎng)絡(luò)進(jìn)行建模,并進(jìn)行了網(wǎng)絡(luò)參數(shù)優(yōu)化,再使用自動編碼器對數(shù)據(jù)深層次多維信息特征進(jìn)行提取,建立改進(jìn)的AE-LSTM的NOx濃度預(yù)測模型.研究表明,相比LSTM模型,AE-LSTM模型在時(shí)序特征、空間特征強(qiáng)的數(shù)據(jù)集方面,表現(xiàn)出較好的預(yù)測精度和泛化能力.本文開展NOx濃度預(yù)測研究,有望為下一步如何調(diào)控工藝變量操作指標(biāo),優(yōu)化工藝參數(shù),達(dá)到NOx濃度減排目標(biāo)奠定重要的理論依據(jù)．