基于集成深度玻爾茲曼機(jī)和最小二乘支持向量回歸的燃燒過程N(yùn)Ox預(yù)測算法

李　楠，　盧　鋼，　李新利，　閆　勇,

(1．華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院,北京 102206；2．英國肯特大學(xué) 工程與數(shù)字藝術(shù)學(xué)院，坎特伯雷，肯特 CT2 7NT 英國)

?

基于集成深度玻爾茲曼機(jī)和最小二乘支持向量回歸的燃燒過程N(yùn)Ox預(yù)測算法

李楠1，盧鋼2，李新利1，閆勇1,2

(1．華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院,北京 102206；2．英國肯特大學(xué) 工程與數(shù)字藝術(shù)學(xué)院，坎特伯雷，肯特 CT2 7NT 英國)

火焰自由基圖像； 深度玻爾茲曼機(jī)； 最小二乘支持向量回歸； NOx預(yù)測

在未來較長一段時期內(nèi)，以化石燃料和生物質(zhì)為主要能源的火力發(fā)電依舊是造成大氣污染的主要因素，特別是氮氧化物(NOx)的排放對環(huán)境惡化和居民健康造成了直接影響[1].許多國家為此制訂了相應(yīng)的節(jié)能環(huán)保政策來降低污染物對環(huán)境的影響，如我國制訂了《鍋爐大氣污染物排放標(biāo)準(zhǔn)》[2].因此，研究燃燒優(yōu)化，預(yù)測并降低燃燒污染物排放就尤為重要.但NOx的生成機(jī)制非常復(fù)雜，與燃料類型、爐體型式、燃燒器結(jié)構(gòu)、爐內(nèi)溫度、過量空氣系數(shù)、固體燃料(煤粉或生物質(zhì))細(xì)度和配風(fēng)方式等很多因素有直接關(guān)系.因此,許多研究人員都在探索有效的NOx預(yù)測技術(shù)和方法.

目前的研究很少涉及火焰自由基圖像的特征學(xué)習(xí)過程.為了從火焰自由基圖像數(shù)據(jù)中學(xué)習(xí)到更為穩(wěn)健的圖像特征，筆者提出應(yīng)用深度玻爾茲曼機(jī)(Deep Boltzmann Machine，DBM)進(jìn)行特征提取.DBM在國家標(biāo)準(zhǔn)技術(shù)局(MNIST)數(shù)據(jù)庫的識別上具有優(yōu)秀的分類能力，其對圖像集合進(jìn)行無監(jiān)督特征學(xué)習(xí)的能力得到了肯定[11-12].使用DBM從火焰自由基圖像集中學(xué)習(xí)到的特征是否能夠用于NOx預(yù)測尚無研究.筆者通過DBM從火焰自由基圖像集學(xué)習(xí)得到其特征后，集成最小二乘支持向量回歸，建立了NOx預(yù)測模型.

1　NOx預(yù)測算法的建立

1.1基于DBM模型的圖像特征學(xué)習(xí)

自從2006年深度學(xué)習(xí)取得突破進(jìn)展后，深度學(xué)習(xí)的相關(guān)算法已經(jīng)成為信號/圖像模式識別相關(guān)研究和應(yīng)用的熱門方向[11].相較于現(xiàn)存的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)在無監(jiān)督特征提取這一方面更為恰當(dāng).深度玻爾茲曼機(jī)[12]是深度學(xué)習(xí)中較為重要的一類生成模型,該模型由多個受限玻爾茲曼機(jī)(Restricted Boltzmann Machine，RBM)堆疊組成一個階層式的網(wǎng)絡(luò)結(jié)構(gòu)，每一層的RBM由無監(jiān)督貪婪算法進(jìn)行訓(xùn)練.圖1給出了DBM的訓(xùn)練過程框圖，其訓(xùn)練過程可歸納為以下2點(diǎn).

(1) 根據(jù)可見層狀態(tài)v來得到隱含層狀態(tài)h，這個過程的建模[12]如下：

(1)

(2)

(2) 通過隱含層狀態(tài)h重構(gòu)可見層狀態(tài)得到v*，這個過程的建模如下：

(3)

(4)

式中：P(·|·)為條件概率；Wij為連接DBM網(wǎng)絡(luò)的權(quán)重；j為權(quán)重；aj和bi為偏置項(xiàng).

圖1　DBM訓(xùn)練過程框圖

雖然RBM的可見層和隱含層在層內(nèi)無連接，但是層間有連接.當(dāng)給定了可見層狀態(tài)v時，隱含層單元的激活狀態(tài)h是相互獨(dú)立的；反之，給定隱含層狀態(tài)h，各可見層單元的狀態(tài)v也是相互獨(dú)立的，這使得特征學(xué)習(xí)中涉及的概率分布計(jì)算更為便捷.而DBM的無監(jiān)督特征學(xué)習(xí)就是通過這種學(xué)習(xí)方式階層式的得以實(shí)現(xiàn).

1.2集成最小二乘支持向量回歸的NOx預(yù)測

1.2.1最小二乘支持向量回歸

(5)

式中：φ(x)為非線性映射，其將輸入空間映射到一個高維的特征空間；e為權(quán)重向量；d為偏置項(xiàng).

將上述問題轉(zhuǎn)換為求解線性方程組，并表達(dá)為如下優(yōu)化問題：

(6)

式中：γ為懲罰系數(shù)；ξi為松弛變量.

LSSVM的最終解可表示為

(7)

式中：ci為拉格朗日乘子;K(*)為核函數(shù).

當(dāng)LSSVM用于求解回歸問題時，上述求解過程被稱為最小二乘支持向量回歸(LeastSquare-SupportVectorRegression，LSSVR).筆者在之前的研究中驗(yàn)證了高斯徑向基函數(shù)作為核函數(shù)的LSSVR相較于其余的機(jī)器學(xué)習(xí)算法更適于擬合圖像特征與NOx排放量的關(guān)系[9],因此采用LSSVR建立預(yù)測模型.高斯徑向基函數(shù)的定義如下：

(8)

式中：σ為核參數(shù).

1.2.2NOx預(yù)測算法

圖2為NOx預(yù)測算法的示意圖.當(dāng)給定火焰自由基圖像的訓(xùn)練集合(包含p個樣本)和測試集合(包含q個樣本)，NOx預(yù)測算法可歸納如下：

圖2　NOx預(yù)測算法示意圖

(9)

式中:ui為權(quán)值.

2　實(shí)驗(yàn)結(jié)果與分析

2.1火焰自由基圖像集與NOx檢測

燃燒實(shí)驗(yàn)在小型生物質(zhì)-燃?xì)馊紵龑?shí)驗(yàn)裝置上進(jìn)行.火焰自由基圖像由一個光增強(qiáng)成像系統(tǒng)[15]獲得.主要的燃料是生物質(zhì)(柳木)和丙烷.柳木的工業(yè)分析見表1[16]，當(dāng)柳木被研磨成細(xì)微顆粒后，由旋轉(zhuǎn)給料機(jī)送入燃燒器.通過改變給料機(jī)的轉(zhuǎn)速(10～40 Hz，以5 Hz為間隔)，總共產(chǎn)生7組燃料質(zhì)量流量，即7種測試條件.丙烷的體積流量被固定為0.6 L/min.在每種測試條件下，每種火焰自由基拍攝100幅圖像，4種火焰自由基圖像同時被成像系統(tǒng)獲取.圖3給出了4種火焰自由基圖像的示例.

表1　柳木的工業(yè)分析

(a)OH*(308 nm)

(b)CN*(387 nm)

(c)CH*(432mm)

(d)(514mm)

圖3火焰自由基圖像

Fig.3Flame radical images

在拍攝火焰自由基圖像過程中，采用KANE 900 PLUS煙氣分析儀來采集煙氣中的NOx排放值.每種測試條件下采集3次NOx排放值，將其均值作為預(yù)測模型的參考值.火焰自由基圖像與NOx排放參考值組成了一個完備的標(biāo)簽數(shù)據(jù)集合.該標(biāo)簽數(shù)據(jù)集合包含了700個樣本，將其劃分為訓(xùn)練集和測試集，其中訓(xùn)練集(420個樣本)用來訓(xùn)練NOx的預(yù)測模型，測試集(280個樣本)用來檢驗(yàn)預(yù)測模型的預(yù)測效果.

在通常的固體燃料(特別是生物質(zhì))燃燒溫度下，燃料型NOx中的揮發(fā)分NOx占很大比例(也有少量焦炭NOx).研究表明,在氧化性氣氛中，隨著過量空氣系數(shù)的增大，揮發(fā)分NOx在燃料型NOx中占的比例遠(yuǎn)超過焦炭NOx[17].且與煤焦相比，生物質(zhì)焦具有更加良好的還原性，對焦炭NOx的生成有一定的抑制作用[18].考慮到本實(shí)驗(yàn)是在小型試驗(yàn)爐上使用揮發(fā)分較高的生物質(zhì)燃料(表1)，因此煙氣分析儀檢測的NOx可視為揮發(fā)分NOx(即焦炭NOx可以忽略不計(jì)).但在實(shí)際鍋爐燃燒中，2種NOx都應(yīng)考慮.

2.2NOx預(yù)測算法穩(wěn)定性分析及其預(yù)測結(jié)果

DBM可以對給定的圖像集進(jìn)行無監(jiān)督的特征學(xué)習(xí)，學(xué)習(xí)過程的不唯一性使得學(xué)習(xí)到的圖像特征集合具有隨機(jī)性：(1)將訓(xùn)練DBM的無監(jiān)督貪婪方法設(shè)置相同的訓(xùn)練次數(shù)，進(jìn)行多次獨(dú)立的特征學(xué)習(xí)，獲取的圖像特征集合是不同的；(2)設(shè)置不同的訓(xùn)練次數(shù)進(jìn)行獨(dú)立的特征學(xué)習(xí)，可以發(fā)現(xiàn)得到的圖像特征集合也是不同的.為分析圖像特征集合的隨機(jī)性對NOx預(yù)測結(jié)果的影響，采用如下計(jì)算方法：將訓(xùn)練次數(shù)設(shè)置為10，獨(dú)立訓(xùn)練50次DBM，可以得到50個獨(dú)立的隨機(jī)圖像特征集合；采用LSSVR計(jì)算這50個圖像特征集合對應(yīng)的NOx排放預(yù)測值，根據(jù)所得NOx排放預(yù)測值計(jì)算對應(yīng)的50個均方根誤差，之后訓(xùn)練次數(shù)以10為間隔遞增，到100截止，重復(fù)上面的計(jì)算.

(10)

圖4給出了依據(jù)上述計(jì)算方法得到的均方根誤差的變化曲線.由圖4可知，隨著訓(xùn)練次數(shù)的增加，均方根誤差的數(shù)值變化并無規(guī)律性，但有上限.因此，可以認(rèn)為在不同的訓(xùn)練次數(shù)下，依據(jù)DBM學(xué)習(xí)的圖像特征集合得到的NOx排放預(yù)測值具有隨機(jī)性，這也是NOx預(yù)測算法中需要集成多個LSSVR進(jìn)行計(jì)算的原因.此外，當(dāng)DBM的訓(xùn)練次數(shù)固定時，測試中均方根誤差的最大標(biāo)準(zhǔn)差為0.74 mg/m3，對應(yīng)訓(xùn)練次數(shù)為60，均方根誤差的最小標(biāo)準(zhǔn)差為0.02 mg/m3,對應(yīng)訓(xùn)練次數(shù)為20.圖4中均方根誤差的數(shù)值是在一個較小的范圍內(nèi)變動的，因此可以認(rèn)為雖然訓(xùn)練次數(shù)相同時得到的圖像特征集合具有隨機(jī)性，但是相應(yīng)的NOx排放預(yù)測值是穩(wěn)定的.

圖4　不同圖像特征集合的預(yù)測結(jié)果的均方根誤差

Fig.4RMSE values of prediction results for different image feature sets

另外，在第1.2節(jié)提出的NOx預(yù)測算法中，設(shè)置DBM的總訓(xùn)練次數(shù)為100，在區(qū)間[1,100]內(nèi)進(jìn)行50次獨(dú)立隨機(jī)抽樣.圖5給出了根據(jù)相應(yīng)預(yù)測結(jié)果得到50個均方根誤差值.由圖5可知，最大的均方根誤差對應(yīng)第35次抽樣，其值為1.81 mg/m3；最小的均方根誤差對應(yīng)第1次抽樣，其值為0.82 mg/m3；均方根誤差均值為1.35 mg/m3，距離均方根誤差均值最近的為第40次抽樣，其值為1.33 mg/m3.表2給出了這3組抽樣在每種測試條件下的NOx排放預(yù)測值相對誤差的最大值.表2中，對于每一縱列，當(dāng)燃料質(zhì)量流量給定時，3組典型抽樣對應(yīng)的相對誤差較小，這說明預(yù)測結(jié)果是穩(wěn)定的.

圖5　50次隨機(jī)抽樣的預(yù)測結(jié)果的均方根誤差

由于第40次抽樣對應(yīng)的均方根誤差在數(shù)值上最接近50次獨(dú)立預(yù)測得到的均方根誤差均值，因此圖6給出了第40次抽樣對應(yīng)的NOx排放預(yù)測值的相對誤差.由圖6可知，根據(jù)測試樣本計(jì)算得到的280個NOx排放預(yù)測值中，共有274個NOx排放預(yù)測值的相對誤差分布在±2%，而不在±2%的6個NOx排放預(yù)測值為測試條件1中的4個值，相對誤差分別為7.7%、2.5%、5.7%和3.4%；測試條件3中的一個值，相對誤差為4.7%；測試條件4中的一個值，相對誤差為3.8%.這些NOx排放預(yù)測值均沒有顯著偏離每種測試條件下的NOx排放參考值，說明預(yù)測結(jié)果精度較高.這一方面是因?yàn)镈BM提供了良好的特征學(xué)習(xí)，使得測試集與訓(xùn)練集的特征相似度高；另一方面是因?yàn)樗惴闪硕鄠€LSSVR，降低了預(yù)測結(jié)果的隨機(jī)性.因此可以認(rèn)為算法的預(yù)測結(jié)果穩(wěn)定.

表23組典型抽樣對應(yīng)的NOx排放預(yù)測值相對誤差的最大值

Tab.2　Maximum relative errors of NOx emission prediction for three typical samplings %

圖6　NOx排放預(yù)測值的相對誤差

2.3不同NOx預(yù)測算法之間的比較分析

圖7給出了上述4種預(yù)測算法以及本文預(yù)測算法的比較結(jié)果.從圖7可以看出，本文預(yù)測算法得到的均方根誤差在數(shù)值上顯著低于其他4種預(yù)測算法，這源于DBM提供了良好的圖像特征，階層式地對火焰自由基圖像進(jìn)行了算法統(tǒng)計(jì)建模.基于IR算法和IC算法計(jì)算得到的均方根誤差值較高，因?yàn)檫@2類圖像特征只提供了不完全的統(tǒng)計(jì)描述，且僅考慮了火焰自由基圖像灰度值這個因素，卻完全忽略了自由基圖像的面積；當(dāng)燃燒情況比較劇烈時，火焰自由基圖像的灰度均值也會有較大的變化波動，從而導(dǎo)致較大的預(yù)測偏差.CTZM算法和NMF-TA算法都是利用預(yù)先設(shè)定的數(shù)學(xué)公式計(jì)算圖像的特征，它們不能像DBM一樣根據(jù)圖像集合的特點(diǎn)自動學(xué)習(xí)圖像特征，因此二者的預(yù)測結(jié)果劣于本文預(yù)測算法.

圖7　各預(yù)測算法均方根誤差值的比較

對于真實(shí)的鍋爐燃燒環(huán)境，雖然由于燃料類型、燃燒器結(jié)構(gòu)和配風(fēng)等因素會導(dǎo)致獲取的火焰自由基圖像形狀發(fā)生較大變化，但預(yù)測模型中的特征學(xué)習(xí)過程確保了所提取的火焰自由基圖像特征可以根據(jù)所獲取的圖像進(jìn)行調(diào)整，而且預(yù)測模型是數(shù)據(jù)驅(qū)動的，相應(yīng)圖像特征與對應(yīng)的NOx的變化都將直接反映在所構(gòu)建的NOx預(yù)測模型中，從而降低了預(yù)測誤差.但是在實(shí)際的燃燒過程中，自由基形狀變化對NOx生成的實(shí)際影響程度還需進(jìn)一步量化研究，特別是燃料型NOx中焦炭NOx的生成對NOx預(yù)測模型的影響.

3　結(jié)　論

通過對火焰自由基圖像與NOx排放關(guān)聯(lián)性的研究，提出了一種基于自由基圖像的集成深度玻爾茲曼機(jī)和最小二乘支持向量回歸的NOx預(yù)測算法.在小型生物質(zhì)-氣體燃燒試驗(yàn)爐中的實(shí)驗(yàn)結(jié)果表明，NOx排放預(yù)測值與煙氣分析儀測量的NOx排放參考值具有較好的一致性，且預(yù)測結(jié)果穩(wěn)定.與已有的基于火焰自由基圖像特征的NOx預(yù)測算法相比，本文算法的預(yù)測結(jié)果更加準(zhǔn)確，測試集對應(yīng)的NOx排放預(yù)測值的相對誤差幾乎分布在±2%.這些結(jié)果表明了所提算法的實(shí)用性，對于基于火焰自由基圖像法在實(shí)際鍋爐燃燒中進(jìn)行NOx準(zhǔn)確預(yù)測具有一定指導(dǎo)意義.

[1]潘玲穎，麻林巍, 周喆，等.2030年中國煤電SO2和NOx排放總量的情況研究[J].動力工程學(xué)報(bào)，2010，30(5)：378-383.

PAN Lingying, MA Linwei, ZHOU Zhe,etal. Scenario analysis on total SO2and NOxemission of China's coal-fired power plants in 2030[J].Journal of Chinese Society of Power Engineering,2010, 30(5):378-383.

[2]中華人民共和國環(huán)境保護(hù)部.GB 13271—2014鍋爐大氣污染物排放標(biāo)準(zhǔn)[S].北京：中國環(huán)境科學(xué)出版社，2014：7-1.

[3]高芳，翟永杰，卓越，等.基于共享最小二乘支持向量機(jī)模型的電站鍋爐燃燒系統(tǒng)的優(yōu)化[J].動力工程學(xué)報(bào)，2012，32(12)：928-933.

GAO Fang, ZHAI Yongjie, ZHUO Yue,etal. Combustion optimization for utility boilers based on sharing LSSVM model [J]. Journal of Chinese Society of Power Engineering,2012,32(12): 928-933.

[4]牛培峰，肖興軍，李國強(qiáng)，等.基于萬有引力搜索算法的電廠鍋爐NOx排放模型的參數(shù)優(yōu)化[J].動力工程學(xué)報(bào)，2013,33(2)：100-106.

NIU Peifeng, XIAO Xingjun, LI Guoqiang,etal.Parameter optimization for NOxemission model of power plant boilers based on gravitational search algorithm[J].Journal of Chinese Society of Power Engineering,2013,33(2):100-106.

[5]ZHOU Hao, CEN Kefa, MAO Jianbo. Combining neural network and genetic algorithms to optimize low NOxpulverized coal combustion [J].Fuel, 2001, 80(15):2163-2169.

[6]SANDROWITZ A K, COOKE J M, GLUMAC N G. Flame emission spectroscopy for equivalence ratio monitoring[J].Applied Spectroscopy,1998, 52(5): 658-662.

[7]BOMBACH R, KAPPELI B. Simultaneous visualisation of transient species in flames by planar-laser-induced fluorescence using a single laser system[J]. Applied Physics B, 1999, 68(2):251-255.

[8]李新利，李玲，盧鋼，等. 基于火焰自由基成像和支持向量機(jī)的燃燒過程N(yùn)Ox排放預(yù)測[J]. 中國電機(jī)工程學(xué)報(bào)，2015，35(6)：1413-1419.

LI Xinli, LI Ling, LU Gang,etal. NOxemission prediction based on flame radical profiling and support vector machine[J]. Proceedings of the CSEE, 2015, 35(6):1413-1419.

[9]LI Nan, LU Gang, LI Xinli,etal. Prediction of pollutant emissions of biomass flames through digital imaging, contourlet transform, and support vector regression modeling[J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(9):2409-2416.

[10]LI Nan, LU Gang, LI Xinli,etal. Prediction of NOxemissions from a biomass fired combustion process through digital imaging, nonnegative matrix factorization and fast sparse[C]//Proceedings of the IEEE International Instrumentation and Measurement Technology Conference.Pisa, Italy: IEEE, 2015:176-180.

[11]DONG Yu, LI Deng. Deep learning and its applications to signal and information[J]. IEEE Processing of Signal Processing Magazine, 2011, 28(1):145-154.

[12]BENGIO Y. Learning deep architectures for AI[J]. Foundations and Trends?in Machine Learning,2009, 2(1):1-127.

[13]CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995,20(3):273-297.

[14]SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3):293-300.

[15]KRABICKA J, LU Gang, YAN Yong. Profiling and characterization of flame radicals by combining spectroscopic imaging and neural network techniques[J]. IEEE Transactions on Instrumentation and Measurement, 2011, 60(5):1854-1860.

[16]WILLIAMS A, JONES J M, MA L,etal. Pollutants from the combustion of solid biomass fuels[J]. Progress in Energy and Combustion Science, 2012, 38(2):113-137.

[17]白衛(wèi)東.電站鍋爐煤粉火焰安全監(jiān)測及燃燒診斷方法研究[D].杭州：浙江大學(xué)，2004.

[18]柏繼松.生物質(zhì)燃燒過程氮和硫的遷移、轉(zhuǎn)化特性研究[D].杭州：浙江大學(xué)，2012.

NOxEmission Prediction Based on Deep Boltzmann Machine Integrated with Least Square Support Vector Regression

LINan1,LUGang2,LIXinli1,YANYong1,2

(1. School of Control and Computer Engineering, North China Electric Power University,Beijing 102206, China; 2. School of Engineering and Digital Arts, University of Kent,Canterbury, Kent CT2 7NT, UK)

flame radical image; deep Boltzmann machine; least square support vector regression; NOxemission prediction

2015-09-11

國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃資助項(xiàng)目(973 計(jì)劃)(2012CB215203)；111引智資助項(xiàng)目(B13009)

李楠(1984-)，男，河南平頂山人，博士，主要從事機(jī)器學(xué)習(xí)、圖像分析、污染物預(yù)測等方面的研究.電話(Tel.):15120028906；E-mail：smile_mokou@163.com.

1674-7607(2016)08-0615-06

X511

A學(xué)科分類號：610.30