循環(huán)流化床鍋爐燃燒系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型研究

李國強， 齊曉賓， 陳 彬， 張 露

(燕山大學(xué) 河北省工業(yè)計算機控制工程重點實驗室，河北秦皇島 066004)

熱電廠鍋爐燃燒系統(tǒng)產(chǎn)生的氮氧化物(主要是NO和NO2，統(tǒng)稱NOx)是大氣的主要污染源之一[1-2]。準確預(yù)測NOx的排放特性對于調(diào)整系統(tǒng)輸入量、減少NOx排放量和改善大氣質(zhì)量有著至關(guān)重要的作用。然而，影響鍋爐NOx排放量的因素很多，且鍋爐的燃燒過程具有強耦合和非線性等特征，很難用機理模型去描述。近些年，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于解決工程領(lǐng)域中的建模與控制問題，但傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型需經(jīng)多次迭代調(diào)整才能確定網(wǎng)絡(luò)權(quán)值[3]，存在計算時間長和易陷入“過擬合”的缺點[4]。

2003年，Caminhas等[5]提出了一種新的網(wǎng)絡(luò)，稱為并行層感知器(Parallel Layer Perceptron, PLP)，利用并行的感知器來映射輸入層與輸出層之間的非線性關(guān)系。PLP試圖結(jié)合多層感知器(multi-layer perceptrons, MLP)[6-7]和基于自適應(yīng)神經(jīng)網(wǎng)絡(luò)的模糊推理系統(tǒng)(adaptive-network-based fuzzy inference system, ANFIS)的優(yōu)點[8]，該模型已被廣泛應(yīng)用[9-12]，相關(guān)文獻已對PLP做出詳細介紹[5]。2006年，黃廣斌等[13]提出一種性能出色的單隱層前饋神經(jīng)網(wǎng)絡(luò)，稱為極限學(xué)習(xí)機(Extreme Learning Machine，ELM)。ELM的模型和理論[14-15]被成功應(yīng)用于函數(shù)逼近[16-17]、模式分類[18]和系統(tǒng)辨識等許多領(lǐng)域。ELM的核心內(nèi)容是將單隱層模糊神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為求解線性最小二乘問題，然后通過Moore Penrose(MP)廣義逆計算輸出權(quán)值。2013年，Li等[19]提出了一種基于ELM的新型人工神經(jīng)網(wǎng)絡(luò)——快速學(xué)習(xí)網(wǎng)(Fast Learning Network, FLN)。FLN在繼承了ELM優(yōu)點(網(wǎng)絡(luò)結(jié)構(gòu)簡單，回歸精度、泛化能力強，收斂速度快，無需迭代)的同時，輸出神經(jīng)元不僅接收來自隱層單元的信息，而且還接收來自輸入層單元的信息，對于線性與非線性問題的處理能力更強。

筆者提出了一種新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——并聯(lián)型快速學(xué)習(xí)網(wǎng)(Fast Learning Network with Parallel Layer Perceptron, PLP-FLN)。這是1個單層前饋神經(jīng)網(wǎng)絡(luò)和2個單隱層前饋神經(jīng)網(wǎng)絡(luò)并行連接結(jié)構(gòu)。因此，PLP-FLN也具有處理線性和非線性問題的優(yōu)勢，可以被視為FLN與PLP網(wǎng)絡(luò)的結(jié)合模型。若不考慮線性連接，PLP-FLN還可以被看做以ELM為基本框架的并聯(lián)型感知神經(jīng)網(wǎng)絡(luò)。因此，PLP-FLN也繼承了ELM泛化能力好、學(xué)習(xí)速度快、模型復(fù)雜度低等優(yōu)點。筆者將PLP-FLN與ELM、FLN、IELM、KELM模型的預(yù)測結(jié)果進行了對比研究，實驗證明PLP-FLN具有更好的擬合能力，為預(yù)測電廠鍋爐NOx排放提供了一種新的有效參考。

1 快速學(xué)習(xí)網(wǎng)模型

j=1,2,…,N

(1)

式中：Woi=Woi,1,Woi,2,…,Woi,l，為連接輸入層與第j個輸出節(jié)點之間的權(quán)值矩陣；Woh,k=[Woh,1k,Woh,2k,…,Woh,lk]T，為連接第k個隱層節(jié)點與輸出層之間的權(quán)值矩陣；Win,k=[Win,k1,Win,k2,…,Win,km]T，為輸入層與第k個隱層節(jié)點之間的權(quán)值矩陣；bk為第k個隱層節(jié)點的閾值。

式(1)可表達成矩陣形式為：

(2)

(3)

(4)

式中：W為輸出權(quán)值矩陣；G為隱層輸出矩陣；Y為期望輸出矩陣；l為輸出層節(jié)點個數(shù)。

根據(jù)最小二乘范數(shù)解的相關(guān)知識，輸出權(quán)值矩陣W的最小二乘范數(shù)解為：

(5)

(6)

2 并聯(lián)型快速學(xué)習(xí)網(wǎng)

2.1 PLP-FLN網(wǎng)絡(luò)模型

PLP-FLN可以看成是并聯(lián)型感知器與快速學(xué)習(xí)網(wǎng)的結(jié)合模型，其中輸入層將接收到的數(shù)據(jù)信息傳送給2個并聯(lián)的單隱層前饋網(wǎng)絡(luò)和輸出層，這樣的結(jié)構(gòu)具有以下特點：1)隱層神經(jīng)元接收樣本信息并進行非線性處理后傳遞給輸出層，PLP-FLN并聯(lián)的單隱層前饋網(wǎng)絡(luò)結(jié)構(gòu)增強了自身的非線性處理能力；2)輸入層直接將樣本信息傳遞給輸出層，增加了網(wǎng)絡(luò)對數(shù)據(jù)的線性處理能力。PLP-FLN結(jié)構(gòu)如圖1所示，其學(xué)習(xí)過程呈現(xiàn)如下：

圖1 PLP-FLN結(jié)構(gòu)圖

(7)

式中：f(·)、γ(·)和φ(·)均是激活函數(shù)。

ajt、bjt和ckt分別表示如下：

(8)

(9)

(10)

式中：pjt、qjt和wkt為不同層的權(quán)值矩陣元素。

與傳統(tǒng)的單隱層前饋神經(jīng)網(wǎng)絡(luò)(single layer feedforward neural network，SLFN)一樣，PLP-FLN所有的權(quán)值可在訓(xùn)練階段進行調(diào)整。

上層網(wǎng)絡(luò)的隱層輸出可表示為：

(11)

下層網(wǎng)絡(luò)的隱層輸出可表示為：

(12)

式(11)可以被寫成如下數(shù)學(xué)模型：

gt=γ(Pxt)，t=1,2,…,N

(13)

式中：P=[P1,P2,…,Pm]，為上層網(wǎng)絡(luò)連接第j個隱層節(jié)點與輸入層節(jié)點的權(quán)值向量。

同樣，式(12)可寫成：

(14)

式中：Q=[Q1,Q2,…,Qm]，為下層網(wǎng)絡(luò)連接第j個隱層節(jié)點與輸入層節(jié)點的權(quán)值向量。

式(13)和式(14)可用矩陣形式表達為：

G1=γ(PX)

(15)

G2=φ(QX)

(16)

式中：X為包含隱層閾值x0的輸入樣本矩陣。

通過位相乘運算后可以得到新矩陣：

(17)

式中：G為PLP-FLN的隱層輸出矩陣。

(18)

式中：H為輸出層的輸入矩陣；X1為不包含隱層閾值x0的輸入樣本矩陣。因此，神經(jīng)網(wǎng)絡(luò)最后的輸出可以寫成矩陣形式：

T=f(Hβ)

(19)

式中：T為期望的輸出矩陣；β為PLP-FLN的輸出權(quán)值矩陣。

單隱層前饋神經(jīng)網(wǎng)絡(luò)的輸入權(quán)值和隱層閾值不必完全調(diào)整，可以被初始化到一個隨機數(shù)。因此，PLP-FLN的輸入權(quán)值P、Q和隱層閾值x0被隨機初始化到(0,1)之間的數(shù)，從而將求取輸出權(quán)值β轉(zhuǎn)化成最優(yōu)化問題，如式(20)所示：

(20)

對于可逆的激活函數(shù)f(·)，上式可轉(zhuǎn)化為線性最小化問題，輸出權(quán)值可由下式解析得到。

(21)

式中：f-1(T)為激活函數(shù)f(·)的逆函數(shù)。

根據(jù)Moore-Penrose(MP)廣義逆相關(guān)知識，上式中輸出權(quán)值的最小二乘范數(shù)解可寫成：

(22)

式中：H+為矩陣H的廣義逆。

2.2 PLP-FLN簡化模型

作為式(1)的特殊情況，假設(shè)激活函數(shù)γ(·)和f(·)是線性函數(shù)，則網(wǎng)絡(luò)的輸出可寫成：

(23)

(24)

簡化的網(wǎng)絡(luò)模型具有一些好的特性。在隨機初始化輸入權(quán)值和隱層閾值的情況下，可以用最小二乘法求得網(wǎng)絡(luò)的輸出權(quán)值。若能夠通過有效的方法求得合適的隱層節(jié)點個數(shù)，則PLP-FLN可以表現(xiàn)出快速的學(xué)習(xí)速度、優(yōu)秀的泛化能力和學(xué)習(xí)能力等。

3 PLP-FLN性能測試

運用3折交叉驗證法(cross validation, CV)獲得不同模型在各數(shù)據(jù)集下的最優(yōu)隱層節(jié)點個數(shù)，再用網(wǎng)格法(Grid Search, GS)獲取核極限學(xué)習(xí)機的參數(shù)組合C(懲罰系數(shù))和γ(核參數(shù))，其網(wǎng)格分別設(shè)置為C=[2-4,2-3,…,214,215]和γ=[2-4,2-3,…,214,215]，每次實驗從400個參數(shù)組合中找出最優(yōu)的組合作為KELM的性能參數(shù)。為了驗證PLP-FLN模型的有效性，進行了基準回歸實驗。隱層激勵函數(shù)均采用‘sig’函數(shù)。針對每個回歸問題,均重復(fù)實驗30次，并將測試樣本的實驗結(jié)果與ELM、 FLN、KELM和IELM的測試結(jié)果進行了對比。

使用8個UCI數(shù)據(jù)集(http://archive.ics.uci.edu/ml/datasets.html)進行回歸實驗，數(shù)據(jù)集的輸入屬性和輸出屬性分別歸一化到[-1,1]和[0,1]。數(shù)據(jù)相關(guān)信息如表1所示。

表1 基準回歸數(shù)據(jù)

表2給出了不同網(wǎng)絡(luò)最優(yōu)隱層節(jié)點個數(shù)和KELM參數(shù)的確定。由表2可知，在達到實驗最高精度的情況下ELM、FLN和IELM所需要的隱層節(jié)點個數(shù)遠多于PLP-FLN所需的隱層節(jié)點個數(shù)，有的甚至多十幾倍。總體看來，PLP-FLN的隱層節(jié)點個數(shù)保持在10以內(nèi)。結(jié)合下文的實驗結(jié)果可知，PLP-FLN在設(shè)置較少隱層節(jié)點個數(shù)的情況下，能獲得與其他4種模型相同或較好的實驗結(jié)果，展現(xiàn)了較好的數(shù)據(jù)處理能力。

表2不同網(wǎng)絡(luò)最優(yōu)隱層節(jié)點個數(shù)和KELM參數(shù)的確定

Tab.2Optimalnumberofhiddenlayernodesfordifferentalgorithmsandthehyper-parametersofKELM

數(shù)據(jù)集ELMFLNIELMPLP-FLNKELM(C,γ)Abalone2635244(4, 4)Delta Ailerons3744416(64, 2)Delta Elevators3336384(16, 4)Machine CPU2117334(256,32)CCPP3644474(256, 0.25)Concrete4145475(128, 4)Concrete Slump3321257(1 024, 16)Energy Efficiency4656344(16 384, 2)

由表3所示，引入均方根誤差(Root Mean Square Error，RMSE)的標準差(Standard Deviation, SD)作為性能評價指標。在8個回歸數(shù)據(jù)集中，ELM、 FLN、KELM和IELM分別只有2個、1個、3個和1個數(shù)據(jù)集的結(jié)果比PLP-FLN的結(jié)果好。對于數(shù)據(jù)集Delta Elevators和Concrete，PLP-FLN比其他4種模型都展現(xiàn)出更好的實驗結(jié)果?？傮w來看，PLP-FLN在大部分數(shù)據(jù)集下的回歸精度好于其他4種模型，PLP-FLN表現(xiàn)出較好的泛化能力、學(xué)習(xí)能力和穩(wěn)定性。

如表4所示，引入相關(guān)系數(shù)(R-Square)和平均絕對百分誤差(Mean Absolute Percentage Error，MAPE)作為性能評價指標。通過對比5種方法對于測試樣本的測試結(jié)果，可以明顯發(fā)現(xiàn)PLP-FLN在大部分數(shù)據(jù)集下的結(jié)果都優(yōu)于其他4種模型，尤其是對于數(shù)據(jù)集Abalone、Delta Elevators、Concrete和Concrete Slump，PLP-FLN比其他方法展現(xiàn)出更小的MAPE值，對于數(shù)據(jù)集Abalone、Delta Ailerons、Machine CPU和Concrete Slump，PLP-FLN比其他方法獲得更大的R-Square值，表明PLP-FLN較其他4種方法具有更好的預(yù)測能力和擬合度。

表3 5種方法測試樣本均方根誤差的標準差的比較

表4 測試樣本平均絕對百分誤差和相關(guān)系數(shù)的性能比較

4 循環(huán)流化床鍋爐燃燒系統(tǒng)建模

以PLP-FLN建立模型，實驗對象為某熱電廠300 MW亞臨界循環(huán)流化床鍋爐。以集散控制系統(tǒng)(DCS)從熱電廠數(shù)據(jù)庫中采集的576組數(shù)據(jù)作為樣本數(shù)據(jù)，將其隨機分為訓(xùn)練樣本(384組)和測試樣本(192組)。數(shù)據(jù)負荷范圍為60%～100%，由于一天當(dāng)中各時間段發(fā)電量不同，實際負荷順序并不是嚴格遞增或遞減的。選取NOx排放質(zhì)量濃度作為模型的輸出參數(shù)，影響NOx排放質(zhì)量濃度特性的27個參數(shù)(負荷、給煤量、一次風(fēng)流量、一次風(fēng)溫度、爐膛密相區(qū)溫度等)作為模型的輸入?yún)?shù)。

為了消除不同數(shù)據(jù)之間的量綱，加快網(wǎng)絡(luò)收斂性，方便數(shù)據(jù)處理，先將樣本進行歸一化處理。輸入?yún)?shù)歸一化到[-1,1]，輸出參數(shù)歸一化到[0，1]，最后再將實驗結(jié)果反歸一化，這樣處理更能反映出模型預(yù)測的真實效果。針對此數(shù)據(jù)，利用與上文同樣的方法獲得ELM、 FLN、IELM與PLP-FLN的最優(yōu)隱層節(jié)點個數(shù)分別為46、32、54和10，KELM參數(shù)組合(C,γ)為(128,2)，其余實驗參數(shù)和實驗次數(shù)與上面設(shè)置相同。為了體現(xiàn)PLP-FLN模型的有效性，進行了與上面相同的4種模型的對比實驗，并將均方根誤差(RMSE)、標準差(SD)、平均絕對百分誤差(MAPE，%)、平均絕對誤差(Mean Absolute Error, MAE)和相關(guān)系數(shù)(R-square)作為實驗結(jié)果的評價標準。

表5給出了測試樣本準確度的對比。由表5可知，對于SD和MAE而言,8組實驗數(shù)據(jù)中只有3種模型的實驗數(shù)據(jù)比PLP-FLN的好，而對于RMSE、MAPE和R-square而言，PLP-FLN的實驗結(jié)果分別為13.152 5、7.697 0%和0.914 9，比其他4種模型的實驗結(jié)果都好。由此可知，PLP-FLN具有較好的泛化能力和預(yù)測能力。

表5 測試樣本準確度對比

為了更加清晰地展示PLP-FLN的實驗性能，將5種方法的測試結(jié)果與NOx排放質(zhì)量濃度的實際輸出進行比較，結(jié)果如圖2～圖6所示。從擬合結(jié)果來看，PLP-FLN的預(yù)測值與目標值的擬合度最好，對于大多數(shù)差異較大的數(shù)值也能進行很好的擬合，表明其擁有較好的學(xué)習(xí)能力和預(yù)測能力。

各種模型對測試樣本的預(yù)測誤差如圖7所示。由圖7可以看出，與其他4種模型相比，PLP-FLN模型預(yù)測NOx排放質(zhì)量濃度的誤差范圍最小，說明其預(yù)測結(jié)果更準確。

圖2 ELM的預(yù)測值與目標值的對比

圖3 FLN的預(yù)測值與目標值的對比

圖4 KELM的預(yù)測值與目標值的對比

圖5 IELM的預(yù)測值與目標值的對比

圖6 PLP-FLN的預(yù)測值與目標值的對比

綜上所述，通過實驗對比可知筆者提出的PLP-FLN模型的學(xué)習(xí)能力和泛化能力更強，預(yù)測精度更高，非常適合循環(huán)流化床鍋爐NOx排放質(zhì)量濃度的預(yù)測。

5 結(jié) 論

以某熱電廠300 MW亞臨界循環(huán)流化床鍋爐為研究對象，以現(xiàn)場采集的NOx排放質(zhì)量濃度為模型輸出樣本，利用并聯(lián)型快速學(xué)習(xí)網(wǎng)建立了循環(huán)流化床鍋爐NOx排放質(zhì)量濃度的預(yù)測模型，并將該模型的預(yù)測結(jié)果與ELM、FLN、KELM和IELM模型的預(yù)測結(jié)果進行了比較。結(jié)果表明：PLP-FLN模型可以更準確、有效地預(yù)測NOx排放質(zhì)量濃度，為熱電廠預(yù)測NOx排放質(zhì)量濃度提供了一種新的方法。

參考文獻：

[1] 歐陽子區(qū), 朱建國, 呂清剛. 無煙煤粉經(jīng)循環(huán)流化床預(yù)熱后燃燒特性及NOx排放特性實驗研究[J].中國電機工程學(xué)報, 2014, 34(11): 1748-1754.

OUYANG Ziqu, ZHU Jianguo, Lü Qinggang. Experimental study on combustion and NOxemission of pulverized anthracite coal preheated by a circulating fluidized bed[J].ProceedingsoftheCSEE, 2014, 34(11): 1748-1754.

[2] 牛培峰, 趙振, 馬云鵬, 等. 基于風(fēng)驅(qū)動算法的鍋爐NOx排放模型優(yōu)化[J].動力工程學(xué)報, 2016, 36(9): 732-738.

NIU Peifeng, ZHAO Zhen, MA Yunpeng, et al. Model improvement for boiler NOxemission based on wind driven optimization algorithm[J].JournalofChineseSocietyofPowerEngineering, 2016, 36(9): 732-738.

[3] 張弦, 王宏力. 限定記憶極端學(xué)習(xí)機及其應(yīng)用[J].控制與決策, 2012, 27(8): 1206-1210.

ZHANG Xian, WANG Hongli. Fixed-memory extreme learning machine and its applications[J].ControlandDecision, 2012, 27(8): 1206-1210.

[4] 魏輝, 陸方, 羅永浩, 等. 燃煤鍋爐高效、低NOx運行策略的研究[J].動力工程, 2008, 28(3): 361-366.

WEI Hui, LU Fang, LUO Yonghao, et al. Research on operation strategy on reducing NOxemissions and improving efficiency of coal-fired boiler[J].JournalofPowerEngineering, 2008, 28(3): 361-366.

[5] CAMINHAS W M, VIEIRA D A G, VASCONCELOS J A. Parallel layer perceptron[J].Neurocomputing, 2003, 55(3/4): 771-778.

[6] CULOTTA S, MESSINEO A, MESSINEO S. The application of different model of multi-layer perceptrons in the estimation of wind speed[J].AdvancedMaterialsResearch, 2012, 452-453: 690-694.

[7] ZHENG Lilei, DUFFNER S, IDRISSI K, et al. Siamese multi-layer perceptrons for dimensionality reduction and face identification[J].MultimediaTools&Applications, 2016, 75(9): 5055-5073.

[9] HUNTER D, WILAMOWSKI B. Parallel multi-layer neural network architecture with improved efficiency[C]//Proceedingsofthe4thInternationalConferenceonHumanSystemInteractions. Yokohama, Japan: IEEE, 2011: 299-304.

[10] GAO Zhenning. Parallel and distributed implementation of a multilayer perceptron neural network on a wireless sensor network[D]. Toledo, USA: The University of Toledo, 2013.

[11] LI Xiaojun, LI Li. IP core based hardware implementation of multi-layer perceptrons on FPGAs: a parallel approach[J].AdvancedMaterialsResearch, 2012, 433-440: 5647-5653.

[12] GARCIA-SALGADO B P, PONOMARYOV V I, ROBLES-GONZALEZ M A. Parallel multilayer perceptron neural network used for hyperspectral image classification[C]//Proceedingsof2016Real-TimeImageandVideoProcessing. Brussels, Belgium: SPIE, 2016: 98970K.

[13] HUANG Guangbin, ZHU Qinyu, SIEW C K. Extreme learning machine: theory and applications[J].Neurocomputing, 2006, 70(1/3): 489-501.

[14] DING Shifei, ZHAO Han, ZHANG Yanan, et al. Extreme learning machine: algorithm, theory and applications[J].ArtificialIntelligenceReview, 2015, 44(1): 103-115.

[15] JAVED K, GOURIVEAU R, ZERHOUNI N. SW-ELM: a summation wavelet extreme learning machine algorithm with a priori parameter initialization[J].Neurocomputing, 2014, 123: 299-307.

[16] DUDEK G. Extreme learning machine for function approximation-interval problem of input weights and biases[C]//Proceedingsofthe2ndInternationalConferenceonCybernetics. Gdynia, Poland: IEEE, 2015: 62-67.

[17] HUANG G B, SIEW C K. Extreme learning machine: RBF network case[C]//Proceedingsofthe8thControl,Automation,RoboticsandVisionConference. China: IEEE, 2012: 1029-1036.

[18] IOSIFIDIS A, TEFAS A, PITAS I. Dynamic action recognition based on dynemes and extreme learning machine[J].PatternRecognitionLetters, 2013, 34(15): 1890-1898.

[19] LI Guoqiang, NIU Peifeng, DUAN Xiaolong, et al. Fast learning network: a novel artificial neural network with a fast learning speed[J].NeuralComputingandApplications, 2014, 24(7/8): 1683-1695.