基于粒子群算法與連續(xù)型深度信念網(wǎng)絡(luò)的水泥熟料游離氧化鈣預(yù)測(cè)

劉 彬， 趙朋程， 高 偉， 孫 超， 劉浩然(.燕山大學(xué) 信息科學(xué)與工程學(xué)院 河北省特種光纖與光纖傳感實(shí)驗(yàn)室， 河北 秦皇島 066004；.燕山大學(xué) 電氣工程學(xué)院， 河北 秦皇島 066004)

1 引 言

水泥熟料游離氧化鈣(free calcium oxide, fCaO)是水泥熟料中以游離態(tài)存在的氧化鈣，是影響水泥質(zhì)量的主要因素，能夠直接反映物料在回轉(zhuǎn)窯的燒成狀況[1]。目前，國(guó)內(nèi)外關(guān)于水泥熟料fCaO含量的測(cè)量方法主要有在線(xiàn)分析儀測(cè)量方法和離線(xiàn)采樣化驗(yàn)方法。在線(xiàn)分析儀測(cè)量方法可以實(shí)現(xiàn)對(duì)水泥熟料fCaO含量實(shí)時(shí)檢測(cè)，但設(shè)備成本較大，維護(hù)費(fèi)用高，并且測(cè)量的準(zhǔn)確性容易受到現(xiàn)場(chǎng)煙塵和實(shí)際工況的影響。離線(xiàn)采樣化驗(yàn)方法需每隔1～2 h現(xiàn)場(chǎng)取樣離線(xiàn)化驗(yàn)得到水泥熟料fCaO的含量，由于水泥熟料燒成過(guò)程具有一定時(shí)間的延時(shí)，離線(xiàn)分析獲得fCaO含量相對(duì)于指導(dǎo)燒成系統(tǒng)的控制具有很大的滯后性。針對(duì)水泥熟料fCaO含量無(wú)法實(shí)時(shí)準(zhǔn)確檢測(cè)的問(wèn)題，眾多學(xué)者采用數(shù)據(jù)建模的方法進(jìn)行研究[2～8]，為水泥熟料fCaO含量的預(yù)測(cè)提供了一些可行的方案。

深度信念網(wǎng)絡(luò)(deep belief network, DBN)是由多個(gè)受限玻爾茲曼機(jī)(restricted Boltzmann machine, RBM)逐層累加而成[9]。采用貪婪無(wú)監(jiān)督方式通過(guò)訓(xùn)練大量數(shù)據(jù)來(lái)獲取關(guān)于輸入數(shù)據(jù)有用的特征，以提高分類(lèi)和預(yù)測(cè)的準(zhǔn)確性，進(jìn)而采用誤差反傳的有監(jiān)督訓(xùn)練方式對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，能夠獲得較優(yōu)結(jié)果。

本文提出了一種基于改進(jìn)的連續(xù)型深度信念網(wǎng)絡(luò)(continuous deep belief network，CDBN)的水泥熟料fCaO含量預(yù)測(cè)方法。首先結(jié)合水泥熟料生產(chǎn)工藝和灰關(guān)聯(lián)理論，得出燒成系統(tǒng)的主要變量對(duì)水泥熟料fCaO影響的灰關(guān)聯(lián)度，并建立水泥熟料fCaO預(yù)測(cè)的輔助變量集合。然后針對(duì)梯度下降算法搜索精度低、全局搜索能力差的缺點(diǎn)，提出采用粒子群優(yōu)化(particle swarm optimization，PSO)算法[10]進(jìn)行尋優(yōu)，給出了PSO算法優(yōu)化CDBN模型參數(shù)的步驟。最后將建立的PSO-CDBN模型應(yīng)用于水泥熟料fCaO含量預(yù)測(cè)建模中，并進(jìn)行仿真實(shí)驗(yàn)。

2 水泥熟料fCaO的輔助變量選取

水泥熟料fCaO含量成分主要取決于生料的成分和燒成系統(tǒng)的煅燒情況，在新型干法水泥生產(chǎn)工藝中，生料在進(jìn)入燒成系統(tǒng)煅燒之前，經(jīng)過(guò)了成分配比、粉磨和均化，使得生料的組成和成分相對(duì)穩(wěn)定，故燒成系統(tǒng)的情況就成為對(duì)熟料質(zhì)量的主要影響因素。初步確定水泥熟料fCaO變量集合為：窯主機(jī)電流、二次風(fēng)溫、窯尾溫度、煙室NOx、二室篦下壓力、分解爐溫度、窯頭負(fù)壓、煙室O2、煙室CO、窯轉(zhuǎn)速、三次風(fēng)溫度、預(yù)熱器出口溫度。采用灰色關(guān)聯(lián)度方法對(duì)初始變量集合的數(shù)據(jù)進(jìn)行灰關(guān)聯(lián)度計(jì)算，進(jìn)而實(shí)現(xiàn)對(duì)初始變量集合降維，獲得最終的預(yù)測(cè)模型輸入輔助變量集合。

初始變量集合：

Xi={Xi(k)|k=1,2,…,N},

i=1,2,…,G

(1)

熟料fCaO含量：

Y={Y(k)|k=1,2,…,N}

(2)

式中：Xi為輔助變量集合；Y為熟料fCaO集合；G為輔助變量的維數(shù)；N為一組輔助變量數(shù)據(jù)集的數(shù)據(jù)量。

令Δi(k)=|Y(k)-Xi(k)|，則灰關(guān)聯(lián)系數(shù)可表示為：

(3)

式中:ρ為分辨系數(shù)，0<ρ<1。

則初始變量的灰關(guān)聯(lián)度計(jì)算表達(dá)式為：

(4)

初始輔助變量集合及其灰關(guān)聯(lián)度值見(jiàn)表1。

表1 水泥熟料fCaO相關(guān)輔助變量灰關(guān)聯(lián)度

設(shè)定灰關(guān)聯(lián)度閾值為0.79，根據(jù)表1可獲得水泥熟料fCaO預(yù)測(cè)模型的輔助變量集合為：窯主機(jī)電流、二次風(fēng)溫、窯尾溫度、煙室NOx；預(yù)測(cè)變量為：熟料fCaO含量。

3 基于PSO的CDBN預(yù)測(cè)模型建立

由于DBN在進(jìn)行特征提取時(shí)采用數(shù)據(jù)離散化方法，使得隱含層和可視層節(jié)點(diǎn)在采樣過(guò)程中得到的是不連續(xù)的二值化形式(0或1)，限制了DBN在更多工業(yè)領(lǐng)域的研究和應(yīng)用。針對(duì)DBN處理連續(xù)數(shù)據(jù)的局限性，提出了一種連續(xù)型深度信念網(wǎng)，使輸入樣本和輸出層數(shù)據(jù)不必經(jīng)過(guò)復(fù)雜的編碼和解碼步驟，簡(jiǎn)化了DBN的訓(xùn)練過(guò)程，使得隱含層和可見(jiàn)層節(jié)點(diǎn)在采樣過(guò)程中得到的是連續(xù)的數(shù)值,并提出粒子群算法優(yōu)化CDBN的學(xué)習(xí)率，提高CDBN網(wǎng)絡(luò)的性能。

3.1 CDBN結(jié)構(gòu)及算法

玻爾茲曼機(jī)是一種基于能量理論具有熱力學(xué)能量的函數(shù)分布的概率模型。如果對(duì)玻爾茲曼機(jī)加以層內(nèi)無(wú)互聯(lián)的約束條件，即可得到RBM，RBM結(jié)構(gòu)見(jiàn)圖1。

設(shè)定RBM可見(jiàn)層節(jié)點(diǎn)和隱含層節(jié)點(diǎn)個(gè)數(shù)分別為n和m，節(jié)點(diǎn)狀態(tài)分別用向量v和h表示，可見(jiàn)層節(jié)點(diǎn)和隱含層節(jié)點(diǎn)間權(quán)值用向量w表示，故RBM作為一個(gè)系統(tǒng)所具備的能量定義為：

(5)

式中：θ=(ai,bj,wij)為RBM的參數(shù)；ai為第i個(gè)可見(jiàn)層節(jié)點(diǎn)的偏置；bj為第j個(gè)隱含層節(jié)點(diǎn)偏置；wij為第i個(gè)可見(jiàn)層節(jié)點(diǎn)與第j個(gè)隱含層節(jié)點(diǎn)權(quán)值。

圖1 限制玻爾茲曼機(jī)結(jié)構(gòu)圖

由RBM層內(nèi)有連接、層外無(wú)連接的特殊結(jié)構(gòu)可知，給定某層節(jié)點(diǎn)狀態(tài)時(shí)，另一層節(jié)點(diǎn)狀態(tài)條件分布相互獨(dú)立，見(jiàn)式(6)和式(7)。

(6)

(7)

當(dāng)給定可見(jiàn)節(jié)點(diǎn)狀態(tài)時(shí)，此時(shí)第j個(gè)隱含層節(jié)點(diǎn)的激活概率為：

(8)

式中:φ(x)=1/(1+exp(-x))為Sigmoid激活函數(shù)。

求得所有的隱含層節(jié)點(diǎn)后，基于RBM的對(duì)稱(chēng)結(jié)構(gòu)，即可獲得可見(jiàn)層節(jié)點(diǎn)的激活概率為：

(9)

由于對(duì)可見(jiàn)層節(jié)點(diǎn)和隱含層節(jié)點(diǎn)進(jìn)行概率求取時(shí)，需將結(jié)果離散為二元制，所以對(duì)Sigmoid激活函數(shù)保留，去掉將結(jié)果離散為二元制過(guò)程，添加噪聲變量，實(shí)現(xiàn)對(duì)DBN網(wǎng)絡(luò)連續(xù)化的轉(zhuǎn)變，CDBN的隱含層節(jié)點(diǎn)狀態(tài)和可見(jiàn)層節(jié)點(diǎn)狀態(tài)分別見(jiàn)式(10)和式(11)。

(10)

(11)

同時(shí)，

(12)

(13)

式中：N(0,1)代表均值為0、方差為1的高斯隨機(jī)變量；λ是常量;φ(·)是漸近線(xiàn)為θH=1和θL=0的Sigmoid函數(shù)；α為噪聲控制變量，代表對(duì)Sigmoid函數(shù)斜度的控制。

基于對(duì)比散度算法[11]，將經(jīng)過(guò)歸一化處理的輸入樣本值直接作為CDBN可見(jiàn)層的初始狀態(tài)，即可得到權(quán)重和偏置的偏導(dǎo)數(shù)，并求出CDBN各參數(shù)的更新準(zhǔn)則如下：

Δwij=ηw(〈vihj〉data-〈vihj〉rec)

(14)

Δai=ηa(〈vi〉data-〈vi〉rec)

(15)

Δbj=ηb(〈hj〉data-〈hj〉rec)

(16)

式中：ηw，ηa，ηb均為學(xué)習(xí)速率；帶有data下標(biāo)的參量代表輸入數(shù)據(jù)；帶有rec下標(biāo)的參量表示重構(gòu)后的數(shù)據(jù)；〈～〉表示重構(gòu)后模型定義的分布。

3.2 粒子群算法建立

針對(duì)深度神經(jīng)網(wǎng)絡(luò)傳統(tǒng)誤差梯度下降算法全局尋優(yōu)能力差以及精度低的缺點(diǎn)，提出采用PSO算法[12]對(duì)CDBN的參數(shù)進(jìn)行優(yōu)化，增加了粒子發(fā)現(xiàn)更優(yōu)解的概率，避免了算法后期陷入局部最優(yōu)解，增加了搜索精度。

在PSO算法[13]中，假設(shè)搜索空間為D維，粒子個(gè)數(shù)為M，每個(gè)粒子被視為搜索空間中一點(diǎn)，并以一定速度飛行。xi=(xi1,xi2,…,xiD)為粒子當(dāng)前位置，si=(si1,si2,…,siD)為粒子當(dāng)前速度，粒子個(gè)體極值為pi=(pi1,pi2,…,piD)，粒子種群的全局極值為pg=(pg1,pg2,…,pgD)。粒子的速度和位置更新公式見(jiàn)式(17)和式(18)。

sid(t+1)=ωsid(t)+c1r1(pid-xid(t))+

c2r2(pgd-xid(t))

(17)

xid(t+1)=xid(t)+sid(t+1)

(18)

式中：ω為慣性權(quán)重；c1、c2為學(xué)習(xí)因子；d=1,2,…,D；t為當(dāng)前迭代次數(shù)；r1、r2為(0，1)之間的隨機(jī)數(shù)。

3.3 PSO優(yōu)化CDBN參數(shù)

采用PSO算法對(duì)CDBN模型待確定參數(shù)進(jìn)行迭代尋優(yōu)，避免模型參數(shù)選擇的盲目性，減少其對(duì)建模精度的影響。根據(jù)式(14)、(15)和(16),可將CDBN建模過(guò)程的尋優(yōu)問(wèn)題表示為：

min(ηw,ηa,ηb)

(19)

下面結(jié)合尋優(yōu)問(wèn)題式(19)給出PSO算法優(yōu)化CDBN參數(shù)的尋優(yōu)步驟：

1) 初始化算法參數(shù)：維數(shù)D，粒子總數(shù)M，學(xué)習(xí)因子c1、c2，迭代次數(shù)最大值tmax，慣性權(quán)重最大值ωmax和最小值ωmin；

2) 初始化所有粒子的位置和速度；

3) 計(jì)算每個(gè)粒子的適應(yīng)度值Fit，根據(jù)式(20)確定全局極值點(diǎn)pg和個(gè)體極值點(diǎn)pi的初始值；

(20)

4) 檢查是否滿(mǎn)足結(jié)束條件：t≥tmax。如果滿(mǎn)足則跳轉(zhuǎn)到步驟8)，否則運(yùn)行步驟5)；

5) 由式(21)計(jì)算慣性權(quán)重，根據(jù)公式(17)、式(18)來(lái)更新粒子的速度和位置；

(21)

6) 計(jì)算各個(gè)變量每一個(gè)可行解的適應(yīng)度值Fit并根據(jù)以下規(guī)則更新粒子全局極值點(diǎn)pg和個(gè)體極值點(diǎn)pi：若Fit(xi)

7) 更新迭代次數(shù)，跳轉(zhuǎn)到步驟4)。

8) 輸出全局最優(yōu)位置pg。pg為CDBN網(wǎng)絡(luò)待尋優(yōu)參數(shù)ηw，ηa，ηb組成的向量。

9) 采用已優(yōu)化的參數(shù)ηw，ηa，ηb，建立PSO-CDBN模型，算法結(jié)束。

4 仿真研究

從某水泥廠(chǎng)生產(chǎn)線(xiàn)DCS系統(tǒng)和化驗(yàn)室歷史記錄中共獲得樣本數(shù)據(jù)500組，隨機(jī)選取400組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的100組數(shù)據(jù)作測(cè)試數(shù)據(jù)。為了驗(yàn)證本文提出的PSO-CDBN算法的有效性，采用LSSVM(最小二乘支持向量機(jī))、BP(反向傳播算法)網(wǎng)絡(luò)、CDBN網(wǎng)絡(luò)作為對(duì)比算法，分別建立水泥熟料fCaO預(yù)測(cè)模型。PSO算法中維數(shù)D=3，粒子總數(shù)為M=20，學(xué)習(xí)因子c1=c2=2，慣性權(quán)重ωmax=1.0，ωmin=0.1，最大迭代次數(shù)tmax=100。PSO-CDBN的模型參數(shù)采用PSO算法在式(19)的約束范圍內(nèi)尋優(yōu)，獲得的PSO-CDBN水泥熟料fCaO預(yù)測(cè)模型參數(shù)見(jiàn)表2。

表2 PSO-CDBN方法建立的水泥熟料fCaO模型參數(shù)

仿真實(shí)驗(yàn)所用的4種建模方法預(yù)測(cè)熟料fCaO含量仿真結(jié)果對(duì)比見(jiàn)圖2～圖5。

圖2 LSSVM預(yù)測(cè)輸出圖

圖3 BP網(wǎng)絡(luò)預(yù)測(cè)輸出圖

圖4 CDBN網(wǎng)絡(luò)預(yù)測(cè)輸出圖

圖5 PSO-CDBN網(wǎng)絡(luò)預(yù)測(cè)輸出圖

為進(jìn)一步比較本仿真實(shí)驗(yàn)所使用的4種方法建立的模型質(zhì)量，采用可表示模型質(zhì)量指標(biāo)的最大絕對(duì)誤差MAXE、平均絕對(duì)百分比誤差MAPE和均方誤差MSE作為衡量預(yù)測(cè)模型的效果的指標(biāo)，其中，MAXE、MAPE和MSE的計(jì)算表達(dá)式分別為：

(22)

(23)

(24)

LSSVM、BP網(wǎng)絡(luò)、CDBN網(wǎng)絡(luò)以及PSO-CDBN建模方法的性能統(tǒng)計(jì)見(jiàn)表3。

表3 4種建模方法性能統(tǒng)計(jì)表

由圖2～圖5所示的水泥熟料fCaO預(yù)測(cè)結(jié)果可知，相比于LSSVM、BP神經(jīng)網(wǎng)絡(luò)算法以及CDBN網(wǎng)絡(luò)，利用PSO-CDBN算法得到的水泥熟料fCaO含量預(yù)測(cè)值能夠更加準(zhǔn)確地逼近目標(biāo)值，具有更好的預(yù)測(cè)效果。由表3可得，基于PSO-CDBN算法建立的fCaO預(yù)測(cè)模型在MSE、MAPE和MAXE這3方面誤差較其它3種算法更小，證明基于PSO-CDBN算法建立的模型精度更高、泛化能力更強(qiáng)。

5 結(jié) 語(yǔ)

本文提出了一種基于PSO-CDBN建模的水泥熟料fCaO預(yù)測(cè)方法。結(jié)合水泥熟料生產(chǎn)工藝和灰關(guān)聯(lián)分析方法，給出了水泥熟料fCaO預(yù)測(cè)的輔助變量集合，推導(dǎo)了PSO-CDBN建模算法，應(yīng)用實(shí)際數(shù)據(jù)進(jìn)行訓(xùn)練和驗(yàn)證。仿真實(shí)驗(yàn)分析結(jié)果表明，基于PSO-CDBN的水泥熟料fCaO的預(yù)測(cè)方法預(yù)測(cè)模型精度高、泛化能力強(qiáng)。準(zhǔn)確地預(yù)測(cè)熟料fCaO含量值不僅可以使操作人員根據(jù)fCaO值調(diào)整生產(chǎn)參數(shù)，為水泥生產(chǎn)提供指導(dǎo)，也為后續(xù)水泥生產(chǎn)過(guò)程優(yōu)化操作以及智能控制提供了先決條件，對(duì)于解決水泥燒成系統(tǒng)操作滯后問(wèn)題，實(shí)現(xiàn)水泥行業(yè)節(jié)能降耗具有重要的指導(dǎo)意義。

[參考文獻(xiàn)]

[1] Nawaz A, Julnipitawong P, Krammart P,etal. Effect and limitation of free lime content in cement-fly ash mixtures [J].ConstructionandBuildingMaterials, 2016, 102: 515-530.

[2] 王卓，苑明哲，王宏，等. 水泥熟料質(zhì)量指標(biāo)的軟測(cè)量建模研究[J]. 化工自動(dòng)化及儀表，2006，33(6)：53-54.

[3] 劉文光，王孝紅，于宏亮，等. 基于LS-SVM的水泥熟料煅燒過(guò)程fCaO軟測(cè)量研究[J]. 控制工程，2008，15(S2)：85-88.

[4] 王秀蓮，孫旭晨，王卓，等. 基于局部PSO-LSSVM的水泥f-CaO測(cè)量方法研究[J]. 控制工程，2014，21(6)：807-811.

[5] 趙朋程，劉彬，孫超，等. 基于IQPSO優(yōu)化ELM的熟料質(zhì)量指標(biāo)軟測(cè)量研究[J]. 儀器儀表學(xué)報(bào)，2016，37(10)：2243-2250.

[6] 蔣妍妍，李洪林. 基于改進(jìn)粒子群優(yōu)化LSSVM的水泥熟料fCaO軟測(cè)量[J]. 現(xiàn)代化工，2014，34(6)：152-155.

[7] Li W T, Wang D H, Zhou X J,etal. An improved multi-source based soft sensor for measuring cement free lime content[J].InformationSciences, 2015, 323(C): 94-105.

[8] Yuan J L, Tao H Z. Prediction of Free Lime Content in Cement Clinker Based on RBF Neural Network[J].JournalofWuhanUniversityofTechnology(MaterialsScienceEdition), 2012, 27(1): 187-190.

[9] HintonG E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J].Science, 2006, 313(5786): 504-507.

[10] 楊景明,陳偉明,車(chē)海軍，等. 基于粒子群算法優(yōu)化支持向量機(jī)的鋁熱連軋機(jī)軋制力預(yù)報(bào)[J]. 計(jì)量學(xué)報(bào)，2016，37(1)：71-74.

[11] Hinton G E. Training products of experts by minimizing contrastive divergence[J].NeuralComputation, 2002, 14(8): 1771-1800.

[12] 陸藝,張培培,王學(xué)影，等. 基于PSO-BP神經(jīng)網(wǎng)絡(luò)的關(guān)節(jié)臂式坐標(biāo)測(cè)量機(jī)長(zhǎng)度誤差補(bǔ)償[J]. 計(jì)量學(xué)報(bào)，2017，38(3)：271-275.

[13] 楊慎濤，劉文波. 基于粒子群的神經(jīng)網(wǎng)絡(luò)測(cè)試生成算法[J]. 計(jì)量學(xué)報(bào)，2015，36(2)：197-201.