基于DBN-ELM的球磨機(jī)料位軟測(cè)量方法研究

康 巖,盧慕超，閻高偉

(太原理工大學(xué)信息工程學(xué)院,山西太原 030024)

?

基于DBN-ELM的球磨機(jī)料位軟測(cè)量方法研究

康 巖,盧慕超，閻高偉

(太原理工大學(xué)信息工程學(xué)院,山西太原 030024)

針對(duì)采用傳統(tǒng)方法建立球磨機(jī)料位軟測(cè)量模型存在測(cè)量精度不高和穩(wěn)定性較低的缺點(diǎn)，提出一種結(jié)合深度信念網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)的軟測(cè)量方法。該方法以球磨機(jī)軸承振動(dòng)信號(hào)為輔助變量，采用深度信念網(wǎng)絡(luò)進(jìn)行振動(dòng)信號(hào)功率譜的特征提取，然后將提取的有效特征輸入極限學(xué)習(xí)機(jī)進(jìn)行模型訓(xùn)練，得到軟測(cè)量模型。最后在小型實(shí)驗(yàn)室球磨機(jī)上進(jìn)行試驗(yàn)和模型驗(yàn)證。結(jié)果表明，該方法與傳統(tǒng)方法相比具有較高的測(cè)量精度和較好的穩(wěn)定性。

球磨機(jī)料位;深度信念網(wǎng)絡(luò);特征提取;極限學(xué)習(xí)機(jī);軟測(cè)量

0 引言

球磨機(jī)是廣泛應(yīng)用于電力、磨礦和化工等行業(yè)的高能耗設(shè)備。球磨機(jī)筒體內(nèi)的料位是影響球磨機(jī)系統(tǒng)高效和安全穩(wěn)定運(yùn)行的關(guān)鍵因素之一，料位過(guò)低時(shí)球磨機(jī)的生產(chǎn)效率較低，料位過(guò)高時(shí)容易發(fā)生堵磨等安全事故。在實(shí)際工業(yè)生產(chǎn)過(guò)程中，由于球磨機(jī)筒內(nèi)情況復(fù)雜，存料量難以直接測(cè)量，大部分球磨機(jī)系統(tǒng)未能高效運(yùn)行[1]，因此，準(zhǔn)確地測(cè)量球磨機(jī)料位對(duì)保障球磨機(jī)系統(tǒng)高效和安全運(yùn)行具有重要意義。

近年來(lái)，科研技術(shù)人員針對(duì)該問(wèn)題提出了很多解決方法，其中以軟測(cè)量方法為主要代表，該方法主要是采用特征提取結(jié)合機(jī)器學(xué)習(xí)方法進(jìn)行建模。文獻(xiàn)[2]基于振動(dòng)信號(hào)和反向傳播神經(jīng)網(wǎng)絡(luò)建立了球磨機(jī)料位的軟測(cè)量模型。文獻(xiàn)[3]采用主成分分析(Principle Component Analysis,PCA)方法進(jìn)行振動(dòng)信號(hào)的特征提取，然后采用偏最小二乘回歸方法(Partial Least Square Regression,PLSR)建立料位軟測(cè)量模型。文獻(xiàn)[4]采用偏最小二乘法(Partial Least Square,PLS)進(jìn)行振動(dòng)信號(hào)的特征提取，然后采用極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)建立料位軟測(cè)量模型。

最新的神經(jīng)網(wǎng)絡(luò)研究成果表明，深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)是一種深層神經(jīng)網(wǎng)絡(luò)，具有良好的特征學(xué)習(xí)能力，使分類或預(yù)測(cè)更加容易[5]。在特征學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域，包括人臉識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等方面，基于DBN提取的特征分類結(jié)果優(yōu)于PCA、PLS方法[5-6]，同時(shí)DBN也成功應(yīng)用于時(shí)間序列分析和預(yù)測(cè)[7]，已成為機(jī)器學(xué)習(xí)領(lǐng)域研究的前沿。其主要優(yōu)勢(shì)在于：通過(guò)逐層特征抽取，得到原始數(shù)據(jù)更加有效的深層次表示；通過(guò)逐層預(yù)訓(xùn)練的自學(xué)習(xí)方法使得DBN能通過(guò)大量無(wú)標(biāo)記數(shù)據(jù)樣本學(xué)習(xí)到所有層(不包括最終分類層)的最佳初始權(quán)值，獲取數(shù)據(jù)的非線性特征；可通過(guò)少量帶標(biāo)記樣本進(jìn)行微調(diào)，對(duì)權(quán)值進(jìn)行修正，使網(wǎng)絡(luò)達(dá)到理想的性能。DBN的上述特性非常適合于求取振動(dòng)信號(hào)的非線性特征表示，并且也適合于解決生產(chǎn)過(guò)程中球磨機(jī)料位精確樣本難以獲取的問(wèn)題。極限學(xué)習(xí)機(jī)是由黃廣斌等提出的一種針對(duì)單隱含層前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，具有學(xué)習(xí)速度快、泛化性能好等優(yōu)點(diǎn)[8]。

綜上，將DBN與ELM相結(jié)合的方法用于球磨機(jī)料位軟測(cè)量建模，并在小型實(shí)驗(yàn)室球磨機(jī)上進(jìn)行試驗(yàn)。試驗(yàn)結(jié)果表明該方法直接利用深度信念網(wǎng)絡(luò)輸出的特征信息，避免了復(fù)雜的特征選擇過(guò)程，具有測(cè)量精度高、穩(wěn)定性好的優(yōu)點(diǎn)，為球磨機(jī)料位測(cè)量研究和實(shí)際應(yīng)用提供了新的思路和方法。

1 理論與算法

1.1 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)是一種近年來(lái)受到廣泛關(guān)注的深層神經(jīng)網(wǎng)絡(luò)，其目標(biāo)在于學(xué)習(xí)數(shù)據(jù)的深層次特征[9]。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)也試圖通過(guò)多層次的網(wǎng)絡(luò)結(jié)構(gòu)去學(xué)習(xí)更加深刻的特征，但是多層神經(jīng)網(wǎng)絡(luò)很難通過(guò)單純的梯度下降法訓(xùn)練達(dá)到良好的效果[10]。深度信念網(wǎng)絡(luò)采用逐層的無(wú)監(jiān)督預(yù)訓(xùn)練機(jī)制較好地解決了該問(wèn)題[11]。深度信念網(wǎng)絡(luò)可以看作由若干層受限玻爾茲曼機(jī)(Restricted Bolzmann Machine,RBM)堆疊而成。另外，頂層附加一層有監(jiān)督網(wǎng)絡(luò)層，微調(diào)整個(gè)DBN網(wǎng)絡(luò)權(quán)值，DBN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖

RBM是一種兩層隨機(jī)神經(jīng)網(wǎng)絡(luò)，包含1個(gè)可見層和1個(gè)隱含層。每個(gè)神經(jīng)元都與另一層的神經(jīng)元相連接，而相同層的神經(jīng)元之間無(wú)連接。RBM的主要功能是確定其輸出層的概率分布。DBN將若干層RBM堆疊在一起，底層RBM的輸出層(隱含層)作為上層RBM的輸入層(可見層)，如此連接若干個(gè)RBM構(gòu)成DBN網(wǎng)絡(luò)。試驗(yàn)中，采用對(duì)比散度方法[11](Contrastive Divergence,CD)來(lái)逐層訓(xùn)練RBM，具體算法如下：

設(shè)z是輸入數(shù)據(jù)，h是隱含層向量，v是可見層向量，ε是學(xué)習(xí)速率，w是RBM的權(quán)值矩陣，b是輸入層(可見層)的偏置向量，c是輸出層(隱含層)的偏置向量。

(1) 隨機(jī)初始化模型參數(shù)θ0=(b0,c0,w0),并設(shè)定迭代次數(shù)Step。

(2) 將原始向量z賦值給RBM的隱含層向量v0。

(3) 通過(guò)公式(1)和式(2)計(jì)算向量h0,v1,h1的狀態(tài)值，即隱含層或可見層的激活概率為

(1)

(2)

其中，激活函數(shù)σ(x)=1/[1+exp(-x)]。

(4) 利用公式(3)進(jìn)行模型參數(shù)θ的更新，即權(quán)值w和偏置向量b,c的更新。

(3)

(5) 若t≥ Step，則訓(xùn)練結(jié)束，否則將θt-1賦值給θt,并轉(zhuǎn)步驟3。

上述步驟中數(shù)學(xué)公式的推導(dǎo)過(guò)程可詳細(xì)參閱文獻(xiàn)[11]。文中DBN算法采用Palm所編寫的MATLAB工具箱實(shí)現(xiàn)[12]。

1.2 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)是一類針對(duì)單隱含層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feedforward Network,SLFN)的學(xué)習(xí)算法。設(shè)訓(xùn)練集樣本為[xi,yi]，i=1,2,…,k，ELM的隱含層單元個(gè)數(shù)為l，則ELM模型的輸出為

(4)

式中：β為隱含層和輸出層之間的連接權(quán)值矩陣；g(x)為隱含層的激活函數(shù)，可取sigmoid、sine或RBF函數(shù)等；a為輸入層和隱含層之間的連接權(quán)值矩陣；d為隱含層的偏置向量。

存在a,d,β使得o與y近似相等，即：

(5)

式(5)可由矩陣表示為

HΒ=Y

(6)

式中H被稱作網(wǎng)絡(luò)的隱含層輸出矩陣。

從而，隱含層和輸出層之間的連接權(quán)值β可由公式(6)的極小2-范數(shù)最小二乘解得：

(7)

式中H+為隱含層輸出矩陣H的Moore-Penrose廣義逆。

2 球磨機(jī)料位軟測(cè)量建模及實(shí)驗(yàn)

2.1 基于DBN-ELM的軟測(cè)量建模

軟測(cè)量技術(shù)主要依據(jù)對(duì)可測(cè)易測(cè)過(guò)程變量(稱為輔助變量)與難以直接檢測(cè)的待測(cè)變量(稱為主導(dǎo)變量)的數(shù)學(xué)關(guān)系認(rèn)識(shí)，采用計(jì)算方法實(shí)現(xiàn)待測(cè)變量的測(cè)量或估計(jì)[13]。文中以球磨機(jī)軸承振動(dòng)信號(hào)為輔助變量，結(jié)合特征提取方法DBN和機(jī)器學(xué)習(xí)方法ELM建立球磨機(jī)料位的軟測(cè)量模型。具體建模步驟為：

(1) 采集不同料位下的球磨機(jī)軸承振動(dòng)信號(hào)；

(2) 對(duì)采集所得振動(dòng)信號(hào)進(jìn)行預(yù)處理，主要包括功率譜計(jì)算和譜段分割，獲得基本特征向量；

(3) 采用DBN對(duì)所得基本特征向量進(jìn)行特征提取和降維；

(4) 將提取的有效特征輸入ELM模型，進(jìn)行模型訓(xùn)練；

(5) 將測(cè)試數(shù)據(jù)輸入已經(jīng)訓(xùn)練好的DBN-ELM模型，進(jìn)行模型測(cè)量效果驗(yàn)證。

2.2 試驗(yàn)過(guò)程

本研究通過(guò)在小型試驗(yàn)室球磨機(jī)上進(jìn)行試驗(yàn)，獲取試驗(yàn)樣本數(shù)據(jù)。該球磨機(jī)尺寸為Φ360 mm×450 mm，由功率為2 kW的電動(dòng)機(jī)進(jìn)行驅(qū)動(dòng)，轉(zhuǎn)速由變頻器調(diào)至60 r/min。在球磨機(jī)的遠(yuǎn)離電動(dòng)機(jī)一端的軸承底座下放置1個(gè)振動(dòng)傳感器，用于采集不同料位下的軸承振動(dòng)信號(hào)。數(shù)據(jù)采集系統(tǒng)主要由振動(dòng)傳感器、信號(hào)放大和濾波電路模塊、USB數(shù)據(jù)采集器和上位機(jī)組成。上位機(jī)采用LabVIEW編寫程序，用于觀測(cè)信號(hào)波形和存儲(chǔ)數(shù)據(jù)，同時(shí)將采樣頻率調(diào)至50 kHz，確保獲取不失真的數(shù)據(jù)樣本。

具體試驗(yàn)過(guò)程為，在一定的鋼球裝載量和轉(zhuǎn)速下，從零料位開始，每增加1 L物料，記錄60 s的振動(dòng)信號(hào)。試驗(yàn)結(jié)束時(shí)，筒內(nèi)料位為20 L，共采集得到20組數(shù)據(jù)，每組數(shù)據(jù)的采樣點(diǎn)數(shù)為3×106個(gè)。以131 072為單位長(zhǎng)度將每個(gè)料位下的數(shù)據(jù)分割為22個(gè)樣本。每個(gè)料位下，任意取15個(gè)樣本作為訓(xùn)練集，其余7個(gè)樣本作為測(cè)試集，最后得到的訓(xùn)練集樣本個(gè)數(shù)為20×15=300個(gè)，測(cè)試集樣本個(gè)數(shù)為20×7=140個(gè)。

筒內(nèi)料位的變化往往引起振動(dòng)信號(hào)頻域結(jié)構(gòu)的變化。因此，采用Welch方法對(duì)每段時(shí)域信號(hào)進(jìn)行功率譜(Power Spectrum Density,PSD)計(jì)算。圖2為不同料位下振動(dòng)信號(hào)的功率譜圖。分析發(fā)現(xiàn)，球磨機(jī)軸承振動(dòng)信號(hào)的有效頻帶范圍為600～6 000 Hz。為便于數(shù)據(jù)處理并提高運(yùn)算效率，以20 Hz為單位對(duì)有效頻段進(jìn)行分割并求均值。則最終得到的每個(gè)樣本的維度為(6000-600)÷20=270。因此最終的訓(xùn)練集規(guī)模為300×270，測(cè)試集規(guī)模為140×270。

圖2 振動(dòng)信號(hào)的功率譜圖

將訓(xùn)練集數(shù)據(jù)輸入DBN模型進(jìn)行特征提取和降維，試驗(yàn)所采用的DBN由2個(gè)RBM堆疊而成，第1個(gè)隱含層的單元個(gè)數(shù)為50，第2個(gè)隱含層的單元個(gè)數(shù)為30。由于篇幅所限，此處只列舉DBN提取的前10維的特征值隨料位變化的趨勢(shì)圖，如圖3所示。可以看出，特征值隨著料位變化而變化，且具有多維正相關(guān)關(guān)系(如第2維、第9維)和多維負(fù)相關(guān)關(guān)系(如第3維、第5～第8維、第10維)，這是PCA和PLS所沒有的特性。然后將降維之后的30維特征向量輸入隱含層節(jié)點(diǎn)個(gè)數(shù)為50的ELM進(jìn)行模型訓(xùn)練。最后，采用測(cè)試集數(shù)據(jù)進(jìn)行DBN-ELM模型的測(cè)量效果驗(yàn)證。

2.3 結(jié)果分析與對(duì)比

為驗(yàn)證DBN-ELM模型的有效性，將其與傳統(tǒng)回歸方法PCR和PLSR以及特征提取結(jié)合機(jī)器學(xué)習(xí)方法PCA-ELM和PLS-ELM進(jìn)行比較。采用均方根誤差(root-mean-square error,RMSE)進(jìn)行測(cè)量效果評(píng)價(jià)。

(8)

考慮到ELM模型初始化的隨機(jī)性，采用10次測(cè)量結(jié)果的平均RMSE來(lái)評(píng)價(jià)測(cè)量精確度。最后所得的測(cè)量曲線和平均RMSE分別如圖4和表1所示。

表1 測(cè)量結(jié)果及參數(shù)設(shè)定

(a) PCR

(b) PLSR

(c) ELM

(d) PCA-ELM

(e) PLS-ELM

(f) DBN-ELM

表1中Ncomp=30表示PCA和PLS提取前30個(gè)主元，DBN則提取出30維有效特征信息；Nhide表示ELM模型的隱含層單元個(gè)數(shù)。從表1的平均RMSE可以看出，基于ELM的軟測(cè)量方法比基于PCR和PLSR回歸方法的測(cè)量精度高，體現(xiàn)了單隱含層神經(jīng)網(wǎng)絡(luò)處理非線性數(shù)據(jù)的有效性。此外，結(jié)合特征提取和ELM模型的方法即PCA-ELM,PLS-ELM和DBN-ELM的測(cè)量精度比單純的ELM方法更高。這是因?yàn)榉指钪蟮墓β首V段中仍含有冗余信息和干擾信息，經(jīng)過(guò)有效特征提取之后，篩選出主控因素，使得模型的測(cè)量精度提高。顯然，基于相同參數(shù)設(shè)定的ELM模型，DBN-ELM方法是所有對(duì)比方法中測(cè)量精度最高的，體現(xiàn)了DBN比傳統(tǒng)的PCA和PLS方法具備更好的特征提取能力。DBN通過(guò)逐層特征變換和抽取，可以提取更深刻的特征信息，克服了PCA和PLS無(wú)法提取非線性信息的缺陷。從圖4可以看出，PCR和PLSR方法的測(cè)量曲線在中、低料位段的跟蹤性較差；與它們相比，ELM、PCA-ELM和PLS-ELM方法的測(cè)量曲線的跟蹤性在中、低料位段均有所改善，但是在高料位階段的跟蹤效果仍然較差；DBN-ELM方法在低料位段和高料位段的跟蹤效果與其他方法相比優(yōu)勢(shì)比較明顯，測(cè)量精度大幅度提高，驗(yàn)證了DBN優(yōu)異的特征提取能力。

同時(shí)為分析各個(gè)方法的穩(wěn)定性，將10次測(cè)量結(jié)果通過(guò)箱線圖表示為圖5。由圖5可以看出，傳統(tǒng)的PCR和PLSR回歸方法雖然具有較高的穩(wěn)定性，但是測(cè)量精度不高。由于ELM模型初始化的隨機(jī)性導(dǎo)致其穩(wěn)定性較差，經(jīng)過(guò)PCA和PLS 2種特征提取方法進(jìn)行主控因素提取之后，模型的穩(wěn)定性得到改善，但是各自仍存在一次異常值。而基于DBN-ELM模型的方法，不僅具有較高的測(cè)量精度，而且其穩(wěn)定性相對(duì)于ELM有很好的改善。

圖5 10次測(cè)量結(jié)果的箱線圖

綜上所述，基于DBN-ELM模型的球磨機(jī)料位軟測(cè)量方法，在測(cè)量過(guò)程中采用DBN提取了功率譜信號(hào)中能有效表征料位變化的信息，然后將其輸入本身具有較高泛化性的ELM模型進(jìn)行料位測(cè)量。試驗(yàn)結(jié)果表明，該方法不僅具有較高的測(cè)量精度，而且穩(wěn)定性較好，具有良好的推廣性。

3 結(jié)束語(yǔ)

為解決球磨機(jī)筒內(nèi)料位難以直接測(cè)量的問(wèn)題，提出了一種基于DBN-ELM模型的軟測(cè)量方法。試驗(yàn)發(fā)現(xiàn)，在ELM建模之前，對(duì)數(shù)據(jù)樣本采用DBN進(jìn)行特征提取，與PCA和PLS特征提取方法相比，可以有效提高測(cè)量精度，DBN-ELM的測(cè)量精度比PLS-ELM提高了26%。DBN獨(dú)特的特征提取機(jī)制能夠有效克服PCA和PLS不能提取非線性特征的缺陷。同時(shí)DBN也很好地改良了基于ELM軟測(cè)量模型的穩(wěn)定性。

[1] 王東風(fēng),韓璞.基于RBF神經(jīng)網(wǎng)絡(luò)的球磨機(jī)負(fù)荷軟測(cè)量.儀器儀表學(xué)報(bào),2002,23(3):311-313.

[2] 沙毅,曹英禹,郭玉剛.磨煤機(jī)振聲信號(hào)分析及基于BP網(wǎng)的料位識(shí)別.東北大學(xué)學(xué)報(bào),2006,27(12):1319-1323.

[3] 湯健,鄭秀萍,趙立杰,等.基于頻域特征提取與信息融合的磨機(jī)負(fù)荷軟測(cè)量.儀器儀表學(xué)報(bào),2010,31(10):2161-2167.

[4] TANG J,WANG D H,CHAI T Y.Predicting mill load using partial least squares and extreme learning machines.Soft Computing,2012,16(9):1585-1594.

[5] HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks.Science,2006,313:504 -507.

[6] DONG Y,LI D.Deep Learning and Its Applications to Signal and Information Processing[Exploratory DSP].IEEE Signal Processing Magazine,2011,28(1):145-154.

[7] LANGKVIST M,KARLSSON L,LOUTFI A.A review of unsuper- vised feature learning and deep learning for time-series modeling.Pattern Recognition Letters,2014,42:11-24.

[8] HUANG G B,ZHU Q Y,SIEW C K．Extreme learning machine:theory and applications.Neurocomputing,2006,70(1):489-501.

[9] 孫志軍,薛磊,許陽(yáng)明,等.深度學(xué)習(xí)研究綜述.計(jì)算機(jī)應(yīng)用研究,2012,29(8):2806-2810.

[10] BENGIO Y,LAMBIN P,POPOVICI D,et al.Greedy layer-wise training of deep networks.20th Annual Conference on Neural Information Processing System,Vancouver,2006.

[11] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7):1527-1554.

[12] PALM R B.Prediction as a candidate for learning deep hierarchical models of data．Denmark:Technical University of Denmark,2012.

[13] 駱晨鐘,邵惠鶴.軟儀表技術(shù)及其工業(yè)應(yīng)用.儀表技術(shù)與傳感器,1999(1):32-39.

Soft Sensor for Ball Mill Fill Level Based on DBN-ELM Model

KANG Yan,LU Mu-chao,YAN Gao-wei

(College of Information Engineering,Taiyuan University of Technology,Taiyuan 030024,China)

To solve the issue of low accuracy and weak stability of the traditional measurement method of ball mill fill level,a novel approach based on deep belief network and extreme learning machine was proposed.The vibration signal of ball mill bearing was selected as the instrumental variable.Deep belief network was employed to extract effective features from the power spectrum of vibration signal.Then effective features were put to the learning machine to proceed model training to obtain the soft sensor model.Lastly,the experiments were carried out on the lab-scale ball mill to validate the proposed method.The results show that the proposed method is more accuracy and stable than the traditional method.

ball mill fill level; deep belief network; feature extraction; extreme learning machine; soft sensor

山西省自然科學(xué)基金項(xiàng)目(2011011012-2)；國(guó)家863項(xiàng)目(2013AA102306)

2014-03-08 收修改稿日期：2014-11-02

TP29

A

1002-1841(2015)04-0073-03

康巖(1989—),碩士研究生,主要從事軟測(cè)量及傳感器信息融合研究。E-mail:yan2274@163.com