基于非負(fù)絞殺與OS-ELM的精礦品位在線軟測(cè)量算法

趙亞棟,孫 濤,劉詠詩(shī),孫 凱

齊魯工業(yè)大學(xué)(山東省科學(xué)院) 信息與自動(dòng)化學(xué)院,山東 濟(jì)南 250353

浮選精礦品位是選礦生產(chǎn)過(guò)程中的一項(xiàng)重要品質(zhì)指標(biāo),對(duì)指導(dǎo)該過(guò)程優(yōu)化生產(chǎn)和智能控制至關(guān)重要。傳統(tǒng)精礦品位測(cè)量一般采用人工離線取樣的化學(xué)分析法,該方法測(cè)量精度高,但操作復(fù)雜、獲取周期長(zhǎng),導(dǎo)致生產(chǎn)效率相對(duì)較低。

隨著自動(dòng)化行業(yè)的快速發(fā)展,銅礦浮選過(guò)程中精礦品位的實(shí)時(shí)測(cè)量方法大都采用載流X射線熒光分析法[1]。然而,該方法不僅須實(shí)時(shí)校正分析過(guò)程,而且日常消耗較高,分析的測(cè)量誤差也相對(duì)較大,存在一定的時(shí)滯性,因此可采用軟測(cè)量的技術(shù)方法實(shí)現(xiàn)測(cè)量過(guò)程的實(shí)時(shí)控制。軟測(cè)量技術(shù)通過(guò)構(gòu)造易于測(cè)量的過(guò)程變量與目標(biāo)變量之間的數(shù)學(xué)關(guān)系建立數(shù)學(xué)模型,間接實(shí)現(xiàn)關(guān)鍵變量的有效估計(jì),目前已廣泛應(yīng)用于銅礦浮選過(guò)程的控制領(lǐng)域。

極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)由于結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練成本較低,成為工業(yè)領(lǐng)域的研究熱點(diǎn)[2]。其通過(guò)隨機(jī)選取網(wǎng)絡(luò)輸入權(quán)值和隱藏層偏置來(lái)解析計(jì)算輸出權(quán)值,有效克服了傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)由于不適當(dāng)?shù)膶W(xué)習(xí)步長(zhǎng)而導(dǎo)致算法收斂速度慢、容易陷入局部最優(yōu)等問(wèn)題。然而,實(shí)際工業(yè)過(guò)程生產(chǎn)狀態(tài)通常隨時(shí)間不斷地動(dòng)態(tài)變化,標(biāo)準(zhǔn)ELM難以滿(mǎn)足在線實(shí)時(shí)應(yīng)用的需求。為此,SINGH等[3]提出一種在線序列極限學(xué)習(xí)機(jī)(online sequential extreme learning machine,OS-ELM)的網(wǎng)絡(luò)模型。該算法首先通過(guò)小樣本訓(xùn)練網(wǎng)絡(luò)初始輸出權(quán)值,然后依據(jù)增量學(xué)習(xí)過(guò)程中新增的樣本或樣本塊,對(duì)上一步求出的網(wǎng)絡(luò)輸出權(quán)值進(jìn)行結(jié)構(gòu)更新,以實(shí)現(xiàn)模型的在線校正。由于OS-ELM具備優(yōu)秀的在線學(xué)習(xí)能力,因此往往被應(yīng)用于復(fù)雜工業(yè)過(guò)程的實(shí)時(shí)預(yù)測(cè)。

另一方面,在礦物浮選過(guò)程中存在冗余變量,且變量之間具備強(qiáng)相關(guān)性和耦合性,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)間增大,降低了模型的泛化能力。非負(fù)絞殺(nonnegative garrote,NNG)算法可將變量選擇與回歸系數(shù)的優(yōu)化過(guò)程融為一體,在處理高維度和強(qiáng)耦合的建模問(wèn)題時(shí)具有良好的效果[4]。文獻(xiàn)[5]將NNG算法與多層感知機(jī)(multilayer perceptron,MLP)相結(jié)合,提出一種基于變量選擇的MLP神經(jīng)網(wǎng)絡(luò)模型,可用于復(fù)雜工業(yè)過(guò)程的離線建模。然而,在實(shí)際應(yīng)用中,由于生產(chǎn)工況的不斷變化,工業(yè)過(guò)程參數(shù)常具有時(shí)變特征,所建離線模型性能會(huì)不斷下降,為保證生產(chǎn)過(guò)程關(guān)鍵參數(shù)的測(cè)量精度,必須在實(shí)際應(yīng)用中對(duì)模型進(jìn)行在線校正。

本文將NNG算法與OS-ELM相結(jié)合,提出一種基于OS-ELM及其輸入變量選擇的精礦品位在線軟測(cè)量算法(NNG-OSELM)。一方面利用OS-ELM算法對(duì)網(wǎng)絡(luò)輸出權(quán)值進(jìn)行遞推更新,實(shí)現(xiàn)模型的在線更新;另一方面通過(guò)NNG算法的懲罰能力對(duì)輸入權(quán)值進(jìn)行壓縮,篩選出相關(guān)變量,提高預(yù)測(cè)精度;最后將其成功應(yīng)用于某礦企浮選過(guò)程銅礦品位的在線軟測(cè)量,并通過(guò)與不同算法的性能對(duì)比,驗(yàn)證了算法的有效性。

1 工業(yè)背景

銅礦浮選是銅礦選礦工藝的重要環(huán)節(jié),精礦品位是銅礦浮選過(guò)程的一項(xiàng)重要檢測(cè)指標(biāo)[6]。隨著自動(dòng)化水平的快速發(fā)展,載流分析儀的應(yīng)用解決了傳統(tǒng)人工測(cè)量礦漿品位過(guò)程中存在檢測(cè)耗費(fèi)勞力過(guò)高,測(cè)量準(zhǔn)確率低以及生產(chǎn)滯后的問(wèn)題[7]。

BOXA型載流X熒光品位分析儀是一款在線礦漿品位實(shí)時(shí)測(cè)量?jī)x器[8],可在線同時(shí)測(cè)量多種礦漿金屬品位。載流X熒光品位分析儀安裝了檢測(cè)波長(zhǎng)屬性(分光晶體+半導(dǎo)體探測(cè)器)和能量屬性(能量通道)兩種檢測(cè)原件,檢測(cè)出的數(shù)值也分為波長(zhǎng)色散和能量色散兩種數(shù)據(jù)[9],如圖1所示。

目前,載流X熒光品位分析儀已采用在線建模技術(shù),但主要采用多元線性回歸的建模方法[10],忽略了變量之間的非線性和強(qiáng)耦合性,影響最終目標(biāo)金屬品位的預(yù)測(cè)精度;另一方面,其采用離線訓(xùn)練模型,難以適應(yīng)生產(chǎn)條件的不斷變化,導(dǎo)致分析儀穩(wěn)定性不足。

2 NNG-OSELM算法設(shè)計(jì)

2.1 在線序列極限學(xué)習(xí)機(jī)

OS-ELM網(wǎng)絡(luò)是在ELM的基礎(chǔ)上提出的一種在線學(xué)習(xí)算法,可針對(duì)固定或變化的數(shù)據(jù)塊進(jìn)行學(xué)習(xí),僅需調(diào)節(jié)隱藏層節(jié)點(diǎn)數(shù),而無(wú)需遴選其他參數(shù),具有收斂速度快、泛化性能高的優(yōu)點(diǎn),其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖2所示。

OS-ELM網(wǎng)絡(luò)訓(xùn)練過(guò)程分為兩個(gè)階段:初始學(xué)習(xí)階段和在線學(xué)習(xí)階段。初始學(xué)習(xí)階段為ELM網(wǎng)絡(luò)訓(xùn)練過(guò)程,對(duì)于任意的N個(gè)樣本(xj,tj)(j=1,2,…,N)其中xj=[xj1,xj2,…,xjn]T∈Rn,tj=[tj1,tj2,…,tjn]T∈Rm, 如果具有L個(gè)隱藏節(jié)點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)能夠以零誤差近似這個(gè)樣本,則表明存在αi,bi和βi有:

(1)

式中αi、bi分別為輸入層到隱藏層的隨機(jī)輸入權(quán)值和偏置,βi=[βi1,βi2,…,βim]T為隱含層到輸出層的第i個(gè)連接權(quán)值,當(dāng)對(duì)隱藏層附加sigmoid激活函數(shù)時(shí),G(αi,bi,xj)=g(αi·xj+bi),αi·xj表示兩者的內(nèi)積。

(2)

(3)

在線學(xué)習(xí)階段通過(guò)新舊數(shù)據(jù)樣本塊更新網(wǎng)絡(luò)輸出權(quán)重。假設(shè)第k+1(k為數(shù)據(jù)塊的數(shù)量,初始k=0)塊訓(xùn)練樣本進(jìn)入到模型中,則:

(4)

隱藏層輸出矩陣Hk+1和輸出權(quán)重β(k+1)計(jì)算如下:

(5)

(6)

為避免遞歸過(guò)程求逆,將上式通過(guò)Woodbury[11]恒等式修改為:

(7)

(8)

(9)

2.2 NNG算法原理

NNG算法通過(guò)對(duì)輸入權(quán)值施加約束懲罰實(shí)現(xiàn)變量系數(shù)的壓縮,從而達(dá)到變量選擇和系數(shù)優(yōu)化的目的,對(duì)于線性子集回歸問(wèn)題:

(10)

式中,x=[x1,x2,…,xn]T與y分別表示輸入、輸出變量,ω=[ω1,ω2,…,ωn]為系數(shù)矩陣,ε為隨機(jī)誤差。假設(shè)一組絞殺向量θ=[θ1,θ2,…,θn],然后應(yīng)用于最小二乘(ordinary least squares,OLS)[12]可得:

(11)

(12)

s表示NNG算法的懲罰力度:當(dāng)s≥n時(shí),其約束條件|θ|

2.3 算法設(shè)計(jì)

NNG-OSELM算法共分為兩個(gè)階段,首先,通過(guò)訓(xùn)練集得到較優(yōu)的ELM網(wǎng)絡(luò)作為初始結(jié)構(gòu)模型。其次,將NNG算法的絞殺算子θ嵌入ELM輸入權(quán)重,重新建立新的ELM模型結(jié)構(gòu),公式計(jì)算如下:

(13)

式中,θ=[θ1,θ2,…,θn]為輸入向量的收縮系數(shù),最優(yōu)收縮向量θ*計(jì)算公式如下:

(14)

式(14)屬于非線性不等式約束優(yōu)化問(wèn)題,通過(guò)置信域算法求解得到最優(yōu)收縮向量θ*。該算法是一種迭代算法,基本思想是通過(guò)當(dāng)前迭代點(diǎn)vd的一個(gè)小鄰域,求解鄰域中的某個(gè)子問(wèn)題得到試驗(yàn)步sd,利用評(píng)價(jià)函數(shù)來(lái)決定是否接受該試驗(yàn)步,確定信任域?yàn)橄乱淮蔚?/p>

(15)

(16)

(17)

(18)

更新后的輸出模型為:

(19)

2.4 NNG-OSELM超參數(shù)調(diào)優(yōu)與模型選擇

模型的超參數(shù)很大程度會(huì)影響模型的預(yù)測(cè)性能,因此對(duì)超參數(shù)調(diào)優(yōu)至關(guān)重要。NNG-OSELM算法采用枚舉法與交叉驗(yàn)證(cross validation,CV)相結(jié)合的方法尋找最優(yōu)值,具體包括OS-ELM網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)以及NNG算法的絞殺參數(shù)。

2.4.1 OS-ELM超參數(shù)調(diào)優(yōu)

OS-ELM算法僅需確定隱藏層節(jié)點(diǎn)數(shù),首先根據(jù)先驗(yàn)知識(shí)確定隱藏層節(jié)點(diǎn)數(shù)的候選置信取值范圍,然后采用窮舉法進(jìn)行超參數(shù)尋優(yōu),獲取訓(xùn)練最好的初始ELM網(wǎng)絡(luò),采用均方誤差(mean square error,MSE)評(píng)價(jià)網(wǎng)絡(luò)性能,計(jì)算公式如下:

(20)

圖3 不同節(jié)點(diǎn)數(shù)的校驗(yàn)誤差

2.4.2 絞殺參數(shù)調(diào)優(yōu)

在NNG-OSELM算法中,絞殺超參數(shù)s取值會(huì)影響算法的絞殺強(qiáng)度,其最優(yōu)值s*由線性等分向量s=[s1,s2,…,sv]枚舉后,通過(guò)CV尋找模型的最小校驗(yàn)MSE,并結(jié)合最小化赤池信息準(zhǔn)則(akaike information criterion,AIC)以求得最優(yōu)值s*。具體過(guò)程如下:

(1)數(shù)據(jù)集劃分。將數(shù)據(jù)集δ=(X,Y)均勻劃分為J塊子集δ={δ1,δ2,…,δJ},其中δF={δ1,δ2,…,δf}為訓(xùn)練集,余下數(shù)據(jù)集δF+1={δf+1,δf+2,…,δJ}為驗(yàn)證集,之后逐步向后選擇新的訓(xùn)練集和驗(yàn)證集,直至J-f折交叉驗(yàn)證結(jié)束。

(2)模型驗(yàn)證。首先利用訓(xùn)練集獲得s不同取值下的各個(gè)NNG-OSELM模型,然后通過(guò)驗(yàn)證集驗(yàn)證各模型性能,最后由MSE評(píng)價(jià)模型性能。

(21)

(22)

式中s1=0為向量下限,sv=n為向量上限,v為向量中元素個(gè)數(shù)。

2.4.3 算法流程

步驟1 隨機(jī)采樣樣本數(shù)據(jù),然后將輸入變量做歸一化處理。處理后的數(shù)據(jù)前80%作為訓(xùn)練集,用于模型的超參數(shù)調(diào)優(yōu),剩余20%作為測(cè)試集,用于在線更新測(cè)試。

步驟2 采用枚舉法對(duì)ELM網(wǎng)絡(luò)超參數(shù)進(jìn)行尋優(yōu),獲取最優(yōu)隱含層節(jié)點(diǎn)數(shù),通過(guò)式(3)計(jì)算ELM網(wǎng)絡(luò)初始輸出權(quán)重β(0)。

步驟3 將懲罰向量θ應(yīng)用于訓(xùn)練好的ELM網(wǎng)絡(luò),以建立新的ELM網(wǎng)絡(luò)優(yōu)化表達(dá)式。

步驟4 初始化s,f,K:令s←s1、f←5、J←10,對(duì)于當(dāng)前s,f,J,由式(14)求得收縮算子θ。

步驟5 將收縮向量θ代入式(13)中,然后通過(guò)式(20)獲取當(dāng)前測(cè)試集下的MSE。

步驟6 令f←f+1,若f

步驟7 通過(guò)以上步驟獲取測(cè)試集交叉驗(yàn)證下MSE的平均值。

步驟9 令s←s+Δs,若s

步驟10 通過(guò)式(22)求解最優(yōu)值s*。

步驟11 通過(guò)步驟10所求得的s*計(jì)算式(14),獲取最優(yōu)收縮向量θ*=[θ1*,θ2*,…,θn*]。

步驟13 通過(guò)式(22)輸出最終預(yù)測(cè)模型Tk+1。

3 仿真結(jié)果及分析

3.1 仿真實(shí)驗(yàn)設(shè)置

(1)候選變量選擇。仿真實(shí)驗(yàn)以某實(shí)際銅礦浮選過(guò)程中載流X熒光品位分析儀測(cè)量銅品位的實(shí)際歷史數(shù)據(jù)為研究對(duì)象。經(jīng)測(cè)量過(guò)程研究及數(shù)據(jù)分析,選擇其中15個(gè)輔助變量組成候選輸入變量集(表1)和1個(gè)目標(biāo)變量(實(shí)驗(yàn)室標(biāo)定銅的樣品品位)共924組數(shù)據(jù)組成樣本集。

表1 銅品位浮選過(guò)程候選輸入變量

表1(續(xù))

(2)數(shù)據(jù)歸一化。在回歸數(shù)學(xué)模型中,自變量X的量綱不一致將會(huì)導(dǎo)致回歸系數(shù)無(wú)法直接解讀或者錯(cuò)誤解讀,數(shù)據(jù)歸一化后可以加快模型的收斂速度,提高模型的預(yù)測(cè)精度,歸一化的計(jì)算公式如下:

(23)

式中xmin、xmax為x樣本數(shù)據(jù)的最小值和最大值,其結(jié)果映射在[0,1]之間。

(3)異常點(diǎn)檢測(cè)。在采集的工業(yè)的數(shù)據(jù)中,由于人工操作失誤或機(jī)器故障會(huì)導(dǎo)致異常點(diǎn)的產(chǎn)生,從而影響模型的泛化性能,因此需對(duì)數(shù)據(jù)進(jìn)行異常點(diǎn)檢測(cè)[13]并剔除。異常點(diǎn)檢測(cè)的方式通常有基于模型、基于鄰近度以及基于密度的方法。最常用的方法基于模型的方法,其根據(jù)數(shù)據(jù)構(gòu)建模型,然后通過(guò)判斷對(duì)象擬合模型的情況來(lái)確定數(shù)據(jù)是否為異常點(diǎn)。

本文采用基于模型的方法進(jìn)行異常點(diǎn)檢測(cè)并將數(shù)據(jù)中的異常點(diǎn)剔除,根據(jù)實(shí)際的工業(yè)過(guò)程,變量2為金屬銅的波長(zhǎng)色散計(jì)數(shù)率,與銅品位的測(cè)量直接相關(guān),因此建立銅的波長(zhǎng)色散計(jì)數(shù)率與實(shí)驗(yàn)室標(biāo)定銅品位的回歸數(shù)學(xué)模型,通過(guò)設(shè)定的閾值判斷是否為異常點(diǎn),其中閾值通過(guò)普通化殘差來(lái)表示[14],檢結(jié)果如圖4所示。

圖4 異常點(diǎn)檢測(cè)結(jié)果

3.2 模型性能評(píng)價(jià)指標(biāo)

采用的模型性能評(píng)價(jià)指標(biāo)共3個(gè):

(1)模型預(yù)測(cè)誤差平方的平均值(MSE),反應(yīng)真實(shí)值與預(yù)測(cè)值之間差異的一種度量,值越小表明預(yù)測(cè)精度越高,計(jì)算公式如式(20)所示。

(2)平均絕對(duì)值誤差(mean absolute error,MAE),預(yù)測(cè)值與實(shí)際值之間絕對(duì)誤差的平均值,可以避免誤差相互抵消的問(wèn)題,值越小表明預(yù)測(cè)精度越高,計(jì)算公式如下:

(24)

(3)模型大小(model size,M.S.),最終模型的輸入變量個(gè)數(shù),反應(yīng)了模型的復(fù)雜度,計(jì)算公式如下:

(25)

3.3 仿真結(jié)果及分析

將處理后的數(shù)據(jù)劃分為兩部分,第一部分為數(shù)據(jù)集的前20%用作算法訓(xùn)練,第二部分的80%數(shù)據(jù)集劃分為3批數(shù)據(jù)集作為在線更新測(cè)試集。由于ELM網(wǎng)絡(luò)結(jié)構(gòu)的初始參數(shù)都是人工確定的,因此每次仿真實(shí)驗(yàn)的結(jié)果都會(huì)有所不同。為體現(xiàn)算法的穩(wěn)定性,將通過(guò)相同的數(shù)據(jù)樣本對(duì)不同算法進(jìn)行10次仿真并取其MSE、MAE的最優(yōu)值作為模型性能評(píng)價(jià)標(biāo)準(zhǔn),不同批次的測(cè)試集的結(jié)果如表2、表3及表4所示。

表2 第1批測(cè)試集的性能評(píng)價(jià)指標(biāo)

表3 第2批測(cè)試集的性能評(píng)價(jià)指標(biāo)

表4 第3批測(cè)試集的性能評(píng)價(jià)指標(biāo)

通過(guò)上述結(jié)果表明,基于輸入變量選擇的NNG-OSELM在線預(yù)測(cè)算法對(duì)比其他算法MSE、MAE均有提升具有較好的預(yù)測(cè)結(jié)果,而且從實(shí)際工業(yè)過(guò)程出發(fā),對(duì)比于現(xiàn)階段載流X熒光品位分析儀只選用6個(gè)輸入變量作為關(guān)鍵影響變量,該算法不僅考慮到其他關(guān)鍵變量的影響比如分析儀自身的不穩(wěn)定以及外界因素的干擾(漂移系數(shù)對(duì)銅品位預(yù)測(cè)的影響),這些干擾變量會(huì)對(duì)最終銅品位的預(yù)測(cè)效果產(chǎn)生較大的影響,因此該結(jié)果充分表明NNG算法的篩選相關(guān)變量能力會(huì)提升模型的預(yù)測(cè)精度,提升檢測(cè)效率,充分驗(yàn)證了算法的有效性。圖5至圖7為各批次數(shù)據(jù)的候選輸入變量對(duì)應(yīng)的收縮系數(shù)。

圖5 第1批測(cè)試集的收縮系數(shù)

圖6 第2批測(cè)試集的收縮系數(shù)

圖7 第3批測(cè)試集的收縮系數(shù)

由表5可知,θ均值大于0.5的變量共有8個(gè),其中對(duì)目標(biāo)變量影響較大的變量2、變量5對(duì)應(yīng)的θ均值均大于0.85,而實(shí)際的載流品位分析儀測(cè)量過(guò)程需要目標(biāo)變量的能量色散和波長(zhǎng)色散的計(jì)數(shù)率相結(jié)合,這一結(jié)果與實(shí)際工業(yè)測(cè)量過(guò)程中測(cè)量銅品位的關(guān)鍵影響因素相符合。

表5 θ均值大于0.5的候選輸入變量

變量1、變量3分別為波長(zhǎng)色散鐵的計(jì)數(shù)率以及能量色散鐵的計(jì)數(shù)率,文獻(xiàn)[15]指出測(cè)量銅品位需要鐵的能量色散和波長(zhǎng)色散的計(jì)數(shù)率作為輔助變量,因此這兩個(gè)變量也與銅品位的測(cè)量相關(guān)。

文獻(xiàn)[16]指出分析儀所測(cè)得的色散計(jì)數(shù)率中不僅包含激發(fā)金屬元素的色散計(jì)數(shù)率還包含一次射線的散射輻射,因此色散計(jì)數(shù)率不是單獨(dú)地與被分析礦物的熒光強(qiáng)度成比例,而變量6為散射道能量色散計(jì)數(shù)率,對(duì)銅品位的測(cè)量有直接影響。變量14、變量10、變量11、變量15表示與之對(duì)應(yīng)變量的漂移系數(shù),漂移系數(shù)表征了分析儀測(cè)量穩(wěn)定性和精確度,是真值與分析儀測(cè)量值的比值結(jié)果,這個(gè)結(jié)果越接近1,表明分析儀測(cè)量精度和測(cè)量穩(wěn)定性越高,因此這4個(gè)變量也會(huì)影響最終銅品位的預(yù)測(cè)效果。

綜上所述,該算法輸入變量的選擇的結(jié)果與載流品位分析儀的測(cè)量機(jī)理及專(zhuān)家經(jīng)驗(yàn)基本一致,充分驗(yàn)證了NNG-OSELM算法所建模型的可解釋性。

4 總 結(jié)

在線軟測(cè)量算法首先通過(guò)OS-ELM算法動(dòng)態(tài)更新網(wǎng)絡(luò)輸出權(quán)重,建立在線軟測(cè)量模型;其次通過(guò)NNG算法的稀疏能力,篩選出相關(guān)變量,進(jìn)一步提高模型的預(yù)測(cè)精度;最后將所提出的在線學(xué)習(xí)算法應(yīng)用于某礦企浮選過(guò)程中銅精礦品位的在線測(cè)量,并與其它先進(jìn)算法及現(xiàn)場(chǎng)載流X熒光品位分析儀測(cè)量結(jié)果相比較,結(jié)果表明,該算法所建模型具有更高的精度,輸入變量選擇的結(jié)果與載流分析儀的測(cè)量機(jī)理及專(zhuān)家經(jīng)驗(yàn)一致,充分驗(yàn)證了算法的有效性。