核極限學(xué)習(xí)機(jī)在浮選回收率中的研究與應(yīng)用

王　歡，徐　鑫，魯鵬云，張　軍，彭文娟

(1.鞍鋼集團(tuán)礦業(yè)公司，遼寧 鞍山 114001；2.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083；3.材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083)

?

核極限學(xué)習(xí)機(jī)在浮選回收率中的研究與應(yīng)用

王歡1，徐鑫1，魯鵬云1，張軍1，彭文娟2，3

(1.鞍鋼集團(tuán)礦業(yè)公司，遼寧 鞍山 114001；2.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083；3.材料領(lǐng)域知識(shí)工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083)

摘要：浮選回收率是浮選過程中重要的生產(chǎn)指標(biāo)。需要通過人工檢測得到的浮選回收率，可知性具有較大的時(shí)間延遲，使工人不能及時(shí)有效地對(duì)生產(chǎn)做出相應(yīng)控制調(diào)整。由于浮選過程相當(dāng)復(fù)雜，變量維數(shù)高、關(guān)聯(lián)性強(qiáng)、噪聲大、檢測信號(hào)不完備等因素，難以建立較精確的回收率預(yù)測模型。然而，人工智能與機(jī)器學(xué)習(xí)技術(shù)能在機(jī)理不清楚、信息不完備的情況下，對(duì)復(fù)雜系統(tǒng)建立基于數(shù)據(jù)驅(qū)動(dòng)的經(jīng)驗(yàn)?zāi)Ｐ?。因此，本文為提高回收率檢測的及時(shí)性、有效性，在分析浮選過程相關(guān)因素影響的基礎(chǔ)上，提出基于核極限學(xué)習(xí)機(jī)建立浮選回收率的預(yù)測模型。仿真實(shí)驗(yàn)結(jié)果表明，該建模方法可有效辨識(shí)浮選過程中，輸入數(shù)據(jù)與回收率測量值之間的非線性關(guān)系，且具有更高的預(yù)測精度與訓(xùn)練性能。

關(guān)鍵詞：核極限學(xué)習(xí)機(jī)；浮選回收率；人工智能；預(yù)測模型

回收率是重要的選礦指標(biāo)，它反映了選礦過程中金屬的回收程度，浮選生產(chǎn)過程常常需要根據(jù)回收率的變化來調(diào)整工藝參數(shù)。但是，回收率需要通過人工采樣化驗(yàn)才能獲得，可知性具有較大的時(shí)間延遲，為了根據(jù)回收率指標(biāo)來及時(shí)調(diào)整工藝參數(shù)，需要建立回收率模型。目前，回收率的建模主要采用兩種方法，一種是傳統(tǒng)的基于過程驅(qū)動(dòng)而建立的機(jī)理模型。由于實(shí)際選礦生產(chǎn)過程相當(dāng)復(fù)雜，變量維數(shù)高、關(guān)聯(lián)性強(qiáng)、噪聲大、檢測信號(hào)不完備、數(shù)據(jù)量大以及模型參數(shù)時(shí)變等，使得只能考慮一些簡單變量進(jìn)行機(jī)理建模。從而導(dǎo)致模型丟失大量生產(chǎn)信息，難以建立較精確的回收率預(yù)測模型。另一種是利用人工智能與機(jī)器學(xué)習(xí)的黑盒建模方法。人工智能與機(jī)器學(xué)習(xí)技術(shù)能在機(jī)理不清楚、信息不完備的情況下對(duì)復(fù)雜系統(tǒng)的歷史采集數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)未知模型進(jìn)行逼近，建立基于數(shù)據(jù)驅(qū)動(dòng)的經(jīng)驗(yàn)?zāi)Ｐ汀?/p>

前饋神經(jīng)網(wǎng)絡(luò)作為一種模擬人類大腦神經(jīng)元的計(jì)算機(jī)技術(shù)，越來越被廣泛用于模式識(shí)別、語音處理等領(lǐng)域。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法(如BP算法)需要人為設(shè)置大量的網(wǎng)絡(luò)訓(xùn)練參數(shù)，并且容易產(chǎn)生局部最優(yōu)解。極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)就是一種簡單易用、有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，它只需要設(shè)置網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)，在算法執(zhí)行過程中不需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值以及隱元的偏置，可以產(chǎn)生唯一的最優(yōu)解，因此它具有學(xué)習(xí)速度快且泛化性能好等諸多優(yōu)點(diǎn)。核極限學(xué)習(xí)機(jī)(Kernel Extreme Learning Machine，KELM)是將核函數(shù)引入到極限學(xué)習(xí)機(jī)中，可以得到最小平方優(yōu)化解，具有更穩(wěn)定的、更好的泛化性能。極限學(xué)習(xí)機(jī)已經(jīng)應(yīng)用在圖像分類[1]、銀行企業(yè)信用評(píng)級(jí)[2]、 醫(yī)藥領(lǐng)域等諸多行業(yè)[3]，并取得了良好效果。本文將采用核極限學(xué)習(xí)機(jī)對(duì)浮選實(shí)際生產(chǎn)工藝中回收率建立預(yù)測模型，并且，為了驗(yàn)證核極限學(xué)習(xí)機(jī)算法的優(yōu)越性能，針對(duì)傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)[4]、支持向量回歸[5]建模方法進(jìn)行同樣的仿真實(shí)驗(yàn)。通過對(duì)比，最終結(jié)論表明核極限學(xué)習(xí)機(jī)在本應(yīng)用上取得最好效果，具有更優(yōu)越的性能。

1理論基礎(chǔ)

極限學(xué)習(xí)機(jī)是Huang GB提出的一種新穎的前饋神經(jīng)網(wǎng)絡(luò)(SLFNs) 訓(xùn)練方法，該方法隨機(jī)給定輸入層與隱層間的權(quán)值參數(shù)，然后通過直接求解計(jì)算一個(gè)最小范數(shù)最小二乘問題，最終，化歸為求解一個(gè)矩陣的 Moore-Penrose 廣義逆問題獲得輸出層權(quán)值參數(shù)。極限學(xué)習(xí)機(jī)已經(jīng)證明單隱層神經(jīng)網(wǎng)絡(luò)隱層節(jié)點(diǎn)參數(shù)的隨機(jī)獲取并不影響網(wǎng)絡(luò)的收斂能力[6]，并且，求得的權(quán)重參數(shù)具有較小的權(quán)重，保證了模型的泛化能力[7]，與此同時(shí)，不用迭代調(diào)整也使得極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)訓(xùn)練速度比傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)、SVM等學(xué)習(xí)速度有了質(zhì)的提升。

給定N個(gè)任意樣本(xi，ti)∈Rn×Rm與激活函數(shù)G(x)，ELM定義為式(1)

(1)

式中：L是隱層節(jié)點(diǎn)的個(gè)數(shù)；wj=[wj1，wj2，…，wjn]T，是輸入權(quán)值；βj是第j個(gè)隱層節(jié)點(diǎn)與輸出層節(jié)點(diǎn)連接的輸出權(quán)值。H是n維輸入樣本空間到l維隱層空間的ELM隨機(jī)特征映射矩陣，見式(2)。

(2)

在ELM中，輸出權(quán)值β的計(jì)算見式(3)。

(3)

式中H?是矩陣H的Moore-Penrose 廣義逆。當(dāng)L>N 時(shí)，由于HHT是奇異矩陣，故所求輸出權(quán)重β是非精確的。過去的研究已經(jīng)證明，越小的權(quán)重范式具有越好的泛化能力[7]。文獻(xiàn)[8]提出了一種正則化的ELM模型，此模型允許最小化訓(xùn)練誤差的同時(shí)，得到更小的權(quán)值范式。ELM最小化訓(xùn)練誤差與權(quán)重范式可歸結(jié)為式(4)、式(5)。

(4)

(5)

式中，ei∈Rm在最優(yōu)化問題中是xi與C 已知重要參數(shù)訓(xùn)練誤差的錯(cuò)誤向量，C>0。通過將約束條件代入最優(yōu)化目標(biāo)可得以下等價(jià)非約束的最優(yōu)化問題(式(6))。

(6)

通過求解可得輸出權(quán)重的兩種表達(dá)形式，見式(7)、式

(7)

(8)

對(duì)于式(7)、式(8)，當(dāng)用戶不知道特征映射h(x)時(shí)，HTH與HHT被應(yīng)用為核矩陣形式，核ELM輸出函數(shù)形式為式(9)。

(9)

式中，ΩELMi，j=K(xi，xj)=h(xi)·h(xj)。見圖1。

圖1　核ELM網(wǎng)絡(luò)結(jié)構(gòu)圖

核ELM將不考慮特征映射函數(shù)h(x)、輸入權(quán)值w、偏置量b和隱節(jié)點(diǎn)L的數(shù)量，而僅僅關(guān)心核函數(shù)的選取與訓(xùn)練樣本的輸入。

2基于KELM的回收率預(yù)測仿真實(shí)驗(yàn)

2.1實(shí)驗(yàn)樣本采集

實(shí)驗(yàn)以鐵礦浮選為研究對(duì)象，以回收率作為基準(zhǔn)研究量，選擇實(shí)驗(yàn)變量。由于變量的選擇對(duì)于預(yù)測模型的建立有重要作用，而浮選過程較為復(fù)雜，浮選回收率受諸多因素影響。

在選礦車間采集到的15個(gè)影響浮選回收率的工藝參數(shù)中，由領(lǐng)域?qū)＜疫x取現(xiàn)場實(shí)際中最重要的3類參數(shù)，共12個(gè)變量。礦石質(zhì)量參數(shù)：原礦品位、磁尾品位、亞鐵；生產(chǎn)狀態(tài)參數(shù)：給礦濃度、給礦粒度、給礦流量、選別過程的pH 值、充氣流量；浮選藥劑參數(shù)：氧化鈣、LKY捕收劑、液堿、淀粉。礦石質(zhì)量參數(shù)決定了進(jìn)入浮選工序的礦石性質(zhì)，不同性質(zhì)的礦石產(chǎn)生的回收率會(huì)明顯不同；生產(chǎn)狀態(tài)參數(shù)的設(shè)置會(huì)影響浮選工藝的環(huán)境因素，例如pH值能夠改變礦石表面對(duì)浮選藥劑的吸附能力，給礦粒度過大會(huì)使礦石超過氣泡的浮載能力，影響浮選效果；藥劑的使用量則直接決定了精礦品位，是影響浮選的回收率的最大因素。

所有實(shí)驗(yàn)數(shù)據(jù)均采集自遼寧鞍山某礦業(yè)公司，共采集了314條數(shù)據(jù)樣本。本文在建立核ELM浮選工序指標(biāo)模型過程中，首先將考慮數(shù)據(jù)預(yù)處理，并將處理后的數(shù)據(jù)隨機(jī)選取80%作為訓(xùn)練驗(yàn)證數(shù)據(jù)，進(jìn)行模型參數(shù)選擇，對(duì)剩余20% 數(shù)據(jù)樣本作為測試樣本，進(jìn)行模型評(píng)估。

2.2數(shù)據(jù)預(yù)處理

數(shù)據(jù)建模的基礎(chǔ)是大量而準(zhǔn)確的工業(yè)現(xiàn)場數(shù)據(jù)，數(shù)據(jù)樣本質(zhì)量的好壞對(duì)于建模效果起著關(guān)鍵重要作用。在實(shí)際生產(chǎn)過程中，由于數(shù)據(jù)是通過安裝在現(xiàn)場的傳感器、變送器等儀表獲得，受儀表精度和生產(chǎn)環(huán)境的影響，測量數(shù)據(jù)都不可避免地存在誤差，這樣會(huì)降低模型的精度甚至完全失效，對(duì)數(shù)據(jù)進(jìn)行有效預(yù)處理是工業(yè)數(shù)據(jù)驅(qū)動(dòng)建模的必要手段。

2.2.1離群點(diǎn)檢測

離群點(diǎn)是不同于數(shù)據(jù)集中的其它數(shù)據(jù)，實(shí)際工業(yè)過程中，離群點(diǎn)主要是由于傳感器故障、變送器故障和生產(chǎn)環(huán)境變化造成的，主要包括檢測數(shù)據(jù)壞值與檢測數(shù)據(jù)偏離正常值兩類非正常數(shù)據(jù)。目前離群點(diǎn)檢測主要有基于統(tǒng)計(jì)、距離、密度等算法。數(shù)據(jù)樣例集是不均勻分布的，依賴于給定數(shù)據(jù)集“全局”分布的基于數(shù)據(jù)樣本統(tǒng)計(jì)、距離方法不太適用，本文采用一種基于密度局部離群點(diǎn)檢測算法[9]對(duì)數(shù)據(jù)進(jìn)行離群點(diǎn)剝離處理。對(duì)于314組給礦粒度現(xiàn)場數(shù)據(jù)，統(tǒng)計(jì)方法的3σ 判定標(biāo)準(zhǔn)中，僅標(biāo)記出9個(gè)離群點(diǎn)，而基于密度的LOF 算法檢測出23個(gè)異常點(diǎn)，并根據(jù)專家對(duì)此23個(gè)異常數(shù)據(jù)進(jìn)行確認(rèn)，確定相應(yīng)樣本均為異常點(diǎn)，刪除此23個(gè)異常點(diǎn)，去除異常點(diǎn)對(duì)整個(gè)樣本的干擾，將原始采集到的314 條數(shù)據(jù)樣本降為291 條記錄。

2.2.2數(shù)據(jù)歸一化

由于原礦品位、給礦濃度、給礦粒度、加藥量等不同評(píng)價(jià)指標(biāo)具有不同的量綱和量綱單位，因此為消除指標(biāo)之間的量綱影響，需要對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理，以使建模過程更加穩(wěn)健。根據(jù)建模需要，本文對(duì)各模型訓(xùn)練、測試樣本均進(jìn)行Z-Score標(biāo)準(zhǔn)化，且為避免Data snooping[10]發(fā)生，測試樣本均使用訓(xùn)練樣本已取得的標(biāo)準(zhǔn)化值進(jìn)行處理。

2.2.3PCA降維

由于回收率預(yù)測建模相關(guān)指標(biāo)量過多，存在相關(guān)性較強(qiáng)的特征屬性，而根據(jù)VC維理論[11]可知，使用主成分分析可較好的對(duì)特征空間進(jìn)行壓縮，有效提高模型魯棒性與泛化能力。

主成分分析(Principal Component Analysis，PCA)[12]是目前數(shù)據(jù)樣本降維重要的方法之一。PCA的思想是將n維特征映射到k維上(k

PCA計(jì)算過程[13]如下所示：第一步，計(jì)算樣本的平均值，對(duì)于所有樣例，均減去對(duì)應(yīng)的均值；第二步，計(jì)算特征協(xié)方差矩陣；第三步，計(jì)算協(xié)方差的特征值和特征向量；第四步，計(jì)算貢獻(xiàn)率，把n個(gè)隨機(jī)變量的總方差分解為n個(gè)不相關(guān)隨機(jī)變量的方差之和λ1+λ2+…+λn，則總方差中屬于第i個(gè)因子的比例，即第i個(gè)因子的貢獻(xiàn)率，見式(10)；第五步，將特征值從大到小依次排序，計(jì)算累計(jì)方差百分比(累計(jì)貢獻(xiàn)率)，前m個(gè)因子的累計(jì)方差百分比，見式(11)。

目前有多項(xiàng)大規(guī)模臨床試驗(yàn)正在進(jìn)行。其中《重度持續(xù)性哮喘的支氣管熱成形術(shù)治療(PAS2)》(NCT01350336)[25]作為Alair系統(tǒng)上市前審批的一部分正于美國3個(gè)試點(diǎn)開展，目的是研究該系統(tǒng)的長期安全性和療效，預(yù)計(jì)2020年1月完成。《重度難治性哮喘支氣管熱成形術(shù)治療后反應(yīng)的生物預(yù)測指標(biāo)前瞻性觀察研究(BTR)》(NCT01185275)[26]將評(píng)估臨床、生理學(xué)、生物學(xué)間的關(guān)系，以及BT的成像標(biāo)記和反應(yīng)，預(yù)計(jì)2020年8月完成。

(10)

(11)

本文采用數(shù)據(jù)集共有12個(gè)特征屬性，對(duì)291組數(shù)據(jù)作為輸入變量進(jìn)行PCA 降維處理后，選擇變換后的維度。根據(jù)主元的貢獻(xiàn)率(選取累計(jì)方差Q>85%)，數(shù)據(jù)樣本的特征屬性由原來12 縮減為7個(gè)屬性，表1為輸入變量，表2為主元貢獻(xiàn)率，可以看出，7個(gè)主元即可表示初始85% 的變化。

表1　PCA輸入變量

表2　不同主元的貢獻(xiàn)率

通過以上分析，我們可以得到新的7個(gè)變量作為模型新的輸入變量，接下來，我們對(duì)這7個(gè)輸入變量、291 條數(shù)據(jù)樣本進(jìn)行核ELM模型實(shí)驗(yàn)室仿真，并對(duì)BP神經(jīng)網(wǎng)絡(luò)、支持向量回歸同樣建立回收率預(yù)測模型，最終對(duì)仿真實(shí)驗(yàn)結(jié)果進(jìn)行相應(yīng)評(píng)價(jià)。

2.3模型參數(shù)設(shè)定

本小節(jié)我們將對(duì)核ELM、BP神經(jīng)網(wǎng)絡(luò)、支持向量回歸三個(gè)模型實(shí)驗(yàn)環(huán)境及參數(shù)選擇進(jìn)行詳細(xì)說明。測試平臺(tái)均采用Windows8 操作系統(tǒng)、Intel四核i3、2.67GHz 處理器、6G 內(nèi)存的同一PC機(jī)，三個(gè)模型算法編程語言均采用R 語言。其中，核ELM 根據(jù)文獻(xiàn)[8]實(shí)現(xiàn)、BP神經(jīng)網(wǎng)絡(luò)采用已有的AMORE庫*A MORE flexible neural network package http://rwiki.sciviews.org/doku.php?id=packages:cran:amore.、 支持向量回歸算法采用已有的e1071 庫*Misc Functions of the Department of Statistics http://finzi.psych.upenn.edu/R/library/e1071/html/00Index.html.。

為了保證結(jié)果的有效性，首先將291條樣本中235條作為訓(xùn)練驗(yàn)證樣本，其余56條作為測試樣本對(duì)最終模型泛化能力進(jìn)行檢驗(yàn)。模型選參采用十折交叉驗(yàn)證方法，以均方根誤差RMSE作為參數(shù)選擇評(píng)估指標(biāo)量對(duì)三個(gè)不同模型選擇在訓(xùn)練驗(yàn)證樣本集上表現(xiàn)最優(yōu)參數(shù)。最優(yōu)性參數(shù)選擇算法流程圖描述如圖2所示。

圖2　最優(yōu)參數(shù)選擇流程圖

2.3.1核極限學(xué)習(xí)機(jī)

在仿真實(shí)驗(yàn)中，采用高斯核函數(shù)進(jìn)行回收率建模。根據(jù)式(3)可知，核ELM不需要對(duì)隱層節(jié)點(diǎn)個(gè)數(shù)進(jìn)行選擇，僅需要確定模型的正則系數(shù)C 與高斯核函數(shù)的γ系數(shù)。在實(shí)驗(yàn)中，我們選定正則化系數(shù)C與高斯核函數(shù)系數(shù)γ可變范圍均為[-218：218]。由圖2 可看出，高斯核在較大范圍內(nèi)表現(xiàn)較差，通常在較“窄”的區(qū)域里取得最好結(jié)果，這一現(xiàn)象與BP 神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)有很大不同。因此，對(duì)于不同應(yīng)用場景，需要通過大量仿真實(shí)驗(yàn)，以便最終選取最優(yōu)模型參數(shù)。本仿真實(shí)驗(yàn)中，當(dāng)參數(shù)C 與γ為27與214時(shí)，測試誤差最小。

神經(jīng)網(wǎng)絡(luò)模型在使用時(shí)需要考慮學(xué)習(xí)速率λ與隱節(jié)點(diǎn)個(gè)數(shù)兩個(gè)關(guān)鍵參數(shù)。我們分別取學(xué)習(xí)速率λ范圍為[0.001×1.50，0.001×1.51，…，0.001×1.511，0.001×1.512]，取隱節(jié)點(diǎn)個(gè)數(shù)范圍為[5，60]。圖3 展示了學(xué)習(xí)速率與隱節(jié)點(diǎn)個(gè)數(shù)不同選擇誤差分布。從圖3中可以看出，神經(jīng)網(wǎng)絡(luò)在該案例中表現(xiàn)較為穩(wěn)定，隨著隱節(jié)點(diǎn)的增加與學(xué)習(xí)速率的提升，測試誤差逐步減少；當(dāng)增長到一定程度后，λ學(xué)習(xí)速率的過高，搜索步長過大，圖中出現(xiàn)多個(gè)波峰，模型泛化能力開始逐漸減弱。本仿真實(shí)驗(yàn)中，當(dāng)λ取0.001×1.54，隱節(jié)點(diǎn)個(gè)數(shù)取45 時(shí)獲得最小測試誤差。

2.3.3支持向量回歸

在仿真實(shí)驗(yàn)中，支持向量回歸模型采用高斯核函數(shù)。因此，需要對(duì)高斯核函數(shù)系數(shù)γ、間隔系數(shù)C、 松弛系數(shù)三個(gè)主要參數(shù)進(jìn)行選擇，它們在模型建立過程中具有重要的作用。由于三維圖片只能對(duì)兩個(gè)變量進(jìn)行展示，我們選擇為最佳參數(shù)0.1，圖4展示了γ與C 變化對(duì)模型泛化能力的影響。由圖4可以看出，在該案例建模中，支持向量回歸模型的泛化誤差基本處于穩(wěn)定狀態(tài)，隨著C的增加，對(duì)權(quán)重的約束逐步減少，使得圖右下方產(chǎn)生山谷，誤差增大，泛化能力減弱。本仿真實(shí)驗(yàn)中，當(dāng)高斯核函數(shù)系數(shù)γ、間隔系數(shù)C、 松弛系數(shù)分別0.015625、0.25、0.1 時(shí)，獲得最好結(jié)果。

圖3　KELM的測試誤差分布

圖4　BP的測試誤差分布

圖5　SVR的測試誤差分布

通過前面在訓(xùn)練驗(yàn)證數(shù)據(jù)集上對(duì)模型選擇最優(yōu)參數(shù)后，下面將分別在剩余測試樣本上對(duì)三個(gè)模型做最終測試評(píng)價(jià)。

2.4模型評(píng)估

首先，將上文采用數(shù)據(jù)樣本預(yù)處理方法應(yīng)用于剩余56組測試樣本，其次，通過上節(jié)所取得的最優(yōu)參數(shù)模型對(duì)291組樣本進(jìn)行擬合，得到相應(yīng)訓(xùn)練模型，并對(duì)得到的訓(xùn)練模型進(jìn)行測試樣本預(yù)測，最后，采用均方根誤差、命中率以及相關(guān)系數(shù)評(píng)價(jià)指標(biāo)對(duì)三個(gè)模型預(yù)測進(jìn)行評(píng)估對(duì)比，并給出相關(guān)結(jié)論。

1)預(yù)測均方根誤差(Root Mean Square Error，RMSE)評(píng)價(jià)指標(biāo)函數(shù)，見式(12)。

(12)

2)預(yù)測命中率(Hit Rate，HR)評(píng)價(jià)指標(biāo)函數(shù)，見式(13)、式(14)。

(13)

(4)

3)實(shí)際目標(biāo)值序列與預(yù)測值序列的相關(guān)系數(shù)(Correlation Coefficient，CC)評(píng)價(jià)指標(biāo)函數(shù)，見式(15)。

(15)

56組測試樣本與三個(gè)模型輸出值之間的比較結(jié)果分別見圖5～7，圖5為測試樣本實(shí)際值與核ELM 模型輸出值的比較，圖6測試樣本實(shí)際值與BP模型輸出值的比較，圖7為測試樣本實(shí)際值與SVR模型輸出值的比較。

圖7　測試樣本實(shí)際值與BP模型的預(yù)測值比較

圖8　測試樣本實(shí)際值與SVR模型的預(yù)測值比較

表3為三個(gè)模型的訓(xùn)練誤差與測試誤差及相應(yīng)訓(xùn)練時(shí)間對(duì)比表。從表3可以看出：BP模型與SVR模型都是經(jīng)典的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，在本應(yīng)用中，從訓(xùn)練誤差、測試誤差、訓(xùn)練速度來看，SVR模型、核ELM模型都較優(yōu)于BP模型。BP模型由于有較多的參數(shù)設(shè)定，并且需要在訓(xùn)練過程迭代式的進(jìn)行權(quán)重更新是訓(xùn)練速度較差的主要原因之一。并且，BP模型所獲得模型往往陷入局部最優(yōu)解，導(dǎo)致其泛化誤差較不理想。

SVR模型作為支持向量機(jī)模型的變種應(yīng)用在回歸問題中，取得的模型函數(shù)有較稀疏的向量系數(shù)，從而可以得到更好的泛化性能。在本應(yīng)用中，SVR模型在訓(xùn)練誤差中取得了最好成績，同時(shí)，在訓(xùn)練時(shí)預(yù)測更易“命中”，訓(xùn)練HR優(yōu)于其他兩個(gè)模型，為92.92%，但它的泛化誤差較差于KELM，測試HR也落后于KELM模型。由支持向量機(jī)的最優(yōu)函數(shù)的對(duì)偶解可知，SVR取得的最終解空間往往被限制在某一超平面內(nèi)[8]，使得其得到次優(yōu)于核ELM的解。

核ELM作為ELM的改進(jìn)形式，可在用戶尚不清楚隱層激活函數(shù)時(shí)，建立相應(yīng)模型。本應(yīng)用中核ELM的訓(xùn)練誤差較低于BP神經(jīng)網(wǎng)絡(luò)模型，但高于SVR模型，然而，對(duì)于機(jī)器學(xué)習(xí)而言，更好的泛化誤差是最終衡量模型優(yōu)劣的主要參考之一。由表3可知，核ELM在回收率建模的測試誤差中取得了最好的成績，同時(shí)還獲得了最高的訓(xùn)練CC和測試CC，分別為0.959和0.892，并且，由于ELM 非迭代式的訓(xùn)練過程，在模型訓(xùn)練時(shí)間上更是表現(xiàn)優(yōu)異。對(duì)于工業(yè)建模而言，訓(xùn)練時(shí)間的大大縮減使得模型應(yīng)用場景更為豐富，從而彌補(bǔ)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的較多不足。

表3　性能對(duì)比表

3結(jié)論

本文以浮選過程回收率預(yù)測為研究對(duì)象，利用神經(jīng)網(wǎng)絡(luò)方法，建立了核極限學(xué)習(xí)機(jī)的浮選回收率預(yù)測模型，并將模型應(yīng)用于某選礦實(shí)際生產(chǎn)當(dāng)中。通過預(yù)先收集樣本數(shù)據(jù)對(duì)核極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練后的模型可有效辨識(shí)輸入數(shù)據(jù)(原礦品位、給礦濃度、給礦粒度等)與輸出測量值(回收率)之間的非線性關(guān)系，與此同時(shí)，0.079的測試誤差可較好滿足實(shí)際生產(chǎn)中的實(shí)際需要。為進(jìn)一步驗(yàn)證核極限學(xué)習(xí)機(jī)的優(yōu)越性能，本文還對(duì)傳統(tǒng)的BP 神經(jīng)網(wǎng)絡(luò)、支持向量回歸模型使用同樣方式進(jìn)行仿真實(shí)驗(yàn)，并對(duì)最終結(jié)果進(jìn)行比較。仿真實(shí)驗(yàn)結(jié)果表明，基于核極限學(xué)習(xí)機(jī)的浮精品位模型具有更高的預(yù)測精度、更好的訓(xùn)練性能。

通過本文的建模研究與應(yīng)用，對(duì)選礦回收率檢測工藝的發(fā)展將具有十分重要的意義與價(jià)值。然而，由于目前數(shù)據(jù)量較少，隨著生產(chǎn)數(shù)據(jù)逐漸地積攢，核極限學(xué)習(xí)機(jī)模型在訓(xùn)練時(shí)計(jì)算復(fù)雜度將進(jìn)一步提升，如何有效的降低核計(jì)算復(fù)雜度是未來進(jìn)一步嘗試改進(jìn)的關(guān)鍵點(diǎn)。

參考文獻(xiàn)

[1]Zhao Z L，Liu Bo，Li Wei.Image classification based on extreme learning machine[J].IEIT Journal of Adaptive/& Dynamic Computing，2012，2012(1)：5-11.

[2]Zhong H，Miao C，Shen Z，et al.Comparing the learning effectiveness of BP，ELM，I-ELM，and SVM for corporate credit ratings[J].Neurocomputing，2014，128(5)：285-295.

[3]Hu L，Hong G，Ma J，et al.An efficient machine learning approach for diagnosis of paraquat-poisoned patients[J].Computers in biology and medicine，2015，59：116-124.

[4]Hecht-Nielsen R.Theory of the backpropagation neural network[M]// Harcourt Brace & Co.，1992：65-93.

[5]Harris Drucker，Burges C J C，Kaufman L，et al.Support Vector Regression Machines[C]// ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS. 1997.[6]Huang G B，Chen L，Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].Neural Networks IEEE Transactions on，2006，17(4)：879-892.

[7]Bartlett P L.The sample complexity of pattern classification with neural networks：the size of the weights is more important than the size of the network[J].IEEE Transactions on Information Theory，1998，44(2)：525-536.

[8]Huang G B，Zhou H，Ding X，et al.Extreme learning machine for regression and multiclass classification[J].Systems，Man，and Cybernetics，Part B：Cybernetics，IEEE Transactions on，2012，42(2)：513-529.

[9]Breunig，Markus M，Kriegel，et al.LOF：identifying density-based local outliers[M]// ACM SIGMOD RecordACM，2000：93-104.

[10]White，Halbert.A Reality Check For Data Snooping[J].Econometrica，2000，68(5)：1097-1126.

[11]Vapnik V，Levin E，Cun Y.Measuring the VC-Dimension of a Learning Machine[J].Neural Computation，1994，6(5)：851-876.

[12]Wold Svante，Esbensen Kim，Geladi Paul.Principal component analysis[J].Chemometrics and intelligent laboratory systems，1987，2(1)：37-52.

[13]Jolliffe I.Principal component analysis[M].John Wiley & Sons，Ltd，2002.

[14]李宏建, 劉軍. 國內(nèi)赤鐵礦選礦技術(shù)進(jìn)展[J].山東工業(yè)技術(shù), 2014(18):62.

[15]Siew C K，Huang G B，Zhu Q Y.Extreme learning machine：Theory and applications[J].Neurocomputing，2006，70：489-501.

[16]劉靜, 張建強(qiáng), 劉炯天. 鐵礦浮選藥劑現(xiàn)狀綜述[J].中國礦業(yè), 2007, 16(2):106-108.

收稿日期：2015-12-17

作者簡介：王歡(1971-)，男，專業(yè)碩士，畢業(yè)于長春工業(yè)大學(xué)電氣自動(dòng)化專業(yè)，現(xiàn)任鞍鋼集團(tuán)礦業(yè)公司信息開發(fā)中心經(jīng)理，高級(jí)工程師，主要從事礦山信息化與自動(dòng)化管理方面的工作。E-mail：wanghuan615@126.com。 通訊作者：彭文娟(1993-)，女，漢族，湖南婁底人，碩士生，攻讀北京科技大學(xué)計(jì)算機(jī)技術(shù)專業(yè)，主要從事信息技術(shù)方面的研究工作。E-mail：g20148607@xs.ustb.edu.cn。

中圖分類號(hào)：TD951

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004-4051(2016)07-0118-07

Research and application of kernel extreme learning machine in flotation recovery rate

WANG Huan1，XU Xin1，LU Peng-yun1，ZHANG Jun1，PENG Wen-juan2，3

(1.ANS TEEL Mining，Anshan 114001，China；2.School of Computer and Communication Engineering，University of Science and Technology Beijing，Beijing 100083，China；3.Beijing Key Laboratory of Materials Science Knowledge Engineering，Beijing 100083，China)

Abstract:The flotation recovery rate is an important index in the process of flotation.The flotation recovery rate is obtained by manual detection，which has a large time delay，so that workers can not effectively control the production to make the corresponding adjustment.Due to the complexity of the flotation process，the high variable dimension，strong correlation，large noise and incomplete detection signal，it is difficult to establish a more accurate prediction model of recovery rate.However，artificial intelligence and machine learning technology can establish based on data driven model of complex system in the case of unknown mechanism and incomplete information.Therefore，in order to improve the efficiency and effectiveness of the detection of the recovery rate，this paper proposes a prediction model based on the establishment of the flotation recovery rate based on the analysis of the factors affecting the flotation process.The simulation results show that the proposed method can effectively identify the nonlinear relationship between the input data and the recovery rate，and has higher prediction accuracy and training performance.

Key words：kernel extreme learning machine；flotation recovery rate；artificial intelligence；forecasting model