基于XGBoost與可見-近紅外光譜的煤矸識別方法

李 瑞， 李 博*， 王學(xué)文， 劉 濤， 李廉潔， ， 樊書祥

1. 太原理工大學(xué)機械與運載工程學(xué)院， 山西 太原 030024 2. 北京農(nóng)業(yè)智能裝備技術(shù)研究中心， 北京 100097

引 言

煤炭在我國的能源結(jié)構(gòu)中占據(jù)主體地位； 綜放開采是開采大儲量特厚煤層的主要方法， 而煤矸智能識別是實現(xiàn)綜放開采智能化亟待研發(fā)的新技術(shù)[1]。 目前的識別方法有射線法[2]與圖像識別法[3]， 但分別存在放射源安全隱患與易受粉塵、 光照等環(huán)境條件影響的不足。 可見-近紅外光譜技術(shù)具有實時、 無污染、 高信噪比、 儀器成本低等諸多優(yōu)勢， 滿足煤矸分選的要求。 基于可見-近紅外光譜的煤的品質(zhì)測定[4]、 煤種分類[5]、 煤系巖石識別[6]等領(lǐng)域的研究為煤矸識別提供了理論基礎(chǔ)。 在此基礎(chǔ)上， 學(xué)者們提出了多種基于可見-近紅外光譜的煤與矸石的分類方法。 楊恩等[7]建立了GRB-KPCA-SVM模型實現(xiàn)了對煙煤與碳質(zhì)頁巖(塊狀與粉末)的識別； Mao[8]等利用IAM-ELM算法實現(xiàn)了室外環(huán)境下煤與矸石的分類； Xiao[9]等建立了ICELM-LRF模型實現(xiàn)了對不同煤種以及煤與矸石的分類； Hu[10]等基于LBP算法對樣本多光譜圖像進(jìn)行特征提取， 并采用GS-SVM分類器實現(xiàn)對煤與矸石的分類。 在目前的煤矸識別研究中， 樣品大多僅采自一個煤礦， 針對該煤礦樣品設(shè)計出的算法對其他礦區(qū)的適用性有待檢驗； 部分研究雖使用了不同煤礦的煤與矸石樣品， 但樣品預(yù)處理， 如清潔、 研磨等， 脫離了實際應(yīng)用背景。 此外大多研究采集樣本光譜時使用的背景與實際背景也存在較大差異。

Chen[11]等提出的極端梯度提升樹(XGBoost)算法， 是一種Boosting算法， 引入正則化項且支持并行運算， 具有快速、 準(zhǔn)確、 可解釋等特點， 模型表現(xiàn)較BP神經(jīng)網(wǎng)絡(luò)與SVM等有更高的準(zhǔn)確率[12]， 廣泛應(yīng)用在醫(yī)學(xué)、 遙感、 電氣、 電子商務(wù)、 故障診斷等領(lǐng)域。 但在可見-近紅外光譜分析領(lǐng)域應(yīng)用較少， 尤其是煤矸識別方向還未見研究報道。

本工作進(jìn)行了以下研究： (1)基于XGBoost算法建立了塊狀煤與矸石黑色背景下的可見-近紅外光譜分類模型， 并與常用機器學(xué)習(xí)分類模型進(jìn)行比較； (2)基于多種特征選擇算法篩選的特征波長建立XGBoost以及對比算法的簡化模型， 并選出最優(yōu)簡化模型； (3)在相同實驗條件下更換其他煤礦的煤與矸石作為樣品對XGBoost算法以及選出的最優(yōu)特征選擇與分類的組合簡化算法進(jìn)行煤礦適用性的檢驗。

1 XGBoost算法

極端梯度提升算法(XGBoost)， 為梯度提升決策樹(GBDT)的一種實現(xiàn)方法， 以分類與回歸樹(CART)為子模型， 通過梯度提升實現(xiàn)多個CART子模型的集成學(xué)習(xí)[13-14]。 XGBoost對目標(biāo)函數(shù)進(jìn)行二階泰勒展開， 一階導(dǎo)數(shù)與二階導(dǎo)數(shù)同時參與運算， 提升了模型優(yōu)化過程中的收斂速度。 算法的步驟如下

目標(biāo)函數(shù)

(1)

正則項

(2)

根據(jù)貪心算法， 每次建立新的弱學(xué)習(xí)器時都以使目標(biāo)函數(shù)降低最大為目標(biāo)， 第k棵樹的目標(biāo)函數(shù)為

(3)

(4)

(5)

化簡后的目標(biāo)函數(shù)對wj求一階導(dǎo)并令導(dǎo)數(shù)為0， 求得wj的最優(yōu)解為

(6)

目標(biāo)函數(shù)的最優(yōu)解為

(7)

XGBoost分裂節(jié)點時遍歷所有特征， 以帶來最大分裂增益Gain的點作為分裂節(jié)點， 定義某特征在整個模型構(gòu)建中作為分裂結(jié)點的次數(shù)為weight， 該特征作為分裂節(jié)點的平均增益為gain。

(8)

(9)

2 實驗部分

2.1 樣本與光譜數(shù)據(jù)采集

在我國煤炭的主要產(chǎn)地山西省、 陜西省與內(nèi)蒙古自治區(qū)， 分別采集部分煤與矸石樣品。 如表1所示， 依據(jù)產(chǎn)地對樣品進(jìn)行編號與信息統(tǒng)計。如圖1所示， 不同產(chǎn)地的樣品形狀、 顏色存在較大差異。

表1 樣品信息

圖2為搭建的可見-近紅外光譜采集系統(tǒng)。 使用150 W鹵素?zé)?JCR15V150WBAU, USHIO, USA)作為光源， 置于光纖探頭一側(cè)， 距背景平面垂直距離500 mm， 入射角度調(diào)整至與垂直面夾角為30°。 光譜檢測光纖(1SMA1S-SI0.6-1500S, Nanjing Shen Lue Technology Co., Ltd, China)的反射光纖探頭由干板夾(GCM-1311M, Daheng Optics, China)夾持， 可通過支座(GCM-030304M, Daheng Optics, China)與支桿夾(GCM-55, Daheng Optics, China)調(diào)節(jié)探頭位置與角度， 經(jīng)調(diào)試置于檢測樣本平面正上方200 mm處。 可見-近紅外光譜儀(USB2000+, Ocean Insight, USA)與檢測光纖連接， 使用光譜儀配套軟件(OceanView2.0.7, Ocean Insight, USA)采集反射光譜， 采集的波長范圍為370～1 049 nm， 波長數(shù)為2 048個。 采集平臺以黑色紙板作為采集背景， 原始塊狀樣品作為采集樣品， 模擬選煤環(huán)境， 并以黑布與外界隔開， 避免外界雜散光影響。

圖1 不同煤礦的煤(a， c， e)與矸石(b， d， f)樣品

圖2 可見-近紅外光譜采集系統(tǒng)

采集數(shù)據(jù)前， 將光譜儀和光源預(yù)熱15～20 min待光譜曲線穩(wěn)定后再進(jìn)行采集。 為避免光譜飽和， 采集時積分時間設(shè)置為9 ms， 同時利用平均值采樣法以連續(xù)三次采集取平均的光譜數(shù)據(jù)作為最終數(shù)據(jù)， 以提高數(shù)據(jù)的準(zhǔn)確性。 在室內(nèi)相同環(huán)境下采集樣品的反射光強L， 每個樣品通過翻轉(zhuǎn)采集面采集1～2條光譜， 并在每次連續(xù)采集前利用聚四氟乙烯為材料的標(biāo)準(zhǔn)白板采集白參考Lwhite， 關(guān)閉光源蓋住光纖探頭采集暗參考Lblack。

2.2 光譜預(yù)處理

原始光譜數(shù)據(jù)因受儀器、 采集環(huán)境等影響含有噪聲與冗余信息， 增加數(shù)據(jù)維度的同時， 掩蓋了關(guān)鍵信息。 因此進(jìn)行光譜預(yù)處理， 去除噪聲及冗余信息， 提取特征信息。 根據(jù)實驗原數(shù)據(jù)的特點， 使用以下方法進(jìn)行預(yù)處理。

(1)黑白校正與波段挑選

為減小光照不均與暗噪聲的影響， 參照式(10)對原始樣品數(shù)據(jù)進(jìn)行黑白校正以求得相對反射率R， 并以去除含有大量隨機噪聲的始末波段(369.51～517.69， 859.37～1 049.07 nm)后的反射光譜波段(518.00～857.05 nm)作為后續(xù)預(yù)處理數(shù)據(jù)， 特征維度由2 048降至1 000。

(10)

(2)Savitzky-Golay(SG)卷積平滑

使用Savitzky-Golay(SG)卷積平滑法對反射光譜進(jìn)行去噪， 選擇一次多項式擬合， 窗口設(shè)為29， 即式(11)中w=14。

(11)

式(4)中，k為當(dāng)前波長，hi為平滑系數(shù)， 2w+1為窗口內(nèi)的波長數(shù)。

(3)標(biāo)準(zhǔn)正態(tài)變量變換(SNV)

由于煤矸樣品高度在40～95 mm將引起光程變化， 使用標(biāo)準(zhǔn)正態(tài)變量變換(SNV)來消除煤矸樣品高度變化對反射光譜的影響。 實現(xiàn)公式為式(13)， 使用前將反射光譜單位按式(12)進(jìn)行轉(zhuǎn)換。

A=lg(1/R)

(12)

(13)

在得到預(yù)處理后的光譜曲線后， 根據(jù)同一煤礦煤與矸石反射光譜差異的顯著性， 將樣品劃分為實驗組與測試組。 實驗組煤與矸石的反射光譜差異微小， 用于比較全波段與特征波長光譜下不同模型的表現(xiàn)， 選出最佳的算法； 測試組煤與矸石的反射光譜差異較實驗組明顯， 用于對選出的最佳算法進(jìn)行礦區(qū)適應(yīng)性檢驗。

2.3 XGBoost建模與模型評價指標(biāo)

使用python 3.8.3語言以及XGBoost， Scikit-Learn和Numpy等開源工具包， 在Jupyter notebook編譯器中進(jìn)行建模。 訓(xùn)練集與測試集以7： 3的比例隨機劃分， 通過學(xué)習(xí)曲線與網(wǎng)格搜索對模型超參數(shù)進(jìn)行尋優(yōu)， 同時通過訓(xùn)練集十折交叉驗證平均分類準(zhǔn)確度ACC10對模型超參數(shù)進(jìn)行調(diào)整以避免過擬合， 以期提高測試集的分類準(zhǔn)確度ACC。 為更好的評價模型性能， 加入AUC (area under the curve)值為評價指標(biāo)， 通過上述三個指標(biāo)可以綜合體現(xiàn)模型的穩(wěn)定性與分類能力。

為更好地評價XGBoost模型對可見光-近紅外波段煤矸石分類的性能， 引入k近鄰法(KNN)、 隨機森林(RF)、 支持向量機(SVM)三種分類算法做對比。

2.4 特征選擇算法與簡化模型尋優(yōu)

光譜數(shù)據(jù)雖經(jīng)剔除噪聲波段預(yù)處理， 降低了維度， 但仍為含有冗余信息的多維數(shù)據(jù)。 因此利用特征選擇對光譜數(shù)據(jù)進(jìn)行再次降維， 以降低模型計算量， 縮短模型運行時間， 為進(jìn)一步在線識別研究奠定基礎(chǔ)。 選用遞歸特征選擇算法(RFE)、 連續(xù)投影算法(SPA)和競爭性自適應(yīng)重加權(quán)算法(CARS)進(jìn)行特征選擇， 并基于特征選擇后的波長數(shù)據(jù)建立簡化分類模型， 通過評估模型尋找出最優(yōu)的特征波長選擇與機器學(xué)習(xí)分類算法的組合。

(1)遞歸特征選擇(RFE)

遞歸特征選擇是一種基于模型特征重要性的特征選擇算法， 在每輪迭代時依據(jù)特征重要性排名消除若干末尾特征， 并將包含保留特征的數(shù)據(jù)集作為下一輪的訓(xùn)練樣本， 直至將特征降低到一定維度。 XGBoost模型可以通過特征重要性度量指標(biāo)對特征重要性進(jìn)行排序， 本工作以式(9)中g(shù)ian的歸一化權(quán)重score為度量指標(biāo)作為特征重要性排序依據(jù)， 并通過迭代模型的五折交叉驗證均方根誤差(RMSECV)進(jìn)行最佳特征維度的選擇。

(2)連續(xù)投影算法(SPA)

連續(xù)投影算法的選擇原理為， 從選入某一波長數(shù)據(jù)開始， 循環(huán)計算新選入的特征波長在未選入特征的投影， 將投影向量最大的波長選出， 直至選出的波長數(shù)量達(dá)到設(shè)定值。 為得到最佳的起始波長與選出波長數(shù)量， 利用多元線性回歸分析(MLR)對劃分后的數(shù)據(jù)集進(jìn)行建模， 以測試集均方根誤差(RMSE)為模型評價指標(biāo)， 選出最佳特征波長。

(3)競爭性自適應(yīng)重加權(quán)算法(CARS)

競爭性自適應(yīng)重加權(quán)算法在每次循環(huán)中通過蒙特卡洛采樣法從訓(xùn)練集中選出一定比例樣本建立偏最小二乘(PLS)回歸模型。 以指數(shù)衰減的方式去除回歸系數(shù)較小的特征， 并在達(dá)到蒙特卡洛采樣次數(shù)時停止， 以交叉驗證均方根誤差最小的特征集為最佳特征波長集。 設(shè)定采樣次數(shù)為50， 采樣比例為0.8。

2.5 最佳算法的礦區(qū)適用性檢驗

不同產(chǎn)地的煤與矸石物理與化學(xué)性質(zhì)存在差異， 光譜曲線也存在差異， 選出的最佳算法在單一煤礦樣品分類中的表現(xiàn)存在局限性， 因此有必要對實驗組選出的最佳算法進(jìn)行煤礦適用性檢驗。 通過使用選出的最優(yōu)算法建立測試組全波段以及特征波長光譜的分類模型， 測試模型的性能來檢驗算法的煤礦適用性。

3 結(jié)果與討論

3.1 反射光譜的分組

原始光譜在經(jīng)黑白校正、 波段挑選、 SG卷積平滑與SNV預(yù)處理后， 降低了環(huán)境條件的影響， 并去除了冗余信息， 將特征維度由2 048降至1 000。 圖3為預(yù)處理后的三個煤礦的光譜圖像， 反映出了以下信息：

Ⅰ煤礦煤與矸石的反射光譜曲線整體較相似， 均在619 nm附近出現(xiàn)吸收峰， 750 nm附近出現(xiàn)吸收谷， 但在750～857 nm波段煤與矸石曲線斜率差異明顯。

Ⅱ煤礦煤與矸石反射光譜曲線差異明顯， 煤的光譜曲線在625和820 nm附近出現(xiàn)吸收峰； 矸石的光譜曲線在680 nm附近產(chǎn)生吸收峰， 在730 nm附近出現(xiàn)吸收谷， 另外有部分樣品在825 nm附近出現(xiàn)吸收峰。

Ⅲ煤礦煤與矸石反射光譜曲線差異同樣明顯， 煤的光譜曲線在680和820 nm附近出現(xiàn)吸收峰； 矸石的光譜曲線在680 nm附近出現(xiàn)吸收峰， 736 nm附近出現(xiàn)吸收谷。

依據(jù)三個煤礦煤與矸石樣品反射光譜曲線差異的顯著性， 將差異微小的Ⅰ煤礦樣品作為實驗組， 用于對比不同模型的性能， 挑選最佳算法； 將差異較明顯的Ⅱ與Ⅲ煤礦樣品作為測試組， 用于測試選出的最佳算法的模型性能， 檢驗算法對不同煤礦的適用性。

圖3 Ⅰ: (a)(b), Ⅱ: (c)(d), Ⅲ： (e)(f)煤礦煤與矸石預(yù)處理后的光譜

3.2 基于全波段光譜的煤與矸石XGBoost分類模型

表2為基于實驗組全波段光譜的煤與矸石XGBoost分類模型以及k近鄰法(KNN)、 隨機森林(RF)、 支持向量機(SVM)三種對比算法的模型分類表現(xiàn)， XGBoost表現(xiàn)最佳， ACC10， ACC， AUC分別達(dá)到0.957 2， 0.970 5和0.971 6， 較其他模型有更強的分類能力， 可以穩(wěn)定且準(zhǔn)確地完成煤與矸石的分類。

表2 基于全波段光譜的不同分類模型對比

3.3 基于特征波長的煤與矸石分類模型

為降低光譜數(shù)據(jù)的維度， 縮短模型訓(xùn)練與預(yù)測的時間， 分別使用RFE， SPA和CARS算法對預(yù)處理后的光譜數(shù)據(jù)進(jìn)行特征選擇。

RFE的篩選過程如圖4所示， 特征數(shù)量為9時， RMSECV達(dá)到最小， 挑選出的特征波長為673.15， 689.55， 692.27， 698.72， 699.06， 699.74， 700.41， 704.14和707.18 nm。

圖4 RFE波長篩選過程

SPA的篩選過程如圖5所示， 最佳波長數(shù)為5， 即： 518.00， 588.17， 671.78， 690.56和718.30 nm。

圖5 SPA波長篩選過程

CARS的篩選過程如圖6所示， 在第23次采樣時， RMSECV值最小， 此時的變量子集為最佳特征波長集， 含有61個波長。

圖6 CARS波長篩選過程

將上述三種方法選出的特征波長與四種分類算法兩兩組合建立基于特征波長的煤與矸石分類模型， 經(jīng)測試模型表現(xiàn)如表3所示。

表3 基于特征波長光譜的不同分類模型預(yù)測結(jié)果

首先對比特征波長與全波段光譜數(shù)據(jù)建立的模型分類表現(xiàn)， 基于特征波長的分類模型大多提高了模型的穩(wěn)定性， 并且與測試集下的分類準(zhǔn)確度相近， 并有部分模型準(zhǔn)確度與AUC值有所提升。 可見上述三種特征選擇方法不僅有效地剔除了數(shù)據(jù)中的冗余信息， 而且保留了關(guān)鍵信息， 在降低數(shù)據(jù)復(fù)雜度的同時， 有利于模型更穩(wěn)定地分類。

分別對比四種模型用相同特征選擇算法的模型分類表現(xiàn)可知， 對RFE算法， XGBoost模型較其他三種算法優(yōu)勢明顯； 對SPA算法， XGBoost， RF和SVM分類表現(xiàn)較KNN更好； 對CARS算法， SVM分類效果最優(yōu)， XGBoost次之。 單從模型表現(xiàn)來看， 表現(xiàn)最好的是CARS-SVM， 其次為僅ACC10上略差的RFE-XGB。 但由于CARS選出的特征波長數(shù)量為61， 相比RFE選出的9維特征， 增加了采集、 預(yù)處理以及模型訓(xùn)練時的數(shù)據(jù)復(fù)雜度與處理時間， 對于實際應(yīng)用中要求快速判別的煤與矸石的在線分選， RFE-XGB更合適。 因此以RFE-XGB作為最佳的基于特征波長光譜的分類算法。

3.4 最佳算法的礦區(qū)適用性檢驗

為驗證在實驗組——西銘煤礦煤與矸石樣品全波段和特征波長光譜下選出的表現(xiàn)最好的XGBoost和RFE-XGB算法是否適用于其他礦區(qū)， 分別建立基于測試組——神木與巴隆圖煤礦煤與矸石樣品反射光譜數(shù)據(jù)的XGBoost和RFE-XGB模型。

RFE的波長數(shù)與RMSECV如圖7， 神木與巴隆圖煤礦的最佳特征波長數(shù)分別為3個與7個， 挑選出的特征波長分別為528.12， 534.25， 843.46 nm與706.84， 707.18， 707.51， 709.54， 711.90， 839.98， 851.70 nm。

圖7 測試組的RFE波長篩選過程

模型表現(xiàn)如表4所示， 對于神木與巴隆圖煤礦基于全波段數(shù)據(jù)建立的XGBoost模型表現(xiàn)同樣很好， 準(zhǔn)確率分別達(dá)到1和0.964 2， AUC值達(dá)到1和0.9687， 在測試集中表現(xiàn)出較佳的分類能力， 且ACC10分別達(dá)到0.955 0與0.940 4， 模型也具有較好的穩(wěn)定性。 基于兩礦區(qū)樣品建立RFE-XGB模型較全波段XGBoost模型均顯著提高了模型的穩(wěn)定性， 并且巴隆圖煤礦模型的準(zhǔn)確率與AUC值有了明顯提升， 分類能力更強。 綜上所述， XGBoost與RFE-XGB算法適用于其他礦區(qū)的煤與矸石樣品， 建立的模型與西銘煤礦樣品的模型表現(xiàn)一致， 都具有較強的分類能力與穩(wěn)定性， 并且RFE-XGB模型表現(xiàn)更好。

表4 測試組的模型預(yù)測結(jié)果

4 結(jié) 論

針對同一煤礦黑色背景下不同高度的塊狀煤與矸石的分類問題， 結(jié)合預(yù)處理方法——黑白校正、 始末波段去除、 SG卷積平滑與標(biāo)準(zhǔn)正態(tài)變量變換， 建立了基于XGBoost算法的煤與矸石可見-近紅外光譜分類模型， 得到以下結(jié)論：

(1)基于全波段光譜數(shù)據(jù)的XGBoost模型較KNN， RF和SVM三種常用的分類模型表現(xiàn)更好， 在實驗組下ACC10， ACC， AUC分別為0.957 2， 0.970 5和0.971 6， 具有更強的穩(wěn)定性與分類能力， 可以實現(xiàn)對煤與矸石穩(wěn)定而準(zhǔn)確地分類。

(2)基于特征波長光譜的模型較全波段， 在顯著降低特征維度的同時， 提升了模型的性能， 尤其是模型的穩(wěn)定性。 RFE-XGB模型較其他特征選擇方法與分類模型的組合表現(xiàn)最優(yōu)， 在實驗組下的特征維度、 ACC10， ACC， AUC分別為9， 0.965 7， 0.980 3， 0.980 3， 不僅顯著降低了數(shù)據(jù)復(fù)雜度， 而且提升了模型性能， 更適合于實際煤矸分選短時高效的要求。

(3)基于神木與巴隆圖煤礦煤與矸石建立的XGBoost模型與RFE-XGB模型均與西銘煤礦表現(xiàn)一致， XGBoost模型實現(xiàn)了對煤與矸石較精確的分類， RFE-XGB模型可實現(xiàn)特征降維并提升模型的穩(wěn)定性。 XGBoost與RFE-XGB算法對于不同煤礦的煤與矸石分類具有良好的適用性， 為基于可見-近紅外光譜進(jìn)行煤和矸石分類提供了參考方法。