基于深度學(xué)習(xí)算法的礦巖識別技術(shù)研究

張洪昌，王子介，張振江，荊洪迪，劉偉新，任海龍，何文軒

(1.鞍鋼礦業(yè)有限公司眼前山分公司，遼寧 鞍山市 114000；2.中國科學(xué)院沈陽自動化研究所，遼寧 沈陽 110169)

0 引言

從礦山企業(yè)的角度來說，最重要的兩個方面就是生產(chǎn)和安全，生產(chǎn)關(guān)系到整個企業(yè)的利潤，讓企業(yè)能夠獲得更多的資金進(jìn)行發(fā)展；安全則是保證生產(chǎn)能夠正常進(jìn)行的前提。在鐵礦的生產(chǎn)過程中，尤其是井下生產(chǎn)，如何安全、高效生產(chǎn)是礦山考慮的頭等大事，不同的礦巖條件會帶來兩方面問題：（1）不同的礦巖條件對爆破設(shè)計的裝藥量有很大影響，同樣影響了出礦的截止品位；（2）礦石和圍巖交界的地方結(jié)構(gòu)不穩(wěn)固，為了預(yù)防事故的發(fā)生需要對礦巖交界處進(jìn)行加強支護(hù)。因此，現(xiàn)場及時識別礦巖界限是非常必要的，并且需要能夠搭載在井下便攜設(shè)備上，方便井下施工技術(shù)人員隨時使用。這就需要在樹莓派等移動端處理設(shè)備上搭載訓(xùn)練好的人工智能識別模型。

自從 2015年提出殘差網(wǎng)絡(luò)以來，神經(jīng)網(wǎng)絡(luò)的深度大大增強，圖像識別的精確率不斷上升，更是產(chǎn)生了一系列先進(jìn)的算法，這些算法在各個工程以及民生領(lǐng)域都得到了廣泛的應(yīng)用，但鐵礦行業(yè)目前應(yīng)用還較少。地下礦山的礦巖識別可以看作是單一背景下的圖像識別，在現(xiàn)場采集到大量的學(xué)習(xí)樣本后，可以利用高效的神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行初步的特征提取和特征識別，并適當(dāng)改變圖像環(huán)境光等數(shù)據(jù)，以使模型具有較大的容錯率與識別范圍。模型訓(xùn)練好后引入測試集，對測試集樣本進(jìn)行識別，獲得測試結(jié)果并調(diào)試模型。在現(xiàn)場使用時，識別速度這一因素顯得尤為關(guān)鍵，由于地下礦山環(huán)境的特殊性，需要將結(jié)果快速地提供給現(xiàn)場施工技術(shù)人員，所以選擇了具有很高靈活性的EfficientDet架構(gòu)進(jìn)行訓(xùn)練。整個系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)流程

1 EfficientDet礦巖分類識別

1.1 EfficientDet

EfficientDet是一種具有很高靈活性的深度學(xué)習(xí)框架，根據(jù)參數(shù)的選擇可以將網(wǎng)絡(luò)分為 D0～D7共8個等級。EfficientDet主要由EfficientNet主干特征提取網(wǎng)絡(luò)、BiFPN和prediction net組成，具體如圖2所示。

圖2 模型結(jié)構(gòu)

1.2 EfficientNet主干特征提取網(wǎng)絡(luò)

EfficientNet模型將主流神經(jīng)網(wǎng)絡(luò)的3個優(yōu)點結(jié)合起來。（1）利用殘差神經(jīng)網(wǎng)絡(luò)增加主干特征提取網(wǎng)絡(luò)的深度，加強特征提取。（2）增加每一層提取的特征層數(shù)，實現(xiàn)更多層的特征提取。（3）通過增大輸入圖像的分辨率來增加網(wǎng)絡(luò)在圖片中所獲得的物體細(xì)節(jié)信息和語義信息，增加識別效率。EfficientNet模型相比于其他主流神經(jīng)網(wǎng)絡(luò)將這3個優(yōu)點又結(jié)合起來，通過一起縮放baseline模型，同時調(diào)整深度、寬度及輸入圖片的分辨率，完成一個優(yōu)秀的網(wǎng)絡(luò)設(shè)計。

EfficientNet主干特征提取網(wǎng)絡(luò)主要由 1個Stem結(jié)構(gòu)塊與 16個大 Blocks結(jié)構(gòu)塊堆疊構(gòu)成，Blocks是由Block結(jié)構(gòu)塊堆疊而成。Block的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其總體的設(shè)計思路是 Inverted residuals結(jié)構(gòu)和殘差結(jié)構(gòu)，在3×3或者5×5卷積前利用1×1卷積升維并對通道添加了注意力機(jī)制，最后利用1×1卷積降維后增加一個大殘差邊。

圖3 MBConBlocks結(jié)構(gòu)塊

1.3 BiFPN特征提取網(wǎng)絡(luò)

BiFPN為復(fù)雜雙向融合，這種融合模式將淺層網(wǎng)絡(luò)的圖片細(xì)節(jié)特征和深層網(wǎng)絡(luò)的語義特征不斷進(jìn)行上下采樣并堆疊，構(gòu)建了一個多尺度復(fù)融合和一個雙向復(fù)雜的特征提取網(wǎng)絡(luò)，并提出模型的復(fù)合尺度融合變換方法，選擇不同適配不同計算資源的多級別神經(jīng)網(wǎng)絡(luò)，見表1。

EfficientNet特征提取網(wǎng)絡(luò)需要進(jìn)行一系列的上采樣和下采樣，獲得最后的輸出值 P3_out、P4_out、P5_out 、P6_out、P7_out輸入 Class prediction net以及 Box prediction net并進(jìn)行最終的預(yù)測。如圖4所示，EfficientDet-D0則重復(fù)圖片紅色虛線框選部分一次，D1則2次并依次類推。

圖4 BiFPN結(jié)構(gòu)

2 試驗與結(jié)果分析

2.1 數(shù)據(jù)集準(zhǔn)備

在試驗數(shù)據(jù)集準(zhǔn)備方面，選取了磁鐵礦和赤鐵礦的礦石以及對應(yīng)的兩種圍巖，共4個類別的礦巖圖像作為原始數(shù)據(jù)，數(shù)據(jù)大部分為現(xiàn)場和試驗室獲得，小部分為網(wǎng)絡(luò)圖片爬取。具體為磁鐵礦114張、磁鐵礦圍巖123張、赤鐵礦119張、赤鐵礦圍巖120張，另有礦巖混合圖片89張，共計565張，對所有圖片進(jìn)行標(biāo)注生成原始數(shù)據(jù)集，部分?jǐn)?shù)據(jù)集情況見表2。

表2 部分?jǐn)?shù)據(jù)集

深度學(xué)習(xí)識別模型的應(yīng)用場景主要分為露天礦礦巖識別和地下礦礦巖識別。對于露天開采來說，搭載識別模型的設(shè)備，使用時光線較為充足。但對于地下礦山來說，設(shè)備使用時，大概率會出現(xiàn)設(shè)備補光不足的情況，在這種情況下會產(chǎn)生顯著的噪聲影響，影響模型識別的準(zhǔn)確率。本文主要從兩個方面來解決這個問題：（1）在使用常規(guī)剪切、旋轉(zhuǎn)、縮放等數(shù)據(jù)增強操作后，對比現(xiàn)場拍攝的圖片上的噪聲，人為對所有圖像添加0.05以及0.1小幅度的椒鹽噪聲；（2）在模型應(yīng)用前，對拍攝的圖像以及視頻進(jìn)行圖像預(yù)處理操作，在對比中值濾波、均值濾波和均值濾波后，選擇效果較好的中值濾波對輸入模型的圖像進(jìn)行去噪操作。最終，將565張圖片擴(kuò)充到2825張。數(shù)據(jù)集按照85%作為訓(xùn)練集、5%作為驗證集、10%作為測試集進(jìn)行使用，測試集包括多段現(xiàn)場拍攝視頻。

2.3 試驗進(jìn)行與結(jié)果分析

為了保證前期的模型訓(xùn)練效率與后期的地下礦現(xiàn)場識別速度，模型訓(xùn)練采用高性能計算機(jī)，在python3.7版本下使用Tensorflow2.2對EfficientDet進(jìn)行構(gòu)建。整個訓(xùn)練過程總共分為100 epoch，前50 epoch采用1e-3學(xué)習(xí)率，后50 epoch采用5e-5學(xué)習(xí)率，在訓(xùn)練過程中采用遷移學(xué)習(xí)的思想，減少訓(xùn)練迭代的時間。

為了實現(xiàn)該模型訓(xùn)練與識別的最優(yōu)化，本文使用YOLOv4、SSD、Faster-RCNN以及EfficientDet-D0、EfficientDet-D1進(jìn)行測試對比，使用測試的平臺為 Latte Panda 4 GB/64 GB，測試結(jié)果對比見表3。

表3 算法測試對比

在對比算法中EfficientDet-D0單項參數(shù)的數(shù)值都不是最高的，但綜合所有參數(shù)證明 EfficientDet-D0是最優(yōu)選擇。采用Early Stopping控制迭代在第89 epoch提前終止，loss值最終為10.1，loss迭代曲線如圖5所示。

圖5 loss迭代

最終，利用提前準(zhǔn)備的地下礦礦巖測試數(shù)據(jù)集對模型進(jìn)行測試，測試結(jié)果如圖5所示，所訓(xùn)練的神經(jīng)模型能夠有效地對不同種類的礦石和圍巖進(jìn)行分類，對于單張圖片，不論是單一種類還是多種類識別，正確識別的概率都超過96%，說明模型具有很好的魯棒性和泛化性，識別結(jié)果如圖6所示。

圖6 礦巖測試識別結(jié)果

3 結(jié)論

（1）EfficientDet-D0對于礦石圍巖可以進(jìn)行較為準(zhǔn)確的分類判斷，在加入遷移學(xué)習(xí)的思想后，訓(xùn)練的時間大大降低；

（2）EfficientDet-D0相比于其他算法更具有靈活性，可以在不同的硬件條件下選擇不同等級的網(wǎng)絡(luò)，減少設(shè)備更換造成的浪費和再次訓(xùn)練的成本；

（3）模型樣本量少、測試所用單片機(jī)攝像頭參數(shù)不同、燈光補光程度不一都會使模型的準(zhǔn)確率降低2～8個百分點；

（4）利用本文模型可以輔助現(xiàn)場確定礦巖條件，優(yōu)化爆破裝藥方式以及預(yù)防事故進(jìn)行加強支護(hù)；

最終在 Latte Panda 4 GB/64 GB 平臺測試正確率可以達(dá)到96%，對于單張圖片處理基本上可以作為1～2 s得出結(jié)果。綜合所有測試，充分證明了本模型對于礦石圍巖的識別具有較好的魯棒性和泛化性，又可以根據(jù)不同設(shè)備搭載選擇不同等級的網(wǎng)絡(luò)，充分利用現(xiàn)有的資源。