基于目標(biāo)檢測網(wǎng)絡(luò)的煤矸石識別

高新宇， 李 博， 王璐瑤， 李廉潔， 王學(xué)文

(太原理工大學(xué)機械與運載工程學(xué)院； 煤礦綜采裝備山西省重點試驗室， 山西太原 030024)

在未來的一段時間內(nèi)，國內(nèi)煤炭在一次能源消費中仍將占主導(dǎo)地位?！睹禾壳鍧嵏咝Ю眯袆佑媱?2015—2020)》明確提出：截止到2020年，中國煤炭行業(yè)的原煤洗選率將達到80%以上[1]，而在原煤入洗之前，需要將原煤中難以破碎的矸石進行分選。傳統(tǒng)的分選由人工完成，存在著分選效率低、精度差以及對工人身體危害較大的問題[2]，故研發(fā)一套智能的、高精度的煤矸石分選系統(tǒng)就顯得非常必要。

目前已投入使用的分選系統(tǒng)是利用射線對煤和矸石穿透力不同的原理進行分選的，主要有X射線識別[3]、γ射線識別[4]等。該類方法雖識別速度快，但存在著輻射、對粒徑較大的煤矸石穿透力弱的問題。隨著近年來機器視覺及相關(guān)算法的不斷發(fā)展，基于圖像處理的煤矸石識別研究成為該方向的重點[5-6]。相關(guān)研究人員采用數(shù)字圖像處理的方式人工提取煤矸石特征，再結(jié)合支持向量機的方法對特征進行訓(xùn)練以識別煤與矸石[7-9]，但目前還沒有找到一個魯棒的煤矸石特征提取算法。

自2012年以來以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法在圖像識別領(lǐng)域展示出強大的潛力，現(xiàn)在已在各個行業(yè)得到了廣泛應(yīng)用[10-11]。 徐志強等[12]采用各種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型對煤和矸石的圖像進行了分類，并對模型進行了優(yōu)化和壓縮。Gao等[13]對采集的60張圖片在U-net網(wǎng)絡(luò)下進行了訓(xùn)練和測試，并且實現(xiàn)了煤矸石的定位和分類，驗證集的準(zhǔn)確率達到93.0%；Li等[14]提出了一個基于深度學(xué)習(xí)模型的層次化煤矸石檢測框架，實現(xiàn)了單幅圖像中多個目標(biāo)的檢測。以上研究中的深度學(xué)習(xí)模型均沒有部署，僅通過驗證集對模型進行了評估。

本文中在實驗室按照實際工況搭建了煤矸石分選平臺，基于HALCON軟件(版本19.11)使用搭建的深層目標(biāo)檢測網(wǎng)絡(luò)對煤矸石進行了識別與定位，并在煤矸石分選平臺上進行了動態(tài)測試。

1 煤矸石分選平臺的搭建與數(shù)據(jù)集采集

1.1 煤矸石分選平臺

搭建的煤矸石分選平臺如圖1所示。 該平臺由帶式輸送機、 物料排隊機構(gòu)、 圖像識別系統(tǒng)以及分選機構(gòu)組成。 其中， 帶式輸送機的帶長為4 m， 帶寬為800 mm， 可在速度為0～2 m/s的范圍內(nèi)調(diào)速。 圖像識別系統(tǒng)由計算機、 工業(yè)相機以及光源組成。 工業(yè)相機采用LA-GM-02K08A-00-R線掃描相機(加拿大Dalsa)， 像素為2 048的分辨率滿足了準(zhǔn)確提取煤矸石紋理特征的清晰度， 最高可達80 kHz的行頻和千兆以太網(wǎng)的通信接口確保了整個識別系統(tǒng)采集和傳輸數(shù)據(jù)的實時性， 鏡頭選用Componon 2.8/35-0001定焦鏡頭(法國施耐德)， 該鏡頭搭配相機在滿足分選平臺安裝要求的情況下， 能在一定的噪音和振動下長時間穩(wěn)定成像。為了增加圖像中煤和矸石的對比度，采用了照度可調(diào)的高均勻LED線性光源(LTS-2LINS1000-W)，避免了在采集圖像的過程中由于照度變化而出現(xiàn)的煤矸石圖像特征差異不明顯的情況。

圖1 煤矸石分選平臺Fig.1 Coal and gangue separation platform

在采集煤矸石圖像以及進行動態(tài)識別試驗時， 模擬煤礦手選帶式輸送機工況， 將帶速設(shè)置為0.4 m/s， 匹配帶速的相機采集行頻設(shè)置為2 000 Hz，采集的圖像大小設(shè)置為2 048像素×1 000像素；將相機安裝于帶式輸送機上方1 000 mm處，并通過光源控制器將采集區(qū)域的光照強度調(diào)整為350 lux；為了貼近實際的煤矸分選現(xiàn)場，本文中還將煤和矸石樣本隨機擺放于物料排隊機構(gòu)前端，經(jīng)過排隊的煤矸石被有序的排為3列，便于后續(xù)圖像的采集識別和分選機構(gòu)的分選。

1.2 數(shù)據(jù)集

山西省一直是我國最重要的煤礦生產(chǎn)地，本文中將山西省西山礦區(qū)的煤矸石作為試驗樣本。由于煤矸初選是針對原煤而言，原煤粒徑一般在300 mm以下，因此由輸送機輸送到選煤廠的原煤的粒徑分布具有隨機性，這與煤礦的地質(zhì)條件、采煤機截割策略等眾多因素有關(guān)。煤矸在初步分選時的粒徑在50～300 mm之間，所以本文中采集1 000張圖像時，隨機選取50～300 mm粒徑的煤矸石作為樣本。為了使網(wǎng)絡(luò)達到更好的訓(xùn)練效果，剔除了質(zhì)量較差的圖像，選取了其中716張作為數(shù)據(jù)集，數(shù)據(jù)集包含有單塊煤矸石圖像和多塊煤矸石圖像。采集的各類圖像的具體數(shù)量如表1所示。

表1 數(shù)據(jù)集的構(gòu)成

2 目標(biāo)檢測網(wǎng)絡(luò)

目標(biāo)檢測是計算機視覺的一個重要分支，用來估計特定類型目標(biāo)出現(xiàn)在圖像的哪些位置[15]，與傳統(tǒng)淺層學(xué)習(xí)相比，該類網(wǎng)絡(luò)可實現(xiàn)端到端的識別，不足之處是所需數(shù)據(jù)集大且需人工標(biāo)注、網(wǎng)絡(luò)模型構(gòu)建復(fù)雜、訓(xùn)練時間較長。此外，目標(biāo)檢測網(wǎng)絡(luò)自動提取特征的方式可在實際工況下提取各種有效特征，避免了傳統(tǒng)淺層學(xué)習(xí)需要一個魯棒的特征提取算法的局限性，故本文中使用該類網(wǎng)絡(luò)進行煤矸的識別及定位研究。

2.1 標(biāo)注數(shù)據(jù)集

在煤矸分選平臺上采集的煤矸石圖片如圖2 a)所示，用HALCON標(biāo)注助手對716張煤矸石圖像進行標(biāo)注，生成數(shù)據(jù)集，如圖2 b)所示；此數(shù)據(jù)集中圖像大小為2 048像素×1 000像素，為了節(jié)約計算成本，減少模型的訓(xùn)練時間，將數(shù)據(jù)集中的圖像壓縮為512像素×384像素；由于目標(biāo)檢測網(wǎng)絡(luò)模型需要優(yōu)化大量的參數(shù)，因此為了豐富數(shù)據(jù)集，降低過擬合風(fēng)險，對數(shù)據(jù)集進行了鏡像操作，在每一次迭代中由行、列的鏡像軸隨機組合鏡像。

圖2 數(shù)據(jù)集Fig.2 Date set

2.2 目標(biāo)檢測網(wǎng)絡(luò)的搭建

現(xiàn)有的研究中使用的煤矸識別深度網(wǎng)絡(luò)模型大多數(shù)是基于已有模型(VGG-16、 LeNet)針對具體的煤矸石數(shù)據(jù)集進行1層或2層的改變，且完成的是分類任務(wù)，并沒有對圖像中煤矸石的具體位置進行定位?？紤]到實際煤礦中煤矸石分選工況以及深度學(xué)習(xí)模型的部署，本文中基于HALCON軟件搭建了目標(biāo)檢測網(wǎng)絡(luò)，具體結(jié)構(gòu)如圖3 a)所示，Block結(jié)構(gòu)包含3個卷積層和1個深度連接層，如圖3 b)所示。該網(wǎng)絡(luò)由3部分組成，第1部分為骨干網(wǎng)絡(luò)，采用HALCON預(yù)訓(xùn)練網(wǎng)絡(luò)，主要由Block結(jié)構(gòu)組成，目的是生成具有高低層次信息的煤矸石特征圖；第2部分采用特征金字塔，對第1部分不同維度的特征圖進行連接并生成新的特征圖。由于粒徑為50～300 mm的煤矸石在圖像中所占比例在一定范圍內(nèi)，故建立了3個尺度的特征金字塔，尺度分別為16×12、 32×24、 64×48，負責(zé)檢測大目標(biāo)、中目標(biāo)、小目標(biāo)的特征；第3部分為預(yù)測網(wǎng)絡(luò)，由定位和分類子網(wǎng)絡(luò)組成，預(yù)測網(wǎng)絡(luò)對3個尺度特征圖中的目標(biāo)進行定位和分類(分別為Bboxhead1、Classhead1、Bboxhead2、Classhead2、Bboxhead3、Classhead3)，根據(jù)煤矸石的形狀、大小特征，將定位時錨(參考框)的高寬比設(shè)為0.5、0.8、1.2、1.8，使得定位子網(wǎng)絡(luò)能夠?qū)γ喉肥M行更加準(zhǔn)確的定位。由圖3可知，由于采用了不同的卷積核(如Block結(jié)構(gòu))，網(wǎng)絡(luò)會自動學(xué)習(xí)更加有效的特征，大大增加了訓(xùn)練時的收斂速度[16]，且采用的特征金字塔結(jié)構(gòu)確保了網(wǎng)絡(luò)可以提取圖像中不同粒徑的煤矸石特征，3個不同尺度金字塔的連接也使網(wǎng)絡(luò)在識別和定位煤矸時充分應(yīng)用了骨干網(wǎng)絡(luò)所生成的高低層次信息的特征圖。

圖3 目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Object detection network structure

2.3 網(wǎng)絡(luò)訓(xùn)練配置

為了便于在煤矸分選平臺進行圖像采集以及動態(tài)的識別試驗，在一臺CPU為i5-6200U，GPU為NVDIA GeForce940M，內(nèi)存為8GB DDR3的PC上對目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練集和驗證集的比例為8∶2，迭代次數(shù)設(shè)置為90，由于該網(wǎng)絡(luò)模型較大，為了防止過擬合，在訓(xùn)練中設(shè)置了改變學(xué)習(xí)率的策略，初始的學(xué)習(xí)率設(shè)置為0.000 55，在訓(xùn)練到第45輪時，將學(xué)習(xí)率改變?yōu)?.000 055。由于計算機的配置有限，故在多次訓(xùn)練的情況下平均耗時約為2.5 h。

2.4 評估方法

本文中使用mAP(mean average precision)指標(biāo)對目標(biāo)檢測模型進行評價，mAP可以衡量一幅圖像中煤和矸石分類和定位的準(zhǔn)確性，是煤和矸石2類平均精度的均值,其根據(jù)精確度和召回率曲線得出，其中，精確度(Jpre)和召回率(Zrec)的計算公式為

(1)

(2)

式中：Tpos(true positive)為目標(biāo)的真實標(biāo)簽與模型預(yù)測一致的數(shù)量；Fpos(false positive)表示識別目標(biāo)時受分類錯誤、 定位不準(zhǔn)確以及背景影響的圖片數(shù)量；而Tpos+Fneg(false negative)則表示數(shù)據(jù)集中目標(biāo)的總數(shù)量。

Tpos的數(shù)量直接與IOU(intersection-over-union)的閾值相關(guān)，而IOU是度量圖像中預(yù)測矩形框與真實矩形框相似程度的指標(biāo)，即預(yù)測框與真實框的交集與并集之比，取值范圍在0～1之間，IOU越接近1，說明模型對煤和矸石的定位效果越好，其計算公式為

(3)

式中參數(shù)所表述含義與上述一致。

為了更好地評估模型，設(shè)置了0.5、 0.55、 0.6、 0.65、 0.7、 0.75、 0.8、 0.85、 0.9、 0.95 共10個IOU閾值測試模型，并比較了不同IOU閾值下煤和矸石的平均精度，得出了滿足實際工況下的IOU閾值和IOU對應(yīng)的煤矸識別的準(zhǔn)確率和召回率。

3 網(wǎng)絡(luò)的訓(xùn)練與結(jié)果分析

1)在對目標(biāo)檢測網(wǎng)絡(luò)進行多次訓(xùn)練后，選取訓(xùn)練及驗證結(jié)果最佳的網(wǎng)絡(luò)模型用于評估和分析。圖4 a)為網(wǎng)絡(luò)的訓(xùn)練損失曲線圖。由圖可以看出，模型在訓(xùn)練迭代50次左右后已經(jīng)收斂，損失值一直保持在0.1以下。圖4 b)所示為訓(xùn)練過程中該模型的mAP和學(xué)習(xí)率改變的折線圖，在0～40次的訓(xùn)練中，mAP折線圖穩(wěn)定上升，在第50～90次時，一直穩(wěn)定在0.8左右。

2)使用驗證集(包含75張煤的和60張矸石的圖片)對該模型進行驗證，并得出了驗證集在10個不同IOU閾值下的平均精度AP(average precision)，如圖5所示。

a)訓(xùn)練損失b)mAP折線圖圖4 模型的訓(xùn)練結(jié)果Fig.4 Training results of model

圖5 煤和矸石在不用IoU下的AP折線圖Fig.5 AP broken line diagram of coal and gangue

從總體趨勢上看，矸石的AP始終大于煤，這可能由于圖片背景特征與煤更加接近，影響了網(wǎng)絡(luò)模型對煤的定位和識別，此外，隨著IOU閾值的增加，煤和矸石的AP在IOU為0.8之前穩(wěn)定在0.9～1，在IOU為0.8之后快速減小。這是因為在實際的煤矸識別過程中，預(yù)測框與真實框大多數(shù)不會完全重合。

圖6為預(yù)測框與真值的對比，預(yù)測框為網(wǎng)絡(luò)預(yù)測的目標(biāo)位置，真值為紫色和紅色背景，即數(shù)據(jù)集標(biāo)注的目標(biāo)準(zhǔn)確位置，二者重合度越高，預(yù)測越準(zhǔn)確；定位誤差主要與數(shù)據(jù)集特性、網(wǎng)絡(luò)結(jié)構(gòu)以及訓(xùn)練設(shè)置的超參數(shù)有關(guān)。由于分選系統(tǒng)對目標(biāo)進行分選時允許存在定位誤差，因此只要將IOU限定在某一閾值之上即可。

圖6 預(yù)測框與真值的對比Fig.6 Comparison of prediction box and real box

綜合考慮到分選時的煤矸石粒徑(50～300 mm)、煤和矸石的AP以及機械手或氣閥分選的定位精度要求，最終將IOU閾值設(shè)置為0.8，此時驗證集的mAP為0.913。表2為IOU為0.8時，驗證集的混淆矩陣。由表可得，若針對矸石，60張矸石圖片被正確識別58張，其余2張受到定位和背景的影響，模型沒有正確識別。

表2 驗證集的混淆矩陣

3)在煤矸分選平臺上進行實時的識別定位測試，分選平臺工作1 h，煤矸石的識別定位結(jié)果如表3所示，識別試驗如圖7所示?？梢钥闯?，測試的煤和矸石的精確度和召回率均達到了95%以上，均高于目標(biāo)檢測網(wǎng)絡(luò)在驗證集的表現(xiàn)，證明該網(wǎng)絡(luò)的泛化能力良好，可為分選平臺在選煤廠的使用提供重要的參考。

表3 目標(biāo)檢測網(wǎng)絡(luò)動態(tài)測試結(jié)果

圖7 煤矸分選平臺識別試驗Fig.7 Identification test of separation platform

表4為用于煤矸識別的深度學(xué)習(xí)方法比較，與已有深度學(xué)習(xí)方法相比，本文中的目標(biāo)檢測網(wǎng)絡(luò)研究更加突出實際工況下的分選應(yīng)用。首先，數(shù)據(jù)集不僅僅包含單塊煤或矸石，還包含多塊煤矸石混雜的圖片， 50～300 mm的煤矸石粒徑更加貼近分選現(xiàn)場工況；其次，搭建了能夠反映煤矸石圖片中不同層級信息的特征金字塔網(wǎng)絡(luò)，使得該網(wǎng)絡(luò)可以準(zhǔn)確識別和定位50～300 mm的煤矸石，且可直接部署進行現(xiàn)場測試；最后，在評估模型時考慮到分選煤矸石時對于定位精度的要求，將IOU設(shè)定為0.8，并在搭建的煤矸分選平臺上進行了實時地、動態(tài)地測試。

表4 深度學(xué)習(xí)方法比較

4 結(jié)論

1)50～300 mm的煤矸石粒徑以及含有多目標(biāo)的數(shù)據(jù)集更加貼近實際分選工況，此外，通過對比煤和矸石不同IOU下的AP值，得出IOU為0.8時，模型的分類和定位效果最好。

2)在煤矸分選平臺的動態(tài)測試中，具有3個不同特征提取尺度的目標(biāo)檢測網(wǎng)絡(luò)在滿足定位精度的前提下(IOU為0.8)，煤矸的精確度和召回率均達到了95%以上。本文中搭建的目標(biāo)檢測網(wǎng)絡(luò)具有在環(huán)境較復(fù)雜的工況下實現(xiàn)高準(zhǔn)度識別和高精度定位的潛力，可為選煤廠的實際應(yīng)用提供重要參考。