基于改進(jìn)Faster R-CNN的綜放煤矸混合放出狀態(tài)識(shí)別方法

單鵬飛，孫浩強(qiáng)，來(lái)興平，朱興攀,3，楊建輝，高健銘

(1. 西安科技大學(xué) 能源學(xué)院,陜西 西安 710054; 2. 西安科技大學(xué) 教育部西部礦井開(kāi)采及災(zāi)害防治重點(diǎn)實(shí)驗(yàn)室,陜西 西安 710054; 3. 陜西陜煤榆北煤業(yè)有限公司,陜西 榆林 719000; 4. 陜西陜煤曹家灘礦業(yè)有限公司,陜西 榆林 719000)

煤炭依舊是我國(guó)能源安全的壓艙石，并在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)發(fā)揮巨大的作用，2050年前以煤炭為主導(dǎo)的能源結(jié)構(gòu)難以改變。實(shí)現(xiàn)煤炭行業(yè)的高質(zhì)量發(fā)展成為了必須實(shí)現(xiàn)的任務(wù)，而智能化發(fā)展是核心方向之一。我國(guó)厚煤層儲(chǔ)量豐富，煤炭資源已探明儲(chǔ)量中厚煤層儲(chǔ)量約占44%，智能化綜放開(kāi)采方法是我國(guó)厚煤層未來(lái)實(shí)現(xiàn)高效高產(chǎn)的主要技術(shù)途徑，但綜采放頂煤開(kāi)采過(guò)程中頂煤與矸石混合流動(dòng)放出是無(wú)法避免的，亟需實(shí)現(xiàn)放煤過(guò)程智能監(jiān)測(cè)，提高綜放采出率、提升放出煤質(zhì)。因此，綜放煤矸混合放出狀態(tài)分析識(shí)別方法已成為智能化綜放開(kāi)采領(lǐng)域研究熱點(diǎn)之一。

近年來(lái)，國(guó)內(nèi)外學(xué)者在煤矸混合狀態(tài)分析識(shí)別方法方面取得了較多的研究進(jìn)展。王家臣等針對(duì)精準(zhǔn)快速識(shí)別混矸率與適應(yīng)惡劣環(huán)境方面存在的技術(shù)難題，建立了輕量級(jí)的放頂煤工作面矸石識(shí)別及邊界測(cè)量模型，提出了快速寫(xiě)意重建和精準(zhǔn)重建等2種煤矸塊體三維重建方法，并結(jié)合Retinex等去粉塵算法最終形成了“三位一體”夾矸智能識(shí)別技術(shù)，對(duì)放煤過(guò)程存在的夾矸實(shí)現(xiàn)了精準(zhǔn)識(shí)別；伍云霞等基于曲線變換提取煤矸石圖像的邊緣特征，并訓(xùn)練基于支持向量機(jī)的分類器來(lái)識(shí)別煤與矸石；孫繼平等提出了一種基于二元交叉對(duì)角線紋理矩陣的煤矸石圖像特征提取和識(shí)別方法，以此來(lái)分類煤與矸石；XUE等通過(guò)分析煤矸圖像的灰度直方圖的差異性來(lái)分類煤與矸石；張強(qiáng)等通過(guò)主動(dòng)激勵(lì)紅外熱成像技術(shù)來(lái)開(kāi)展煤巖界面的研究。以上研究對(duì)于煤矸石識(shí)別過(guò)程均采用偏向理想化試驗(yàn)環(huán)境，對(duì)放頂煤的煤矸識(shí)別現(xiàn)場(chǎng)應(yīng)用指導(dǎo)仍存不足。袁源等在綜采工作面設(shè)計(jì)感應(yīng)尾梁來(lái)收集放頂煤信號(hào)數(shù)據(jù)集，建立放頂煤聲信號(hào)分類樣本庫(kù)，利用機(jī)器學(xué)習(xí)分類方法進(jìn)行煤矸石下落信號(hào)特征提取與分類；宋慶軍等提出了一種基于一維卷積的頂煤矸下落聲音特征融合分類方法來(lái)進(jìn)行煤矸聲音分類，以此來(lái)進(jìn)行煤矸下落分類。以上研究對(duì)放頂煤開(kāi)采下落過(guò)程不僅含有煤矸石聲音，還夾雜著機(jī)器轟鳴等額外條件，從而引起分類誤差等問(wèn)題；于騰飛等利用差分盒維法通過(guò)對(duì)煤矸石的分形維數(shù)進(jìn)行比較甄別，其開(kāi)采現(xiàn)場(chǎng)震蕩灰塵較大，分辨成功率偏低；秦小衛(wèi)等基于相位一致性的邊緣檢測(cè)法，采用基于梯度邊緣提取算子進(jìn)行特征提取，其受煤泥覆蓋污染嚴(yán)重影響，煤矸邊緣差異不清晰，分辨成功率較低；徐志強(qiáng)等基于ResNet等經(jīng)典網(wǎng)絡(luò)與SqueezeNet等先進(jìn)輕量級(jí)網(wǎng)絡(luò)建立了煤矸圖像識(shí)別模型，分析了各模型的訓(xùn)練收斂情況，同時(shí)準(zhǔn)確捕捉煤與矸石由于硬度不同所產(chǎn)生的輪廓、紋理、表面平整度等差異；華同興等采用了一種基于機(jī)器深度學(xué)習(xí)Faster R-CNN的煤巖識(shí)別方法，實(shí)現(xiàn)了煤巖圖像中煤層和巖層的識(shí)別和定位，為采煤機(jī)滾筒在空間位置上的自動(dòng)調(diào)整提供依據(jù)；綜上所述，圖像識(shí)別方法在煤矸智能識(shí)別方面具有較大前景，應(yīng)重點(diǎn)研究工作面粉塵濃度等因素對(duì)識(shí)別精度以及效果的影響。

筆者提出了一種改進(jìn)實(shí)時(shí)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的煤矸混合放出狀態(tài)分析識(shí)別方法，構(gòu)建了粉塵環(huán)境下綜放開(kāi)采煤矸混合放出狀態(tài)模擬試驗(yàn)平臺(tái)，模擬綜采工作面粉塵環(huán)境，采集煤矸運(yùn)動(dòng)圖像數(shù)據(jù)；引入預(yù)處理方法研究粉塵環(huán)境處理前后對(duì)于識(shí)別效果的影響；采用CBAM對(duì)經(jīng)典模型網(wǎng)絡(luò)中的權(quán)重關(guān)注點(diǎn)進(jìn)行優(yōu)化處理，定量研究了權(quán)重優(yōu)化以及粉塵環(huán)境處理對(duì)煤矸下落識(shí)別的影響，揭示了“預(yù)處理+CBAM Faster R-CNN”識(shí)別方法對(duì)煤矸混合放出狀態(tài)識(shí)別的分類依據(jù)，為實(shí)現(xiàn)綜放開(kāi)采放煤量的智能監(jiān)測(cè)提供了可靠理論支撐。

1 改進(jìn)實(shí)時(shí)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)算法

1.1 Faster R-CNN算法

目標(biāo)檢測(cè)是圖像視覺(jué)領(lǐng)域的基本任務(wù)之一。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，目標(biāo)檢測(cè)算法也從傳統(tǒng)的人工特征提取算法發(fā)展到基于深度卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)技術(shù)。隨著該技術(shù)的快速發(fā)展，從最初的深度卷積神經(jīng)網(wǎng)絡(luò)、R-CNN、Fast R-CNN、RFCN、Mask R-CNN、YOLO、SSD到Faster R-CNN，這些算法在目標(biāo)檢測(cè)數(shù)據(jù)集上的檢測(cè)效果和性能都很出色。其中，F(xiàn)aster R-CNN是由何凱明等在R-CNN基礎(chǔ)上提出的Two-stage目標(biāo)檢測(cè)算法。與傳統(tǒng)CNN算法相比，該算法提出了RPN候選框生成算法，使得目標(biāo)檢測(cè)的速度得到了很大提高。

圖1為Faster R-CNN算法以煤矸混合介質(zhì)為分類目標(biāo)的檢測(cè)流程示意，為T(mén)wo-stage檢測(cè)框架，具體流程包括：

(1)輸入圖像，進(jìn)行主干網(wǎng)絡(luò)特征提取，經(jīng)過(guò)Extract Features得到共享特征層Feature Maps；

(2)將共享特征層分為2部分，一部分作為RPN網(wǎng)絡(luò)的輸入用來(lái)在特征圖上產(chǎn)生候選框預(yù)測(cè)區(qū)域，另一部分用來(lái)產(chǎn)生感興趣框RoI Pooling層；

(3)利用多重分類回歸和邊框回歸得到Classification。

圖1 Faster R-CNN檢測(cè)框架Fig.1 Faster R-CNN detection framework

1.2 圖像特征提取原理

卷積神經(jīng)網(wǎng)絡(luò)由堆積的卷積層、池化層、全連接層以及激活函數(shù)組成。首先，在卷積層中圖像與卷積核反復(fù)作用并自動(dòng)調(diào)節(jié)卷積核的權(quán)值，經(jīng)反復(fù)測(cè)試及驗(yàn)證，最終得到該圖像特征的卷積核權(quán)值；其次，由于卷積層在圖像特征提取過(guò)程中不僅只有1個(gè)，故多個(gè)卷積核造成的多重參數(shù)冗余現(xiàn)象將采用池化層減少。池化操作如圖2所示，示意窗口大小為2×2，步長(zhǎng)為2。池化窗口從特征圖中獲取最大/平均元素，利用降低維度的方式不僅解決了卷積核參數(shù)過(guò)多的情況，而且保留了重要信息。最后利用全連接層將局部特征全連接以構(gòu)建分類器，具體如圖3所示。

圖2 池化操作過(guò)程Fig.2 Pooling operation process

圖3 基于煤矸圖像分類的卷積特征求解Fig.3 Solving convolution features based on coal-gangue mass image classification

筆者以后續(xù)模擬試驗(yàn)所得圖像為例，其中三角形代表矸石，矩形代表煤，將2類目標(biāo)中卷積核計(jì)算所得全部特征權(quán)值連接作為分類器，連接S4：Feature maps中的所有卷積核特征至C5中，共連接120個(gè)卷積核，以三角形、矩形構(gòu)成2個(gè)分類器，最終根據(jù)構(gòu)建分類器可以實(shí)現(xiàn)在圖像中識(shí)別出2類目標(biāo)。

1.3 注意力機(jī)制

注意力機(jī)制(Convolutional Block Attention Module,CBAM)包含通道注意力模塊和空間注意力模塊2部分(圖4)，即輸入的特征圖∈××，通過(guò)一維通道注意力矩陣C××和二維空間注意力矩陣∈××串行計(jì)算，得到輸出特征″，即

′=()?

(1)

″=(′)?′

(2)

式中，為特征輸入；′為特征輸入經(jīng)過(guò)通道注意模塊輸出的特征；″為經(jīng)過(guò)注意力機(jī)制最終輸出的特征；()，()分別為通道注意力模塊和空間注意力模塊的權(quán)重系數(shù)矩陣。

圖4 卷積特征提取網(wǎng)絡(luò)的注意力機(jī)制框架Fig.4 Attention mechanism framework of convolutional feature extraction network

圖4中包含通道注意力模塊子圖和空間注意力模塊子圖。其作用流程為：① 將輸入煤矸特征經(jīng)過(guò)Global Max Pooling和Global Average Pooling，再輸入共享全連接層，最后基于element-wise加和操作后生成Channel Attention Feature maps作為空間注意力模塊的輸入；② 利用通道注意力模塊輸出的特征圖作為空間注意力模塊的輸入，通過(guò)基于通道注意模塊的Global Max Pooling和Global Average Pooling，隨后通過(guò)卷積操作降維，最后通過(guò)加和操作得到特征權(quán)值。

將注意力機(jī)制加入主干特征提取網(wǎng)絡(luò)，主要利用注意力模塊專注于被檢測(cè)目標(biāo)的真實(shí)內(nèi)容信息，對(duì)主干特征提取網(wǎng)絡(luò)輸出結(jié)果起很有效作用。在通道注意力模塊中，權(quán)重系數(shù)矩陣()的計(jì)算公式為

()=((()+()))

(3)

式中，為Relu激活函數(shù)；為平均池化；為最大池化；為多層感知器網(wǎng)絡(luò)。

空間注意力模塊作用于網(wǎng)絡(luò)中，使得網(wǎng)絡(luò)更加關(guān)注被檢測(cè)目標(biāo)的位置信息，增強(qiáng)了網(wǎng)絡(luò)檢測(cè)關(guān)注度，并解決了檢測(cè)目標(biāo)中應(yīng)該關(guān)注的問(wèn)題。同樣，首先空間注意模塊通過(guò)輸入特征′進(jìn)行如圖2所示的2種池化操作，然后將各通道合并卷積運(yùn)算，最終得到空間注意力模塊的權(quán)重系數(shù)矩陣公式為

(′)={[(′),(′)]}

(4)

其中，為單核卷積核的7×7卷積操作。將式(4)得到的(′)代入式(2)，可獲得輸出特征″。

2.4 CBAM Faster R-CNN算法

經(jīng)典Faster R-CNN網(wǎng)絡(luò)中，多數(shù)將VGG，ResNet等作為主干特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型學(xué)習(xí)不同檢測(cè)區(qū)域特征權(quán)重，但在特征提取過(guò)程中，對(duì)于權(quán)重注意力大小很難有效確定。為此筆者基于此經(jīng)典網(wǎng)絡(luò)，將CBAM機(jī)制加入主干特征提取網(wǎng)絡(luò)ResNet50中，構(gòu)建CBAM Faster R-CNN檢測(cè)算法，從而利用注意力機(jī)制幫助卷積特征網(wǎng)絡(luò)模型更加有效的學(xué)習(xí)不同區(qū)域的特征權(quán)重，使得被檢測(cè)目標(biāo)區(qū)域的特征權(quán)重增大，無(wú)檢測(cè)目標(biāo)區(qū)域特征權(quán)重將減小。在綜放開(kāi)采煤矸石放出識(shí)別過(guò)程中，識(shí)別網(wǎng)絡(luò)模型的關(guān)注點(diǎn)應(yīng)在煤與矸石所在區(qū)域，故引入CBAM，有效提高了Resnet50模型中煤矸石所在區(qū)域特征權(quán)重，進(jìn)而提升了檢測(cè)效果。CBAM Faster R-CNN識(shí)別模型框架如圖5所示。

CBAM Faster R-CNN主要由預(yù)處理算法模塊、主干特征提取網(wǎng)絡(luò)、注意力機(jī)制模塊、建議框部分和感興趣框部分等構(gòu)成的RPN網(wǎng)絡(luò)模塊組成。前期預(yù)處理算法模塊包含模擬粉塵環(huán)境工況放出過(guò)程中出現(xiàn)的濃霧、下落模糊等外在條件的處理；在特征提取過(guò)程中，采用ResNet50作為特征提取網(wǎng)絡(luò)，將CBAM作用于ResNet50特征提取網(wǎng)絡(luò)的所有卷積殘差塊，得到新的特征提取網(wǎng)絡(luò)為CResNet50網(wǎng)絡(luò)，該網(wǎng)絡(luò)對(duì)有效和無(wú)效區(qū)域特征權(quán)重進(jìn)行調(diào)節(jié)，有效解決了識(shí)別精度的問(wèn)題。

圖5 CBAM Faster R-CNN網(wǎng)絡(luò)框架Fig.5 CBAM Faster R-CNN network framework

但將CBAM模塊加入模型的Backbone層有2種方式：第1種，包含不改變ResNet50網(wǎng)絡(luò)結(jié)構(gòu)，即加在網(wǎng)絡(luò)的第1層卷積層和最后1層卷積層，但由于不改變其網(wǎng)絡(luò)結(jié)構(gòu)，在測(cè)試階段還使用了預(yù)訓(xùn)練參數(shù)，所以不采用該方式；第2種，根據(jù)圖6發(fā)現(xiàn)，ResNet50由Conv Block和Identity Block組成，但2種模塊的作用不同，Conv Block用來(lái)改變網(wǎng)絡(luò)維度，所以輸入與輸出維度不同，故不能連續(xù)串聯(lián)；Identity Block用來(lái)提取特征信息，增加網(wǎng)絡(luò)深度，因此最終構(gòu)成了由Conv Block和Identity Block并串聯(lián)協(xié)同的ResNet50網(wǎng)絡(luò)。根據(jù)此特點(diǎn)結(jié)合ResNet50結(jié)構(gòu)，筆者發(fā)現(xiàn)，隨著提取深度的不斷加深，將注意力機(jī)制融入不同Identity Block連續(xù)串聯(lián)的Conv Block具有很好的優(yōu)化效果，提取特征信息也在不斷豐富，但在初始提取過(guò)程中，卷積提取到的一般為通用特征，這種使用模型在預(yù)訓(xùn)練煤矸數(shù)據(jù)集上的參數(shù)即可獲得很好的效果，所以在Conv Block-1后加入CBAM不僅不能達(dá)到很明顯的效果，而且還增加了計(jì)算量。

主干特征提取過(guò)程目標(biāo)即是可提取到后部分更加重要的語(yǔ)義信息，故綜合以上情況以及ResNet50特點(diǎn)，筆者融合注意力機(jī)制的過(guò)程(圖6)，在Conv Block-2，Conv Block-3，Conv Block-4后添加注意力機(jī)制模塊。對(duì)煤矸石放出圖像的檢測(cè)過(guò)程包含：① 根據(jù)2.5節(jié)對(duì)煤矸放出圖像進(jìn)行數(shù)據(jù)增強(qiáng)預(yù)處理；② 將處理后煤矸數(shù)據(jù)輸入CResNet50網(wǎng)絡(luò)進(jìn)行訓(xùn)練；③ 輸出特征成為Feature Maps，一部分映射到ROI，另一部分輸入進(jìn)RPN網(wǎng)絡(luò)中，首先采用如圖5所示的3×3卷積遍歷進(jìn)行特征整合生成先驗(yàn)框，再經(jīng)過(guò)9×1通道和9×4兩種1×1卷積通道進(jìn)行卷積操作，以此來(lái)判斷先驗(yàn)框內(nèi)部是否包含煤矸石以及先驗(yàn)框的調(diào)整參數(shù)；④ 使用邊界回歸損函數(shù)調(diào)整煤矸石位置；⑤ 獲取檢測(cè)位置框和識(shí)別概率。

圖6 融合注意力機(jī)制的ResNet50網(wǎng)絡(luò)Fig.6 ResNet50 network integrated with attention mechanism

1.5 煤矸圖像預(yù)處理

綜放工作面環(huán)境下識(shí)別影響因素多，試驗(yàn)聚焦粉塵影響，利用風(fēng)機(jī)加煤粉等來(lái)制造工作面粉塵環(huán)境，但在此環(huán)境下收集到的煤矸石放出狀態(tài)，由于粉塵引起濃霧影響造成的模糊將會(huì)影響網(wǎng)絡(luò)訓(xùn)練，故利用暗通道去霧處理算法解決由于粉塵引起濃霧的拍攝模糊影響；由于拍攝的煤矸石放出狀態(tài)引起的運(yùn)動(dòng)模糊影響也會(huì)造成網(wǎng)絡(luò)訓(xùn)練的差異，導(dǎo)致識(shí)別精度不理想，故采用模糊集圖像增強(qiáng)預(yù)處理來(lái)減弱運(yùn)動(dòng)模糊現(xiàn)象。

(1)暗通道去霧處理。

原始有霧圖像表達(dá)式為

()=()()+[1-()]

(5)

其中，為有霧圖像；為清晰圖像；為光強(qiáng)；為大氣透射率。故由式(5)得到清晰圖像的計(jì)算公式為

(6)

由式(6)可得，當(dāng)()→0時(shí)，式(6)無(wú)效，故()應(yīng)有下界，即

(7)

其中，為初始透射率。()過(guò)小會(huì)導(dǎo)致目標(biāo)區(qū)域的亮區(qū)域過(guò)亮、暗區(qū)域過(guò)暗，故為了保證式(7)有效，取0.07。

由式(7)可知，煤矸放落過(guò)程中，去除粉塵影響產(chǎn)生的濃霧現(xiàn)象，具體思路包括計(jì)算光強(qiáng)和大氣透射率。式(5)兩邊同時(shí)取暗通道計(jì)算得到大氣折射率為

(8)

其中，為R，G，B中的某一通道；為某一通道的大氣光值；()為像素點(diǎn)周圍的小區(qū)域；()為某一通道處濾波窗口去霧圖；為去霧程度。對(duì)于去霧程度的取值，先驗(yàn)條件下一般取0.95；但對(duì)粉塵環(huán)境下的煤矸石下落圖像的預(yù)處理，本試驗(yàn)的粉塵影響遠(yuǎn)大于現(xiàn)實(shí)空氣中的霧霾效果，且與一般環(huán)境中的確定性霧霾有很大區(qū)別；不同放煤量的粉塵濃度不同，所以先驗(yàn)條件下的單一指標(biāo)無(wú)法滿足更復(fù)雜多變的放煤工作面環(huán)境，因此結(jié)合先驗(yàn)條件，本文將設(shè)置為[0.8 0.9]區(qū)間，以應(yīng)對(duì)復(fù)雜多變的粉塵濃度環(huán)境下落煤矸石圖像預(yù)處理。的估計(jì)選擇在暗通道圖像中前0.1%的像素，然后在原中找到該0.1%像素每個(gè)通道的最亮點(diǎn)，將其作為外界光照強(qiáng)度的估計(jì)值。

該試驗(yàn)所需訓(xùn)練集僅包含煤矸部分?jǐn)?shù)據(jù)，利用上述流程經(jīng)過(guò)編譯處理后的煤矸混合放出狀態(tài)圖像數(shù)據(jù)，如圖7所示。由圖7可以看出，利用暗通道去霧處理算法使得由于濃霧引起的模糊現(xiàn)象減少，使識(shí)別精度更加精確。

圖7 暗通道去霧處理方法Fig.7 Dark channel defogging processing method

(2)運(yùn)動(dòng)模糊處理。

煤矸混合放出狀態(tài)中利用相機(jī)拍攝運(yùn)動(dòng)狀態(tài)時(shí)會(huì)出現(xiàn)運(yùn)動(dòng)模糊現(xiàn)象，這種現(xiàn)象會(huì)對(duì)煤矸識(shí)別精度造成很大影響，所以降低其造成的精度損失。對(duì)上述暗通道去霧處理后的煤矸圖片，采用基于模糊集的圖像增強(qiáng)方法來(lái)減弱運(yùn)動(dòng)模糊現(xiàn)象。

基于模糊集圖像增強(qiáng)方法具體步驟：

(1)設(shè)置隸屬度函數(shù)，將圖像變換到模糊集區(qū)域中；

(2)設(shè)置模糊增強(qiáng)算子，在模糊集區(qū)域中進(jìn)行圖像處理；

(3)利用第1步設(shè)置的隸屬度函數(shù)將處于模糊集區(qū)域的圖像重新變回。

基于模糊集圖像增強(qiáng)算法內(nèi)容本文將不多贅述，只展示其處理步驟及結(jié)果，以便后續(xù)制作數(shù)據(jù)集所用。具體處理結(jié)果對(duì)比如圖8所示。

圖8 模糊集圖像增強(qiáng)方法Fig.8 Fuzzy set image enhancement method

2 粉塵環(huán)境下煤矸混合放出狀態(tài)模擬試驗(yàn)

2.1 試驗(yàn)方案設(shè)計(jì)

試驗(yàn)裝置主要由圖像識(shí)別系統(tǒng)、采集設(shè)備和模擬粉塵環(huán)境放頂煤裝置組成，其中采集設(shè)備、放煤裝置及識(shí)別系統(tǒng)如圖9所示。

圖9 綜放開(kāi)采煤矸混合放出狀態(tài)模擬試驗(yàn)平臺(tái)Fig.9 Testing platform for mixed and release state of coal-gangue masses in fully mechanized caving

模擬綜采粉塵環(huán)境煤矸混合介質(zhì)下落狀態(tài)作為靜態(tài)識(shí)別的首要任務(wù)，其數(shù)據(jù)的真實(shí)性表征識(shí)別的有效性。采用200 W金貝燈作為主光源，10根8 W的LED光源作為下落過(guò)程輔助光源，并結(jié)合風(fēng)機(jī)和灰塵等模擬開(kāi)采工作面的粉塵等外在條件；放煤裝置中采用一側(cè)多組放煤口進(jìn)行組合放煤。采集設(shè)備決定采集圖像的圖像質(zhì)量、分辨率等，關(guān)系到最終的識(shí)別效果，故選用型號(hào)為5F04的千眼狼高速攝像機(jī)，全副分辨率為2 320×1 720@500 fps。

以粒徑約為100 mm的塊體煤和矸石作為分類對(duì)象，選取原煤和矸石各150 kg作為下落分類對(duì)象。

2.2 試驗(yàn)數(shù)據(jù)采集

采用單側(cè)放煤口，分別按照單論間隔、多輪間隔進(jìn)行放煤，分為全煤、全矸、煤矸混合3組實(shí)驗(yàn)進(jìn)行不同組別放煤。所得試驗(yàn)煤矸下落圖像數(shù)據(jù)近82 GB視頻資料，最終從中得到靜態(tài)下落圖像數(shù)量為：全煤6 323張，全矸2 954張，煤矸混合6 621張，不同組別下落狀態(tài)靜態(tài)樣本集如圖10所示。

圖10 靜態(tài)樣本集Fig.10 Static sample set

2.3 數(shù)據(jù)集制作

針對(duì)外界粉塵環(huán)境的影響進(jìn)行數(shù)據(jù)預(yù)處理后，使用LabelImg進(jìn)行標(biāo)記樣本，增強(qiáng)后的數(shù)據(jù)集轉(zhuǎn)換成PascalVOC格式。PascalVOC格式的數(shù)據(jù)集包含煤矸下落狀態(tài)中原煤和矸石的圖像名稱，并記錄每個(gè)圖像中對(duì)應(yīng)的目標(biāo)對(duì)象的標(biāo)簽內(nèi)容和位置信息等，以.xml文件形式保存。

由于在數(shù)據(jù)預(yù)處理上利用不同方法處理試驗(yàn)中的復(fù)雜工況，因此建立數(shù)據(jù)集時(shí)建立3種數(shù)據(jù)包，其中按照數(shù)據(jù)劃分，包含3 000張訓(xùn)練集、1 500 張驗(yàn)證集以及1 500張測(cè)試集，以便檢測(cè)時(shí)，從不同角度分析網(wǎng)絡(luò)訓(xùn)練及預(yù)處理效果，具體關(guān)系見(jiàn)表1。將3種數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，以此分析煤矸石在模擬粉塵環(huán)境下煤矸石下落過(guò)程中的識(shí)別效果。

表1 不同數(shù)據(jù)集關(guān)系Table 1 Relational table of different data sets

2.4 評(píng)價(jià)指標(biāo)

-score值是統(tǒng)計(jì)學(xué)中用來(lái)衡量多任務(wù)分類模型精確度的指標(biāo)，尤其是對(duì)于二分類問(wèn)題，它同時(shí)兼顧了分類模型的查準(zhǔn)率(precision)和召回率(recall)，可看成是和的一種加權(quán)平均。被檢測(cè)樣本集與真實(shí)標(biāo)簽同為煤時(shí)，定義為T(mén)P(True Positive)；被檢樣本集為煤，但標(biāo)簽為矸石時(shí)，定義為FP(False Positive)；被檢測(cè)樣本集和真實(shí)標(biāo)簽同為矸石時(shí)，定義為T(mén)N(True Negative)；被檢測(cè)樣本集為矸石，但真實(shí)標(biāo)簽為煤時(shí)，定義為FN(False Negative)。查準(zhǔn)率和召回率分別為

(9)

(10)

故在利用-score值評(píng)價(jià)模型指標(biāo)時(shí)，用查準(zhǔn)率和召回率的加權(quán)平均來(lái)評(píng)價(jià)模型訓(xùn)練效果指標(biāo)，計(jì)算公式為

(11)

3 結(jié)果與分析

3.1 測(cè)試平臺(tái)及流程

圖像識(shí)別系統(tǒng)為圖像處理和識(shí)別的核心部分。訓(xùn)練識(shí)別所用服務(wù)器為DESK TOP ERA5N0V，CPU為Intel(R) Core(TM) i5-10600KF CPU@4.10GHz和相關(guān)驅(qū)動(dòng)器組成。通過(guò)基于經(jīng)典模型的理論分析以及數(shù)據(jù)量驗(yàn)證，將基于CBAM Faster R-CNN網(wǎng)絡(luò)模型的初始化參數(shù)設(shè)置見(jiàn)表2，流程如圖11所示。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)初始設(shè)定Table 2 Initial setting of network training parameters

3.2 測(cè)試結(jié)果

將訓(xùn)練完成后的模型參數(shù)載入經(jīng)典網(wǎng)絡(luò)和基于CBAM改進(jìn)的網(wǎng)絡(luò)中，對(duì)含有1 500張煤矸下落圖像的3種數(shù)據(jù)集進(jìn)行預(yù)測(cè)。原始圖片、暗通道去霧處理以及模糊集數(shù)據(jù)增強(qiáng)減弱運(yùn)動(dòng)模糊處理的3種數(shù)據(jù)集對(duì)比訓(xùn)練結(jié)果如圖12所示。由圖12可以看出，經(jīng)處理后的圖片在網(wǎng)絡(luò)測(cè)試結(jié)果中的準(zhǔn)確率更高，召回率增加。由圖12(c)可知，在改進(jìn)的網(wǎng)絡(luò)中對(duì)3種數(shù)據(jù)集進(jìn)行訓(xùn)練后，對(duì)于煤矸石放出時(shí)的檢測(cè)更為準(zhǔn)確。

3.3 結(jié)果分析

..本文模型性能對(duì)比

基于2.1，2.4節(jié)2種網(wǎng)絡(luò)框架的復(fù)雜工況煤矸石放出狀態(tài)靜態(tài)識(shí)別模型，3種數(shù)據(jù)集訓(xùn)練得到的訓(xùn)練準(zhǔn)確率折線如圖13所示。

圖11 煤矸混合放出狀態(tài)識(shí)別流程Fig.11 Mixed and release state of coal-gangue masses status recognition process

圖12 不同模型預(yù)測(cè)結(jié)果對(duì)比Fig.12 Comparison of prediction results of different models

圖13 模型訓(xùn)練效果對(duì)比Fig.13 Model training effect comparison

從圖13(a)可看出，經(jīng)典Faster R-CNN網(wǎng)絡(luò)的3種數(shù)據(jù)集訓(xùn)練曲線均在10個(gè)訓(xùn)練輪次內(nèi)的準(zhǔn)確率提升到95%以上，且隨著訓(xùn)練輪次的增加，模型訓(xùn)練平均準(zhǔn)確率不斷增加，達(dá)到45次附近時(shí)，模型準(zhǔn)確率趨于收斂，3種數(shù)據(jù)集訓(xùn)練準(zhǔn)確率分別穩(wěn)定收斂在97.4%，97.9%和98.6%左右。由圖13(b)可得,基于CBAM改進(jìn)的Faster R-CNN網(wǎng)絡(luò)在20個(gè)訓(xùn)練輪次內(nèi)的準(zhǔn)確率提升到95%以上，達(dá)到55次附近時(shí)，模型準(zhǔn)確率趨于收斂，且隨著訓(xùn)練輪次的增加，模型準(zhǔn)確率增加，3種數(shù)據(jù)集訓(xùn)練準(zhǔn)確率分別穩(wěn)定在98.8%，99.1%，99.5%左右。

經(jīng)過(guò)2輪50輪次的訓(xùn)練后，3種數(shù)據(jù)集在2種網(wǎng)絡(luò)中收斂準(zhǔn)確率都呈遞增趨勢(shì)，經(jīng)模糊集和暗通道去霧處理后的數(shù)據(jù)集在模型訓(xùn)練過(guò)程中明顯比原始拍攝圖像效果好。

基于2.2節(jié)的CBAM注意力機(jī)制，在加入原始Faster R-CNN網(wǎng)絡(luò)后，3種不同數(shù)據(jù)集對(duì)比訓(xùn)練得到的訓(xùn)練準(zhǔn)確率曲線如圖14所示。

圖14 基于3種數(shù)據(jù)集的2種模型訓(xùn)練曲線Fig.14 Two model training curves based on three data sets

由圖14可知：訓(xùn)練數(shù)據(jù)在初始迭代時(shí)，經(jīng)典網(wǎng)絡(luò)的平均準(zhǔn)確率分別約為77.65%，77.92%，81.54%；改進(jìn)后網(wǎng)絡(luò)的平均準(zhǔn)確率分別約為82.11%，82.83%，84.67%。前6次左右，經(jīng)典網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率明顯高于改進(jìn)網(wǎng)絡(luò)，但在6～25次，改進(jìn)網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確率明顯高于經(jīng)典網(wǎng)絡(luò)。隨著訓(xùn)練輪次的增加，2種網(wǎng)絡(luò)模型基本趨于擬合，改進(jìn)后網(wǎng)絡(luò)的擬合曲線均高于經(jīng)典網(wǎng)絡(luò)。

綜上，煤矸石放出狀態(tài)識(shí)別過(guò)程中，經(jīng)典網(wǎng)絡(luò)的深度以及復(fù)雜度均小于改進(jìn)網(wǎng)絡(luò)，因此經(jīng)典網(wǎng)絡(luò)的前期訓(xùn)練準(zhǔn)確率增長(zhǎng)更占優(yōu)；隨著訓(xùn)練輪次的增加，CBAM在主干特征提取過(guò)程中對(duì)權(quán)重分配的調(diào)節(jié)，使得改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率明顯增高。在迭代100次后，2種模型的訓(xùn)練平均準(zhǔn)確率分別97.98%，99.23%。綜合考慮模型的訓(xùn)練輪次、深度以及訓(xùn)練數(shù)據(jù)，基于CBAM改進(jìn)后的網(wǎng)絡(luò)模型性能更佳。

為了驗(yàn)證本文模型的優(yōu)化性對(duì)比效果，選取預(yù)處理后的DS3數(shù)據(jù)集進(jìn)行不同模型的數(shù)據(jù)訓(xùn)練，選取Yolov3，Yolov5，SSD，R-FCN，F(xiàn)aster R-CNN五種深度學(xué)習(xí)模型與本文模型進(jìn)行對(duì)比分析，具體結(jié)果件表3。從表3可以發(fā)現(xiàn)：在查準(zhǔn)率方面，基于ResNet101網(wǎng)絡(luò)的R-FCN模型最高，達(dá)91.23%，本文模型為90.44%，且召回率在各模型最高，為92.58%；Yolov5模型大小為14.8 MB，較Faster R-CNN以及其他模型優(yōu)勢(shì)明顯，對(duì)比Faster R-CNN和CBAM Faster R-CNN兩種模型大小可發(fā)現(xiàn)，雖然融入注意力機(jī)制的模型大小稍有增加，但準(zhǔn)確率方面比Faster R-CNN提高很多，且檢測(cè)速度加快。

同一數(shù)據(jù)集在不同模型下的對(duì)比說(shuō)明本文模型在傳統(tǒng)意義上的改進(jìn)優(yōu)化效果，但無(wú)法說(shuō)明該模型的泛化性能，為此筆者選取文獻(xiàn)[16]的ResNet等經(jīng)典網(wǎng)絡(luò)與SqueezeNet等先進(jìn)輕量級(jí)網(wǎng)絡(luò)建立煤矸圖像識(shí)別模型進(jìn)行縱向?qū)Ρ?，選取綜合評(píng)價(jià)指標(biāo)作為對(duì)比依據(jù)，發(fā)現(xiàn)基于輕量級(jí)網(wǎng)絡(luò)的SqueezeNet 煤矸識(shí)別模型=0.857，MobileNet系列模型在不同權(quán)重下的也均未超過(guò)0.8；基于LeNt_5的煤矸識(shí)別模型=0.365，本文CResNet50模型=0.915。

綜合分析，煤矸識(shí)別模型下的SqueezeNet，MobileNet系列以及同數(shù)據(jù)集下的經(jīng)典ResNet50，CSPDarkNet53等均有很好的優(yōu)化效果，因此在煤矸石下落過(guò)程中由于額外環(huán)境的影響，效果更好的識(shí)別準(zhǔn)確率對(duì)于識(shí)別本身具有更重要作用，且綜合對(duì)比檢測(cè)速度以及識(shí)別效果，融合注意力機(jī)制的Faster R-CNN模型能夠提取更深層次的重要語(yǔ)義信息，對(duì)煤矸放落過(guò)程的靜態(tài)識(shí)別具有更優(yōu)效果。

..融合注意力機(jī)制的效果對(duì)比

為了研究2.4節(jié)的融合注意力機(jī)制方式，選取經(jīng)2種預(yù)處理后的數(shù)據(jù)集DS3進(jìn)行訓(xùn)練，結(jié)果見(jiàn)表4。由表4可以發(fā)現(xiàn)，3種融入主干特征提取網(wǎng)絡(luò)對(duì)比原始ResNet50訓(xùn)練結(jié)果，其Precision、召回率、查準(zhǔn)率均提高；但將模塊融入Conv Block-3中發(fā)現(xiàn)，其Precision、召回率、查準(zhǔn)率分別為83.71%，92.58%和90.44%，高于Conv Block-2和Conv Block-4，這說(shuō)明初始前期對(duì)于重要特征信息的提取仍不全面，但在最后模塊的提取出現(xiàn)下降情況，這與煤矸特征提取過(guò)程中復(fù)雜的額外目標(biāo)有關(guān)，提取到了更深層次的環(huán)境目標(biāo)信息，因此綜合對(duì)比融合注意力機(jī)制的模塊在Conv Block-3，經(jīng)CBAM模塊后，模型增強(qiáng)了煤矸區(qū)域的特征顯著性，從而提升了檢測(cè)效率。

表3 DS3數(shù)據(jù)集下的不同模型效果對(duì)比Table 3 Comparison of the effects of different models under the DS3 data set

表4 融合注意力機(jī)制的位置效果對(duì)比Table 4 Comparison of the position effect of the integrated attention mechanism

..CBAM Faster RCNN測(cè)試效果分析

為了測(cè)試本文模型以及預(yù)處理方法對(duì)煤矸石放出狀態(tài)識(shí)別的實(shí)際測(cè)試效果，基于DS2，DS3數(shù)據(jù)集中的1 500張測(cè)試集進(jìn)行測(cè)試，測(cè)試結(jié)果見(jiàn)表5。為了驗(yàn)證粉塵環(huán)境的影響以及預(yù)處理方法的效果，利用基于DS2，DS3各1 500張?jiān)济喉坊旌蠄D像進(jìn)行測(cè)試，再利用試驗(yàn)收集的放出狀態(tài)視頻資料中截取全煤、全矸放出階段相同數(shù)量測(cè)試樣本集對(duì)上述模型進(jìn)行測(cè)試，測(cè)試結(jié)果見(jiàn)表6。利用3.4節(jié)的評(píng)價(jià)指標(biāo)計(jì)算表5，6中2種模型的-score，如圖15所示。

表5 預(yù)處理煤矸圖像測(cè)試結(jié)果Table 5 Pretreatment coal-gangue mass image test results

表6 原始煤矸圖像測(cè)試結(jié)果Table 6 Original coal-gangue mass image test results

圖15 2種模型F1-score值情況Fig.15 Two models F1-score situation

由表6可知，3種測(cè)試樣本集的-score分別為0.854，0.840，0.837，均高于同時(shí)期基于3種經(jīng)典網(wǎng)絡(luò)的-score。與Faster R-CNN模型檢測(cè)結(jié)果對(duì)比發(fā)現(xiàn)，CBAM Faster R-CNN模型的平均查準(zhǔn)率提升7.7%，平均召回率增加6.6%。對(duì)比表5，6發(fā)現(xiàn)，DS2，DS3的查準(zhǔn)率分別為86.31%，90.44%，召回率為89.25%，92.58%，均高于原始圖像的81.6%和85.9%，說(shuō)明試驗(yàn)?zāi)M的粉塵環(huán)境影響了頂煤的放出過(guò)程識(shí)別，也表明本文建立的粉塵環(huán)境下落圖像預(yù)處理方法在識(shí)別優(yōu)化提升顯著。

此外，在基于CBAM改進(jìn)的網(wǎng)絡(luò)中，利用DS3數(shù)據(jù)集，每訓(xùn)練一輪次，使用煤矸混合檢測(cè)樣本集測(cè)試一次，計(jì)算一次-score，結(jié)果如圖16所示。從圖16可以看出，在隨著訓(xùn)練輪次增加，-score隨著訓(xùn)練準(zhǔn)確率的提升而不斷增大，在訓(xùn)練輪次達(dá)50次時(shí)，訓(xùn)練準(zhǔn)確率趨于擬合，-score也隨之穩(wěn)定在0.84左右，且在利用訓(xùn)練平均準(zhǔn)確率擬合前的45次左右訓(xùn)練過(guò)程中，得到關(guān)于訓(xùn)練平均準(zhǔn)確率()和-score()的關(guān)系式為

=2 982.5+21 510-103 939+ 154 259-97 597+22 787

(12)

其中，=0.963 6，趨于1，說(shuō)明模型穩(wěn)定性很高?？傮w改進(jìn)網(wǎng)絡(luò)模型的評(píng)價(jià)指標(biāo)-score能隨著訓(xùn)練平均準(zhǔn)確率的提高而穩(wěn)定增大。

圖16 訓(xùn)練平均準(zhǔn)確率與F1-score關(guān)系Fig.16 Relationship between average training accuracy and F1-score

綜上，可得出基于本文方法建立并優(yōu)化后的粉塵環(huán)境下煤矸石放出狀態(tài)識(shí)別方法，可很準(zhǔn)確捕獲煤與矸石，且預(yù)處理后的拍攝下落圖像狀態(tài)識(shí)別效果明顯比原始數(shù)據(jù)好。

4 結(jié) 論

(1)提出了一種綜采工作面粉塵因素影響下煤矸放落瞬態(tài)煤矸目標(biāo)檢測(cè)方法，研發(fā)了綜放惡劣環(huán)境煤矸放落模擬與放落瞬態(tài)采集系統(tǒng)。

(2)構(gòu)建了基于經(jīng)典Faster R-CNN網(wǎng)絡(luò)模型改進(jìn)的CBAM Faster R-CNN網(wǎng)絡(luò)模型，確定了融合注意力機(jī)制的最佳檢測(cè)效果位置。迭代訓(xùn)練100次后，與經(jīng)典網(wǎng)絡(luò)相比，平均查準(zhǔn)率提升7.7%，平均召回率提升6.6%，-score遠(yuǎn)高于經(jīng)典模型，表明改進(jìn)模型的檢測(cè)效率更好，有效提高模型準(zhǔn)確性。

(3)針對(duì)綜放工作面高濃度粉塵環(huán)境特征，提出了融合暗通道去霧處理和模糊集增強(qiáng)的圖像預(yù)處理方法，圖像預(yù)處理操作后識(shí)別精確率和召回率分別達(dá)90.44%，92.58%，可靠性大幅增加。