基于機(jī)器視覺的煤矸檢測算法研究

趙佳偉，雷偉強(qiáng)，王建飛

(1.山西大同大學(xué)， 山西 大同 037003；2.晉能控股煤業(yè)集團(tuán) 四老溝礦， 山西 大同 037003)

目前，由于風(fēng)電、水電等清潔能源不易儲(chǔ)存，70%的發(fā)電依然需要煤炭供應(yīng)，而煤矸石分選有助于提高原煤質(zhì)量，提升煤炭利用率[1]. 傳統(tǒng)的煤矸石分揀依賴于工人經(jīng)驗(yàn)，不僅效率低而且準(zhǔn)確率不高，誤差偏大；重介質(zhì)分離方法雖然效率高，但工藝流程復(fù)雜，成本高[2]；利用射線進(jìn)行分選，是依據(jù)矸石和煤對(duì)射線吸收能力的差異進(jìn)行，但對(duì)工作人員的健康有隱患。目前煤礦智能化建設(shè)發(fā)展步入快速發(fā)展期，煤矸石分揀智能化也是煤炭生產(chǎn)中很重要的一部分，而煤和矸石的準(zhǔn)確識(shí)別和定位是實(shí)現(xiàn)智能化分揀的重要技術(shù)。利用機(jī)器視覺算法對(duì)煤矸石進(jìn)行識(shí)別定位不僅安全且方便維護(hù)。

很多學(xué)者從不同方面研究了煤矸石的檢測精度。王家臣等[3]通過對(duì)不同照度條件下的煤矸石進(jìn)行灰度和紋理提取，設(shè)計(jì)了不同的SVM分類器，來提升檢測的準(zhǔn)確率。雷世威等[4]通過對(duì)YOLOv3的網(wǎng)格結(jié)構(gòu)和損失函數(shù)進(jìn)行改進(jìn)，利用不同角度、形態(tài)、光照條件下的煤矸石數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，也有效地提高了煤矸石識(shí)別的準(zhǔn)確率。王閏澤等[5]提出了搭載VGG網(wǎng)絡(luò)的煤矸石識(shí)別算法，擴(kuò)大了網(wǎng)格的感受野，并引入了殘差結(jié)構(gòu)，在目標(biāo)形狀差異較大的數(shù)據(jù)集下，提升煤矸識(shí)別準(zhǔn)確率。目前，基于機(jī)器視覺的檢測算法分為單步和兩步，常用的單步檢測算法有YOLO系列、SSD等[6]，兩步檢測算法有R-CNN系列[7]. 單步檢測算法可以實(shí)現(xiàn)端到端檢測，減少計(jì)算過程中的參數(shù)量，對(duì)檢測速度有很大提升。

在實(shí)際生產(chǎn)環(huán)境中，由于光線昏暗、環(huán)境嘈雜，圖像會(huì)出現(xiàn)模糊，有很多噪點(diǎn)?？紤]到這些因素，提出了基于機(jī)器視覺的目標(biāo)檢測模型，通過對(duì)YOLOv5的主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入注意力機(jī)制并且優(yōu)化邊界框損失函數(shù)，以實(shí)現(xiàn)降低模型參數(shù)量和大小，同時(shí)可以提升檢測精度的效果。最后，將模型在自制的煤矸數(shù)據(jù)集上進(jìn)行訓(xùn)練，并對(duì)該算法的有效性進(jìn)行驗(yàn)證。

1 YOLOv5目標(biāo)檢測模型

YOLOv5目標(biāo)檢測模型是一種端到端的單步檢測算法，模型主要由輸入層、主干網(wǎng)絡(luò)、檢測頭3部分組成[8]. 模型的輸入是一張分辨率為640×640大小，格式為JPG的圖像，在模型的第一階段，原始圖像需經(jīng)過mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)Anchor計(jì)算和自適應(yīng)圖像縮放3部分進(jìn)行圖像處理。在模型的第二階段，處理后的圖像會(huì)經(jīng)過二維卷積操作提取圖像特征、批歸一化處理和激活函數(shù)操作，以及C3模塊對(duì)殘差特征進(jìn)行學(xué)習(xí)，最后再通過快速空間金字塔池化層SPPF，將3次最大池化后的特征圖堆疊起來，使得模型更加關(guān)注特征圖中重要的那部分信息。在模型的第三階段，利用FPN+PAN結(jié)構(gòu)對(duì)特征圖進(jìn)行多尺度融合，F(xiàn)PN通過自頂向下進(jìn)行上采樣，使得底層特征圖獲得更強(qiáng)的語義信息；PAN通過自底向上進(jìn)行下采樣，使得頂層特征包含很好的位置信息，兩種特征最后進(jìn)行融合，使得不同尺寸的特征圖都包含強(qiáng)語義信息和很好的位置信息，使得算法可以實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確檢測。

2 改進(jìn)的YOLOv5煤矸檢測模型

通過對(duì)原始YOLOv5模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在主干網(wǎng)絡(luò)(backbone)部分的第8層中對(duì)C3模塊添加了CBAM，并將這個(gè)新模塊命名為CC模塊。原始YOLOv5模型的邊界框損失函數(shù)采用的是CIOU，而本文采用EIOU，EIOU是將CIOU中關(guān)于縱橫比的損失項(xiàng)替換為預(yù)測的寬高分別與最小外接框?qū)捀叩牟钪担源思铀偈諗?、提高回歸精度。該算法由兩個(gè)主要階段組成，一個(gè)是訓(xùn)練階段，另一個(gè)是檢測階段。在訓(xùn)練階段，利用Mosaic數(shù)據(jù)增強(qiáng)對(duì)輸入圖像進(jìn)行處理，豐富數(shù)據(jù)集；然后卷積提取特征；利用損失函數(shù)對(duì)預(yù)測結(jié)果進(jìn)行修正不斷迭代。在檢測階段，使用3種不同的尺度來對(duì)不同大小的特征圖進(jìn)行檢測，最終reshape成同樣尺度的圖像，輸出檢測結(jié)果。改進(jìn)后的YOLOv5算法整體網(wǎng)絡(luò)結(jié)構(gòu)見圖1.

圖1 改進(jìn)后的YOLOv5網(wǎng)絡(luò)模型圖

2.1 CBAM

CBAM是一種輕量級(jí)卷積塊注意力，受SENet的啟發(fā)產(chǎn)生[9]，將通道注意力模塊(Channel Attention)和空間注意力模塊(Spatial Attention)進(jìn)行結(jié)合，使得特征更加明顯。CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖見圖2，其中在通道注意力模塊部分對(duì)輸入特征圖先分別進(jìn)行最大池化和平均池化，再將兩種池化后的結(jié)果輸入到同一個(gè)多層感知機(jī)中，對(duì)通道進(jìn)行壓縮再擴(kuò)張，得到兩個(gè)結(jié)果，然后將這兩種結(jié)果進(jìn)行相加并經(jīng)過sigmoid激活，得到通道注意力處理后的特征圖，再乘以原始的輸入特征圖，使得通道維度不變。而空間注意力模塊，則是將通道注意力的結(jié)果進(jìn)行最大池化后再進(jìn)行平均池化，然后將兩次池化進(jìn)行堆疊，因此通道數(shù)翻倍，再進(jìn)行卷積操作將通道變?yōu)?保證維度不變，經(jīng)過sigmoid激活得到空間注意力處理后的特征圖，乘以通道注意力處理后的特征圖，使得通道維度不變。通道注意力模塊關(guān)注的是圖中最重要的信息。而空間注意力模塊關(guān)注的是檢測目標(biāo)的位置信息。二者相結(jié)合，可實(shí)現(xiàn)更好的檢測效果。

圖2 CBAM網(wǎng)絡(luò)結(jié)構(gòu)圖

交并比(IOU)是用來輔助訓(xùn)練損失函數(shù)(Loss=1-IOU)的一個(gè)指標(biāo)，檢測目標(biāo)的預(yù)測框和真實(shí)框重合度越高，IOU越接近于1，即損失函數(shù)越小。因此模型可以通過降低損失函數(shù)來獲得更好的預(yù)測結(jié)果。常用的IOU有:GIOU、DIOU、CIOU.

考慮到CIOU中v反映的是縱橫比的差異，實(shí)際是一個(gè)比值，無法體現(xiàn)預(yù)測框?qū)捀吆驼鎸?shí)框?qū)捀叩牟町?，反而?huì)阻礙模型的優(yōu)化。因此本文采用EIOU邊界框損失函數(shù)，EIOU是對(duì)CIOU中關(guān)于縱橫比部分進(jìn)行改進(jìn)，將其拆分為寬和高的損失。具體公式如下：

LEIOU=LIOU+Ldis+Lasp=

式中，LIOU代表預(yù)測框和真實(shí)框的重疊損失；Ldis代表預(yù)測框和真實(shí)框的中心距離損失；Lasp代表預(yù)測框和真實(shí)框的寬高損失；b代表預(yù)測框；bgt代表真實(shí)框；w代表預(yù)測框的寬；wgt代表真實(shí)框的寬；h代表預(yù)測框的高；hgt代表真實(shí)框的高；c表示能夠同時(shí)包含預(yù)測框和真實(shí)框的最小外接框的對(duì)角線距離；γ2表示預(yù)測框與真實(shí)框兩個(gè)中心點(diǎn)之間的歐氏距離。

將縱橫比的損失項(xiàng)拆分成預(yù)測框的寬高分別與最小外接框?qū)捀叩牟钪担梢约铀偈諗坎⑶姨岣呋貧w精度。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)采集與處理

以煤和矸石作為研究對(duì)象，皮帶為背景，采用邁德威視的MV-GE500 M-T面陣相機(jī)對(duì)煤和矸石進(jìn)行圖像采集，共收集到混合的煤矸圖片約600張。以7∶2∶1的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集，煤混矸數(shù)據(jù)集中每張圖片中所含煤和矸的個(gè)數(shù)至少7個(gè)，其中煤占多數(shù)，且統(tǒng)一以jpg格式保存;然后使用labelImg標(biāo)注軟件對(duì)數(shù)據(jù)集樣本進(jìn)行標(biāo)注并全部以txt格式進(jìn)行保存;最后將數(shù)據(jù)集樣本和對(duì)應(yīng)的標(biāo)簽均保存在My_dataSets文件夾的指定路徑下。

3.2 模型訓(xùn)練

該實(shí)驗(yàn)搭建在Pytorch1.10.0框架下，操作系統(tǒng)為Windows11，處理器為Inter Core i5-11400H，2.70 GHz的主頻，內(nèi)存為16 GB，顯卡為NVIDIA GeForce GTX 3050，4G顯存，安裝CUDA11.4使用Python編程語言。模型訓(xùn)練時(shí)，超參數(shù)batch size取2；epoch取150；學(xué)習(xí)率初始值取0.01完成一次循環(huán)改為0.2；動(dòng)量取0.93；權(quán)重衰減取0.000 5.

3.3 評(píng)價(jià)指標(biāo)

目標(biāo)檢測算法的評(píng)價(jià)指標(biāo)一般主要是指檢測目標(biāo)類別的查準(zhǔn)率mAP. mAP在本文指的是煤和矸石兩個(gè)AP值的平均，可體現(xiàn)出算法總的查準(zhǔn)率，其中各類別AP的值就是查準(zhǔn)率(Precision)和查全率(Recall)形成的曲線與坐標(biāo)軸圍成的面積。

查準(zhǔn)率=TP/(TP+FP)

查全率=TP/(TP+FN)

其中，TP(True positives)：正樣本被正確預(yù)測為正樣本；TN(True negatives)：負(fù)樣本被正確預(yù)測為負(fù)樣本；FP(False positives)：負(fù)樣本被錯(cuò)誤預(yù)測為正樣本；FN(False negatives)：正樣本被錯(cuò)誤的預(yù)測為負(fù)樣本。

3.4 實(shí)驗(yàn)分析

采用煤矸平均精度的均值(mAP)、查準(zhǔn)率、查全率、參數(shù)量(Parameters)、模型大小以及億次浮點(diǎn)數(shù)運(yùn)算(GFlops)等6個(gè)指標(biāo)對(duì)煤矸檢測模型的有效性進(jìn)行驗(yàn)證。首先，選擇YOLOv5s目標(biāo)檢測模型作為基準(zhǔn)模型，將YOLOv5s模型和YOLOv5s-CE模型設(shè)置同樣的參數(shù)并分別在煤混矸數(shù)據(jù)集上訓(xùn)練300次，兩種模型的查準(zhǔn)率曲線見圖3.

圖3 查準(zhǔn)率曲線圖

從圖3中可以看出，YOLOv5s模型波動(dòng)較大，收斂效果相較于YOLOv5s-CE模型較差，訓(xùn)練迭代次數(shù)在150次以后YOLOv5s-CE模型的查準(zhǔn)率穩(wěn)穩(wěn)高于YOLOv5s模型，最終收斂于0.978附近。

為了進(jìn)一步驗(yàn)證改進(jìn)后模型的有效性，將煤矸數(shù)據(jù)集分別在YOLOv3模型、YOLOv5s模型以及YOLOv5s-CE模型上進(jìn)行訓(xùn)練，并將訓(xùn)練中得到的最好模型對(duì)未標(biāo)注的煤矸圖像進(jìn)行檢測，檢測結(jié)果見圖4.

從圖4可以看出，YOLOv3模型存在誤檢，圖4a)的第一張圖中右上角位置的煤被檢測成了矸石，YOLOv5s模型對(duì)這張圖中的煤塊預(yù)測是煤塊的置信度為0.77，而YOLOv5s-CE模型檢測此煤塊的置信度可以達(dá)到0.83. 從其余圖中也可看出改進(jìn)后模型的查準(zhǔn)率有明顯提高。具體數(shù)據(jù)見表1.

表1 煤矸識(shí)別算法對(duì)比表

圖4 3種檢測結(jié)果對(duì)比圖

4 結(jié) 論

通過對(duì)YOLOv5s的主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，引入CBAM注意力機(jī)制，提升網(wǎng)絡(luò)模型對(duì)特征圖中重要特征的關(guān)注度并且優(yōu)化邊界框損失函數(shù)，以達(dá)到加快收斂速度的效果。改進(jìn)后的YOLOv5s-CE模型作為檢測煤矸石所用的網(wǎng)絡(luò)模型，在自制的煤矸石檢測數(shù)據(jù)集上進(jìn)行訓(xùn)練，達(dá)到了94.8%的mAP，相比YOLOv5s模型檢測精度提升了1.7%，參數(shù)量減少了319 518，同時(shí)模型大小降低了0.6 MB. 因此，該算法具有較好的適應(yīng)性，適合處理煤矸混合的復(fù)雜情況，并且有較好的查準(zhǔn)率，模型很小，可以很好地滿足現(xiàn)場生產(chǎn)需要，從而為煤矸分選設(shè)備設(shè)計(jì)及選型提供參考模型。