基于深度學習的煤矸石計量研究

秦 雷,張富民,李亞威,田亮亮

(1.濟寧市金橋煤礦,山東 濟寧 272200;2.中信重工開誠智能裝備有限公司,河北 唐山 063020)

0 引言

皮帶是煤炭運輸?shù)闹饕绞?在運送煤炭的皮帶上常常存在大塊矸石,不僅影響煤炭質(zhì)量,而且影響運輸帶的工作狀態(tài),在皮帶高速運轉(zhuǎn)過程中,容易造成皮帶劃傷、撕裂、堵塞等問題。煤炭運輸帶的工作狀態(tài)直接影響煤炭的開采和運輸量。因此,為了保證煤礦的生產(chǎn)質(zhì)量和生產(chǎn)安全,助力礦山數(shù)字化、智能化快速發(fā)展,對皮帶矸石進行計量具有重要意義。

許多學者嘗試深度學習方法計量矸石,張永超等[1]使用機器視覺算法SSD對煤矸石進行檢測。何江等[2]設(shè)計一種基于AlexNet網(wǎng)絡(luò)的煤矸石檢測方法。任國強等[3]設(shè)計了Fast_YOLOv3算法檢測小目標異物;杜京義等[4]提出一種改進YOLOv3模型對異物進行檢測;ZHANG等[5]采用基于深度學習的YOLOv4算法對煤矸石進行檢測。PAN等[6]提出一種改進的基于SE模塊的快速YOLOv3識別模型。PU等[7]采用圖像識別模型VGG16和遷移學習的思想,以解決新模型訓練參數(shù)困難問題。LI等[8]提出一種基于可變形卷積YOLOv3的煤矸石檢測與識別算法。LV等[9]采用分組卷積和基于空間注意設(shè)計的結(jié)構(gòu)檢測煤矸石。然而,基于目標檢測的矸石檢測方法雖然能夠克服背景影響,有效分檢測矸石特征,但很難對矸石進行精確的形狀和面積評估。

為了對皮帶矸石進行有效計量,需要計算更加精確的皮帶矸石信息?；谏疃葘W習的實例分割算法能夠?qū)ζе忻總€矸石進行分類、定位和分割,可以更好地完成矸石計量工作,基于深度學習的實例分割算法包括Mask R-CNN[10],YOLACT[11]等,其中單階段實例分割算法具有較高的分割速度,更適合應(yīng)用于傳送帶等高速檢測的場景。GAO等[12]和LAI等[13]通過基于深度學習的分割方法實現(xiàn)對矸石的分割。

針對皮帶中的矸石計量問題,結(jié)合圖像處理和深度學習方法。首先,對圖像進行預處理,包括濾波、光照增強。然后,采用輕量級的殘差結(jié)構(gòu)作為Yolact算法的特征提取主干,降低模型的計算量,提升算法的推理速度。最后,二值化實例分割后的結(jié)果,引入像素統(tǒng)計機制,單獨分離皮帶中的矸石,精確計算每個矸石的面積。通過組建礦用皮帶異物分揀系統(tǒng),驗證皮帶矸石計量算法的可行性,實現(xiàn)皮帶中矸石的精確統(tǒng)計。

1 礦用皮帶矸石分揀系統(tǒng)

系統(tǒng)工作流程如圖1所示,通過高速相機對現(xiàn)場皮帶表面矸石信息進行高速采集,通過現(xiàn)場高性能計算機對采集的信息進行分析和處理,識別出皮帶上的大塊矸石,利用圖像處理技術(shù)計量矸石的面積。最后通過移動的機械手將識別到的矸石從高速移動的皮帶上分揀。礦用皮帶矸石分揀系統(tǒng)能與自動化設(shè)備實現(xiàn)智能聯(lián)動控制。礦用皮帶矸石分揀系統(tǒng)可將采集到的信息上傳至控制中心,方便工作人員監(jiān)控和管理。

圖1 礦用皮帶矸石分揀系統(tǒng)工作流程Fig.1 Work flow of mine belt gangue sorting system

2 算法架構(gòu)

2.1 模型架構(gòu)

相比于傳統(tǒng)基于閾值的分割算法如大津閾值法(OSTU)[14],基于深度學習的分割算法可以自主學習皮帶中矸石的特征,讓機器自主學習目標的特征,而免去人工選取過程。

如圖2所示,在分割矸石的過程中需要進行大量的計算,煤礦皮帶具有較高的速度,所以在設(shè)計矸石分割網(wǎng)絡(luò)時,要同時考慮網(wǎng)絡(luò)的提取特征能力、網(wǎng)絡(luò)參數(shù)量、網(wǎng)絡(luò)執(zhí)行效率等問題。為了讓實例分割網(wǎng)絡(luò)具有更少的參數(shù)量,提高網(wǎng)絡(luò)的分割速度,采用殘差結(jié)構(gòu)作為特征提取部分的主干網(wǎng)絡(luò),殘差結(jié)構(gòu)可以有效減少運算參數(shù),同時保證特征信息的空間流動性。

圖2 改進的Yolact網(wǎng)絡(luò)架構(gòu)Fig.2 Improved Yolact network architecture

根據(jù)煤礦環(huán)境下皮帶異物對比度低、尺度變化大的特點,采用多個預測層,P3、P4、P5層分別具有不同深度的特征信息,將不同預測層的信息相融合,提高了對異物圖像的整體感知能力。設(shè)定3個尺度的預選框,不同預選框同時對皮帶矸石進行預測,提高實例分割網(wǎng)絡(luò)的辨識精度。

Yolact異物實例分割網(wǎng)絡(luò)將分割任務(wù)分解為目標框預測(Prediction)和蒙版預測(Protonet)2個子任務(wù),并行的運算過程加快了特征提取的速度。在圖2中,通過P3層獲得一組和圖像尺寸相等的原始蒙版,通過網(wǎng)絡(luò)預測頭產(chǎn)生原始空間中每個實例的蒙版系數(shù),經(jīng)過非極大值抑制后的空間向量與原始蒙版線性組合,產(chǎn)生最終的皮帶異物蒙版。原始蒙版和蒙版系數(shù)并行計算,減少了網(wǎng)絡(luò)的計算時間。

2.2 特征提取結(jié)構(gòu)

傳統(tǒng)的特征提取主干如ResNet采用標準卷積運算[15],將輸入的特征圖與卷積核進行點乘并求和,到輸出特征圖中的一個通道。將輸出的單通道特征聚合,獲得新的結(jié)果特征圖。但標準卷積的計算量較大,如圖3所示。深度可分離卷積(Depth Separable Convolution,DSC)具有較少的計算量。DSC首先對輸入圖像單通道特征進行計算,單通道計算效率較高,但不能結(jié)合各通道特征信息,為了融合不同通道的特征信息,DSC通過創(chuàng)建逐點卷積層進行不同通道特征融合。DSC的計算量P為

圖3 Inverted Residual結(jié)構(gòu)Fig.3 Inverted Residual structure

P=higwigdi(k2+dj)

(1)

式中,k為卷積核大小;hi為特征圖的高;wi為特征圖的寬;di為特征圖深度;dj為逐點卷積深度。

通過擴增維度的方式,增加圖像的信息量,保留更多皮帶中的矸石信息。DSC運算后,將圖像特征轉(zhuǎn)換到原始維度,圖像維度的減小即意味著特征描述容量的減小,ReLu函數(shù)有較高的概率使某一維度的特征向量值為0,會損害圖像特征,所以采用線性變換層進行維度轉(zhuǎn)換[16]。為了保證特征傳遞的有效性,通過殘差連接的形式,融合圖像底層信息。

2.3 預測輸出原理

如圖2中P5所示,特征圖上的每個像素點會分配3種尺寸的候選錨框。Yolact的每個候選錨框可以預測目標框位置向量B,類別置信度向量C和蒙版系數(shù)向量F。采用置信度閾值過濾掉置信度低的候選框,使用NMS過濾掉重疊的候選框[17]。蒙版系數(shù)預測時使用tanh函數(shù)進行非線性激活[11],tanh函數(shù)的分布范圍為(-1,1)。

Yolact網(wǎng)絡(luò)的損失函數(shù)包括位置損失函數(shù)、類別置信度損失函數(shù)、蒙版系數(shù)損失函數(shù),位置損失函數(shù)采用Smooth_L1函數(shù)[11],可以有效緩解因控制候選錨框與真實框之間的差別所導致的梯度值均衡問題。類別置信度損失函數(shù)采用Focal_Loss函數(shù)[11],在訓練過程中,可以提高正負、難易樣本的均衡性。蒙版系數(shù)損失函數(shù)采用二進制交叉熵函數(shù)。損失函數(shù)為

(2)

L=LB+LC+LF

(3)

式中,LBCE為二進制交叉熵;ti為目標信息;oi為輸出信息;L為總損失函數(shù);LB為位置損失函數(shù);LC為類別置信度損失函數(shù);LF為蒙版系數(shù)損失函數(shù)。

2.4 矸石輪廓跟蹤

使用開源跨平臺計算機視覺庫OpenCV中的中心距函數(shù)Moments、檢測輪廓函數(shù)FindContours和輪廓面積函數(shù)ContourArea,分別計算每個矸石的面積信息,對不同矸石進行精確的定位?；赟UZUKI等[18]提出的邊界跟蹤算法,標記輪廓點。標記序號N的初始值為1,提取過程如下所示。

①以(i,j)為中心,(i2,j2)為起點,設(shè)定順時針第一個非零像素點為(i1,j1)。

②(i2,j2)=(i1,j1),(i3,j3)=(i,j)。

③以(i3,j3)為中心,按逆時針方向,鄰域內(nèi)第一個非零點為(i4,j4)。

④(i3,i3+1)不是③中已經(jīng)檢查過的零像素點,并且fi3j3=1,則fi3j3=N+1。

⑤(i2,j2)=(i3,j3),(i3,j3)=(i4,j4),轉(zhuǎn)到第③步驟。

如圖4(a)所示,已經(jīng)找到第一個輪廓點I0和最后一個輪廓點I1,并且找到了第2個輪廓點I3,此時以I3為中心點,在8鄰域內(nèi)找到非零點I4;如圖4(b)所示,邊界追蹤算法判斷I4是新的輪廓點(即第3個輪廓點),讓I3指向它,更新I3位置,該點作為當前中心點,在8鄰域內(nèi)尋找非零點,更新I4位置;根據(jù)上述過程,最終標記外邊界輪廓。

圖4 邊界跟蹤過程Fig.4 The process of boundary tracking

3 實驗與分析

3.1 數(shù)據(jù)集

在某煤礦現(xiàn)場采集皮帶中的矸石圖像,通過先驗知識篩選訓練數(shù)據(jù)集,數(shù)據(jù)集包括3 085張寬高尺寸為1 950×1 080的帶矸石的輸送帶圖像。用LabelImg軟件對矸石數(shù)據(jù)集進行標注,按照7∶2∶1的比例劃分為訓練集、驗證集和測試集。對數(shù)據(jù)集進行高斯濾波和直方圖均衡化增強。如圖5(a)所示為矸石(Stone)圖像。

圖5 矸石檢測可視化Fig.5 Visualization of gangue detection

3.2 評價指標

通過每秒檢測幀數(shù)(Frames Per Second,FPS)評價模型推理速度。通過準確率P評價算法的準確性。準確率P為

(4)

式中,NTP為皮帶中矸石預測正確的個數(shù);NFP為皮帶中矸石預測錯誤的個數(shù)。

3.3 實驗結(jié)果

結(jié)果可視化:通過加載訓練過的矸石識別參數(shù),實例分割網(wǎng)絡(luò)可以精確檢測不同異物類型。其中,圖5(b)是矸石檢測結(jié)果圖,圖5(c)是矸石實例分割圖,圖5(d)是矸石二值化分割圖。圖5中英文符號Stone為矸石標簽,數(shù)字為矸石的置信度信息。

結(jié)果分析:為了對煤礦皮帶矸石進行有效計量,需要分揀算法自動讀取皮帶異物的位置信息和邊框輪廓信息?；谙袼攸c的分類和統(tǒng)計機制,Yolact網(wǎng)絡(luò)可以精確計算每個皮帶異物的面積,見表1。

表1 矸石形狀信息

同時對實例分割網(wǎng)絡(luò)Yolact和改進的Yolact算法進行混合樣本實驗,實驗分為3組,每次實驗增加50個皮帶矸石樣本。實驗顯卡環(huán)境為Nvidia Gefore GTX 1650。檢測準確率結(jié)果見表2。

表2 矸石識別測試結(jié)果

從表2可以看出,Yolact和改進后的Yolact算法對皮帶異物分揀具有較高的準確率。Yolact算法的檢測速度為23.57 FPS,權(quán)重僅為117.00 m。改進后的Yolact算法的檢測速度為30.72 FPS,權(quán)重僅為25.7 m。更高的檢測速度和較小的模型權(quán)重更適合煤礦皮帶場景部署。

4 結(jié)論

(1)基于深度學習的矸石實例分割算法可以準確定位和分割矸石特征,利用殘差結(jié)構(gòu)可以加快實例分割速度,使得改進后的Yolact實例分割網(wǎng)絡(luò)在準確分割的前提下,具有較高速度。

(2)實例分割后的矸石結(jié)果邊界更加清晰,在算法后處理過程中引用源跨平臺計算機視覺庫OpenCV中的輪廓檢測算法和輪廓面積算法,使網(wǎng)絡(luò)能夠?qū)肥M行有效計量。