基于視覺技術(shù)的膠帶輸送機(jī)煤量檢測方法

劉 鋒,白金牛

(1.內(nèi)蒙古科技大學(xué) 信息工程學(xué)院,內(nèi)蒙古 包頭 010400;2.國能神東煤炭集團(tuán)有限公司,陜西 榆林 719315,3.內(nèi)蒙古科技大學(xué) 包頭醫(yī)學(xué)院,內(nèi)蒙古 包頭 010400)

0 引言

膠帶輸送機(jī)(簡稱膠帶機(jī))具有輸送能力強(qiáng)、運送距離長,工作穩(wěn)定、可靠性高、結(jié)構(gòu)簡單易維護(hù)等特點,廣泛應(yīng)用于煤炭企業(yè)中。由于工礦企業(yè)中膠帶輸送機(jī)實際運行環(huán)境差、帶面上有水,給料不均勻等因素均會導(dǎo)致輸送機(jī)出現(xiàn)打滑、堆煤、跑偏等故障。并且大型膠帶機(jī)帶面跨度大、距離長,導(dǎo)致崗位司機(jī)在巡視時耗時長,勞動強(qiáng)度大,不能第一時間發(fā)現(xiàn)故障。為了及時發(fā)現(xiàn)設(shè)備故障、降低故障造成的損失、保證設(shè)備正常運行,企業(yè)都會安裝膠帶機(jī)保護(hù)裝置。常見的膠帶機(jī)保護(hù)功能有急停、拉繩、防撕裂、跑偏、失速、堵塞、逆止裝置、煙霧報警及超溫灑水等,這些傳統(tǒng)的保護(hù)裝置現(xiàn)場檢修維護(hù)工作量大,保護(hù)誤動作率高。因此采用成本低、效率高的非接觸式檢測方法逐漸成為近年來機(jī)器視覺領(lǐng)域的熱門課題[1]。

近年來,隨著人工智能、大數(shù)據(jù)、云計算和工業(yè)互聯(lián)網(wǎng)等科學(xué)技術(shù)的飛速發(fā)展,中國煤炭行業(yè)智能化建設(shè)如火如荼?；谝曈X技術(shù)的膠帶機(jī)煤量檢測方法具有精度更高、速度更快、可嵌入性強(qiáng)等特點,國內(nèi)外學(xué)者針對這一問題已開展了部分基礎(chǔ)性研究。韓濤等[1]基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(MT-CNN)實現(xiàn)帶式輸送機(jī)輸煤量和跑偏檢測。曾飛等[2]利用物料三維激光點云數(shù)據(jù),進(jìn)而提前物料輪廓,建立數(shù)學(xué)模型計算物料流量。楊光耀等[3]采用HALCON算法庫搭建實驗系統(tǒng),進(jìn)行煤流截面計算。董征等[4]利用OpenCV計算機(jī)視覺庫,從原始圖像獲取感興趣區(qū)域,清晰化處理,對比像素距離與物料距離計算出截面積,建立數(shù)學(xué)公式求出一定時間內(nèi)煤流量。劉新龍等[5]通過激光紅外線掃描技術(shù)獲取煤量截面對礦井帶式輸送機(jī)煤流量進(jìn)行檢測。呂劍鐸等[6]使用激光雷達(dá)建立煤量檢測計算模型。關(guān)丙火[7]基于 Ohta顏色空間提取輪廓,進(jìn)而計算煤量。王星[8]采用改進(jìn)的Canny邊緣檢測算法提取帶面邊緣特征,用來判斷是否跑偏。彭利澤[9]采用YOLOv4、YOLACT算法對傳輸帶堆煤的檢測。陶偉忠[10]利用視頻圖像處理技術(shù)提取時域特征和頻域特征,獲取煤流區(qū)域面積,研究調(diào)速算法,建立自動調(diào)速控制系統(tǒng)。薛紅偉等[11]利用深度學(xué)習(xí)模型 YOLOv3和基于歷史高斯統(tǒng)計模型分別實現(xiàn)帶寬檢測、異物檢測和裂痕檢測。王軍等[12]將采集的視頻圖像預(yù)處理獲取煤流區(qū)域面積計算煤量,并建立自適應(yīng)變頻調(diào)速系統(tǒng)。陳小霞等[13]通過圖像預(yù)處理、圖像分割、建立煤量計算公式得出載煤量?？禈鋸?qiáng)[14]通過圖像處理技術(shù)得出煤量占空比,進(jìn)而估算煤量。馬剛等[15]利用超聲波傳感器檢測煤量高度,結(jié)合其它參數(shù)進(jìn)行積分運算計算煤量。成彥穎等[16]用邊緣結(jié)構(gòu)相似算法判斷膠帶機(jī)起停狀態(tài),并結(jié)合YOLOv3判斷是否空載。王桂梅等[17]提出一種基于 VGG16改進(jìn)的 FF-CNN網(wǎng)絡(luò),并利用該網(wǎng)絡(luò)實現(xiàn)煤量的檢測分類。

上述方法有些需要在特定的環(huán)境中運行,適應(yīng)范圍不廣,有的設(shè)備較為昂貴,考慮到工業(yè)應(yīng)用中對于模型所占計算資源和運行時間有更高的要求,選擇YOLO系列最新的算法YOLOv5s,YOLOv5s是YOLOv5 4個版本中速度最快、網(wǎng)絡(luò)深度和寬度最小的版本,以此為基礎(chǔ)模型進(jìn)行改進(jìn),并通過消融實驗與對比實驗證明改進(jìn)的效果。

1 煤量檢測方法

首先將制作好的數(shù)據(jù)集送入煤量檢測模型進(jìn)行訓(xùn)練,訓(xùn)練完畢后將生成權(quán)重文件。利用生成的權(quán)重文件進(jìn)行離線測試,測試完畢后的模型將在實際生產(chǎn)系統(tǒng)中進(jìn)行在線檢測,觀察檢測效果。

2 煤量檢測模型

2.1 YOLOv5s模型

YOLOv5共有4個版本,分別是Yolov5s、Yolov5m、Yolov5l、Yolov5x,它們的模型配置文件都一樣,區(qū)別在于層深和寬度控制不一樣。YOLOv5s是其中最簡潔的一個模型,網(wǎng)絡(luò)模型尺寸小,部署成本低,靈活性高,檢測速度高,AP精度相對較低,更適合工業(yè)應(yīng)用[18]。YOLOv5s模型主要由 Input、Backbone、Neck和Output組成,如圖1所示。

圖1 Yolov5s網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Yolov5s network structure

其中Input為輸入端,采用 Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計算、自適應(yīng)圖片縮放對輸入圖像進(jìn)行處理。數(shù)據(jù)增強(qiáng)方法豐富了數(shù)據(jù)集,也增強(qiáng)了網(wǎng)絡(luò)的魯棒性。

Backbone主要由Focus、CSP、SPP結(jié)構(gòu)組成[19]。Focus結(jié)構(gòu)的關(guān)鍵作用是在圖像進(jìn)入主干之前對其進(jìn)行切片,減少模型層數(shù),提高運行速度。CSP跨階段局部網(wǎng)絡(luò),先將基礎(chǔ)層的特征映射劃分為2部分,然后通過跨階段層次結(jié)構(gòu)將它們合并,在保證準(zhǔn)確率的同時降低計算量。YOLOv5使用了2個CSP結(jié)構(gòu)(CSP1_X和CSP2_X),一個用于骨干網(wǎng),另一個用于頸網(wǎng)。SPP空間金字塔池化模塊[20],主要功能是融合局部特征和全局特征,與簡單使用k×k最大池化相比,它有效地拓寬了骨干特征的接收范圍,并顯著分離了最關(guān)鍵的上下文特征。

Neck包含 FPN(Feature Pyramid Networks,特征金字塔網(wǎng)絡(luò))[21]、PAN(Path Aggregation Network,路徑聚合網(wǎng)絡(luò))[22]。FPN通過從上到下的上采樣來傳輸和組合高級特征信息,傳遞強(qiáng)語義信息,但可能會丟失一些定位特征。PAN是一個自下而上的特征金字塔,加入了自底向上的路線,彌補并加強(qiáng)了定位信息。兩者同時使用可以全面提高模型的魯棒性和學(xué)習(xí)性能。

Output通過 Conv輸出不同尺度的檢測結(jié)果,使用CIOU_Loss做Bounding box的損失函數(shù)。

2.2 MobileNet V2模型

隨著計算機(jī)視覺技術(shù)不斷發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)模型也在不斷推陳出新,從一開始的LeNet到后來的AlexNet[23]、GoogLeNet[24]、VGGNet[25]、ResNet[26],每一種神經(jīng)網(wǎng)絡(luò)模型都有其創(chuàng)新的點,越來越復(fù)雜的結(jié)構(gòu)伴隨著模型體積不斷增大,對于硬件要求更高,部分神經(jīng)網(wǎng)絡(luò)模型只能在高算力的服務(wù)器上運行。2018年,Google團(tuán)隊在MobileNet v1的基礎(chǔ)上改進(jìn)提出了MobileNet v2網(wǎng)絡(luò)[27]。與傳統(tǒng)的CNN相比,該模型計算工作量更少,模型體積更小,運行速度更快,上述優(yōu)點使其適合用于移動設(shè)備、嵌入式設(shè)計等資源有限的環(huán)境中[28-31]。

MobileNet v2具有如下特點:①深度可分離卷積與常規(guī)卷積都用來提取特征,深度可分離卷積包括深度卷積Depthwise(DW)卷積與點Pointwise(PW)卷積2個過程。相比常規(guī)卷積,其參數(shù)量和運算成本較低;②提出反向殘差結(jié)構(gòu)(Inverted Residuals),殘差網(wǎng)絡(luò)結(jié)構(gòu)與傳統(tǒng)ResNet結(jié)構(gòu)不同的地方是ResNet先降維、卷積、再升維恢復(fù)原大小,而MobileNet V2先進(jìn)行了1x1的點卷積升維,目的在于獲得更多特征,然后用3×3的深度卷積,最后再用點卷積對深度卷積的輸出特征進(jìn)行線性組合同時降維。MobileNetV2核心思想是升維再降維,參數(shù)量更少,增強(qiáng)了梯度跨層傳播能力,特征表達(dá)能力;③線性瓶頸結(jié)構(gòu)(Linear Bottlenecks),針對反向殘差結(jié)構(gòu)中,最后一層的卷積層,刪除原有的ReLU激活函數(shù),取而代之的是線性激活函數(shù)。Relu對于負(fù)的輸入、輸出全為零,為了減少信息的丟失,這里不選用Relu激活函數(shù)。

2.3 MobileNetV2_YOLOv5s模型

基于 MobileNetV2與YOLOv5s模型的基本思想,為了進(jìn)一步減少YOLOv5s的計算量,同時提升檢測速度,本文提出了MobileNetV2_YOLOv5s模型,網(wǎng)絡(luò)整體框架如圖2所示。 MobileNetV2_YOLOv5s模型將原始YOLOv5s的特征提取網(wǎng)絡(luò)替換為MobileNetV2。用深度可分離卷積替換YOLOv5s中的CSP-Darknet53標(biāo)準(zhǔn)卷積結(jié)構(gòu),參數(shù)量大大降低。

圖2 MobileNetV2_YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 MobileNetV2_YOLOv5s network structure

2.4 通道和空間注意力機(jī)制

注意力機(jī)制最先被用在NLP領(lǐng)域,Attention就是為了讓模型認(rèn)識到數(shù)據(jù)中哪一部分是最重要的,為它分配更大的權(quán)重,獲得更多的注意力在一些特征上,讓模型表現(xiàn)更好。目前在物體檢測中常用的注意力模塊有CBAM和SENet[32]。CBAM包含2個獨立的子模塊,通道注意力模塊(Channel Attention Module,CAM)和空間注意力模塊(Spartial Attention Module,SAM),除了考慮目標(biāo)的通道特征外,還應(yīng)重點關(guān)注目標(biāo)的位置信息[33],分別進(jìn)行通道與空間上的Attention。

在煤量檢測數(shù)據(jù)集圖像中,目標(biāo)與背景對比度較低,變化不明顯,因此,為了增強(qiáng)模型的特征表達(dá)能力,在骨干網(wǎng)絡(luò)之后引入CBAM進(jìn)行改進(jìn)。如圖3所示,SPP是骨干網(wǎng)的最后一個單元,它提取不同尺度的特征,并輸入到CBAM模塊中,CBAM模塊關(guān)注的是通道特征和位置信息,它們對最終的預(yù)測起著決定性的作用。CBAM加強(qiáng)關(guān)注的重要特征,抑制一般特征,增強(qiáng)骨干網(wǎng)對特征的表達(dá),提高模型的預(yù)測精度。

圖3 CBAM結(jié)構(gòu)Fig.3 CBAM structure

2.5 Neck改進(jìn)

為了保證煤量檢測任務(wù)的實時性,在 Neck中引入 BiFPN結(jié)構(gòu)[34]。將原有的特征提取網(wǎng)絡(luò)PANet改進(jìn)為BiFPN(雙向特征金字塔網(wǎng)絡(luò))網(wǎng)絡(luò)結(jié)構(gòu),該網(wǎng)絡(luò)可以增強(qiáng)信息挖掘的深度,進(jìn)一步提高模型的特征提取能力。BiFPN和PANet的結(jié)構(gòu)對比如圖4所示,對比發(fā)現(xiàn)BiFPN刪除了虛框內(nèi)的2個節(jié)點,因為這2個節(jié)點只有一個輸入邊的對融合不同特征貢獻(xiàn)相對更小;BiFPN在相同級別的輸入輸出節(jié)點上增加一條額外的邊,可以融合更多的特征,如圖 4(b)中的所示;BiFPN網(wǎng)絡(luò)在處理路徑上加強(qiáng)了更高層次的特征融合,將每一條雙向路徑(自上而下和自下而上)作為一個特征網(wǎng)絡(luò)層進(jìn)行處理,并在同一層中多次重復(fù)該過程。通過加權(quán)特征融合,學(xué)習(xí)不同輸入特征的重要性,并對不同特征進(jìn)行差分融合。

圖4 BiFPN和PANet結(jié)構(gòu)對比Fig.4 Structural comparison of BiFPN and PANet

2.6 遷移學(xué)習(xí)

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中,樣本數(shù)量與學(xué)習(xí)權(quán)重直接影響訓(xùn)練結(jié)果,文中數(shù)據(jù)集相對較小,分類較少。遷移學(xué)習(xí)的意義在于可以利用以前從其他任務(wù)中獲得的知識,并將知識應(yīng)用到新任務(wù)中,以更快更有效地方法解決類似新問題?？梢詮浹a數(shù)據(jù)集質(zhì)量不高的問題。因此采用YOLOv5s在COCO數(shù)據(jù)集中的預(yù)訓(xùn)練權(quán)重,可優(yōu)化模型的初始化權(quán)重參數(shù),快速完成網(wǎng)絡(luò)模型的訓(xùn)練,并將其部署到本研究任務(wù)中。

3 實驗與分析

3.1 自建數(shù)據(jù)集

由于煤量檢測沒有公開的數(shù)據(jù)集,故構(gòu)建一個煤量檢測數(shù)據(jù)集。利用安裝在膠帶機(jī)機(jī)上的高清攝像機(jī)采集現(xiàn)場視頻圖像,用Python-Opencv庫實現(xiàn)視頻連續(xù)逐幀截圖自動生成圖片,平均像素大小約為1 920×1 080,剔除不清晰、無用的圖像,從中選取保留無煤量、少煤量、中煤量、多煤量圖像各 500張。對選取的圖片進(jìn)行降噪、裁剪等預(yù)處理,用LabelImg標(biāo)注軟件對數(shù)據(jù)集進(jìn)行標(biāo)注,根據(jù)實驗需要,按8∶2隨機(jī)分為訓(xùn)練集和測試集。

3.2 硬件環(huán)境

實驗平臺電腦配置如下:CPU為Intel Core I7-8565U,礦用本安型紅外球型云臺攝像儀KBA12(A)。Python版本為3.9.7,深度學(xué)習(xí)框架及版本為Pytorch 1.8.0,模型優(yōu)化器選擇Adam。

3.3 參數(shù)設(shè)置及評價指標(biāo)

模型訓(xùn)練參數(shù)設(shè)置:輸入圖像大小為640×640,迭代次數(shù)為 150,批次大小為 16,每批次訓(xùn)練圖像 16張。初始學(xué)習(xí)率為 0.1。評估模型的性能指標(biāo)有查準(zhǔn)率 P(Precision)、查全率R(Recall),各均值平均精度 mAP(mean Average Precision)值。具體計算方式見式(1)～(3)。

(1)

(2)

(3)

式中,TP為被正確檢測出的煤量;FN為沒有被檢測出的煤量;FP為誤檢的煤量;TN為沒有被誤檢的煤量。

3.4 實驗結(jié)果分析

3.4.1 消融實驗

通過消融實驗直觀地觀察不同的改進(jìn)對模型性能的影響。在消融實驗中,測試模型改進(jìn)前后的mAP值作為衡量指標(biāo),首先將原始YOLOv5s的特征提取網(wǎng)絡(luò)替換為MobileNetV2,然后引入BiFPN網(wǎng)絡(luò)結(jié)構(gòu),加入通道和空間注意力機(jī)制,最后利用遷移學(xué)習(xí)優(yōu)化模型的初始化權(quán)重參數(shù)。

實驗結(jié)果見表1。其中,使用MobileNetV2替換原始主干網(wǎng)絡(luò)后使模型的運行速度有所提升,但是mAP下降了3.2%。加入通道和空間注意力之后mAP值提高2.3%,檢測速度有所提升,加入BiFPN后,模型的運行速度也有所提升,同時使網(wǎng)絡(luò)的mAP值提高2.1%。使用遷移學(xué)習(xí)訓(xùn)練后,模型準(zhǔn)確率提升為98.9%。

表1 消融實驗結(jié)果Table 1 Results of ablation experiment

3.4.2 對比實驗

為了測試模型的效果,選取當(dāng)下常見的模型Faster RCNN、R-CNN、SSD、YOLOv3、YOLOv5、YO-LOv5s、Improved YOLOv5s在自建數(shù)據(jù)集上進(jìn)行測試。測試結(jié)果見表2,可以看出Faster RCNN、R-CNN、SSD、YOLOv3、YOLOv5、YOLOv5s在自建數(shù)據(jù)集上的表現(xiàn)都不如改進(jìn)后的模型。Faster RCNN、R-CNN和YOLOv3的檢測速度分不能滿足高效識別的要求。SSD和YOLOv5s檢測精度較改進(jìn)后的模型低,mAP50分別比改進(jìn)后的YOLOv5s低4.4%和4.2%。在工業(yè)應(yīng)用中識別煤量,對準(zhǔn)確性與高效性都有較高的要求。因此,改進(jìn)后的算法優(yōu)于YOLOv5s算法?？傮w而言,通過對mAP50和FPS的比較,可以看出改進(jìn)后的YOLOv5s模型檢測精度更高、速度更快。

表2 對比實驗結(jié)果Table 2 Comparison of experimental results

4 結(jié)論

煤量檢測是保障膠帶機(jī)輸送機(jī)安全運行的重要手段,是實現(xiàn)膠帶機(jī)輸送機(jī)自動調(diào)速的前提,對于工礦企業(yè)安全管理及節(jié)能降耗有重要意義?；赮OLOv5s網(wǎng)絡(luò)模型對膠帶機(jī)煤量進(jìn)行檢測,通過替換原YOLOv5s主干網(wǎng)絡(luò),增加CBAM模塊,Neck部分引入BiFPN結(jié)構(gòu),采用遷移學(xué)習(xí)優(yōu)化模型的初始化參數(shù),改進(jìn)后的YOLOv5s檢測速度為32幀/s,mAP50為98.9%。分別較原模型提升了18%和4.2%。提出的改進(jìn)方法能夠快速、準(zhǔn)確地識別膠帶機(jī)輸送機(jī)的煤量,可以為提高膠帶輸送機(jī)安全管理水平和智能化建設(shè)提供參考。