改進(jìn)YOLOv5s 的采煤機(jī)滾筒與支架護(hù)幫板干涉狀態(tài)智能識(shí)別

毛清華 ，胡 鑫 ，王孟寒 ，張旭輝 ，薛旭升

（1.西安科技大學(xué) 機(jī)械工程學(xué)院, 陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能檢測(cè)與控制重點(diǎn)實(shí)驗(yàn)室, 陜西 西安 710054）

0 引 言

2020 年，國(guó)家八部委聯(lián)合頒發(fā)了《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見(jiàn)》，指出煤礦智能化是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐，研究工作面智能化開(kāi)采技術(shù)是實(shí)現(xiàn)煤礦智能化的關(guān)鍵。液壓支架作為綜采成套裝備的重要組成部分，是實(shí)現(xiàn)煤礦井下安全生產(chǎn)的關(guān)鍵設(shè)備之一[1-2]。在綜采工作面協(xié)同采煤過(guò)程中，采煤機(jī)、液壓支架和刮板輸送機(jī)自動(dòng)協(xié)同工作是自動(dòng)開(kāi)采技術(shù)的核心。在采煤機(jī)割煤時(shí)，若在采煤機(jī)到達(dá)前液壓支架護(hù)幫板沒(méi)有收回時(shí)，將會(huì)出現(xiàn)護(hù)幫板與采煤機(jī)滾筒干涉[3-4]，導(dǎo)致截齒損壞甚至人員傷亡事故。因此，研究液壓支架護(hù)幫板異常狀態(tài)智能識(shí)別方法，對(duì)煤礦安全、高效、智能開(kāi)采具有重要意義。

目前，在智能開(kāi)采背景下，采煤機(jī)滾筒與液壓支架護(hù)幫板干涉識(shí)別成為研究熱點(diǎn)[5]。王妙云等[6]針對(duì)煤礦綜采工作面設(shè)備間碰撞檢測(cè)手段匱乏、預(yù)警困難等問(wèn)題，運(yùn)用虛擬現(xiàn)實(shí)技術(shù)、包圍盒碰撞檢測(cè)技術(shù)，仿真實(shí)現(xiàn)了采煤機(jī)滾筒與液壓支架護(hù)幫板之間的碰撞檢測(cè)功能。王淵等[7]利用霧塵圖像清晰化算法與機(jī)器視覺(jué)測(cè)量方法對(duì)液壓支架護(hù)幫板的收回狀態(tài)進(jìn)行非接觸監(jiān)測(cè)。滿(mǎn)溢橋[8]建立了基于圖像特征的護(hù)幫板位姿解算模型，設(shè)計(jì)了護(hù)幫板圖像位姿特征提取算法對(duì)護(hù)幫板與滾筒截割干涉進(jìn)行識(shí)別。綜上所述，目前主要采用機(jī)器視覺(jué)檢測(cè)液壓支架護(hù)幫板的姿態(tài)來(lái)識(shí)別采煤機(jī)滾筒與護(hù)幫板干涉狀態(tài)，但在煤礦綜采工作面實(shí)際工況中存在設(shè)備遮擋、霧塵干擾等導(dǎo)致護(hù)幫板與采煤機(jī)滾筒邊緣難以準(zhǔn)確提取，因此直接通過(guò)視頻圖像識(shí)別護(hù)幫板位姿難以實(shí)現(xiàn)采煤機(jī)滾筒與護(hù)幫板干涉準(zhǔn)確識(shí)別。

機(jī)器視覺(jué)技術(shù)廣泛應(yīng)用于模式識(shí)別中，但傳統(tǒng)的圖像識(shí)別方法通過(guò)提取圖像特征進(jìn)行分類(lèi)識(shí)別，在實(shí)際工況中存在特征自適應(yīng)提取難導(dǎo)致識(shí)別準(zhǔn)確率不高的問(wèn)題。深度學(xué)習(xí)可以直接對(duì)原始圖像進(jìn)行自適應(yīng)特征提取，能夠有效解決人為選取圖像特征導(dǎo)致識(shí)別準(zhǔn)確率不高的難題[9-10]。深度學(xué)習(xí)的目標(biāo)檢測(cè)算法有多種，而 Faster R-CNN、YOLO 和SSD是應(yīng)用最為廣泛的3 種[11-14]，其中Faster R-CNN 準(zhǔn)確率比較高，但是識(shí)別速度不高；SSD 識(shí)別速度快，但是識(shí)別準(zhǔn)確率不高；YOLO 系列算法識(shí)別準(zhǔn)確率和速度都較高[15-17]。因此，YOLO 系列算法在煤礦井下應(yīng)用比較廣泛。魏強(qiáng)等[18]為了低性能設(shè)備上能滿(mǎn)足實(shí)時(shí)檢測(cè)，提出了一種融合圖像去霧與Tiny-YOLOv3 的目標(biāo)檢測(cè)方法，該方法能實(shí)時(shí)檢測(cè)護(hù)幫板狀態(tài)。張旭輝等[19]提出了一種基于改進(jìn)YOLOv5s的護(hù)幫板識(shí)別方法，該方法能實(shí)時(shí)檢測(cè)護(hù)幫板狀態(tài)。但是，以上研究重點(diǎn)研究護(hù)幫板識(shí)別，而缺乏護(hù)幫板與采煤機(jī)滾筒干涉識(shí)別研究。

為此，提出一種改進(jìn)YOLOv5s 的采煤機(jī)滾筒與護(hù)幫板干涉狀態(tài)智能識(shí)別方法。針對(duì)綜采工作面環(huán)境惡劣，采集的視頻圖像受采煤時(shí)產(chǎn)生的塵霧干擾影響識(shí)別問(wèn)題，運(yùn)用前期課題組提出的去霧去塵方法[20]對(duì)采煤機(jī)滾筒與液壓支架護(hù)幫板圖像進(jìn)行清晰化處理，為后續(xù)采煤機(jī)滾筒與液壓支架護(hù)幫板干涉狀態(tài)識(shí)別提供高質(zhì)量的原始圖像; 針對(duì)標(biāo)準(zhǔn)YOLOv5s參數(shù)量、運(yùn)算量較大問(wèn)題，使用Ghost 卷積減少模型參數(shù)，提高模型識(shí)別速度；針對(duì)綜采工作面干擾物體和特征較多問(wèn)題，引入CA 注意力機(jī)制，提高模型對(duì)護(hù)幫板和滾筒特征提取能力，從而提高模型識(shí)別精確率；針對(duì)因護(hù)幫板重疊而發(fā)生漏檢問(wèn)題，運(yùn)用Soft-NMS 錨框篩選方法替換原有模型中NMS 錨框篩選方法；最終根據(jù)護(hù)幫板與滾筒的檢測(cè)錨框重疊程度判定二者干涉狀態(tài)。從而實(shí)現(xiàn)液壓支架護(hù)幫板與采煤機(jī)滾筒干涉狀態(tài)的智能精確識(shí)識(shí)別，對(duì)煤礦安全、高效、智能開(kāi)采具有重要意義。

1 干涉狀態(tài)識(shí)別系統(tǒng)總體設(shè)計(jì)

1.1 攝像頭布置

首先布置視頻傳感器，每間隔3～4 臺(tái)液壓支架布置一個(gè)防爆云臺(tái)攝像機(jī)，負(fù)責(zé)對(duì)應(yīng)區(qū)域護(hù)幫板的圖像采集，如圖1 所示。

圖1 視覺(jué)傳感器布置示意Fig.1 Arrangement method of camera

1.2 滾筒與護(hù)幫板干涉狀態(tài)

根據(jù)煤礦綜采工作面液壓支架護(hù)幫板的支護(hù)要求，護(hù)幫板須與采煤機(jī)協(xié)同運(yùn)行。干涉狀態(tài)護(hù)幫板圖像如圖2 所示，當(dāng)采煤機(jī)滾筒抵達(dá)時(shí)，紅框中的兩個(gè)護(hù)幫板未及時(shí)收回，即認(rèn)為此處護(hù)幫板與滾筒發(fā)生干涉。每臺(tái)礦用本安防爆攝像儀分別負(fù)責(zé)拍攝3到5 個(gè)液壓支架護(hù)幫板圖像，當(dāng)采煤機(jī)滾筒行進(jìn)到對(duì)應(yīng)位置礦用本安防爆攝像儀的視野內(nèi)時(shí)，開(kāi)始對(duì)該臺(tái)攝像儀拍攝到的所有護(hù)幫板和滾筒進(jìn)行識(shí)別。根據(jù)采煤工藝需求，在采煤機(jī)前進(jìn)方向上，距離滾筒最近的護(hù)幫板應(yīng)當(dāng)及時(shí)收回，若未收回則認(rèn)為這些護(hù)幫板將與滾筒發(fā)生干涉，這些護(hù)幫板將會(huì)被識(shí)別和發(fā)出報(bào)警信號(hào)。

圖2 存在異常狀態(tài)的護(hù)幫板圖像Fig.2 Image of guard plate with abnormal state

1.3 數(shù)據(jù)集構(gòu)建

試驗(yàn)所用的采煤機(jī)滾筒與護(hù)幫板數(shù)據(jù)集來(lái)源于黃陵2 號(hào)礦，錄制了30 d 的該煤礦生產(chǎn)中與未生產(chǎn)時(shí)根據(jù)需求安裝的58 臺(tái)防爆云臺(tái)攝像頭煤礦監(jiān)控視頻，并通過(guò)云臺(tái)控制旋轉(zhuǎn)攝像頭拍攝煤壁上各個(gè)角度的液壓支架護(hù)幫板各種狀態(tài)圖像。避免綜采工作面推進(jìn)中導(dǎo)致攝像頭拍攝角度變化，增加識(shí)別模型的魯棒性。采用opencv-python 調(diào)取護(hù)幫板和采煤機(jī)工作視頻，視頻流每隔25 幀保存1 張圖片，共得到15 000 張煤礦井下真實(shí)圖像。采煤機(jī)截割頭標(biāo)注為shearer，護(hù)幫板標(biāo)注為warning。煤礦綜采工作面存在大量粉塵和設(shè)備產(chǎn)生的水霧，導(dǎo)致采集到的圖片質(zhì)量差、煤礦井下目標(biāo)模糊、細(xì)節(jié)丟失、能見(jiàn)度低、難以識(shí)別，無(wú)法為異常識(shí)別提供高質(zhì)量圖像。因此，首先運(yùn)用我們前期提出的基于邊界約束和非線性上下文正則化的去霧去塵方法對(duì)視頻圖像進(jìn)行清晰化處理，處理結(jié)果如圖3 所示，實(shí)現(xiàn)了良好的去霧去塵處理。

圖3 綜采工作面霧塵圖像清晰化處理Fig.3 Clear processing of fog and dust image in fully mechanized mining face

采用LabelImg 軟件在圖像上以最小外接矩形框標(biāo)注訓(xùn)練數(shù)據(jù)集的采煤機(jī)滾筒與液壓支架護(hù)幫板。如圖4 所示，制作成采煤機(jī)滾筒與護(hù)幫板數(shù)據(jù)集，然后以8∶1∶1 的比例形成為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

圖4 護(hù)幫板與滾筒的標(biāo)注示例Fig.4 Example of labeling of side guard and shearer

1.4 干涉狀態(tài)檢測(cè)系統(tǒng)

采煤機(jī)滾筒與液壓支架護(hù)幫板的干涉狀態(tài)檢測(cè)系統(tǒng)如圖5 所示。首先，在AI 訓(xùn)練平臺(tái)上訓(xùn)練基于改進(jìn)YOLOv5s 的目標(biāo)檢測(cè)模型，將異常狀態(tài)檢測(cè)模型部署到集控中心；其次，在進(jìn)行采煤作業(yè)時(shí)，當(dāng)采煤機(jī)滾筒進(jìn)入對(duì)應(yīng)位置的視頻傳感器視角內(nèi)時(shí)，集控中心的推理服務(wù)器通過(guò)獲取攝像頭的視頻流地址，采用OpenCV 直接解碼攝像頭實(shí)時(shí)監(jiān)控畫(huà)面并識(shí)別，然后通過(guò)識(shí)別結(jié)果判斷采煤機(jī)接近時(shí)護(hù)幫板是否未收回；最后，若檢測(cè)結(jié)果為異常，監(jiān)控系統(tǒng)進(jìn)行異常報(bào)警和控制采煤機(jī)停機(jī)，防止與采煤機(jī)滾筒發(fā)生碰撞，同時(shí)保存識(shí)別結(jié)果。

圖5 護(hù)幫板干涉狀態(tài)識(shí)別系統(tǒng)Fig.5 Interference status identification system for guard plate

2 干涉狀態(tài)識(shí)別方法

2.1 改進(jìn)YOLOv5s 的干涉狀態(tài)識(shí)別方法

在綜采工作面協(xié)同采煤過(guò)程中，若在采煤機(jī)抵達(dá)前液壓支架護(hù)幫板沒(méi)有收回時(shí)，將會(huì)出現(xiàn)運(yùn)動(dòng)干涉情況，因此需要實(shí)時(shí)監(jiān)測(cè)并處理。

基于改進(jìn)YOLOv5s 的采煤機(jī)滾筒與液壓支架護(hù)幫板干涉狀態(tài)識(shí)別方法如圖6 所示。首先，輸入未收回的護(hù)幫板和采煤機(jī)滾筒圖像樣本對(duì)模型進(jìn)行訓(xùn)練，得到識(shí)別模型。然后在進(jìn)行采煤作業(yè)時(shí)，當(dāng)采煤機(jī)滾筒進(jìn)入對(duì)應(yīng)位置的視覺(jué)傳感器視角內(nèi)時(shí)，開(kāi)始對(duì)該區(qū)域的視頻監(jiān)控圖像進(jìn)行去霧處理，接著將去霧圖像輸入到改進(jìn)YOLOv5s 模型完成護(hù)幫板與采煤機(jī)滾筒識(shí)別，得到的護(hù)幫板和滾筒錨框，然后通過(guò)計(jì)算兩者錨框重合度Z，即可完成采煤機(jī)滾筒與液壓支架護(hù)幫板的干涉識(shí)別。根據(jù)工況需求和大量實(shí)際視頻分析，設(shè)定當(dāng)重合度Z大于50%時(shí)報(bào)警，避免由于視角問(wèn)題可能導(dǎo)致滾筒和護(hù)幫板目標(biāo)框相交導(dǎo)致的誤判現(xiàn)象。

圖6 基于改進(jìn)YOLOv5s 的干涉狀態(tài)識(shí)別方法Fig.6 An improved interference state recognition method based on YOLOv5s

1）當(dāng)重合度小于50%時(shí)，即采煤機(jī)滾筒到達(dá)時(shí)護(hù)幫板為收回狀態(tài)，監(jiān)控視頻顯示綠色的“正?！薄?/p>

2）當(dāng)重合度大于50%時(shí)，則認(rèn)為護(hù)幫板與采煤機(jī)滾筒距離過(guò)近，判定為已經(jīng)發(fā)生干涉，則在監(jiān)控視頻對(duì)其識(shí)別框標(biāo)紅并顯示紅色的“警告”，表示為異常工作狀態(tài)，提醒集控中心人員進(jìn)行處理和控制采煤機(jī)停機(jī)，防止與采煤機(jī)滾筒發(fā)生碰撞。

2.2 錨框重合度Z 計(jì)算

給定兩個(gè)矩形A和B，矩形A的左上角坐標(biāo)為（Xa1,Ya1），右下角坐標(biāo)為（Xa2,Ya2），矩形B的左上角坐標(biāo)為（Xb1,Yb1），右下角坐標(biāo)為（Xb2,Yb2）如圖7 所示。

圖7 矩形A 和BFig.7 Rectangle A and B

判斷2 個(gè)矩形的中心坐標(biāo)的水平和垂直距離，只要這2 個(gè)值滿(mǎn)足一下條件就可以相交。

矩形A的面積:

這樣就求出了矩形的重合度Z:

2.3 改進(jìn)的YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)

將YOLOv5 主干網(wǎng)絡(luò)中的普通卷積Conv 替換為分類(lèi)效果更佳的Ghost 卷積，并在Backbone 部分引入CA，改進(jìn)的主干網(wǎng)絡(luò)結(jié)構(gòu)及識(shí)別過(guò)程如圖8所示。

圖8 改進(jìn)的YOLOv5s 網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 Improved YOLOv5s network

2.3.1 Ghost 卷積提升識(shí)別效率

為了將多個(gè)模型并行部署到顯存和內(nèi)存較小的設(shè)備上，且實(shí)現(xiàn)對(duì)多個(gè)攝像頭的實(shí)時(shí)識(shí)別的要求，通過(guò)GhostConv 提高護(hù)幫板識(shí)別效率。

在YOLOv5 深度學(xué)習(xí)網(wǎng)絡(luò)中存在著大量冗余，如對(duì)模型的精度至關(guān)重要的特征圖是由卷積操作得到，又輸入到下一個(gè)卷積層進(jìn)行運(yùn)算，這個(gè)過(guò)程包含大量的網(wǎng)絡(luò)參數(shù)，消耗了大量的計(jì)算資源。造成護(hù)幫板速度低，因此引入GhostConv 代替Backbone 主干特征提取網(wǎng)絡(luò)中的普通卷積，可在提高模型檢測(cè)速度的同時(shí)，僅損失較少的精度。

Ghost 卷積[21]部分將傳統(tǒng)卷積操作分為3 部分：

1）如圖9 所示。首先將輸入的特征圖進(jìn)行卷積，但是與常規(guī)卷積中輸出的通道數(shù)為N不同，其首先得到紅色框中的特征圖，其輸出的通道數(shù)為

圖9 傳統(tǒng)卷積與Ghost 卷積模塊Fig.9 Convolutional layer and GhostConv module

2）隨后將紅色框中的特征圖的每個(gè)通道單獨(dú)進(jìn)行某種“線性變換”；

3）最后將以上2 步操作所得到的特征圖進(jìn)行拼接來(lái)生成最終的特征圖，得到與普通卷積相當(dāng)?shù)奶卣鲌D，能夠在不影響網(wǎng)絡(luò)提取特征性能的同時(shí)減少參數(shù)量。

基于此，以Ghost 模塊為基礎(chǔ)構(gòu)建了Ghost 卷積如圖10 所示。

圖10 Ghost 卷積Fig.10 GhostConv

2.3.2 引入CA 提升識(shí)別準(zhǔn)確率

由于煤礦井下環(huán)境復(fù)雜，井下目標(biāo)尺度多樣，影響YOLOv5s 模型對(duì)圖像中滾筒與護(hù)幫板特征信息的提取，造成識(shí)別準(zhǔn)確率不高。引入了CA 注意機(jī)制，幫助網(wǎng)絡(luò)更準(zhǔn)確地定位護(hù)幫板和滾筒，提高模型識(shí)別準(zhǔn)確率。坐標(biāo)注意力機(jī)制[22]（Coordinate Attention，CA）它不僅捕獲跨通道信息，而且捕獲方向感知和位置敏感信息，這有助于模型更準(zhǔn)確地定位和識(shí)別護(hù)幫板。CA 利用兩個(gè)一維全局池化操作分別沿著X橫軸方向和Y 豎軸方向使用了不同大小的池化核如式（15）及式（16）所示。

將CA 注意力機(jī)制添加至CSP 模塊中以及SPPF 模塊前，增強(qiáng)模型的特征提取能力，從而提高模型識(shí)別精確率。

2.3.3 Soft-NMS 錨框篩選方法降低漏檢率

原始YOLOv5s 中采用非極大值抑制算法(NMS)進(jìn)行錨框篩選。但是，當(dāng)一個(gè)物體B 的邊界框與置信度最高的邊界框A 相交，并且兩邊框的處于預(yù)設(shè)的重疊閾值之內(nèi)，則會(huì)將物體B 的邊界框強(qiáng)制刪除，這樣可能會(huì)導(dǎo)致檢測(cè)不到物體B，從而造成漏檢，即液壓支架護(hù)幫板存在重疊時(shí)會(huì)導(dǎo)致漏檢。

因此文中在 YOLOv5s 中引入 Soft-NMS 算法來(lái)代替原始的NMS 算法，Soft-NMS 算法會(huì)對(duì)物體B的檢測(cè)框的檢測(cè)分?jǐn)?shù)進(jìn)行衰減而非徹底移除。根據(jù)高斯分布重置函數(shù)來(lái)解決漏檢，對(duì)傳統(tǒng)的 NMS 分?jǐn)?shù)重置函數(shù)做改進(jìn)如下：

其中，D為所有保留的有效框集合；Bi為待過(guò)濾的第i個(gè)預(yù)測(cè)框；si為第i個(gè)預(yù)測(cè)框?qū)?yīng)的分類(lèi)score；iou為交互比。當(dāng)兩個(gè)框重合度越高時(shí)，Si的取值會(huì)越小，即降低相應(yīng)框的得分，避免了因強(qiáng)制刪除相應(yīng)框而造成漏檢的情況，從而提高目標(biāo)檢測(cè)精度。

2.4 評(píng)價(jià)指標(biāo)

采用平均精度AP(Average Precision，AP) ，AP平均值(Mean Average Precision，mAP) 作為目標(biāo)檢測(cè)的評(píng)價(jià)指標(biāo)來(lái)評(píng)估訓(xùn)練出的模型。

其中，P為精確率；R為召回率；TP為預(yù)測(cè)值與真實(shí)值均為正；FP為預(yù)測(cè)值為負(fù)、真實(shí)值為正；FN為預(yù)測(cè)值為正、真實(shí)值為負(fù)。

3 試驗(yàn)結(jié)果及分析

3.1 試驗(yàn)設(shè)備

試驗(yàn)中所使用設(shè)備參數(shù)如下：

3.2 消融試驗(yàn)結(jié)果

通過(guò)消融試驗(yàn)驗(yàn)證圖像去霧、CA 和Ghost-Conv 對(duì)整體模型的影響，試驗(yàn)采用相同的液壓支架護(hù)幫板數(shù)據(jù)集和軟硬件設(shè)備，所得護(hù)幫板識(shí)別精確率和耗時(shí)見(jiàn)表1。

從表2 中可以看出，進(jìn)行圖像去霧處理后，識(shí)別精確率提高了2.7% ；在YOLOv5s 模型中融入CA后（圖11），增強(qiáng)了模型提取護(hù)幫板關(guān)鍵特征的能力和抗干擾能力，識(shí)別精確率相比于YOLOv5s 提升了3.2%；當(dāng)引入GhostConv 后，識(shí)別精確率相比于YOLOv5s 提高了2.5%，識(shí)別速度相比提高了5.1%；通過(guò)結(jié)合圖像去霧、CA 和GhostConv，改進(jìn)YOLOv5s的識(shí)別精確率比YOLOv5s 提升了8.1%，且識(shí)別速度提高了3.3%，GFLOPs 降低1.86 倍，說(shuō)明改進(jìn)后的網(wǎng)絡(luò)在識(shí)別耗時(shí)減小的情況下有效提高了液壓支架護(hù)幫板異常狀態(tài)識(shí)別的準(zhǔn)確率。運(yùn)用本文改進(jìn)YOLOv5s 模型對(duì)護(hù)幫板識(shí)別結(jié)果如圖12 所示，結(jié)果表明本文改進(jìn)YOLOv5s 網(wǎng)絡(luò)模型實(shí)現(xiàn)了護(hù)幫板準(zhǔn)確識(shí)別。

表2 YOLOv5s、YOLOv3-tiny 方法與本文方法識(shí)別結(jié)果對(duì)比Table 2 Comparison of recognition results of YOLOv5s,YOLOv3-tiny and proposed method

圖11 CA 注意力機(jī)制Fig.11 Coordinate Attention mechanism

圖12 改進(jìn)YOLOv5s 網(wǎng)絡(luò)的護(hù)幫板識(shí)別結(jié)果Fig.12 Identification results of guard plate based on improved YOLOv5s network

3.3 Soft-NMS 錨框篩選方法試驗(yàn)驗(yàn)證

為驗(yàn)證Soft-NMS 錨框篩選方法，采用Soft-NMS 錨框篩選方法和NMS 錨框篩選方法對(duì)護(hù)幫板圖像進(jìn)行識(shí)別對(duì)比分析，結(jié)果如圖13 所示。

圖13 NMS 與soft-NMS 的護(hù)幫板識(shí)別結(jié)果對(duì)比Fig.13 Comparison of recognition results between NMS and soft-NMS for guard plates

由于視頻傳感器布置角度的限制，圖13 中有2個(gè)護(hù)幫板發(fā)生重疊，并且重疊區(qū)域較大。在圖13a中，沒(méi)有將互相重疊部分的左邊護(hù)幫板識(shí)別出來(lái)，而采用Soft-NMS 代替NMS 后，能夠?qū)⒆髠?cè)的護(hù)幫板正確識(shí)別，避免因護(hù)幫板重疊而發(fā)生漏檢。

3.4 不同深度學(xué)習(xí)算法對(duì)比分析

針對(duì)檢測(cè)目標(biāo)，選擇目前使用廣泛的單階段目標(biāo)檢測(cè)算法YOLOv5s、YOLOv3-tiny 算法對(duì)護(hù)幫板狀態(tài)圖像進(jìn)行識(shí)別對(duì)比分析，識(shí)別結(jié)果如圖14 所示，其中圖14a 是文中方法的識(shí)別結(jié)果，圖14b 是YOLOv5 的識(shí)別結(jié)果，圖14c 是YOLOv3-tiny 方法識(shí)別結(jié)果。

圖14 3 種深度學(xué)習(xí)方法識(shí)別結(jié)果對(duì)比Fig.14 Comparison of recognition results of three deep learning methods

YOLOv5s、YOLOv3-tiny 方法與文中方法的平均精度和檢測(cè)時(shí)間對(duì)比見(jiàn)表2。

從圖14 中可以得出， YOLOv5s 和YOLOv3-tiny 方法出現(xiàn)了誤檢結(jié)果，圖14b 中將軌道、采煤機(jī)機(jī)體誤識(shí)別為護(hù)幫板，圖14c 中同樣將采煤機(jī)機(jī)體誤識(shí)別為護(hù)幫板，并且從表2 中可得出，YOLOv5s和YOLOv3-tiny 兩種方法對(duì)護(hù)幫板圖像的識(shí)別精度較低，而文中方法識(shí)別平均精度均值最高，mAP@.5達(dá)到97.2%。文中方法對(duì)每幅圖像的平均檢測(cè)時(shí)間為5.9 ms，能夠滿(mǎn)足實(shí)際工況中的檢測(cè)速度需求。因此，綜合3 種方法識(shí)別結(jié)果對(duì)比分析，結(jié)果表明提出的方法識(shí)別效果最好。

3.5 改進(jìn)YOLOv5s 對(duì)現(xiàn)場(chǎng)不同環(huán)境影響識(shí)別驗(yàn)證

運(yùn)用文中方法在黃陵二號(hào)礦實(shí)際現(xiàn)場(chǎng)視頻進(jìn)行識(shí)別。在有霧塵、有遮擋、光照不均勻、環(huán)境良好等不同環(huán)境下采用YOLOv5s 和改進(jìn)YOLOv5s 進(jìn)行護(hù)幫板與滾筒識(shí)別，結(jié)果如圖15 所示。由表3 可知，改進(jìn)YOLOv5s 方法在現(xiàn)場(chǎng)不同識(shí)別環(huán)境下對(duì)護(hù)幫板和滾筒的識(shí)別精確度都較高，具有較好的識(shí)別能力。為后續(xù)干涉狀態(tài)判斷奠定良好基礎(chǔ)。

表3 YOLOv5s 與改進(jìn)YOLOv5s 不同環(huán)境下識(shí)別結(jié)果對(duì)比Table 3 Comparison of recognition results of YOLOv5s and improved YOLOv5s in different environments

3.6 滾筒與護(hù)幫板干涉狀態(tài)識(shí)別驗(yàn)證

為驗(yàn)證采煤機(jī)滾筒與護(hù)幫板干涉狀態(tài)識(shí)別方法有效性，運(yùn)用文中方法對(duì)黃陵二號(hào)礦綜采工作面實(shí)際現(xiàn)場(chǎng)視頻分別截取采煤機(jī)滾筒與護(hù)幫板正常狀態(tài)和干涉狀態(tài)各100 張圖片進(jìn)行試驗(yàn)測(cè)試，識(shí)別結(jié)果見(jiàn)表4。試驗(yàn)結(jié)果表明：文中方法對(duì)采煤機(jī)滾筒與液壓支架護(hù)幫板干涉狀態(tài)識(shí)別準(zhǔn)確率為96%，得到部分識(shí)別結(jié)果如圖16 所示。對(duì)試驗(yàn)過(guò)程及結(jié)果進(jìn)行分析，發(fā)現(xiàn)主要誤識(shí)別原因：采煤機(jī)在截割過(guò)程中出現(xiàn)煤塵較大的工況時(shí)，采用改進(jìn)YOLOv5s 的液壓支架護(hù)幫板干涉狀態(tài)智能識(shí)別方法會(huì)出現(xiàn)采煤機(jī)滾筒被漏檢的情況，影響干涉狀態(tài)識(shí)別結(jié)果。

表4 采煤機(jī)滾筒與護(hù)幫板干涉狀態(tài)識(shí)別結(jié)果Table 4 Shearer drum and guard plate interference state identification results

圖16 采煤機(jī)滾筒與護(hù)幫板干涉狀態(tài)識(shí)別結(jié)果Fig.16 Shearer drum and guard plate interference state identification results

從圖16 中可以得出，當(dāng)采煤機(jī)向前割煤時(shí)，文中方法能夠?qū)⒉擅簷C(jī)前進(jìn)方向上未收回護(hù)幫板與滾筒識(shí)別并進(jìn)行框選，根據(jù)識(shí)別的滾筒與最鄰近液壓支架護(hù)幫板之間的錨框重合程度，可以直觀顯示當(dāng)前的識(shí)別結(jié)果。圖16a 為正常狀態(tài)，即護(hù)幫板不會(huì)與滾筒發(fā)生碰撞，顯示綠色的“正常”，識(shí)別正確；圖16b 為正常狀態(tài)，該情況由視角問(wèn)題導(dǎo)致錨框重疊，顯示綠色的“正?！?，識(shí)別正確；圖16c 為報(bào)警狀態(tài)，即護(hù)幫板與滾筒發(fā)生碰撞，顯示紅色的“警告！”，識(shí)別正確。

4 結(jié) 論

1）運(yùn)用課題組前期提出的基于邊界約束和非線性上下文正則化的去霧去塵方法對(duì)視頻圖像進(jìn)行清晰化處理，提高了綜采工作面監(jiān)控視頻圖像質(zhì)量；提出的改進(jìn)YOLOv5s 模型在主干特征提取網(wǎng)絡(luò)中采用輕量化Ghost 卷積，平均檢測(cè)速度提高了3.3%，加入CA 注意力機(jī)制，增強(qiáng)了模型提取護(hù)幫板關(guān)鍵特征的能力和抗干擾能力，識(shí)別精確率相比于YOLOv5s提升了3.2%。運(yùn)用的Soft-NMS 錨框篩選方法解決了NMS 錨框篩選方法存在因護(hù)幫板重疊而發(fā)生漏檢的問(wèn)題。

2）通過(guò)對(duì)文中方法與YOLOv5s、YOLOv3-tiny方法進(jìn)行對(duì)比分析，結(jié)果表明：本文方法的識(shí)別時(shí)間和精度均更優(yōu)，平均識(shí)別準(zhǔn)確率為97.2%，平均識(shí)別速度為169 幀/s，能夠滿(mǎn)足實(shí)際工況需求。

3）運(yùn)用該方法對(duì)黃陵二號(hào)煤礦綜采工作面現(xiàn)場(chǎng)視頻中液壓支架護(hù)幫板與采煤機(jī)滾筒進(jìn)行了識(shí)別試驗(yàn)驗(yàn)證，結(jié)果表明：文中方法能夠?qū)⒉擅簷C(jī)前進(jìn)方向上未收回護(hù)幫板與滾筒準(zhǔn)確識(shí)別，且根據(jù)識(shí)別結(jié)果計(jì)算識(shí)別的滾筒與最鄰近液壓支架護(hù)幫板之間的錨框重合度實(shí)現(xiàn)了護(hù)幫板與滾筒的干涉狀態(tài)準(zhǔn)確識(shí)別，識(shí)別準(zhǔn)確率為96%。