基于YOLO V3的露天礦電鏟鏟斗工作狀態(tài)檢測(cè)研究

李雪健，繆衛(wèi)峰，杜勇志，盧進(jìn)南

（1.神華寶日希勒能源有限公司，內(nèi)蒙古呼倫貝爾 021025；2.遼寧工程技術(shù)大學(xué)機(jī)械工程學(xué)院，遼寧阜新 123000）

大型電鏟（礦用挖掘機(jī)）對(duì)工作環(huán)境適應(yīng)性強(qiáng)、對(duì)物料的爆破要求低、生產(chǎn)效率高、運(yùn)營(yíng)成本低，是露天礦采掘的主要工程機(jī)械。保證施工過(guò)程中鏟斗狀態(tài)良好，實(shí)現(xiàn)電鏟斗齒的實(shí)時(shí)檢測(cè)具有重要的工程意義和實(shí)用價(jià)值。目前斗齒檢測(cè)依賴于駕駛室側(cè)面屏幕進(jìn)行人工判別，駕駛員工作負(fù)荷極高，并且極易因?yàn)楣饩€變化、人為疏忽導(dǎo)致未及時(shí)發(fā)現(xiàn)斗齒脫落，嚴(yán)重影響工作效率和生產(chǎn)安全。

斗齒狀態(tài)自動(dòng)監(jiān)測(cè)近年來(lái)吸引了很多學(xué)者關(guān)注。Xiujuan Luo 等[1]利用激光測(cè)距儀進(jìn)行斗齒檢測(cè)，使用激光測(cè)距儀測(cè)量工作狀態(tài)下的斗齒間離，再建立三維模型，通過(guò)健康狀態(tài)下的模型進(jìn)行對(duì)比進(jìn)行斗齒脫落判斷；He Li[2]通過(guò)圖像的形貌、結(jié)構(gòu)和形狀特征，使用傳統(tǒng)目標(biāo)檢測(cè)算法，通過(guò)斗齒間相互位置關(guān)系添加結(jié)構(gòu)特征約束和訓(xùn)練支持向量機(jī)來(lái)進(jìn)行目標(biāo)檢測(cè)；Ser Nam Lim 等[3]提取電鏟在運(yùn)動(dòng)過(guò)程中鏟斗的圖像樣本，先對(duì)斗齒進(jìn)行大體定位，再用幀差法和光流法來(lái)對(duì)結(jié)果進(jìn)行修正，最后通過(guò)模板匹配和齒線擬合確定位斗齒目標(biāo)，結(jié)合斗齒圖像的相關(guān)灰度特征判斷斗齒是否斷裂或者脫落；湯恒[4]使用梯度方向直方圖特征結(jié)合支持向量機(jī)的目標(biāo)檢測(cè)框架對(duì)紅外圖像中的斗齒進(jìn)行目標(biāo)檢測(cè)；岳海峰[5]通過(guò)圖像識(shí)別特定位置進(jìn)行鏟斗抓拍以及隔幀取流的關(guān)鍵算法分析，將基于圖像識(shí)別的斗齒監(jiān)控系統(tǒng)應(yīng)用在挖掘機(jī)上，實(shí)現(xiàn)了對(duì)斗齒磨損或者丟失的自動(dòng)識(shí)別和自動(dòng)報(bào)警。

1 電鏟斗齒監(jiān)測(cè)系統(tǒng)與算法

1.1 電鏟斗齒監(jiān)測(cè)系統(tǒng)架構(gòu)

電鏟駕駛室空間有限，為了保障安全生產(chǎn)，不宜在駕駛室使用大體積、大功率用電設(shè)備，因此采用高性能嵌入式計(jì)算平臺(tái)和輕量化的目標(biāo)檢測(cè)算法進(jìn)行斗齒檢測(cè)。根據(jù)市場(chǎng)調(diào)研，基于項(xiàng)目的需求、工業(yè)應(yīng)用的穩(wěn)定性等綜合性考慮采用英偉達(dá)（NVIDIA）公司生產(chǎn)的嵌入式AI 處理平臺(tái)Jetson AGX Xavier。電鏟斗齒監(jiān)測(cè)系統(tǒng)架構(gòu)如圖1。

圖1 電鏟斗齒監(jiān)測(cè)系統(tǒng)架構(gòu)

系統(tǒng)充分考慮了電鏟機(jī)械結(jié)構(gòu)與生產(chǎn)現(xiàn)場(chǎng)的能耗、空間、人機(jī)工效等因素，采用被動(dòng)式、非接觸的圖像傳感器進(jìn)行目標(biāo)識(shí)別與脫落判定，將斗齒監(jiān)測(cè)系統(tǒng)分為圖像采集系統(tǒng)、深度學(xué)習(xí)監(jiān)測(cè)系統(tǒng)、監(jiān)控預(yù)警系統(tǒng)3 部分，具有成本低、易維護(hù)、改裝方便等優(yōu)點(diǎn)。

1.2 斗齒檢測(cè)模型

YOLO（You Only Look Once）V3 是到目前為止速度和精度最均衡的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一，引入多尺度機(jī)制，用效率更高的基礎(chǔ)分類網(wǎng)絡(luò)與分離器，將YOLO 系列的短板（不擅長(zhǎng)檢測(cè)小物體等）全部補(bǔ)齊，達(dá)到了令人驚艷的效果和較高的速度[6]。利用YOLO V3 tiny 確定斗齒位置，再利用特征匹配進(jìn)行斗齒脫落判定，從而對(duì)斗齒狀態(tài)進(jìn)行監(jiān)測(cè)。

1）基于YOLO V3 tiny 的斗齒檢測(cè)模型。YOLO的核心思想是將整個(gè)圖片輸入網(wǎng)絡(luò)，直接在輸出層回歸邊界框的位置及其所屬類別。YOLO V3 包含Darknet-53 網(wǎng)絡(luò)結(jié)構(gòu)、anchor 錨框、FPN（Feature Pyramid Networks）等優(yōu)秀結(jié)構(gòu)，YOLO V3 網(wǎng)絡(luò)結(jié)構(gòu)如圖2。

圖2 YOLO V3 網(wǎng)絡(luò)結(jié)構(gòu)

2）錨框選取與模型壓縮。通過(guò)K-means 聚類算法將訓(xùn)練數(shù)據(jù)已標(biāo)注好的斗齒標(biāo)注框進(jìn)行聚類，從中挑選出幾類最適合的斗齒類型作為錨框，提檢測(cè)精度。對(duì)卷積層參數(shù)與模型計(jì)算量與精度息息相關(guān)，通過(guò)調(diào)整卷積層參數(shù)以平衡模型大小（檢測(cè)精度）與檢測(cè)速度，以達(dá)到速度與精度的最優(yōu)組合。

3）基于特征匹配的斗齒脫落判定。在確定2 幅圖像中斗齒的位置后，需要測(cè)量斗齒脫落的概率。斗齒脫落時(shí)，當(dāng)前圖像和參考幀在同一位置將會(huì)存在較大差異，利用尺度不變特征變換（SIFT，Scale Invariant Feature Transformation）[7]對(duì)2 幅圖像進(jìn)行匹配?；赟IFT 的圖像配準(zhǔn)流程如圖3（RANSAC 為隨機(jī)抽樣一致性（Random Sample Sonsensus）算法）。

圖3 基于SIFT 的圖像配準(zhǔn)流程

斗齒脫落的可能性miss_score（c）函數(shù)為：

式中：c 為以r 為圓心的中心點(diǎn)，像素；Θc為圓中像素點(diǎn)數(shù)目，像素；p 為其中1 個(gè)點(diǎn)；D 為2 幅圖中的差異矩陣；p（x）、p（y）為x 和y 是p 點(diǎn)的橫縱坐標(biāo)，像素。

miss_score（c）值越大，該斗齒脫落的概率越大，當(dāng)該值超過(guò)一定閾值時(shí)，判定為該斗齒已脫落。

2 數(shù)據(jù)采集與深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)

2.1 數(shù)據(jù)采集與原始數(shù)據(jù)獲取

圖像采集裝置安裝位置如圖4，系統(tǒng)在鏟斗上下兩側(cè)各安裝1 處攝像機(jī)，對(duì)斗齒2 種角度圖像進(jìn)行獲取。

圖4 圖像采集裝置安裝位置

通過(guò)一段時(shí)間的錄制，對(duì)電鏟在各種天氣、光照和工況下的圖像進(jìn)行采集，再對(duì)圖像進(jìn)行篩選作為訓(xùn)練樣本。但是，由于安全生產(chǎn)緣故，電鏟作業(yè)時(shí)圖像只能由事先裝好的2 處固定機(jī)位的相機(jī)采集，產(chǎn)生的數(shù)據(jù)具有極高的重復(fù)性，難以滿足深度學(xué)習(xí)算法訓(xùn)練需要的樣本多樣性要求，這樣訓(xùn)練出的網(wǎng)絡(luò)對(duì)環(huán)境的魯棒性低，因此，需要通過(guò)數(shù)據(jù)增強(qiáng)產(chǎn)生更多的圖像進(jìn)行訓(xùn)練。

2.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)也叫數(shù)據(jù)擴(kuò)增[8]，是在不實(shí)質(zhì)性的增加數(shù)據(jù)的情況下，讓有限的數(shù)據(jù)產(chǎn)生等價(jià)于更多數(shù)據(jù)的價(jià)值。通過(guò)采用預(yù)設(shè)的數(shù)據(jù)變換規(guī)則，在已有數(shù)據(jù)的基礎(chǔ)上進(jìn)行數(shù)據(jù)的擴(kuò)增，對(duì)最后的識(shí)別性能和泛化能力都有著非常重要的作用。

1）顏色變換[6]。顏色的數(shù)據(jù)增強(qiáng)：圖像亮度、飽和度、對(duì)比度變化，主成分變換按照RGB 3 個(gè)顏色通道計(jì)算均值和標(biāo)準(zhǔn)差，再在整個(gè)訓(xùn)練集上計(jì)算協(xié)方差矩陣，進(jìn)行特征分解，得到特征向量和特征值。

2）亮度變換。亮度變換通過(guò)以下規(guī)則實(shí)現(xiàn)：

式中：L 為原始圖像的亮度，標(biāo)量；L′為目標(biāo)圖像的亮度，標(biāo)量；k 為0.8～1.2 的隨機(jī)數(shù)。

3）幾何變換。包括尺度變換、隨機(jī)裁剪、水平/垂直翻轉(zhuǎn)、平移變換、旋轉(zhuǎn)/仿射變換等。

4）添加噪聲。高斯噪聲、模糊處理。

3 驗(yàn)證結(jié)果

為了驗(yàn)證該方法，數(shù)據(jù)采集裝置為2 部紅外補(bǔ)光的可見(jiàn)光相機(jī)，采用的硬件平臺(tái)為NVIDIA 嵌入式開(kāi)發(fā)平臺(tái)Jetson Xavier，并在其上同時(shí)運(yùn)行2 個(gè)YOLO V3-tiny 進(jìn)程，同時(shí)從2 個(gè)角度對(duì)斗齒進(jìn)行監(jiān)測(cè)，提高監(jiān)測(cè)的魯棒性。在內(nèi)蒙古自治區(qū)呼倫貝爾市某大型露頭煤礦中的WK-10 大型電鏟進(jìn)行了5 d 數(shù)據(jù)采集和15 d 算法測(cè)試。

為提高駕駛員作業(yè)時(shí)態(tài)勢(shì)感知的能力，充分調(diào)研駕駛員意見(jiàn)后，對(duì)下方前視相機(jī)圖像檢測(cè)鏟斗與斗齒，對(duì)上方下視圖像檢測(cè)斗齒與入侵車輛。結(jié)果顯示，圖像分辨率為640×480 條件下，同時(shí)對(duì)2 路視頻進(jìn)行目標(biāo)檢測(cè)，均可達(dá)到20 幀/s 以上的檢測(cè)速度，且具有85%以上的檢測(cè)精度。在不同氣象條件和光照條件下，都可以穩(wěn)定地識(shí)別出斗齒和入侵車輛，具有速度快、魯棒性強(qiáng)的優(yōu)點(diǎn)。

此外，數(shù)據(jù)增強(qiáng)對(duì)深度神經(jīng)網(wǎng)絡(luò)檢測(cè)精度等有重要影響，由于安全生產(chǎn)緣故，攝像機(jī)安裝位置固定，采集的圖像相似度很大，有效圖像較少，因此，通過(guò)數(shù)據(jù)增強(qiáng)對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，數(shù)據(jù)增強(qiáng)后的訓(xùn)練結(jié)果見(jiàn)表1。

表1 數(shù)據(jù)增強(qiáng)后的訓(xùn)練結(jié)果

由表1可以看出，在加入擴(kuò)充數(shù)據(jù)集后，能有效消除神經(jīng)網(wǎng)絡(luò)訓(xùn)練中過(guò)擬合現(xiàn)象，避免由于數(shù)據(jù)集過(guò)小導(dǎo)致的訓(xùn)練誤差較大的情況，提高了系統(tǒng)檢測(cè)的魯棒性和檢測(cè)精度。

4 結(jié)語(yǔ)

圍繞大型電鏟斗齒檢測(cè)問(wèn)題，提出了一種低成本的基于深度神經(jīng)網(wǎng)絡(luò)的電鏟斗齒實(shí)時(shí)監(jiān)測(cè)方法，本方法通過(guò)數(shù)據(jù)增強(qiáng)，克服了有效訓(xùn)練數(shù)據(jù)較少帶來(lái)的檢測(cè)精度低等問(wèn)題，同時(shí)對(duì)通過(guò)特征匹配，對(duì)斗齒脫落概率進(jìn)行了判定。試驗(yàn)表明，基于深度學(xué)習(xí)的電鏟斗齒檢測(cè)方法平均速度可以達(dá)到20 幀/s（2 路視頻同時(shí)檢測(cè)），準(zhǔn)確率可達(dá)85%，有效提升了挖掘作業(yè)的效率，對(duì)煤礦企業(yè)安全生產(chǎn)具有重要的作用。