面向智慧礦山的無人礦用卡車運動信息識別算法

顧同成，李 冰*，何 心，惠翔禹，徐武彬

（1.廣西科技大學 機械與汽車工程學院，柳州 545006；2.廣西土方機械協(xié)同創(chuàng)新中心，柳州 545006）

0 引言

礦山智能施工是在傳統(tǒng)施工基礎上加入智能排班、調(diào)度以及路徑規(guī)劃算法，并根據(jù)計算結(jié)果做出決策指令。其突出特點是為保證開采礦物量的前提下，合理地分配人力和物力，實現(xiàn)智能調(diào)度和排班。智能施工的實現(xiàn)首先是對周圍信息進行感知，但目前通過外界感知實時獲取礦山整體信息的能力仍然有待提高。在智慧礦山系統(tǒng)中，實現(xiàn)車輛行使方向的自行判斷，能夠有效控制小車行進和提前進行狀態(tài)修正，尤其是在彎道區(qū)域方向信息更是礦卡自動過彎的重要因素之一，提高過彎效率。另外對感知模塊進行深一步的優(yōu)化，不僅可以大大提高系統(tǒng)自動排班、調(diào)度和路徑規(guī)劃的效率，還可以降低整個系統(tǒng)程序的運行時間以及程序復雜性，有助于系統(tǒng)初始化響應，為工程施工的智能化轉(zhuǎn)型打好堅實的基礎。

礦山智能施工的主要應用對象是挖掘機與礦卡。系統(tǒng)在感知礦山場景中的人、車輛和障礙物等信息后進行判斷，經(jīng)排班、調(diào)度以及路徑規(guī)劃算法，再傳送指令至各礦卡車輛，使其自動進行最優(yōu)化工作?，F(xiàn)有的智慧礦山系統(tǒng)中，通過礦卡上的雷達和激光雷達[1]等多傳感器融合的方式實現(xiàn)車輛對外界的感知以及對車輛自身的精準定位。目前YOLO系列算法已經(jīng)運用到多方面的目標檢測中[2-6]，同樣也可以運用到智慧礦山系統(tǒng)的感知層面。YOLO算法雖然能夠識別目標種類和位置但對于相對地面靜止或者運動中的目標，其無法給出目標將要或者正在行駛的運動信息，進而無法通過算法或者感知的層面解決運動信息識別的問題，然而為了實現(xiàn)無人智能化施工，外界感知模塊需要完成更加全面的識別工作：路況監(jiān)控（障礙物）、工程車輛識別和定位以及運動信息的識別等。

目前用于檢測目標方向的方法有很多，曹城華等人[7]研究基于Radon變換的空間目標運動方向檢測，通過前期對小目標進行隨機方向和大小的位移后對序列幀圖像降噪、分割等處理，然后利用Radon變換對空間目標的運動方向進行檢測。該方法使用在小目標的運動方向檢測上，而且針對在空間坐標，在平面坐標問題上并不適用。李洪峰等人[8]研究了基于SIFT算法的物體運動方向識別方法，主要是找到兩幅圖像的特征點，采用SIFT算法，對兩幅圖像的特征點進行匹配，選取三個特征點構(gòu)建三角形，分析三角形的變化進而得出方向參數(shù)，然而此方法在SIFT匹配時會存在匹配誤差，精度有待提高。陳文帥等人[9]采用了Faster RCNN與YOLO-v3結(jié)合的方法實現(xiàn)了對極性電子元器件的定位和方向識別，此方法在識別靜止物體的方向上表現(xiàn)突出，但是識別速度不理想，不適合檢測運動中的物體。徐國瑞等人[10]研究運用了圖像處理及回歸分析擬合的方法，規(guī)劃判斷機器人行走方向，但是由于前期對圖像處理的步驟較為繁瑣，無法滿足對行駛中車輛的方向快速檢測。秦攀等人[11]研究通過在現(xiàn)場架設微波傳感器，根據(jù)兩路微波觸發(fā)前后來判斷車輛的行駛方向，此法對環(huán)境的要求較高，不適用于礦山的施工過程。

總結(jié)以上方法，基于深度學習及圖像的處理方法雖然能夠判別目標的運動方向，但對目標運動信息的快速、準確、實時的檢測方面還未取得有效成果。且國內(nèi)外在礦山智能施工領(lǐng)域中并沒有針對識別礦用自卸卡車運動信息的算法。在目前智慧礦山系統(tǒng)的搭建過程中，實現(xiàn)礦卡的無人調(diào)度、排班以及路徑規(guī)劃等方面均是通過傳感器再利用建立的坐標系統(tǒng)進行關(guān)系映射來實現(xiàn)礦卡的定位以及運動狀態(tài)信息識別?；诖朔椒▽崿F(xiàn)的運動信息識別雖能夠達到目的，但是需要高精度的傳感器增加了系統(tǒng)復雜度及搭建的成本，同時增加了系統(tǒng)的整體響應時間。

1 YOLO算法

YOLO系列，全稱“you only look once”，是基于卷積神經(jīng)網(wǎng)絡的目標檢測算法。本文將以YOLO-v5目標檢測算法作為改進對象對礦卡的運動信息進行識別。

從2016年到2021年，YOLO系列更新?lián)Q代已經(jīng)有多個版本[12-15]。YOLO系列算法主要將輸入圖像劃分為n×n的方格，若某一個方格內(nèi)對應著目標物體的重心，則該方格負責檢測該目標。每一個方格會產(chǎn)生多個預測框Bounding boxes，每個預測框Bounding boxes都會產(chǎn)生與之對應的五個參數(shù)，分別是x，y，w，h和confidence。其中（x，y，w，h）為物體的中心位置相對于格子位置的偏移及寬度和高度，均被歸一化。Confidence置信度反映是否包含物體以及包含物體的情況下位置的準確性，定義如式(1)所示：

式(1)中，Pr（object）——方格是否包含真實對象，包含取1，不包含取0；IOU——交并比，是“預測的邊框”和“真實的邊框”的交集和并集的比值。

2 改進的YOLO-v5算法

目前YOLO系列算法是目標檢測領(lǐng)域中的最主流的算法之一，方便快捷，識別速度快，準確率較高，非常適合用在智慧礦山系統(tǒng)搭建中對移動目標的實時檢測。為了繼續(xù)沿用YOLO-v5的識別功能，本文對模型做出如下改進來實現(xiàn)運動信息的實時檢測：

1）修改YOLO-v5的輸出對象，提取識別過程中每一個最優(yōu)目標預測框的左上角和右下角坐標，修改算法使其返回并輸出目標框的中心位置坐標。

2）整改算法輸出結(jié)構(gòu)，提取目標標簽，利用標簽索引使其每次因礦卡移動而導致的坐標變化值都能夠?qū)崟r保存。

3）將Open cv算子與YOLO-v5網(wǎng)絡融合，并且依次處理視頻流的每一幀畫面，實時調(diào)取礦卡的位置坐標參數(shù)，在視頻數(shù)據(jù)流和圖像檢測中進行圖像處理并以箭頭的形式表示前進方向，方便工作人員實時觀察和系統(tǒng)糾偏。

4）在YOLO-v5執(zhí)行過程中，通過修改算法調(diào)取每一幀畫面礦卡車身和車頭的中心坐標，并以向量的形式作為方向參數(shù)在各功能模塊之間傳輸。

5）為網(wǎng)絡設計并添加方向角轉(zhuǎn)換算法，將檢測的方向向量以轉(zhuǎn)角和轉(zhuǎn)向的形式輸出，為調(diào)度、排班以及路徑規(guī)劃模塊提供準確實時的方向數(shù)據(jù)。

6）加入目標識別判斷機制，防止因目標的錯檢、漏檢導致的錯誤輸出甚至系統(tǒng)崩壞問題。

7）在多車目標方向判定時，加入多目標方向檢測并行機制，避免車輛因出入視野影響其他車輛方向的判斷問題，并且調(diào)整IOU閾值，使其輸出穩(wěn)定且準確的預測結(jié)果。

8）加入漏檢報錯機制，由于外部光線或者攝像頭原因?qū)е履骋粫r刻無法識別視野中的目標時，將會針對漏檢對象及時報錯，以備工作人員調(diào)整。

9）加入車輛動靜識別機制。如車輛因自身故障長時間停在某一位置時，算法識別之后自動判斷是否停在準停區(qū)域并將故障車輛具體位置實時上報。

本文整體算法具體執(zhí)行流程如圖1所示，圖2為本文方法執(zhí)行順序框圖。

圖1 算法執(zhí)行流程框圖

圖2 方法執(zhí)行框圖

2.1 方向角轉(zhuǎn)換算法

為實現(xiàn)將YOLO-v5檢測到的兩個坐標點以方向參數(shù)的結(jié)果傳輸便于工作人員觀察以及智慧礦山其他模塊的準確調(diào)用?，F(xiàn)設計一種方向角轉(zhuǎn)換算法，將檢測到的同一礦卡的兩個目標坐標輸入，返回坐標的方向向量和該方向向量的轉(zhuǎn)向及轉(zhuǎn)角，如圖3所示。算法對得到的兩個坐標點進行向量化處理，將向量的兩個值比較后，在笛卡爾坐標系中進行表示并返回該向量的轉(zhuǎn)角及轉(zhuǎn)向。具體實現(xiàn)效果如圖4所示（以4號礦卡為例）。

圖3 方向角轉(zhuǎn)換算法

圖4 實現(xiàn)效果

2.2 防誤識別機制

基于深度學習的目標檢測算法中，誤識別是常見的現(xiàn)象，研究者們也一直致力于降低誤識別率、提高算法的性能等方面的研究。降低誤識別的方法有很多，如：改變判斷閾值的大小、增加網(wǎng)絡訓練的次數(shù)（epoch）、增加數(shù)據(jù)集大小等。基于此，此次改進首先保證足夠的訓練數(shù)據(jù)集，并在后期實驗調(diào)整網(wǎng)絡預測模型的閾值用以保證識別車身和車頭的準確率。接下來通過在預測腳本中針對方向參數(shù)的實際輸出準確率做出優(yōu)化，保證方向參數(shù)輸出結(jié)果的可靠性。具體實現(xiàn)方法：驗證檢測出的標簽與目標標簽是否一致，隨后將坐標對號入座進行保存，然后依次按照標簽對應關(guān)系進行后續(xù)處理，在此基礎上進行方向轉(zhuǎn)換和對行駛方向進行表示和輸出，避免因誤識別造成的方向轉(zhuǎn)換不準和輸出混亂問題。圖5是具體實現(xiàn)方法。

2.3 動靜識別機制

在智慧礦山搭建系統(tǒng)中，為了提高系統(tǒng)整體智能化水平，需要系統(tǒng)自動判斷礦卡停車位置是否是在準停區(qū)。如礦卡停在除準停區(qū)的其他位置，則證明礦卡出現(xiàn)故障，需要對其進行維護。對故障礦卡的位置檢測十分重要，當出現(xiàn)故障礦卡時，若車輛停在非準停區(qū)，此時必須立刻識別出當前位置坐標傳輸至路徑規(guī)劃、調(diào)度和排班模塊，防止因故障車的停車導致的追尾事故。如圖6算法流程圖展示了在YOLO-v5車輛運動信息識別過程中上報故障車輛的執(zhí)行流程。

圖6 動靜識別機制

檢測過程中每40幀畫面對各車坐標列表進行判斷并更新，檢查坐標列表中第1個坐標和最后一個坐標的直線距離是否大于250mm（一個礦卡模型車的身位），如小于一個身位則證明此車靜止在原地，結(jié)合對目前停止車輛的區(qū)域判定，執(zhí)行判斷機制是否需立刻上傳該車坐標。另外通過設置互斥參數(shù)（step）實現(xiàn)在YOLO-v5循環(huán)檢測程序中僅上傳一次故障車坐標，防止因多次上傳坐標導致的參數(shù)更新使得其他模塊無法持續(xù)工作的問題。

3 實驗結(jié)果與分析

3.1 實驗說明

實驗準備五輛礦卡模型車，并在車頭標號作為車頭識別特征（通過對礦卡編號更加有利于調(diào)度排班以及路徑規(guī)劃系統(tǒng)命令下發(fā)）。用Labelimg處理得到標簽，訓練改進后的YOLO-v5模型，訓練epoch取150，選擇yolo-v5s預訓練權(quán)重，置信度閾值設置為0.6，IOU閾值設置為0.5。

本文實驗在智慧礦山場景沙盤中開展，沙盤正上方安置“天眼”攝像頭實時采集礦山數(shù)據(jù)，礦卡模型車采用光電傳感器循跡行駛，運行訓練得到的YOLO-v5運動信息識別模型處理視頻流和圖片數(shù)據(jù)，并對沙盤狀況實時監(jiān)控同時檢測運動信息。

3.2 實驗結(jié)果

訓練完的運動信息識別模型對五輛礦卡模型運動方向檢測結(jié)果如圖7所示。

圖7 模型識別及輸出效果

能夠發(fā)現(xiàn)基于本文改進算法的運動信息識別可以很有效的解決方向問題，無漏檢的情況，而且檢測的置信度也很高，定位精準，結(jié)果可靠。在真實礦山排班調(diào)度過程中，難免會遇到某一輛車不在視野范圍中從而未檢測到其運動信息，面對這種情況，模型也會將未檢測到的目標車輛輸出，從而方便操作人員或系統(tǒng)做下一步指令，圖8展示的是在未檢測到2、3號車時模型的輸出。

圖8 漏檢輸出

圖9 效果展示

實驗證明經(jīng)過改進的YOLO-v5目標檢測算法對礦卡運動信息識別效果較好，并且針對未檢測的目標會實時上報，上報準確，另外對礦卡模型位置的定位準確，為系統(tǒng)控制車輛行駛提供了便利。

4 項目應用

將模型整合到模擬礦山智能排班調(diào)度系統(tǒng)中，經(jīng)信息通訊指令，把運動信息實時傳輸?shù)较⑥D(zhuǎn)發(fā)中心，便于其他模塊對運動信息的調(diào)取和監(jiān)控。如圖展示的是將模型運用到項目中的識別效果。

5 結(jié)語

本文以目標檢測中運用普遍的YOLO-v5算法為基礎，針對智慧礦山中識別礦卡運動信息這一特定的問題進行改進，改變原來的輸出信息并根據(jù)測試中遇到的問題進行算法優(yōu)化，在保障識別準確性的前提下提高了識別的魯棒性。本文改進算法在實現(xiàn)礦卡本身識別的同時還實現(xiàn)了運動信息檢測，提高了網(wǎng)絡的實用性和檢測的泛化性。結(jié)合本文提出的方向角轉(zhuǎn)換算法，將實際轉(zhuǎn)角和方位進行可視化輸出，為后續(xù)工作提供方向參數(shù)，更方便人為實時觀察和系統(tǒng)糾偏。由于本論文采用YOLO-v5目標檢測算法，其原算法具有的不足，如處理速度隨著視野中目標個數(shù)的增加而降低、受光線等環(huán)境的影響因素較大等缺點也體現(xiàn)在本論文的改進算法中,今后將會針對此進行優(yōu)化，增強算法的健壯性并將實地收集智慧礦山以及真實礦卡信息，進一步驗證本文改進算法的有效性。