井下電機(jī)車(chē)軌道障礙物圖像處理方法的智能識(shí)別技術(shù)

于騫翔 張?jiān)?1

（1.礦冶科技集團(tuán)有限公司，北京102628；2.金屬礦山智能開(kāi)采技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京102628；3.北京北礦智能科技有限公司，北京102628）

全球礦業(yè)正經(jīng)歷著一場(chǎng)新的變革，在智能化建設(shè)的形勢(shì)下，礦山開(kāi)采由目前的低效率、多人員井下作業(yè)，朝向高效、智能、少人作業(yè)方向發(fā)展，智能礦山成為未來(lái)礦山建設(shè)的新模式。地下礦山采礦規(guī)模逐步擴(kuò)大也為運(yùn)輸提出了更高的要求，智能化運(yùn)輸方式是從智能礦山建設(shè)的一個(gè)子系統(tǒng)入手，為提高運(yùn)輸效率而研究的新的礦山運(yùn)輸技術(shù)，是礦山建設(shè)的關(guān)鍵點(diǎn)。

1 研究背景

電機(jī)車(chē)作為井下主要的運(yùn)輸設(shè)備，實(shí)現(xiàn)無(wú)人化的高效運(yùn)輸經(jīng)濟(jì)效益潛力巨大，是實(shí)現(xiàn)安全生產(chǎn)、智能化的重要裝備。國(guó)家應(yīng)急管理部在《智能礦山建設(shè)規(guī)范》提出，有軌運(yùn)輸車(chē)輛應(yīng)實(shí)現(xiàn)自動(dòng)調(diào)度和無(wú)人駕駛，系統(tǒng)應(yīng)具備自主運(yùn)行、自主避障和在線故障診斷功能，并與“信集閉”系統(tǒng)、計(jì)量系統(tǒng)實(shí)現(xiàn)系統(tǒng)集成和數(shù)據(jù)關(guān)聯(lián)［1］。真正意義上的無(wú)人智能運(yùn)輸系統(tǒng)是電機(jī)車(chē)通過(guò)移動(dòng)通信網(wǎng)絡(luò)接收調(diào)度中心發(fā)來(lái)的行車(chē)指令，運(yùn)用機(jī)器視覺(jué)判斷軌道安全狀況，完成多地點(diǎn)之間的裝卸運(yùn)輸任務(wù)。

（1）井下巷道運(yùn)輸環(huán)境。有軌電機(jī)車(chē)是在井下環(huán)境中運(yùn)行，具有更多亟需解決的技術(shù)難題［2］，井下有軌運(yùn)輸環(huán)境具有如下特點(diǎn)：①運(yùn)輸巷道人車(chē)共用［3］，電機(jī)車(chē)行駛的軌道與人行道并行，人行道的有效空間寬度僅有1 m，兩者邊界分辨困難，這導(dǎo)致在運(yùn)行過(guò)程中需要兼顧考慮人、設(shè)備運(yùn)輸?shù)臈l件，判斷人員的狀態(tài)和人員距離信息；②巷道中有散落的礦石和雜物，電機(jī)車(chē)牽引的礦車(chē)在裝卸時(shí)會(huì)發(fā)生礦石或雜物掉落，需要及時(shí)判斷這些障礙物是否影響安全運(yùn)行，必要時(shí)緊急制動(dòng)以保證安全；③井下照明條件差、光線不足，地下礦山只能通過(guò)人工光源來(lái)照明，電機(jī)車(chē)運(yùn)行過(guò)程中，司機(jī)在這種照明環(huán)境不良的條件下，需要反復(fù)去辨認(rèn)前后方物體，極易造成視覺(jué)疲勞，降低工作效率，且容易導(dǎo)致安全事故［4］；④電機(jī)車(chē)在轉(zhuǎn)彎處，司機(jī)存在視覺(jué)盲區(qū)。

（2）對(duì)軌道障礙物識(shí)別檢測(cè)的研究現(xiàn)狀?；谏鲜霏h(huán)境條件，在現(xiàn)有的技術(shù)和實(shí)踐研究中，以圖像處理和三維激光雷達(dá)定位為兩大主要方向。應(yīng)用攝像頭拍攝到的圖像信息屬于單純的二維像素點(diǎn)，采集到的是電機(jī)車(chē)運(yùn)行中的平面信息，主要實(shí)現(xiàn)識(shí)別障礙物的功能，三維激光雷達(dá)測(cè)量的坐標(biāo)點(diǎn)形成點(diǎn)云圖，采集到的是軌道模型的深度信息［5］。在城市軌道運(yùn)輸中，對(duì)輕軌電車(chē)的障礙物檢測(cè)應(yīng)用三維激光雷達(dá)點(diǎn)云預(yù)處理和聚類(lèi)，可以實(shí)時(shí)檢測(cè)在軌道的人員位置［6］。然而，在井下復(fù)雜的環(huán)境中，三維激光雷達(dá)的檢測(cè)受到環(huán)境干擾較大，尤其是在構(gòu)建點(diǎn)云圖時(shí)，激光雷達(dá)的建模效果很差，容易受到運(yùn)輸巷道壁不平整等對(duì)點(diǎn)云圖中障礙物構(gòu)建的干擾，難以達(dá)到檢測(cè)電機(jī)車(chē)障礙物的效果。應(yīng)用圖像處理技術(shù)可以避免建模的干擾，但傳統(tǒng)的圖像處理技術(shù)無(wú)法將障礙物分類(lèi)，F(xiàn)ast R-CNN等基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法又不能滿(mǎn)足電機(jī)車(chē)運(yùn)行過(guò)程中實(shí)時(shí)的檢測(cè)需求。因此，需要一種可以快速檢測(cè)并且適應(yīng)井下運(yùn)輸環(huán)境的目標(biāo)物分類(lèi)算法。

（3）圖像處理的目標(biāo)檢測(cè)技術(shù)對(duì)井下無(wú)人駕駛的研究意義。開(kāi)展基于圖像處理的電機(jī)車(chē)智能化運(yùn)行研究可以減少駕駛?cè)藛T，保證安全運(yùn)輸。圖像處理技術(shù)的關(guān)鍵在于對(duì)障礙物的快速檢測(cè)和識(shí)別，基于深度學(xué)習(xí)的YOLO算法的誕生為井下電機(jī)車(chē)障礙物的實(shí)時(shí)檢測(cè)提供了理論指導(dǎo)。相比較傳統(tǒng)圖像處理和深度學(xué)習(xí)的R-CNN卷積神經(jīng)網(wǎng)絡(luò)，YOLO網(wǎng)絡(luò)架構(gòu)以?xún)?yōu)越的性能和對(duì)小目標(biāo)識(shí)別的精度，逐步成為基于機(jī)器視覺(jué)的主流目標(biāo)檢測(cè)算法。

圖像處理技術(shù)的發(fā)展為障礙物識(shí)別提供了新的思路，流程如圖1所示。首先基于傳統(tǒng)的圖像處理算法提取軌道的特征，運(yùn)用傳統(tǒng)的邊緣檢測(cè)和Hough直線檢測(cè)算法進(jìn)行軌道區(qū)域劃分；在YOLOv5網(wǎng)絡(luò)中識(shí)別電機(jī)車(chē)前方區(qū)域內(nèi)的人、設(shè)備和碎石等障礙物，根據(jù)不同的障礙物等級(jí)和障礙物的距離建立數(shù)學(xué)模型，計(jì)算權(quán)重?cái)?shù)據(jù)反映障礙物的位置信息，實(shí)現(xiàn)避障。

2 基于傳統(tǒng)圖像處理的區(qū)域劃分

2.1 軌道線檢測(cè)

障礙物識(shí)別的前提是對(duì)軌道進(jìn)行定位，在井下巷道狹窄路段，劃分軌道內(nèi)外區(qū)域的目的是確定檢測(cè)的ROI（Region of Interest）區(qū)域，縮小區(qū)分障礙物和背景的范圍。軌道定位的研究技術(shù)主要應(yīng)用的是傳統(tǒng)的圖像處理算法，對(duì)圖像進(jìn)行二值化處理，依據(jù)軌道的像素值高于環(huán)境像素點(diǎn)的特點(diǎn)，提取像素連接區(qū)域的變化特征進(jìn)行標(biāo)注。對(duì)區(qū)域劃分確定在不同區(qū)域下障礙物權(quán)重參數(shù)（如圖2）。A1表示電機(jī)車(chē)最小剎車(chē)距離，A2表示攝像頭有效檢測(cè)距離，區(qū)域按照邊界劃分為3種類(lèi)型：對(duì)于遠(yuǎn)距離的在軌道兩側(cè)A2區(qū)域內(nèi)的人員a，需要減速，進(jìn)行鳴笛提示；對(duì)于進(jìn)入一定近距離區(qū)域A1的人員b，則進(jìn)行鳴笛和減速，并準(zhǔn)備制動(dòng)，應(yīng)對(duì)突發(fā)情況；對(duì)于近距離突然進(jìn)入軌道中間的人員c，應(yīng)采取緊急制動(dòng)和鳴笛提示，以保證人員和電機(jī)車(chē)安全。

2.1.1 軌道定位算法流程

電機(jī)車(chē)軌道的識(shí)別和定位針對(duì)平直軌道，參考汽車(chē)無(wú)人駕駛的車(chē)道線識(shí)別和軌道線的相關(guān)特征處理技術(shù)，采用傳統(tǒng)圖像處理算法。這種算法可以直接在集成的硬件芯片上運(yùn)行程序，運(yùn)行速度快。平直軌道定位的流程應(yīng)用MATLAB進(jìn)行圖像預(yù)處理，主要技術(shù)和關(guān)鍵步驟如圖3。

（1）灰度變換。在MATLAB中，通過(guò)調(diào)用函數(shù)rgb2gray可以直接將3層的彩色圖像變換為二維像素點(diǎn)矩陣，為后續(xù)進(jìn)行邊緣檢測(cè)做準(zhǔn)備。

（2）高斯濾波。對(duì)整幅圖像進(jìn)行加權(quán)平均，使用高斯核進(jìn)行卷積操作，消除圖像中的高斯噪聲。在圖像處理中，常采用二維零均值離散高斯函數(shù)作平滑濾波器，如式（1）。

（3）ROI區(qū)域的選擇。由于自然場(chǎng)景中包含大量不相關(guān)目標(biāo)，其中很大部分都有直線成分，會(huì)對(duì)軌道區(qū)域的識(shí)別造成較大影響，因此需要先在圖像中劃分ROI區(qū)域，在ROI區(qū)域中識(shí)別軌道，可提高識(shí)別準(zhǔn)確率，排除不相關(guān)因素的干擾，同時(shí)減少在定位邊界時(shí)的計(jì)算量。

（4）邊緣檢測(cè)算法。傳統(tǒng)的邊緣檢測(cè)算法如Sobel，Prewitt，Roberts和Kirch 等，大部分為局域窗口梯度算子。Canny算法使用數(shù)學(xué)方法系統(tǒng)地推導(dǎo)出確定圖像邊界檢測(cè)函數(shù)性能指標(biāo)的3個(gè)數(shù)學(xué)表達(dá)式，導(dǎo)出高斯函數(shù)的一階導(dǎo)數(shù)，應(yīng)用在二維圖像取得最優(yōu)的邊緣［7-8］。Sobel算法是一個(gè)離散的一階差分算法，用來(lái)計(jì)算圖像亮度函數(shù)的一階梯度近似值產(chǎn)生像素點(diǎn)對(duì)應(yīng)的梯度矢量或是法矢量。Sobel算法雖然不如Canny算法取得形狀的最優(yōu)邊界，但由于其處理圖像的速度快，所以在實(shí)時(shí)圖像處理系統(tǒng)中，通常采用Sobel算法來(lái)實(shí)現(xiàn)圖像的邊沿檢測(cè)，滿(mǎn)足實(shí)際的軌道定位要求［9］。對(duì)軌道邊緣檢測(cè)直接調(diào)用MATLAB中自帶的Sobel算法，函數(shù)默認(rèn)的閾值無(wú)法區(qū)分軌道邊界和枕木等，導(dǎo)致軌道中間區(qū)域的噪點(diǎn)過(guò)多，在ROI區(qū)域內(nèi)識(shí)別效果不好。參考相關(guān)研究的改進(jìn)方法，選擇針對(duì)Sobel算法的參數(shù)進(jìn)行算法優(yōu)化，按照Sobel邊緣檢測(cè)的原理用MATLAB編寫(xiě)Sobel算法程序，使閾值可根據(jù)實(shí)際環(huán)境和圖像質(zhì)量來(lái)調(diào)整，尋找軌道和環(huán)境的最優(yōu)邊緣。

（5）Hough直線檢測(cè)。電機(jī)車(chē)井下運(yùn)行過(guò)程中，首尾安裝的攝像頭拍攝角度默認(rèn)不變，在攝像頭視覺(jué)能到達(dá)的ROI區(qū)域內(nèi)，檢測(cè)到的軌道基本是平直的，傳統(tǒng)圖像處理技術(shù)的Hough變換可以解決對(duì)線性軌道進(jìn)行檢測(cè)問(wèn)題［10］。Hough變換原理是將一個(gè)空間中具有相同形狀的曲線或者直線映射到另一個(gè)坐標(biāo)空間的一個(gè)點(diǎn)上形成峰值，從而把檢測(cè)任意形狀的問(wèn)題轉(zhuǎn)化為統(tǒng)計(jì)峰值問(wèn)題。

2.1.2 MATLAB軌道定位實(shí)驗(yàn)

在電機(jī)車(chē)的首尾進(jìn)行拍攝，獲取軌道以及周?chē)h(huán)境的圖片，然后根據(jù)軌道定位算法的流程進(jìn)行了軌道定位的MATLAB實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖4。

根據(jù)實(shí)驗(yàn)最終得到的圖像分析，綜合Sobel邊緣檢測(cè)和Hough變換的算法可以定位直線軌道的位置，從而實(shí)現(xiàn)對(duì)軌道區(qū)域的劃分。

2.2 障礙物位置信息權(quán)重?cái)?shù)學(xué)模型

隨著電機(jī)車(chē)連續(xù)運(yùn)行，障礙物的坐標(biāo)與電機(jī)車(chē)的相對(duì)位置發(fā)生改變，需要障礙物的區(qū)域劃分動(dòng)態(tài)變化的權(quán)重?cái)?shù)值，根據(jù)變化的位置權(quán)重實(shí)時(shí)判斷障礙物位置信息來(lái)反映障礙物相對(duì)于電機(jī)車(chē)的位置變化情況。

井下運(yùn)輸巷道是單一用途的巷道，根據(jù)國(guó)家相關(guān)安全標(biāo)準(zhǔn)，列車(chē)前方有車(chē)輛或視線有障礙時(shí)，應(yīng)減速并發(fā)出警告信號(hào)。障礙物分類(lèi)依據(jù)：①在電機(jī)車(chē)運(yùn)輸過(guò)程中檢測(cè)到的人員和信號(hào)燈；②在放礦點(diǎn)，由于前車(chē)裝載的礦石可能掉落，軌道之間影響運(yùn)輸?shù)乃槭?；③雙向巷道有列車(chē)錯(cuò)車(chē)。據(jù)此確定檢測(cè)的目標(biāo)物為井下人員、相向列車(chē)、礦石。

在有軌電機(jī)車(chē)運(yùn)行路徑上，將電機(jī)車(chē)前方區(qū)域進(jìn)行劃分并設(shè)置權(quán)重，在ROI區(qū)域識(shí)別障礙物后，根據(jù)障礙物的距離信息加類(lèi)型權(quán)重，提出建立的數(shù)學(xué)模型公式為

式中，W為障礙物位置信息權(quán)重參數(shù)；L為障礙物相對(duì)電機(jī)車(chē)的距離；P為障礙物分類(lèi)權(quán)重；Q為障礙物相對(duì)于軌道的位置權(quán)重，閾值由具體環(huán)境和電機(jī)車(chē)性能設(shè)定，見(jiàn)表1。

規(guī)定變量W與設(shè)定閾值K的關(guān)系，對(duì)電機(jī)車(chē)響應(yīng)判定：①位置權(quán)重參數(shù)W大于最大剎車(chē)閾值Km，立即剎車(chē)；②位置權(quán)重W介于最大剎車(chē)閾值Km和預(yù)警閾值Kn之間，鳴笛，減速；③位置權(quán)重參數(shù)W小于預(yù)警閾值Kn，判斷，預(yù)警。以最小剎車(chē)距離Lm=10 m為設(shè)定量，閾值計(jì)算公式及設(shè)定的計(jì)算值：

根據(jù)現(xiàn)場(chǎng)實(shí)驗(yàn)和《金屬非金屬礦山安全規(guī)程》［11］要求，電機(jī)車(chē)最小剎車(chē)距離不超過(guò)80 m，運(yùn)送人員時(shí)不超過(guò)10 m。攝像頭有效拍攝距離20 m，根據(jù)表2權(quán)重設(shè)計(jì)相關(guān)判斷標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)處理。

對(duì)數(shù)學(xué)模型說(shuō)明：

（1）計(jì)算公式為障礙物分類(lèi)權(quán)重乘以障礙物位置權(quán)重除以障礙物距離，計(jì)算得到的W包含了障礙物位置距離和障礙物類(lèi)型3類(lèi)信息。

（2）閾值計(jì)算遵循的標(biāo)準(zhǔn)。最大剎車(chē)閾值Km表示軌道中間區(qū)域影響安全大小的礦石在電機(jī)車(chē)制動(dòng)距離內(nèi)，包含的情況是人員在該區(qū)域；最小預(yù)警閾值Kn是軌道兩側(cè)的人員在電機(jī)車(chē)最小剎車(chē)距離，預(yù)防人員突然進(jìn)入軌道中間區(qū)域，準(zhǔn)備立即剎車(chē)。

3 軌道障礙物檢測(cè)

3.1 目標(biāo)物檢測(cè)算法YOLO

YOLO（You Only Look Once）是基于卷積神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)算法。與常規(guī)的R-CNN卷積神經(jīng)網(wǎng)絡(luò)相比，YOLO算法是將目標(biāo)檢測(cè)看作單一的回歸問(wèn)題，只需在圖像上看一次（YOLO），就可以預(yù)測(cè)目標(biāo)的分類(lèi)和目標(biāo)物的具體坐標(biāo)，成為第一個(gè)實(shí)現(xiàn)實(shí)時(shí)目標(biāo)物檢測(cè)的算法［12］，對(duì)采集到的視頻中目標(biāo)物檢測(cè)有著較高的速度和良好的準(zhǔn)確率。YOLO是最早出現(xiàn)的單階段目標(biāo)檢測(cè)算法，尤其是在小目標(biāo)檢測(cè)上，相比較于傳統(tǒng)的R-CNN，YOLO網(wǎng)絡(luò)檢測(cè)效果良好［13］。Joseph Redmon等首次提出YOLO算法網(wǎng)絡(luò)結(jié)構(gòu)，確定了YOLO網(wǎng)絡(luò)的檢測(cè)框架由回歸模型和相關(guān)性分類(lèi)概率構(gòu)成，直接對(duì)輸入圖像應(yīng)用算法檢測(cè)并輸出類(lèi)別、分類(lèi)概率和對(duì)應(yīng)的檢測(cè)框位置［14］。

YOLO算法的基本思路是將圖像分為s×s的網(wǎng)格，如果目標(biāo)物的中心坐標(biāo)位于某個(gè)格子內(nèi)，那么該格子就負(fù)責(zé)對(duì)該物體進(jìn)行檢測(cè)。同時(shí)格子向四周擴(kuò)展，以確定物體的基本類(lèi)型。預(yù)測(cè)框會(huì)給定目標(biāo)物多個(gè)置信度參數(shù)，分類(lèi)時(shí)取置信度參數(shù)中目標(biāo)物的最大概率作為該目標(biāo)的類(lèi)別，權(quán)重參數(shù)的計(jì)算函數(shù)通過(guò)神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練來(lái)確定。

3.2 基于YOLOv5的目標(biāo)物檢測(cè)算法

實(shí)驗(yàn)采用最新的目標(biāo)物檢測(cè)算法YOLOv5對(duì)軌道障礙物進(jìn)行檢測(cè)。在YOLOv5官方代碼中，給出的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型中一共有4個(gè)版本，分別是YOLOv5s、YOLO5m、YOLOv5l、YOLOv5x。 其 中 ，YOLOv5s模型是YOLOv5系列中深度最小的網(wǎng)絡(luò)，其訓(xùn)練和測(cè)試的速度最快，對(duì)目標(biāo)物的檢測(cè)更為迅速，但是精度低于其他模型。無(wú)人駕駛技術(shù)要求在設(shè)備聯(lián)動(dòng)時(shí)對(duì)目標(biāo)物檢測(cè)達(dá)到低時(shí)延、快響應(yīng)的效果，井下的障礙物分類(lèi)并不多，因此實(shí)驗(yàn)采用的模型是YOLOv5s。

與YOLOv4相比，YOLOv5算法更為靈活，提升來(lái)自于幾個(gè)方面：

（1）自適應(yīng)圖片尺寸的調(diào)整。常見(jiàn)的目標(biāo)物檢測(cè)算法需要統(tǒng)一圖片的尺寸，然后再進(jìn)入網(wǎng)絡(luò)中，圖片的尺寸調(diào)整會(huì)帶來(lái)黑邊。在YOLOv5代碼中作者對(duì)datasets.py的letterbox函數(shù)進(jìn)行了修改，在原始圖像的四周自適應(yīng)地添加最少的黑邊，使計(jì)算量減少。

（2）YOLOv5s的Focus結(jié)構(gòu)。在YOLOv4中并沒(méi)有這個(gè)結(jié)構(gòu)，其中比較關(guān)鍵的是針對(duì)圖像特征的切片操作。原始608×608×3的圖像輸入Focus結(jié)構(gòu)，采用切片操作，先變成304×304×12的特征圖，再經(jīng)過(guò)一次32個(gè)卷積核的卷積操作，最終變成304×304×32的圖像矩陣。

YOLOv5的優(yōu)點(diǎn)是對(duì)小目標(biāo)檢測(cè)的性能有所提升，在對(duì)低像素小目標(biāo)檢測(cè)時(shí)，先對(duì)大分辨率圖片進(jìn)行分割，變成1張張小圖，再進(jìn)行檢測(cè)，這樣可以降低最小目標(biāo)像素下限。在YOLOv3中，目標(biāo)的寬或者高低于10像素就無(wú)法檢測(cè)，而在YOLOv5中，可以達(dá)到對(duì)8像素以上的目標(biāo)進(jìn)行檢測(cè)，性能大大提高。

YOLOv5在Neck層中采用FPN+PAN的結(jié)構(gòu)［15］，不同于YOLOv3的只融合了3個(gè)大小分別是13×13，26×26和52×52規(guī)模的FPN結(jié)構(gòu)，YOLOv5的FPN層的后面還添加了1個(gè)自底向上的特征金字塔，其中包含2個(gè)PAN結(jié)構(gòu)［16］。FPN結(jié)構(gòu)是一種特征提取方式，在Faster R-CNN等網(wǎng)絡(luò)中也有用到，從底層圖像進(jìn)行上卷積運(yùn)算進(jìn)行下采樣，再對(duì)高層特征圖下采樣融合。橫向連接下采樣和上采樣［17］，利用底層定位細(xì)節(jié)信息。圖5展示了FPN+PAN的特征金字塔狀網(wǎng)絡(luò)結(jié)構(gòu)。

YOLOv5與YOLOv4不同點(diǎn)在于，YOLOv4中只有主干網(wǎng)絡(luò)使用了CSP結(jié)構(gòu)［18］，而在YOLOv5模型中設(shè)計(jì)了2種CSP結(jié)構(gòu)——CSP1_x和CSP2_x，分別應(yīng)用在不同的結(jié)構(gòu)中，CSP1_x主要是應(yīng)用在主干網(wǎng)絡(luò)。

3.3 井下人員的目標(biāo)檢測(cè)

大多井下運(yùn)輸巷道具有人車(chē)共用的環(huán)境特點(diǎn)，狹窄巷道人員的通行通過(guò)機(jī)器視覺(jué)的判斷，在電機(jī)車(chē)行駛過(guò)程中可以起到輔助避障的作用。人員位置按照相對(duì)電機(jī)車(chē)首尾的距離遠(yuǎn)近以及在軌道線的中間或者兩側(cè)進(jìn)行劃分，默認(rèn)的轉(zhuǎn)向位置和交叉口檢測(cè)到人員歸屬鳴笛和減速的判斷等級(jí)。

3.3.1 訓(xùn)練環(huán)境及訓(xùn)練模型

本實(shí)驗(yàn)使用的軟件是在Anaconda+Jupyter Notebook+pytorch 1.7.1+CUDA 11.0+pycocotools-win 2.0+python3的環(huán)境變量，顯卡GeForce RTX 2070。在對(duì)數(shù)據(jù)集預(yù)訓(xùn)練時(shí)，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)存在一個(gè)嚴(yán)重弊端：需要重新對(duì)圖片標(biāo)注大量數(shù)據(jù)以滿(mǎn)足訓(xùn)練要求，會(huì)造成數(shù)據(jù)的浪費(fèi)［19］。遷移學(xué)習(xí)的方法不需要構(gòu)建數(shù)據(jù)集，直接使用YOLO v5s權(quán)重模型提高訓(xùn)練的效率。一方面，YOLOv5s是運(yùn)算速度比較快的模型；另一方面，在井下電機(jī)車(chē)運(yùn)行的過(guò)程中，檢測(cè)速度要求高，而目標(biāo)檢測(cè)的精度不高。pycocotools（python api tools of COCO）作為訓(xùn)練數(shù)據(jù)集，權(quán)重文件為yolov5s.pt，后期可以根據(jù)不同的需求，進(jìn)一步地優(yōu)化參數(shù)。實(shí)驗(yàn)不同角度、不同距離下的人員快速的檢測(cè)效果，參數(shù)設(shè)置：

conf_thres=0.25，img_size=640，iou_thres=0.45，name='exp'，project='runs/detect'，source='data/images'，weights='yolov5s.pt'.

3.3.2 實(shí)驗(yàn)結(jié)果與分析

將測(cè)試集圖片輸入訓(xùn)練好的模型中，從多人員、多角度檢測(cè)效果，神經(jīng)網(wǎng)絡(luò)輸出目標(biāo)物預(yù)測(cè)框和置信度，實(shí)驗(yàn)結(jié)果如圖6。

假陽(yáng)性率FPR作為定量的計(jì)算參數(shù)評(píng)價(jià)YOLOv5算法檢測(cè)質(zhì)量的評(píng)判標(biāo)準(zhǔn)：

式中，TP（真陽(yáng)性）、FP（假陽(yáng)性）分別表示算法在圖像中檢測(cè)到的目標(biāo)物、被算法誤認(rèn)的背景對(duì)象。

本實(shí)驗(yàn)還對(duì)比了在YOLOv5s、YOLOv5x模型和權(quán)重文件下檢測(cè)837幀圖片（表3），計(jì)算人員識(shí)別的準(zhǔn)確率。在更大的訓(xùn)練模型下，YOLOv5x運(yùn)算時(shí)間變長(zhǎng)，耗用的時(shí)間是YOLOv5s模型時(shí)間的2倍，但檢測(cè)準(zhǔn)確率FPR提高了6.4%。作為對(duì)比的mask RCNN網(wǎng)絡(luò)不論從時(shí)間還是精度上都無(wú)法與YOLO算法相提并論，由于對(duì)單張圖片的處理時(shí)間長(zhǎng)，更無(wú)法處理視頻。

3.4 礦車(chē)落石的障礙物識(shí)別

井下電機(jī)車(chē)運(yùn)輸基本按照“溜井放礦—運(yùn)輸巷道—井下儲(chǔ)礦倉(cāng)”固定的路線運(yùn)行。在溜井放礦階段，從采場(chǎng)采掘的礦石在溜井放礦口通過(guò)振動(dòng)放礦機(jī)裝入礦車(chē)。礦石由于下落過(guò)快和礦車(chē)溢礦等情況，落到軌道上，如果不及時(shí)判斷，后續(xù)礦車(chē)很容易產(chǎn)生碰撞，發(fā)生安全事故。對(duì)軌道中間礦石應(yīng)用機(jī)器視覺(jué)識(shí)別可以減少巡檢人員的巡視距離，保障電機(jī)車(chē)運(yùn)行安全。

3.4.1 訓(xùn)練數(shù)據(jù)集構(gòu)建

在YOLOv5使用的數(shù)據(jù)權(quán)重文件中沒(méi)有礦石的模型，無(wú)法遷移學(xué)習(xí)。應(yīng)用YOLOv5網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)集構(gòu)建如下：選用100張含有待檢測(cè)目標(biāo)物的圖片，使用anaconda+labelme環(huán)境進(jìn)行目標(biāo)物的手動(dòng)標(biāo)注，構(gòu)建YOLOv5訓(xùn)練的數(shù)據(jù)集。標(biāo)注后生成.json格式文件，包含了目標(biāo)物的坐標(biāo)信息和輪廓信息，標(biāo)注目標(biāo)物的目的是訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

3.4.2 網(wǎng)絡(luò)訓(xùn)練模型

神經(jīng)網(wǎng)絡(luò)訓(xùn)練：在python3環(huán)境下運(yùn)行train.py程序，訓(xùn)練網(wǎng)絡(luò)獲得權(quán)重文件和損失函數(shù)的下降趨勢(shì)圖，mAP學(xué)習(xí)率在迭代了500次后達(dá)到平衡，最終訓(xùn)練得到weight權(quán)重文件。通過(guò)訓(xùn)練結(jié)果可以看到，損失函數(shù)呈現(xiàn)下降趨勢(shì)，如圖7所示。

3.4.3 測(cè)試圖像訓(xùn)練結(jié)果

選用與訓(xùn)練數(shù)據(jù)集相同場(chǎng)景下的圖像作為測(cè)試圖像，測(cè)試效果如圖8。根據(jù)輸出結(jié)果看出，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)獲得的權(quán)重文件后獲得了較好的識(shí)別效果，可以精確定位在軌道兩側(cè)和中間掉落的礦石障礙物。

4 結(jié)論

（1）實(shí)驗(yàn)研究了基于深度學(xué)習(xí)的圖像處理YOLOv5算法應(yīng)用于軌道障礙物識(shí)別，從實(shí)驗(yàn)結(jié)果分析，在對(duì)YOLOv5訓(xùn)練迭代了1 000次后，檢測(cè)目標(biāo)物的準(zhǔn)確度可以達(dá)到80%以上，單張圖片的檢測(cè)時(shí)間僅有0.012 s，在更優(yōu)的硬件設(shè)備下，YOLO算法完全可以滿(mǎn)足對(duì)視頻中障礙物的檢測(cè)。相比較于R-CNN卷積神經(jīng)網(wǎng)絡(luò)，YOLOv5算法存在更佳的靈活性，可以對(duì)視頻文件中低于8像素值小目標(biāo)物進(jìn)行識(shí)別處理。

（2）軌道區(qū)域劃分障礙物權(quán)重的數(shù)學(xué)模型，簡(jiǎn)化定量描述軌道不同區(qū)域內(nèi)障礙物的位置，在電機(jī)車(chē)最小剎車(chē)距離不超過(guò)80 m，攝像頭有效拍攝距離40 m下，計(jì)算閾值和攝像頭有效檢測(cè)區(qū)域即可完成環(huán)境與設(shè)備之間的數(shù)據(jù)匹配，具有很高的實(shí)用性。

（3）研究深度學(xué)習(xí)的視覺(jué)檢測(cè)目標(biāo)算法，可以更為準(zhǔn)確和快速地進(jìn)行區(qū)域劃分，并確定障礙物的種類(lèi)和距離，為安全運(yùn)輸提供輔助檢測(cè)，降低人眼識(shí)別的錯(cuò)誤率，為基于圖像處理的井下電機(jī)車(chē)無(wú)人駕駛提供了方向性參考。