基于圖像識(shí)別的礦車裝載物識(shí)別系統(tǒng)

摘 要：目前我國(guó)礦山建設(shè)領(lǐng)域很多系統(tǒng)存在功能不完善、可操作性差、智能化程度較低、數(shù)據(jù)無(wú)法得到深度利用等問(wèn)題。引入圖像識(shí)別技術(shù)，對(duì)礦車裝載物進(jìn)行識(shí)別以此來(lái)提高分運(yùn)效率，是解決上述問(wèn)題的一個(gè)可靠途徑。文章首先綜合評(píng)估Faster R-CNN、SSD、YOLO、RetinaNet四種圖像識(shí)別算法在礦車裝載物分類中的實(shí)際性能，發(fā)現(xiàn)YOLO模型最佳。其次使用輕量級(jí)的MobileNet V3網(wǎng)絡(luò)替換YOLO的特征提取網(wǎng)絡(luò)，優(yōu)化后的模型在保證精度的基礎(chǔ)上，大小變?yōu)樵械?/5，且在不同環(huán)境下都能進(jìn)行有效識(shí)別并分類。最后設(shè)計(jì)了人機(jī)交互界面并搭載觸摸屏，實(shí)現(xiàn)了整套礦車裝載物智能識(shí)別系統(tǒng)。

關(guān)鍵詞：礦車裝載物；智能識(shí)別；YOLO；輕量級(jí)模型；嵌入式平臺(tái)

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2024）20-0102-05

Mine Vehicle Loading Recognition System Based on Image Recognition

DU Sijie， GUAN Shijie， BU Yifan， HUANG Jiachen， HU Zhiheng

（China University of Mining and Technology-Beijing， Beijing 100083， China）

Abstract： At present， many systems of mine construction field in China have problems of imperfect functions， poor operability， low degree of intelligence， and the data cannot be deeply used. The image recognition technology is introduced to identify the mine vehicle loading so as to improve the separation efficiency， which is a reliable way to solve the above problems. Firstly， this paper evaluates the actual performance of four types of image recognition algorithms such as Faster R-CNN， SSD， YOLO， and RetinaNet in vehicle loading classification comprehensively， and it is found that YOLO model is the most suitable. Secondly， the feature extraction network of YOLO is replaced with a lightweight MobileNet V3 network， and the size of optimized model becomes the 1/5 of the original size on the basis of the guaranteed accuracy. And it realizes effective identification and classification in different environments. Finally， it designs the human-computer interaction interface and touch screen is equipped， realizing a set of complete and intelligent recognition system for mining vehicl016R/cb19CSasqQ9rEuEIw==e loading.

Keywords： mine vehicle loading; intelligent recognition; YOLO; lightweight model; embedded platform

0 引 言

煤炭行業(yè)是我國(guó)重要支柱產(chǎn)業(yè)，在我國(guó)能源結(jié)構(gòu)中占據(jù)主導(dǎo)地位。但現(xiàn)代煤炭產(chǎn)業(yè)體系建設(shè)中存在許多行業(yè)痛點(diǎn)，亟須向智能化方向發(fā)展。如傳統(tǒng)的以人工操作為主的煤礦副井礦車分運(yùn)中，需要通過(guò)人眼識(shí)別分辨礦車裝載物，存在誤判率高、生產(chǎn)效率低等問(wèn)題。為了提高煤礦智能化進(jìn)程，煤炭行業(yè)需要進(jìn)行現(xiàn)代化改革。為了推動(dòng)煤礦智能化改革，近期的研究提出了一些解決方案。文獻(xiàn)[1]提出采用圖像除霧和行人目標(biāo)檢測(cè)算法來(lái)提升監(jiān)控系統(tǒng)的性能，但需要進(jìn)一步改進(jìn)模型的精度。文獻(xiàn)[2]利用紅外圖像信息分割以及基于形態(tài)學(xué)加權(quán)投票法的雙通道信息融合技術(shù)，有效提高了采煤機(jī)作業(yè)區(qū)域人員檢測(cè)的準(zhǔn)確性、穩(wěn)定性和適用性。此外，文獻(xiàn)[3]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的煤礦副井礦車裝載物自動(dòng)分類系統(tǒng)，通過(guò)邊緣檢測(cè)等方法實(shí)現(xiàn)了礦車的檢測(cè)，并將檢測(cè)結(jié)果輸入基于卷積神經(jīng)網(wǎng)絡(luò)的分類算法，驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)在礦車裝載物分類中的可行性。盡管這些方法在一定程度上解決了煤礦副井礦車裝載物分類的智能化問(wèn)題，但由于礦車檢測(cè)和裝載物分類被分為兩個(gè)獨(dú)立的網(wǎng)絡(luò)，會(huì)導(dǎo)致輸出視頻流出現(xiàn)嚴(yán)重的卡頓和掉幀等問(wèn)題。

在此基礎(chǔ)上，進(jìn)一步運(yùn)用圖像識(shí)別技術(shù)，根據(jù)礦車裝載物圖像對(duì)礦車進(jìn)行實(shí)時(shí)智能分運(yùn)，利用嵌入式平臺(tái)搭建了識(shí)別和控制系統(tǒng)，實(shí)現(xiàn)了人機(jī)交互。這一系統(tǒng)可以減少對(duì)人工判斷結(jié)果的依賴，提高了煤礦生產(chǎn)的安全可靠性和產(chǎn)出效率。

故本文以Faster R-CNN、SSD、YOLO、RetinaNet四種圖像識(shí)別算法對(duì)礦車裝載物識(shí)別結(jié)果進(jìn)行綜合評(píng)價(jià)，并采用輕量級(jí)網(wǎng)絡(luò)MobileNe代替YOLO模型的主干網(wǎng)絡(luò)，以此來(lái)減小模型大小，減輕網(wǎng)絡(luò)負(fù)擔(dān)，提升識(shí)別速度。最終完成人機(jī)交互。

1 數(shù)據(jù)集構(gòu)建及預(yù)處理

1.1 數(shù)據(jù)收集

本研究利用攝像頭實(shí)地抓拍了約8 000張山東煤礦現(xiàn)場(chǎng)圖像，并收集了約1 800張網(wǎng)絡(luò)公開(kāi)的煤礦實(shí)物圖像，總計(jì)9 800張圖像。這些圖像用于建立一個(gè)包含煤、矸石和其他物料三種類別的煤礦副井礦車裝載物圖像數(shù)據(jù)集。該數(shù)據(jù)集具有良好的圖像質(zhì)量、樣本數(shù)量平衡，并覆蓋了不同光照條件下的情況。圖1展示了三種礦車裝載物的示意圖，以便更直觀地理解數(shù)據(jù)集的內(nèi)容。

1.2 數(shù)據(jù)預(yù)處理

在進(jìn)行圖像識(shí)別訓(xùn)練前，需對(duì)采集到的圖像進(jìn)行預(yù)先標(biāo)注的標(biāo)簽處理。在訓(xùn)練階段，算法將通過(guò)學(xué)習(xí)這些已經(jīng)標(biāo)注的圖像來(lái)提高其識(shí)別能力。本文采用了實(shí)地與網(wǎng)絡(luò)相結(jié)合的方式來(lái)進(jìn)行圖像采集工作，以準(zhǔn)備后續(xù)算法訓(xùn)練所需的數(shù)據(jù)。在圖像處理過(guò)程中，按照?qǐng)D像識(shí)別領(lǐng)域常用的公開(kāi)數(shù)據(jù)集PASCAL VOC2007的標(biāo)準(zhǔn)格式對(duì)數(shù)據(jù)進(jìn)行了標(biāo)注，并生成相對(duì)應(yīng)的標(biāo)簽文件。為進(jìn)行標(biāo)注工作，本文使用Labelme圖像標(biāo)注軟件，對(duì)JPEGImages中的煤矸石圖像進(jìn)行了人工標(biāo)注[4]。標(biāo)注的示例如圖2所示，在確定圖像中煤矸石的位置的同時(shí)，給定其相應(yīng)的類別名稱。這一工作將為后續(xù)的圖像識(shí)別算法提供可靠的訓(xùn)練數(shù)據(jù)和標(biāo)簽信息。

1.3 圖像數(shù)據(jù)增強(qiáng)

本文目前一共采集了9 800張礦車裝載物圖像，根據(jù)實(shí)際生產(chǎn)需求對(duì)礦車裝載物圖像進(jìn)行人工劃分，分為煤、矸石、物料三類圖像。為了提高識(shí)別速度和識(shí)別準(zhǔn)確性，需要對(duì)圖像進(jìn)行裁切，選擇采用對(duì)連續(xù)幀小圖像綜合判斷的方式提高準(zhǔn)確率[5]。我們采集到的礦車裝載物圖像大小為1 280×960。為了便于后續(xù)模型訓(xùn)練，統(tǒng)一將這些圖像截取為400×400大小的區(qū)域進(jìn)行識(shí)別。

由于礦車經(jīng)過(guò)時(shí)間具有不確定性，實(shí)地采集到的三種圖像數(shù)量并不均勻，而算法模型的準(zhǔn)確性需依托于大量數(shù)據(jù)，如果實(shí)際樣本數(shù)量不平衡，可能導(dǎo)致算法無(wú)法完成較為真實(shí)和準(zhǔn)確的特征學(xué)習(xí)，為進(jìn)一步提高樣本圖像的多樣性及代表性，需要對(duì)數(shù)據(jù)內(nèi)已有圖像進(jìn)行增廣處理。

在經(jīng)過(guò)空間變換、色彩變換、圖像拼接三種方法處理后，本文對(duì)數(shù)據(jù)集中的煤、矸石、物料進(jìn)行了樣本數(shù)據(jù)增強(qiáng)，使其每種樣本數(shù)量均擴(kuò)充為6 000張。然后將各類圖像按照5：1的比例劃分為訓(xùn)練集和測(cè)試集，劃分完后的煤、矸石和物料圖像訓(xùn)練集共有15 000張，測(cè)試集圖像共有3 000張。表1為進(jìn)行數(shù)據(jù)增強(qiáng)之后煤礦副井礦車裝載物數(shù)據(jù)集劃分情況。

2 算法對(duì)比

算法選擇方面，首先考慮煤礦生產(chǎn)對(duì)實(shí)時(shí)性的要求。因此著重選擇檢測(cè)速度較快的典型單階段目標(biāo)檢測(cè)算法YOLO及SSD進(jìn)行試驗(yàn)。同時(shí)設(shè)置了速度較慢的雙階段目標(biāo)檢測(cè)算法中比較具有代表性的Faster-RCNN算法作為實(shí)驗(yàn)對(duì)照。

在保證系統(tǒng)魯棒性的前提下，考慮到實(shí)際生產(chǎn)中矸石的種類遠(yuǎn)多于煤，因此需要解決煤與矸石樣本不平衡的問(wèn)題。為此引入了RetinaNet網(wǎng)絡(luò)模型進(jìn)行結(jié)果對(duì)比分析。從實(shí)時(shí)性、準(zhǔn)確率、可移植性和體積大小四個(gè)方面評(píng)估以上算法，對(duì)結(jié)果進(jìn)行綜合分析，從而選擇出最適合應(yīng)用于煤礦實(shí)際生產(chǎn)的算法，將其嵌入到智能分運(yùn)系統(tǒng)中。所有實(shí)驗(yàn)將在服務(wù)器環(huán)境下進(jìn)行對(duì)比，表2為系統(tǒng)所依賴的實(shí)驗(yàn)環(huán)境。

實(shí)驗(yàn)中分別記錄了四種模型在煤礦副井礦車裝載物圖像數(shù)據(jù)集上在NVIDIA GTX1080Ti和Jetson TX2上的分類表現(xiàn)，包括訓(xùn)練集準(zhǔn)確率、測(cè)試集準(zhǔn)確率、模型大小以及分類速度。這些指標(biāo)用于全面評(píng)估四種模型在本系統(tǒng)中的適用性。圖像識(shí)別模型的主要性能體現(xiàn)在分類和定位能力上，而mAP值則是其最直觀的評(píng)估指標(biāo)，mAP值越高，說(shuō)明模型的精度越高。FPS值則用于體現(xiàn)檢測(cè)速度，代表了目標(biāo)檢測(cè)模型的計(jì)算性能[6]。在實(shí)際應(yīng)用中，一般綜合考慮mAP和FPS兩者來(lái)評(píng)估目標(biāo)檢測(cè)模型的性能。表3為將IoU閾值設(shè)置為0.8時(shí)，各模型的實(shí)驗(yàn)數(shù)據(jù)。

由以上檢測(cè)結(jié)果可知，經(jīng)典的圖像識(shí)別模型Faster-RCNN[7]雖然有較高的準(zhǔn)確率，但是在檢測(cè)速度上相較于單階段的圖像識(shí)別算法存在很大差距。分析可知，在雙階段的目標(biāo)檢測(cè)算法中，加入了區(qū)域建議網(wǎng)絡(luò)，較高的參數(shù)量和模型復(fù)雜度，使其在實(shí)際應(yīng)用中受到較大的速度制約。該算法對(duì)于本系統(tǒng)而言，在處理實(shí)時(shí)視頻流時(shí)容易造成系統(tǒng)卡頓。

單階段圖像識(shí)別模型SSD[8]在諸多模型中，對(duì)顯存占用最小，因此SSD模型應(yīng)用于該數(shù)據(jù)集時(shí)在速度上表現(xiàn)優(yōu)越，但其在實(shí)際應(yīng)用中，與速度相當(dāng)?shù)腨OLO網(wǎng)絡(luò)相比，其mAP較低，誤報(bào)率與漏檢率較高，檢測(cè)精度表現(xiàn)最差。

單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)RetinaNet在公開(kāi)數(shù)據(jù)集上綜合表現(xiàn)最佳，在一定程度上針對(duì)本項(xiàng)目的數(shù)據(jù)集中樣本不均衡問(wèn)題有所改善。但作為單階段目標(biāo)檢測(cè)算法，存在速度瓶頸無(wú)法突破，且預(yù)測(cè)準(zhǔn)確率較低的問(wèn)題。

YOLOv4[9]模型的mAP為95.86%，可在礦車裝載物的識(shí)別過(guò)程中達(dá)到較高的準(zhǔn)確率，且YOLOv4模型的FPS在四種圖像識(shí)別模型中平均最高，實(shí)時(shí)性能最好，檢測(cè)速度最快。

故綜合比較四種模型的檢出速度、準(zhǔn)確率、模型大小等因素，本文選擇YOLOv4模型作為該礦車智能分類系統(tǒng)中的核心算法。

但礦車分運(yùn)系統(tǒng)對(duì)實(shí)時(shí)性能要求較高，在處理視頻流時(shí)，嵌入式平臺(tái)Jetson TX2上的FPS應(yīng)大于10，才能有效避免系統(tǒng)卡頓或?qū)崟r(shí)視頻流掉幀等問(wèn)題。因此，為進(jìn)一步提高總體系統(tǒng)的實(shí)時(shí)性，需對(duì)現(xiàn)有模型進(jìn)行優(yōu)化，減小模型體量，提高其算法效率。故本文選擇采用減少模型復(fù)雜程度的方向?qū)λ惴Ｐ瓦M(jìn)行優(yōu)化。

3 算法優(yōu)化

解決高GPU消耗的傳統(tǒng)方法之一是模型壓縮，即對(duì)已經(jīng)訓(xùn)練好的模型進(jìn)行壓縮，例如模型剪裁和模型量化等，能夠減少網(wǎng)絡(luò)參數(shù)，解決內(nèi)存爆炸問(wèn)題，同時(shí)提升運(yùn)行速度，而不至于明顯影響檢測(cè)效果[10]。而輕量化模型的設(shè)計(jì)則著眼于采用更為高效的卷積方式，以降低網(wǎng)絡(luò)參數(shù)的數(shù)量，同時(shí)又保持網(wǎng)絡(luò)模型的性能不受損。因此，一些輕量級(jí)的網(wǎng)絡(luò)模型得以出現(xiàn)，其中以基于輕量級(jí)主特征提取網(wǎng)絡(luò)的MobileNet算法模型為典型。

其中MobileNetV1采用深度可分離卷積來(lái)改進(jìn)基本的卷積運(yùn)算單元，將標(biāo)準(zhǔn)卷積分解為深度卷積和逐點(diǎn)卷積兩個(gè)步驟。深度卷積階段使用單個(gè)卷積核對(duì)單個(gè)輸入通道進(jìn)行卷積，生成與輸入通道數(shù)相同的深度，并通過(guò)逐點(diǎn)卷積對(duì)其輸出進(jìn)行線性結(jié)合[11]。這一方法大大減少了模型的參數(shù)數(shù)量，簡(jiǎn)化了模型結(jié)構(gòu)，同時(shí)顯著提升了算法速度。MobileNetV2引入了逆殘差結(jié)構(gòu)和線性瓶頸結(jié)構(gòu)，以解決特征退化和激活函數(shù)對(duì)特征的影響問(wèn)題。逆殘差結(jié)構(gòu)通過(guò)1×1卷積進(jìn)行維度升維，然后通過(guò)3×3深度可分離卷積進(jìn)行特征提取，并最后通過(guò)1×1卷積進(jìn)行降維。這有助于實(shí)現(xiàn)特征的重復(fù)利用和減緩特征的退化。線性瓶頸結(jié)構(gòu)去除了小維度輸出層后面的非線性激活層，保留了模型的表達(dá)能力，并減少了激活函數(shù)對(duì)特征的影響。MobileNetV3結(jié)合了V1的深度可分離卷積思想和V2的逆殘差結(jié)構(gòu)，同時(shí)引入了輕量級(jí)的注意力模型來(lái)調(diào)整通道權(quán)重。另一個(gè)改進(jìn)是將Swish激活函數(shù)替換為H-Swish函數(shù)，以減少計(jì)算量并提高算法性能[12]。

MobileNet網(wǎng)絡(luò)的引入為輕量級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)的發(fā)展提供了新的思路。實(shí)驗(yàn)結(jié)果表明，YOLOv4在礦車裝載物圖像數(shù)據(jù)集上表現(xiàn)優(yōu)秀，但對(duì)于需要實(shí)時(shí)性的礦車分運(yùn)系統(tǒng)而言，其龐大的模型體積并不適用。相比傳統(tǒng)網(wǎng)絡(luò)，MobileNet網(wǎng)絡(luò)的優(yōu)勢(shì)在于其較小的體積[13]，特別適用于本文中的智能礦車分運(yùn)系統(tǒng)。它更適合在NVIDIA Jetson TX2嵌入式平臺(tái)上運(yùn)行，并且有望在拓寬應(yīng)用場(chǎng)景方面發(fā)揮更深層次的作用。因此，本文利用輕量級(jí)的MobileNet網(wǎng)絡(luò)結(jié)合在礦車裝載物數(shù)據(jù)集上表現(xiàn)良好的YOLO網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)模型進(jìn)行了輕量級(jí)優(yōu)化。這樣做既保證了高準(zhǔn)確率，又實(shí)現(xiàn)了模型的壓縮，提高了系統(tǒng)的運(yùn)行速率。

MobileNet系列網(wǎng)絡(luò)可廣泛用于分類任務(wù)，其主干部分負(fù)責(zé)進(jìn)行特征提取。出于這一思路，提出了使用輕量級(jí)的MobileNet網(wǎng)絡(luò)來(lái)取代YOLOv4中原有的主干特征提取網(wǎng)絡(luò)CSPdarknet53，從而對(duì)圖像進(jìn)行特征提取，實(shí)現(xiàn)對(duì)模型的輕量化優(yōu)化。在YOLOv4中，整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可分為三個(gè)主要部分：第一，主干特征提取網(wǎng)絡(luò)Backbone，對(duì)應(yīng)CSPdarknet53網(wǎng)絡(luò)；第二，加強(qiáng)特征提取網(wǎng)絡(luò)，包括SPP和PANet兩部分；第三，預(yù)測(cè)網(wǎng)絡(luò)YOLOHead，用于利用獲得的特征進(jìn)行目標(biāo)預(yù)測(cè)。在這三個(gè)部分中，主干特征提取網(wǎng)絡(luò)的作用是進(jìn)行初始的特征提取，生成三個(gè)初步的有效特征層。加強(qiáng)特征提取網(wǎng)絡(luò)則進(jìn)一步提取特征并融合，以獲取更深層次的語(yǔ)義特征，形成三個(gè)高語(yǔ)義的有效特征層。預(yù)測(cè)網(wǎng)絡(luò)則利用加強(qiáng)后的特征層進(jìn)行目標(biāo)檢測(cè)和預(yù)測(cè)。

鑒于YOLOv4中的加強(qiáng)特征提取網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)已經(jīng)相對(duì)簡(jiǎn)化且實(shí)用，因此本文主要對(duì)主干特征提取網(wǎng)絡(luò)進(jìn)行了優(yōu)化處理。通過(guò)使用MobileNet系列網(wǎng)絡(luò)替代CSPdarknet53進(jìn)行特征提取，并對(duì)三個(gè)初步的有效特征層進(jìn)行進(jìn)一步的加強(qiáng)處理，從而完成了網(wǎng)絡(luò)模型的輕量化優(yōu)化[14]。

在模型優(yōu)化的過(guò)程中，首要任務(wù)是構(gòu)建加強(qiáng)特征金字塔，利用主干特征提取網(wǎng)絡(luò)獲取的3個(gè)有效特征進(jìn)行加強(qiáng)。接著，根據(jù)MobileNet的網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，設(shè)計(jì)并利用其網(wǎng)絡(luò)獲取3個(gè)有效特征層，然后將這些有效特征層替換原有主干網(wǎng)絡(luò)CSPdarknet53中的特征層。最后，將其中的普通卷積核替換為MobileNet網(wǎng)絡(luò)中突出特點(diǎn)的深度可分離卷積[15]。

通過(guò)使用MobileNet網(wǎng)絡(luò)取代YOLOv4中的主干特征提取網(wǎng)絡(luò)，目的在于降低模型復(fù)雜度，將特征提取結(jié)果融合到Y(jié)OLOv4網(wǎng)絡(luò)中。這樣一來(lái)，在保持YOLOv4優(yōu)秀檢測(cè)精度的同時(shí)，利用MobileNet網(wǎng)絡(luò)精簡(jiǎn)模型，加快速度，降低模型大小，使得網(wǎng)絡(luò)模型更適應(yīng)本文系統(tǒng)的需求，進(jìn)而獲得更出色的性能。圖3所示為YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化結(jié)果。

本文共選取3種具有不同特點(diǎn)的MobileNet網(wǎng)絡(luò)進(jìn)行主干特征提取網(wǎng)絡(luò)的替換，輕量化的模型大小和參數(shù)量變?yōu)樵瓉?lái)的1/5，檢測(cè)速度為原網(wǎng)絡(luò)的兩倍，且對(duì)精度影響較小，如表4所示。

最后使用PyQt5來(lái)搭建人機(jī)交互界面，完成礦車裝載物圖像識(shí)別工作。圖4為識(shí)別測(cè)試樣例。

4 結(jié) 論

針對(duì)煤礦智能化進(jìn)程中凸顯的煤礦分運(yùn)自動(dòng)化程度較低等問(wèn)題，本文結(jié)合煤礦副井實(shí)際情況，提出了基于目標(biāo)檢測(cè)的智能煤礦副井分運(yùn)系統(tǒng)，旨在解決長(zhǎng)期以來(lái)困擾煤礦生產(chǎn)的副井軌道運(yùn)輸問(wèn)題。將目標(biāo)檢測(cè)算法與算力大、體積小的嵌入式平臺(tái)結(jié)合，設(shè)計(jì)出一套準(zhǔn)確率高、實(shí)時(shí)性強(qiáng)，并具有較強(qiáng)可拓展性的智能煤礦副井分運(yùn)系統(tǒng)，以應(yīng)對(duì)煤礦智能化改革的迫切需求，基本解決了煤礦副井礦車裝載物的分類問(wèn)題。

首先，設(shè)計(jì)并完成了基于目標(biāo)檢測(cè)的智能煤礦副井分運(yùn)系統(tǒng)整體架構(gòu)，并詳細(xì)描述了各個(gè)模塊及其工作流程。為了滿足系統(tǒng)訓(xùn)練的需要，本文結(jié)合煤礦副井生產(chǎn)實(shí)際情況，建立了煤礦副井礦車裝載物圖像數(shù)據(jù)集，并通過(guò)數(shù)據(jù)增強(qiáng)的方法確保三種裝載物樣本的數(shù)量均衡。最終得到了一個(gè)包含18 000張圖像的完整的數(shù)據(jù)集。按照5：1的比例劃分測(cè)試集和訓(xùn)練集，進(jìn)行算法測(cè)試工作，

其次，以煤礦副井礦車裝載物圖像數(shù)據(jù)集為樣本，使用雙階段Faster-RCNN算法和典型的單階段算法YOLOv4和SSD進(jìn)行了算法分析實(shí)驗(yàn)。同時(shí)，針對(duì)樣本不平衡的現(xiàn)實(shí)問(wèn)題，加入RetinaNet網(wǎng)絡(luò)模型進(jìn)行了訓(xùn)練和實(shí)驗(yàn)結(jié)果對(duì)比分析。最終，實(shí)驗(yàn)結(jié)果顯示，以上四種模型在測(cè)試集上的最高準(zhǔn)確率都超過(guò)了89%。通過(guò)評(píng)估四種模型的表現(xiàn)，我們最終決定選用YOLOv4模型作為煤礦副井現(xiàn)場(chǎng)實(shí)時(shí)分類的模型，其模型分類準(zhǔn)確率達(dá)到了95.86%。

最后針對(duì)煤礦副井的真實(shí)情況，重點(diǎn)對(duì)網(wǎng)絡(luò)進(jìn)行了模型的壓縮及優(yōu)化。為此，我們?cè)O(shè)計(jì)了人機(jī)交互圖形界面，搭載了觸摸屏，與Jetson TX2平臺(tái)組成了一套完整的煤礦副井軌道運(yùn)輸智能分運(yùn)系統(tǒng)，以進(jìn)一步提高系統(tǒng)的實(shí)用性和可操作性。

參考文獻(xiàn)：

[1] 夏黎明.煤礦井下圖像除霧與目標(biāo)識(shí)別研究 [D].太原：太原科技大學(xué)，2024.

[2] 魏東，王忠賓，司壘，等.采煤機(jī)作業(yè)區(qū)域人員精確檢測(cè)方法研究 [J].工礦自動(dòng)化，2022，48（2）：19-28.

[3] 劉彪，郭翔，張帆，等.基于卷積神經(jīng)網(wǎng)絡(luò)的煤礦副井礦車裝載物自動(dòng)分類系統(tǒng) [C]//第32屆中國(guó)控制與決策會(huì)議論文集（2）.合肥：出版社不明，2020：580-585.

[4] 劉洪利.基于深度學(xué)習(xí)的輕量化目標(biāo)檢測(cè)算法研究 [D].北京：北京交通大學(xué)，2020.

[5] 孫繼平.基于圖像識(shí)別的煤巖界面識(shí)別方法研究 [J].煤炭科學(xué)技術(shù)，2011，39（2）：77-79.

[6] 石超君，邱波，周亞同，等.基于卷積神經(jīng)網(wǎng)絡(luò)的恒星光譜自動(dòng)分類方法 [J].光譜學(xué)與光譜分析，2019，39（4）：1312-1316.

[7] ROH M C，LEE J Y. Refining Faster-RCNN for Accurate Object Detection [C]//2017 Fifteenth IAPR International Conference on Machine Vision Applications （MVA）.Nagoya：IEEE，2017：514-517.

[8] 張帆，欒佳星，崔東林，等.基于SSD-LeNet的礦井移動(dòng)目標(biāo)檢測(cè)與識(shí)別方法 [J].礦業(yè)科學(xué)學(xué)報(bào)，2021，6（1）：100-108.

[9] BOCHKOVSKIY A，WANG C Y，LIAO H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection [J/OL].arXiv：2004.10934 [cs.CV].[2024-02-16].https：//doi.org/10.48550/arXiv.2004.10934.

[10] 李端，張洪欣，劉知青，等.基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)的心電信號(hào)心律不齊識(shí)別 [J].生物醫(yī)學(xué)工程學(xué)雜志，2019，36（2）：189-198.

[11] DOLLAR P，WOJEK C，SCHIELE B，et al. Pedestrian Detection： Abenchmark [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami：IEEE，2009：304-311.

[12] 李永盛，何佳洲，劉義海，等.基于圖像檢測(cè)識(shí)別的數(shù)據(jù)增強(qiáng)技術(shù) [J].艦船電子對(duì)抗，2021，44（1）：66-70.

[13] 周凱龍.基于深度學(xué)習(xí)的圖像識(shí)別應(yīng)用研究 [D].北京：北京工業(yè)大學(xué)，2016.

[14] 李鴻.基于輕量化網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法研究 [D].北京：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院光電技術(shù)研究所），2022.

[15] 趙立波.基于改進(jìn)YOLO的車輛及行人識(shí)別算法研究 [D].南京：南京郵電大學(xué)，2023.

作者簡(jiǎn)介：杜思潔（2002—），女，漢族，黑龍江黑河人，本科在讀，研究方向：人工智能；官世杰（2002—），男，漢族，四川成都人，本科在讀，研究方向：人工智能；卜一凡（2002—），女，漢族，湖北襄陽(yáng)人，本科在讀，研究方向：人工智能；黃嘉琛（2003—），男，漢族，山西朔州人，本科在讀，研究方向：人工智能；胡之恒（2003—），男，漢族，北京人，本科在讀，研究方向：人工智能。