基于無人機(jī)機(jī)器視覺的軌道異物入侵檢測方法

李樹杰　賈子彥

摘要：針對傳統(tǒng)軌道入侵異物檢測方法效率和時效性的不足，文章提出一種基于無人機(jī)航拍視頻的軌道異物入侵檢測算法。首先，通過LSD算法定位鐵軌位置并劃定鐵路安全邊界；然后，以YOLOv5s網(wǎng)絡(luò)為基礎(chǔ)，針對其小目標(biāo)識別率低的問題，改進(jìn)網(wǎng)絡(luò)原有的檢測層尺度；最后，再引入雙向特征金字塔網(wǎng)絡(luò)，并結(jié)合CBAM注意力機(jī)制重構(gòu)模型的Neck部分，進(jìn)而提出改進(jìn)后的模型。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后模型在VisDrone數(shù)據(jù)集和自制軌道異物數(shù)據(jù)集的平均精度值分別提高了9.7%和5.9%，模型體積縮小32%，檢測速率達(dá)到50.5 frames·s-1，可以為鐵路異物入侵智能化檢測的研究提供參考。

關(guān)鍵詞：軌道異物；目標(biāo)檢測；YOLOv5；無人機(jī)

中圖分類號：TP391.4文獻(xiàn)標(biāo)志碼：A0引言軌道異物入侵是人為事故和列車本身故障以外造成鐵路事故的主要因素，現(xiàn)階段通常采用間接檢測的方法避免異物入侵帶來的危害。間接檢測以非接觸式的視頻監(jiān)控、微波為主［1］，目前的研究重點(diǎn)主要集中在視頻監(jiān)控方法上。德國學(xué)者利用車載攝像機(jī)和激光雷達(dá)實(shí)現(xiàn)軌道異物識別［2］。陳根重［3］設(shè)計了融合單目與雙目一體的異物入侵檢測系統(tǒng)。金炳瑞［4］提出了基于圖像處理的軌道異物入侵檢測方法。何文玉等［5］利用YOLOv3網(wǎng)絡(luò)模型完成定點(diǎn)監(jiān)控的軌道異物檢測。

目前視頻監(jiān)控檢測異物的方法大多用于鐵路關(guān)鍵位置，檢測范圍有限。隨著無人機(jī)技術(shù)和機(jī)器視覺技術(shù)的發(fā)展，利用無人機(jī)靈活機(jī)動的優(yōu)勢檢測入侵軌道的異物，能夠彌補(bǔ)傳統(tǒng)軌道異物入侵檢測方法的不足。Huang等［6］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無人機(jī)航拍視頻鐵路入侵檢測算法。劉芳等［7］通過改變模型檢測尺度提高小目標(biāo)檢測的準(zhǔn)確率。俞軍燕等［8］利用CNN網(wǎng)絡(luò)完成無人機(jī)航拍視頻中軌道入侵異物的檢測，并在自制數(shù)據(jù)集上證明了方法的有效性。解博等［9］提出了一種航拍圖像梯度聚類SSD目標(biāo)檢測算法，并證明了其速度優(yōu)勢。

針對現(xiàn)有軌道異物檢測算法的不足，本文提出了一種基于無人機(jī)機(jī)器視覺的軌道異物入侵檢測算法。首先，使用無人機(jī)沿軌道飛行，通過機(jī)載云臺相機(jī)獲取實(shí)時巡檢圖像數(shù)據(jù)；然后，利用LSD算法和傳統(tǒng)圖像處理技術(shù)確定安全邊界；最后，將圖片輸入改進(jìn)后的模型進(jìn)行檢測。若安全邊界內(nèi)檢測到異物，則判定異物入侵，無人機(jī)將異物入侵現(xiàn)場圖片和位置信息上傳并記錄，供工作人員處理。

1確定安全邊界由于無人機(jī)航拍時軌道在圖像中的位置不固定，本文先根據(jù)軌道直線特性，使用LSD直線檢測方法確定軌道位置，再通過傳統(tǒng)圖像處理技術(shù)劃分安全邊界，作為判斷異物入侵軌道的范圍標(biāo)準(zhǔn)。本文所用素材由DJI MINI2無人機(jī)拍攝，拍攝高度為15～20 m。安全邊界的劃分流程為：

（1）將無人機(jī)拍攝圖片轉(zhuǎn)化為灰度圖后進(jìn)行LSD直線檢測。

（2）保留長度和角度符合軌道特征的直線。

（3）將最左側(cè)和最右側(cè)直線分別向左右兩邊平移一個軌道距離并延長至圖片邊緣，直線中間區(qū)域?yàn)榘踩吔纭?/p>

1.1軌道線檢測

1.2劃分安全邊界將最左側(cè)和最右側(cè)的軌道線分別向外平移一個軌道寬度并延長至圖片邊緣，兩條直線間的區(qū)域即為鐵路安全邊界，軌道的寬度由無人機(jī)實(shí)際飛行高度和相機(jī)參數(shù)決定。具體過程如圖1（d）所示，白框范圍內(nèi)為安全邊界。

2YOLOv5目標(biāo)檢測算法YOLOv5屬于單階段檢測算法，結(jié)構(gòu)簡單、兼顧檢測效率和精度，容易部署，適合無人機(jī)巡檢作業(yè)。YOLOv5s的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，主要由輸入端、主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和檢測頭組成。

輸入端（Input）對輸入的圖像進(jìn)行數(shù)據(jù)增強(qiáng)、錨框計算和圖片縮放；主干網(wǎng)絡(luò)（Backbone）使用殘差結(jié)構(gòu)塊提取異物特征；頸部網(wǎng)絡(luò)（Neck）由特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）與路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）相結(jié)合的方式組成，實(shí)現(xiàn)語義信息和位置信息的傳遞與融合；檢測層（Head）中使用Detect檢測器在同尺度的特征圖預(yù)測不同尺寸的目標(biāo)。

3算法改進(jìn)為了提高無人機(jī)場景下目標(biāo)檢測的準(zhǔn)確率，本文對YOLOv5s網(wǎng)絡(luò)做出改進(jìn)：

（1）將YOLOv5s的模型寬度提高50%，刪除大目標(biāo)檢測層，增加微小目標(biāo)檢測層，并在Neck部分的Concat之后加入SPP模塊。

（2）采用BiFPN雙向加權(quán)特征金字塔結(jié)構(gòu)進(jìn)行特征融合。

（3）在模型的Neck部分的檢測頭之前，引入CBAM （Convolutional Block Attention Module）注意力機(jī)制。

3.1網(wǎng)絡(luò)寬度和檢測尺度改進(jìn)YOLOv5按照輸入特征圖尺寸的1/32，1/16，1/8輸出特征層進(jìn)行檢測，分別進(jìn)行大、中、小不同尺寸目標(biāo)的檢測。數(shù)據(jù)集目標(biāo)尺寸分布如圖3所示，大部分目標(biāo)屬于微小目標(biāo)，YOLOv5原有的檢測尺度在此場景下識別效果較差。

本文對YOLOv5模型的多尺度特征融合網(wǎng)絡(luò)進(jìn)行調(diào)整，采用K-Means聚類方法確定VisDrone數(shù)據(jù)集和自制軌道異物數(shù)據(jù)集先驗(yàn)框的尺寸分布，根據(jù)數(shù)據(jù)集中實(shí)際目標(biāo)出現(xiàn)頻次、長寬先驗(yàn)信息，增加輸入尺寸1/4的特征層作為微小目標(biāo)的檢測層，并刪除輸入尺寸1/32的特征檢測層。同時，本文在Neck網(wǎng)絡(luò)中concat模塊后加入SPP模塊對特征圖進(jìn)行池化操作，提取不同尺寸的空間特征信息，進(jìn)而實(shí)現(xiàn)多重感受野融合。

此外，本文也將YOLOv5s的寬度加寬50%，以增加模型容量，提高網(wǎng)絡(luò)保存歷史信息的能力。經(jīng)過實(shí)驗(yàn)證明，改進(jìn)了網(wǎng)絡(luò)寬度和檢測尺度后的模型檢測精度上升，同時模型的體積和計算量減少。

3.2Neck部分改進(jìn)YOLOv5采用FPN+PAN的結(jié)構(gòu)增強(qiáng)了模型整體特征融合能力，但融合過程中缺少來自主干網(wǎng)絡(luò)的原始特征，容易使訓(xùn)練結(jié)果出現(xiàn)偏差從而影響小目標(biāo)檢測精度。本文使用雙向加權(quán)特征金字塔結(jié)構(gòu)改進(jìn)FPN+PAN結(jié)構(gòu)，改進(jìn)的結(jié)構(gòu)如圖4所示，當(dāng)輸入圖像尺寸為640×640時，輸出尺度為160×160，80×80，40×40的特征層分別對微小、小、中目標(biāo)進(jìn)行檢測。

改進(jìn)后的連接方式使得特征的融合更加合理，特征中包含的語義信息更加豐富。改進(jìn)后的模型在推理速度不變的前提下，對小目標(biāo)的檢測精度有提升。

3.3融入CBAM注意力機(jī)制注意力機(jī)制（Attention Mechanism）能根據(jù)任務(wù)需求從復(fù)雜的信息中關(guān)注有用信息，本文通過在網(wǎng)絡(luò)中融入CBAM注意力機(jī)制提高模型訓(xùn)練學(xué)習(xí)能力。CBAM包含通道注意力和空間注意力兩個獨(dú)立子模塊，對于輸入特征F∈Rw×H×c，通道注意力和空間注意力模塊輸出計算公式分別如下：

4實(shí)驗(yàn)設(shè)計

4.1實(shí)驗(yàn)準(zhǔn)備

4.1.1數(shù)據(jù)處理公開數(shù)據(jù)集VisDrone2019和自制數(shù)據(jù)集的目標(biāo)種類及數(shù)量分布如圖7所示，VisDrone2019全部由無人機(jī)拍攝，識別難度較高，能有效反映算法的優(yōu)劣；自制數(shù)據(jù)集由DJI MINI2無人機(jī)沿軌道飛行拍攝的圖片組合而成。

4.1.2實(shí)驗(yàn)設(shè)置

4.2評價指標(biāo)

4.3消融實(shí)驗(yàn)本文在VisDrone數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，以原始YOLOv5s算法為基礎(chǔ)，分別只增加一種改進(jìn)方法驗(yàn)證每種方法的效果，實(shí)驗(yàn)結(jié)果如表1所示。其中，參數(shù)量用來衡量模型復(fù)雜程度，參數(shù)量越小，模型所需計算資源越少；mAP是衡量算法檢測精度的指標(biāo)，mAP數(shù)值越高代表算法的檢測能力更強(qiáng)。從表1可以看出，本文所提出的4種改進(jìn)，每一種都能夠提高模型精度，其中改進(jìn)多尺度檢測層對精度的提升最大，達(dá)到了5.4%。改進(jìn)后的算法相比于原始的YOLOv5s算法檢測精度提高了9.7%，同時模型體積降低32%，參數(shù)量降低35.8%，檢測速度達(dá)到40.3 frame·s，滿足無人機(jī)軌道巡檢實(shí)時性要求。

本文將改進(jìn)后的算法與主流的目標(biāo)檢測算法YOLOv3-tiny，CDNet，SSD（single shot multiBox detector），F(xiàn)aster R-CNN，YOLOv5m在公開數(shù)據(jù)集VisDrone數(shù)據(jù)集上進(jìn)行性能對比，如表2所示，改進(jìn)后的算法平均檢測精度達(dá)到了41.8%，相較于其他算法有明顯的優(yōu)勢，平均檢測精度達(dá)到了41.8%，與YOLOv5m算法相比也有5.3%的提升。此外，改進(jìn)后的算法模型體積更小，對硬件的要求低，便于后續(xù)算法的部署。

4.4自制數(shù)據(jù)集遷移實(shí)驗(yàn)本文的自制數(shù)據(jù)集包含1 143張圖片，選擇的目標(biāo)以汽車、電動車、卡車、人、騎行者和動物這些常見的軌道異物為主。目標(biāo)的尺度跨度從卡車到動物，能夠驗(yàn)證模型對不同尺度目標(biāo)的檢測性能，電動車、人和騎行者的分類能驗(yàn)證模型的細(xì)節(jié)分類能力。在自制數(shù)據(jù)集上，改進(jìn)后的算法平均精度達(dá)到了76.4%，相比于原始的YOLOv5s算法提高了5.9%，充分證明了改進(jìn)后的算法具有較好的泛化性。同時，改進(jìn)后的算法檢測速度也達(dá)到了50.5 frame·s-1，能夠滿足實(shí)時性檢測要求。部分鐵路異物檢測結(jié)果如圖8所示，其中圖8（a）和（b）在安全邊界內(nèi)檢測出入侵異物判定為異物入侵，圖8（c）檢測出的行人在安全邊界外判定為安全。

5結(jié)語本文提出了一種無人機(jī)視角下的動態(tài)軌道區(qū)域檢測方法，相比于傳統(tǒng)的軌道區(qū)域檢測方法有更好的魯棒性，為后續(xù)判斷異物是否入侵鐵路范圍提供依據(jù)。此外，本文還通過改進(jìn)YOLOv5s特征融合模塊，增加小尺度目標(biāo)檢測層，引入注意力機(jī)制，優(yōu)化了小目標(biāo)檢測精度差這一重點(diǎn)與難點(diǎn)問題，這對無人機(jī)視角下的目標(biāo)檢測任務(wù)有重要參考意義。本文還通過實(shí)驗(yàn)證明，改進(jìn)后的算法在VisDrone和自制軌道異物數(shù)據(jù)集上的檢測精度都有所提升，改進(jìn)后的算法在自制軌道異物數(shù)據(jù)集上的平均檢測精度達(dá)到了76.4%，檢測速度達(dá)到了50.5 frame·s-1，優(yōu)于其他目標(biāo)檢測網(wǎng)絡(luò)，能夠?yàn)闊o人機(jī)檢測軌道異物提供算法支持。

參考文獻(xiàn)

［1］王泉東，楊岳，羅意平，等.鐵路侵限異物檢測方法綜述［J］.鐵道科學(xué)與工程學(xué)報，2019（12）：3152-3159.

［2］RUDER M，MOHLER N，AHMED F.An obstacle detection system for automated trains：Intelligent Vehicles Symposium［C］.New York：IEEE，2003.

［3］陳根重.基于單目視覺的軌道交通異物侵限檢測方法研究［D］.北京：北京交通大學(xué)，2013.

［4］金炳瑞.基于圖像處理的鐵路軌道異物入侵的自動識別研究［D］.蘭州：蘭州交通大學(xué)，2016.

［5］何文玉，楊杰，張?zhí)炻?基于深度學(xué)習(xí)的軌道異物入侵檢測算法［J］.計算機(jī)工程與設(shè)計，2020（12）：3376-3383.

［6］HUANG H，LIANG L，ZHAO G，et al.Railway clearance intrusion detection in aerial video based on convolutional neural network：2019 Chinese Control And Decision Conference （CCDC），Kunming，China［C］New York：IEEE，2019.

［7］劉芳，吳志威，楊安喆，等.基于多尺度特征融合的自適應(yīng)無人機(jī)目標(biāo)檢測［J］.光學(xué)學(xué)報，2020（10）：133-142.

［8］俞軍燕，黃皓冉，楊毅，等.基于卷積神經(jīng)網(wǎng)絡(luò)的航拍視頻軌道異物檢測方法［J］.城市軌道交通研究，2022（10）：91-97.

［9］解博，朱斌，樊祥，等.基于SSD卷積網(wǎng)絡(luò)的航拍圖像目標(biāo)檢測方法［J］.光電子·激光，2019（4）：407-414.

（編輯 沈強(qiáng)）

Orbital foreign body intrusion detection method based on UAV machine visionLi? Shujie， Jia? Ziyan*

（School of Electriacl and Information Engineering， Jiangsu University of Technology， Changzhou 213000， China）Abstract：? Aiming at the deficiency of efficiency and timeliness of traditional orbital intrusion detection methods， an algorithm for orbital intrusion detection based on UAV aerial video was proposed. Firstly， LSD algorithm is used to locate the railway track and delimit the railway safety boundary；Then， based on the YOLOv5s network， the original detection layer scale of the network is improved to address the problem of low small target recognition rate; Finally， a bidirectional feature pyramid network is introduced and combined with the CBAM attention mechanism to reconstruct the Neck part of the model， thereby proposing an improved model. The experimental results show that the average accuracy of the improved model in VisDrone data set and self-made track foreign body data set is increased by 9.7% and 5.9% respectively， the model volume is reduced by 32%， and the detection rate reaches 50.5 frames·s-1， which can provide reference for the research of intelligent detection of railway foreign body intrusion.

Key words： orbital foreign body; object detection; YOLOv5; drone