基于雷視融合的鐵路異物入侵檢測系統(tǒng)研究

摘要 文章探討了基于雷視融合技術(shù)的鐵路異物入侵檢測系統(tǒng)，該系統(tǒng)結(jié)合毫米波雷達(dá)與視頻自動識別侵入鐵路的異物并實現(xiàn)自動告警，并通過對事件的融合判斷，在一定程度上降低了誤報、重報的概率。集成以毫米波雷達(dá)、視頻監(jiān)控為主，實現(xiàn)自動化監(jiān)測與實時數(shù)據(jù)綜合分析、侵限報警、協(xié)同研判、決策處置等功能的一體化智能化監(jiān)測預(yù)警系統(tǒng)，解決了復(fù)雜環(huán)境下的異物檢測難題，為鐵路安全運營提供了有力支持。

關(guān)鍵詞 雷視融合；異物入侵；深度學(xué)習(xí)

中圖分類號 U298 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2025）03-0022-03

0 引言

隨著我國高速鐵路的快速建設(shè)和發(fā)展，鐵路在國民經(jīng)濟和交通運輸體系中扮演著愈發(fā)關(guān)鍵的角色。然而，鐵路行車安全面臨著諸多挑戰(zhàn)，包括但不限于行人入侵鐵路限界、隧道口，以及邊坡發(fā)生的泥石流、滑坡落石等，這些風(fēng)險因素對鐵路的安全運營構(gòu)成了嚴(yán)重威脅。

該文旨在綜合利用毫米波雷達(dá)與視頻技術(shù)，對鐵路入侵運動目標(biāo)的檢測展開深入研究。通過融合兩種技術(shù)的優(yōu)勢，實現(xiàn)運動物體入侵行為的自動識別與及時報警，進(jìn)而研發(fā)出高效、可靠的鐵路異物入侵檢測系統(tǒng)。這一系統(tǒng)的研發(fā)將為鐵路運輸?shù)陌踩\營提供重要保障，并有助于提升鐵路管理的智能化水平。

1 研究現(xiàn)狀

目前異物入侵檢測方法主要基于視頻相機和毫米波雷達(dá)。傳統(tǒng)視頻圖像檢測方法實現(xiàn)簡單，對設(shè)備硬件和軟件要求低，但檢測效率和準(zhǔn)確率不高[1]，在環(huán)境復(fù)雜的鐵路場景下容易受光線陰影變化的影響，無法適應(yīng)全天候24 h的連續(xù)監(jiān)測。陳根重[2]基于視頻數(shù)據(jù)，通過提取圖片背景后采用背景差分法檢測異物，實現(xiàn)了背景更新和前景的分類；李睿[3]采用雙目視覺系統(tǒng)進(jìn)行軌道識別，再通過重復(fù)的背景差分運算去除背景，完成鐵路障礙物的侵限檢測，但計算量較大，實時性不足。在雷視融合方面，Nabati等人[4]將毫米波雷達(dá)數(shù)據(jù)投影到圖像坐標(biāo)系中，使用毫米波雷達(dá)的區(qū)域建議網(wǎng)絡(luò)得到圖像檢測的感興趣區(qū)域；Wang等人[5]根據(jù)毫米波雷達(dá)和相機的檢測結(jié)果得到ROI區(qū)域，再分別從雷達(dá)信號與圖像中提取特征進(jìn)行融合檢測，提升了算法在弱光和強電磁噪聲環(huán)境下的目標(biāo)識別能力。

在分析雷視融合領(lǐng)域的研究現(xiàn)狀后，該文發(fā)現(xiàn)存在以下三個問題：

（1）點云數(shù)據(jù)與視覺信息的融合預(yù)處理不足?，F(xiàn)有方法在處理雷達(dá)點云數(shù)據(jù)與視覺信息融合后的數(shù)據(jù)時，往往僅局限于投射、灰度調(diào)整、濾波、直方圖統(tǒng)計等基礎(chǔ)操作。這種做法忽略了點云數(shù)據(jù)的豐富細(xì)節(jié)，未能充分利用雷達(dá)點云信息中的關(guān)鍵特征。

（2）深度學(xué)習(xí)算法泛化能力有限?；谀繕?biāo)檢測的深度學(xué)習(xí)算法往往針對特定類型的異物具有檢測功能，缺乏對未知目標(biāo)的泛化能力，無法覆蓋其他類別。因此，在面對未知目標(biāo)時，這些方法均難以實現(xiàn)準(zhǔn)確報警。

（3）背景幀差法在處理場景變化時的局限性。采用背景幀差法進(jìn)行異物檢測時，面對不同場景的變換，例如白天與黑夜、晴天與雨天等，背景會發(fā)生顯著變化。這種變化會導(dǎo)致幀差法產(chǎn)生較大的前置誤差，且無法自動更新背景模板信息，從而限制了其在語義感知方面的應(yīng)用。

2 研究內(nèi)容

針對上述問題，該文研究的重點內(nèi)容將聚焦于以下兩個方面：

（1）深層次點云與視覺融合算法。

算法以雷達(dá)點云和攝像頭視頻流作為輸入。首先，通過校準(zhǔn)確保雷達(dá)投影與攝像頭在同一水平面上；鑒于雷達(dá)點云相較于圖像數(shù)據(jù)的稀疏性，該文在算法設(shè)計的淺層階段僅進(jìn)行初步的“region proposal”生成，以初步融合點云信息與圖像數(shù)據(jù)。隨后，參考CRFNet[6]網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行建模，該文進(jìn)行了兩方面的優(yōu)化：一是將原始網(wǎng)絡(luò)的backbone由VGG更新為YOLOX，以提升特征提取能力；二是將最終輸出的特征圖轉(zhuǎn)化為特征向量，以適應(yīng)廣泛的異物入侵檢測需求。

（2）融合事件判斷網(wǎng)絡(luò)。

與傳統(tǒng)基于視覺圖像進(jìn)行事件判斷的方法不同，該方法不僅強調(diào)深度信息的語義判斷，如異物停留事件、軌跡分析、類別識別等，還引入了光流信息以增強檢測能力。

具體而言，該文利用光流信息為圖像中的每個像素點賦予速度矢量，通過捕捉運動目標(biāo)與靜態(tài)背景之間速度矢量的顯著差異，有效地將運動目標(biāo)與背景區(qū)分開來。此外，結(jié)合視覺網(wǎng)絡(luò)輸出的特征向量和背景模板進(jìn)行特征比對，并設(shè)置動態(tài)閾值以實時更新背景模板，進(jìn)而實現(xiàn)異物檢測。這種方法能夠有效應(yīng)對場景變化，并從多個維度提供準(zhǔn)確的事件報警判斷。具體算法流程如圖1所示：

3 雷視融合技術(shù)原理

雷視融合的工作原理主要基于兩方面：一是雷達(dá)系統(tǒng)通過發(fā)射和接收電磁波精確測定目標(biāo)物體的距離、速度，以及角度等關(guān)鍵參數(shù)；二是攝像頭傳感器通過捕捉目標(biāo)物體的圖像信息，進(jìn)而執(zhí)行目標(biāo)檢測、詳細(xì)識別及精確跟蹤等任務(wù)。

通過融合雷達(dá)和攝像頭兩種傳感器，結(jié)合雷達(dá)的主動探測性和高靈敏度，雷視融合系統(tǒng)能夠在復(fù)雜環(huán)境條件下保持穩(wěn)定性能，實現(xiàn)全天候的目標(biāo)檢測、識別和跟蹤。此外，通過攝像頭的視頻流數(shù)據(jù)，雷視融合系統(tǒng)還能夠獲取豐富的目標(biāo)細(xì)節(jié)信息，如顏色、紋理、形狀等，從而提高目標(biāo)識別和分類的準(zhǔn)確性。

4 系統(tǒng)功能設(shè)計

4.1 系統(tǒng)概述

4.1.1 物理架構(gòu)

外場安裝毫米雷達(dá)、智能球形攝像機及邊緣計算單元，實現(xiàn)事件的及時感知、實時計算等。通過交換機、5G路由器將感知后的事件回傳到軟件平臺進(jìn)行事件預(yù)警。物理架構(gòu)如圖2所示：

4.1.2 軟件平臺架構(gòu)

軟件平臺采用SpringBoot等服務(wù)模式開發(fā)，可快速將服務(wù)拆分，利用Spring Cloud等微服務(wù)框架實現(xiàn)微服務(wù)架構(gòu)，實現(xiàn)系統(tǒng)各板塊的模塊化，使系統(tǒng)變得更靈活，能根據(jù)客戶的實際業(yè)務(wù)量達(dá)到彈性的擴展能力。

4.1.3 預(yù)警業(yè)務(wù)流程

預(yù)警系統(tǒng)將設(shè)備接收到的數(shù)據(jù)進(jìn)行入庫保存、數(shù)據(jù)分析管理，以及預(yù)警響應(yīng)等相關(guān)操作，預(yù)警業(yè)務(wù)主體流程圖如圖3所示：

4.1.4 數(shù)據(jù)庫基礎(chǔ)設(shè)計

平臺數(shù)據(jù)庫是基于關(guān)系數(shù)據(jù)庫和GIS技術(shù)，面向災(zāi)害風(fēng)險、地質(zhì)環(huán)境業(yè)務(wù)應(yīng)用和信息系統(tǒng)構(gòu)建的統(tǒng)一的數(shù)據(jù)存儲、管理、應(yīng)用和服務(wù)系統(tǒng)，是業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行集中、集成、共享、分析的軟硬件設(shè)施及其數(shù)據(jù)、業(yè)務(wù)應(yīng)用等的有機組合。

4.2 功能設(shè)計

4.2.1 數(shù)據(jù)統(tǒng)計總覽

數(shù)據(jù)統(tǒng)計總覽將監(jiān)測平臺的信息投送到大屏進(jìn)行總覽顯示。通過大屏系統(tǒng)，監(jiān)測中心工作人員可以實時觀察預(yù)警監(jiān)測情況，大屏可以從多維度顯示監(jiān)測數(shù)據(jù)，以及經(jīng)過處理分析的數(shù)據(jù)。

4.2.2 實時報警信息

提供對預(yù)警監(jiān)測點基本信息的管理和顯示，包括預(yù)警時間、預(yù)警地點、預(yù)警狀態(tài)、預(yù)警實時視頻、預(yù)警截圖等。

4.2.3 GIS地圖

地圖展示四川省內(nèi)的地理信息，鼠標(biāo)移動到地圖上時，可顯示當(dāng)前位置的經(jīng)緯度信息；可靈活切換二、三維地圖，以滿足多種需求；地圖上的綠色點位代表視頻設(shè)備，橙色代表雷達(dá)設(shè)備，點擊測距或測面按鈕，可展示距離或區(qū)域面積。

4.2.4 警情管理

系統(tǒng)內(nèi)提供對預(yù)警預(yù)報產(chǎn)生的告警信息，進(jìn)行全生命周期的狀態(tài)管理。其中警情信息包括新警情、已反饋、已關(guān)閉等狀態(tài)節(jié)點。

5 系統(tǒng)驗證

為驗證雷視融合的鐵路異物入侵算法的檢測能力、系統(tǒng)的報警聯(lián)動能力，該文進(jìn)行現(xiàn)場人工事件的模擬，如圖4所示：

6 結(jié)語

該文研究基于雷視融合的鐵路異物入侵檢測技術(shù)，旨在克服復(fù)雜鐵路場景下傳統(tǒng)檢測方法的局限性。通過集成深度點云與視覺融合算法及創(chuàng)新的融合事件判斷網(wǎng)絡(luò)，顯著提升了異物入侵的檢測效率與準(zhǔn)確性，進(jìn)而構(gòu)建了高效的鐵路異物入侵檢測系統(tǒng)。該系統(tǒng)能夠自動識別并即時報警鐵路上的運動目標(biāo)入侵，為鐵路運輸?shù)陌踩€(wěn)定構(gòu)筑堅實防線。

參考文獻(xiàn)

[1]宋華杰.軌道異物入侵檢測的必要性及措施分析[J].科技視界， 2022（5）：136-138.

[2]陳根重.基于單目視覺的軌道交通異物侵限檢測方法研究[D].北京：北京交通大學(xué)， 2013.

[3]李睿.雙目視覺立體匹配算法在鐵路異物自動識別中的研究[D].蘭州：蘭州交通大學(xué)， 2014.

[4]NABATI R，QI H.RRPN.Radar Region Proposal Network" for Object Detection in Autonomous Vehicles[C].2019 IEEE International Conference on Image Processing（ICIP）. Taipei： IEEE.2019： 3093-3097.

[5]Wang Z， Miao X， Huang Z， et al. Research of Target Detection and Classification Techniques Using Millimeter-Wave Radar and Vision Sensors[J]. Remote Sensing， 2021（6）：1064.

[6]Nobis F， Geisslinger M， Weber M， et al. A Deep Learning-based Radar and Camera Sensor Fusion Architecture for Object Detection[C].2019 Sensor Data Fusion： Trends， Solutions， Applications （SDF）.Munich， Germany IEEE.2019：1-7.

收稿日期：2024-08-28

作者簡介：楊洋（1989—），男，本科，工程師，主要從事人工智能與大數(shù)據(jù)研究工作。