基于多傳感器融合的有軌電車障礙物入侵檢測方法研究

李慶宇 高雍薦 靳陳琛 宣城穎 俞駿馳 袁森宏

摘要 有軌電車在運(yùn)行過程中主要依靠駕駛員觀察前方情況，但駕駛員容易產(chǎn)生視覺疲勞，影響行車安全。為改善這一狀況，分析了有軌電車的運(yùn)行特點(diǎn)，提出一種有軌電車障礙物入侵檢測方案?；诙鄠鞲衅餍畔⑷诤霞夹g(shù)，利用卡爾曼濾波將雷達(dá)和機(jī)器視覺檢測的信息在時(shí)間和空間上融合，實(shí)現(xiàn)對軌行區(qū)前方障礙物的有效檢測，提醒駕駛員及時(shí)采取措施，可有效降低事故發(fā)生率。

關(guān)鍵詞 多傳感器融合技術(shù);雷達(dá);機(jī)器視覺;障礙物檢測

中圖分類號 U482.1 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2022）07-0066-03

0 引言

城市軌道交通是全面開啟建設(shè)社會主義現(xiàn)代化強(qiáng)國的重要支撐，是建設(shè)交通強(qiáng)國和智慧城市的重要組成部分[1]。城市軌道交通是當(dāng)前能夠緩解城市擁堵，同時(shí)又具備高效的出行效率和舒適性的最優(yōu)選擇之一。其中現(xiàn)代有軌電車由于造價(jià)相對便宜、技術(shù)難度低、載客量適中、乘客感受舒適，越來越受到居民青睞。

1 研究背景

目前我國有軌電車的建設(shè)大多都是利用現(xiàn)有的道路進(jìn)行改造建設(shè)，因此有軌電車大多是混合路權(quán)和獨(dú)立路權(quán)兩種模式[2]。其中，混合路權(quán)的運(yùn)營模式具有很大的安全隱患。在該模式下，道路相重疊或交叉，極易引發(fā)交通事故。而且僅僅依靠有軌電車駕駛員的肉眼觀察，容易造成視覺疲勞，很難及時(shí)發(fā)現(xiàn)前方的障礙物，因此為了保證現(xiàn)代有軌電車的行車安全，障礙物的檢測識別尤為重要。近年來，多傳感器融合的方法越來越多地被研究學(xué)者使用[3]。原理就是利用多種傳感器對目標(biāo)進(jìn)行檢測和識別，從而得到目標(biāo)的完整信息和特征[4]。該方法極大地提高了障礙物檢測系統(tǒng)的魯棒性[5]。

2 工作原理

2.1 總體設(shè)計(jì)方案

設(shè)計(jì)方案是一種面向有軌電車的多傳感器融合障礙物入侵檢測方案，主要包括雷達(dá)檢測模塊、機(jī)器視覺檢測模塊、雷達(dá)視頻數(shù)據(jù)融合模塊和危險(xiǎn)信息警告模塊等。將該障礙物入侵檢測系統(tǒng)搭建在智能小車上，通過模擬有軌電車在行駛過程中日常遇到的情況，檢測前方是否有障礙物，判斷障礙物是否入侵軌道，從而及時(shí)給駕駛員提供前方出現(xiàn)障礙物的預(yù)警信息。障礙物入侵檢測系統(tǒng)的工作流程如圖1。

2.2 超聲波雷達(dá)檢測

假設(shè)超聲波雷達(dá)傳感器在有軌電車行駛過程中測得的渡越時(shí)間為t，已知超聲波在介質(zhì)中的傳播速度為c，且傳感器的發(fā)射部位T與接受部位R的距離遠(yuǎn)小于傳感器與障礙物的距離D，那么在t時(shí)間內(nèi)超聲波發(fā)射的距離為2D：D=c*t/2。但因?yàn)橛熊夒娷嚽胺酱嬖趶?fù)雜的運(yùn)行環(huán)境和各種各樣的障礙物，雷達(dá)經(jīng)常獲取錯(cuò)誤的數(shù)據(jù)包括空目標(biāo)信息、靜止目標(biāo)信息和誤檢目標(biāo)信息等。圖2為有軌電車運(yùn)營情況。超聲波雷達(dá)探測的目標(biāo)除行人之外還包含電線桿和馬路隔離欄等。

在圖2中設(shè)定一個(gè)坐標(biāo)系，原點(diǎn)以雷達(dá)為中心，與軌道平行為Z軸，與軌道垂直且在車左側(cè)為X軸。車輛前方區(qū)域內(nèi)的目標(biāo)坐標(biāo)可表示為（x，z），（x，z），滿足式（1）時(shí)，則認(rèn)為目標(biāo)在檢測區(qū)域內(nèi)。

（1）

式中，x0——X方向距離閾值;

z0——Z方向距離閾值。

因?yàn)橛熊夒娷嚽胺娇赡苋肭值恼系K物主要為車輛與行人，根據(jù)城市車輛和行人運(yùn)動特點(diǎn)，大致能獲得前方障礙物速度等信息，因此在同一個(gè)目標(biāo)時(shí)間內(nèi)的位移需要設(shè)定一個(gè)合理的閾值。根據(jù)電車正常運(yùn)營時(shí)的情況，設(shè)定該閾值為1 m。當(dāng)已知前方目標(biāo)在前一幀中的詳細(xì)數(shù)據(jù)時(shí)，如果在當(dāng)前幀中某條數(shù)據(jù)與前一幀有效目標(biāo)的位移距離小于1 m時(shí)，則有軌電車前方目標(biāo)可能為障礙物并會對車輛產(chǎn)生威脅。反之，系統(tǒng)判斷這條數(shù)據(jù)中前方目標(biāo)不是障礙物。如判斷結(jié)果為同一物體，說明前方目標(biāo)一直存在并有可能威脅有軌電車的行駛安全。如判斷結(jié)果為非同一物體且不一致次數(shù)超過閾值，表示前方探測到的目標(biāo)已經(jīng)不在車輛的監(jiān)測范圍內(nèi)，因此對有軌電車不構(gòu)成威脅，此時(shí)過濾原目標(biāo)并篩選前方新目標(biāo)，提高雷達(dá)檢測效率和準(zhǔn)確率。

2.3 機(jī)器視覺檢測

圖像處理系統(tǒng)對攝像頭獲取的信號進(jìn)行運(yùn)算來獲得目標(biāo)的特征信息，通過圖像預(yù)處理技術(shù)，可以得到原始圖像的邊緣檢測圖，然后通過以下步驟實(shí)現(xiàn)對有軌電車前方疑似障礙物篩選。

（1）障礙物檢測技術(shù)主要是為了輔助駕駛員在行駛過程中對前方道路的行駛情況進(jìn)行有效預(yù)警，主要涉及的監(jiān)測范圍為軌道間及軌道周邊區(qū)域，因此將邊緣檢測圖像與檢測窗口相疊加，掩膜得到障礙物檢測識別感興趣的區(qū)域。疊加原理如式（2）所示。

S（i，j）=R（i，j）&ROI （2）

式中，R（i，j）——原始的邊緣檢測圖像;ROI——探測前方特定的監(jiān)測區(qū)域，通過R（i，j）與ROI區(qū)域的邏輯運(yùn)算，使得到的運(yùn)算結(jié)果圖像S（i，j）中只保留R（i，j）感興趣區(qū)域的邊緣檢測信息。

（2）判斷檢測窗內(nèi)的邊緣檢測圖像邊緣是否閉合。并將已經(jīng)閉合的邊緣認(rèn)定為連接區(qū)域，進(jìn)行填充，為下一步的篩選做準(zhǔn)備。

（3）對第二步中已經(jīng)填充好的連接區(qū)域進(jìn)行面積、尺寸、占空比等統(tǒng)計(jì)量的篩選，篩選公式如下：

（3）

式中，——連接區(qū)域所占像素點(diǎn)的個(gè)數(shù);

——連接區(qū)域外包圍矩形高度;

——連接區(qū)域外包圍矩形的寬度;

、、、、分別代表在根據(jù)機(jī)器視覺圖像檢測中出現(xiàn)的障礙物的形狀特征規(guī)律得到的先驗(yàn)條件下設(shè)定的常量值。

當(dāng)公式（3）同時(shí)滿足時(shí)，得到的區(qū)域即為感興趣障礙物檢測區(qū)域。

2.4 雷達(dá)與機(jī)器視覺融合

卡爾曼濾波是一種利用線性系統(tǒng)狀態(tài)方程，通過系統(tǒng)輸入輸出觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法。由于觀測數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計(jì)也可看作是濾波過程。其原理是利用最小均方誤差，通過多次遞歸運(yùn)算獲得狀態(tài)的最優(yōu)估計(jì)值。

采用超聲波雷達(dá)和機(jī)器視覺這兩種傳感器對有軌電車前方入侵障礙物進(jìn)行檢測，利用卡爾曼濾波器根據(jù)雷達(dá)目標(biāo)檢測發(fā)送的信號、機(jī)器視覺檢測目標(biāo)發(fā)送的信號進(jìn)行融合處理，計(jì)算每個(gè)目標(biāo)的預(yù)測數(shù)據(jù)，并將預(yù)測的計(jì)算數(shù)據(jù)發(fā)送到危險(xiǎn)信息警告模塊，及時(shí)為駕駛員提供前方可能存在障礙物的報(bào)警信息。其中傳感器獲得的信息通過時(shí)間和空間上的融合來得到有效信息。

2.4.1 時(shí)間融合

不同類型的傳感器在采集、傳輸數(shù)據(jù)到達(dá)系統(tǒng)的時(shí)間是不一致的，因此系統(tǒng)中采用線程同步將數(shù)據(jù)按照時(shí)間對齊，保證用于融合的數(shù)據(jù)不發(fā)生時(shí)間上的錯(cuò)位。系統(tǒng)通過同步機(jī)制獲取與圖像數(shù)據(jù)同一時(shí)刻的雷達(dá)數(shù)據(jù)一起送入緩存，當(dāng)數(shù)據(jù)融合處理線程觸發(fā)時(shí)，系統(tǒng)去緩存區(qū)抓取數(shù)據(jù)進(jìn)行處理。

2.4.2 空間融合

空間融合的目的是將雷達(dá)探測到的有軌電車前方物體與圖像中的物體對應(yīng)起來，主要通過建立不同的坐標(biāo)系之間的轉(zhuǎn)換關(guān)系來實(shí)現(xiàn)。首先根據(jù)有軌電車與單個(gè)傳感器之間的位置關(guān)系確定現(xiàn)實(shí)世界、攝像機(jī)、圖像平面、像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，再結(jié)合攝像機(jī)內(nèi)、外部參數(shù)得到坐標(biāo)系轉(zhuǎn)換所需要的矩陣參數(shù)即可實(shí)現(xiàn)。

3 仿真平臺

該系統(tǒng)采用樹莓派作為開發(fā)平臺，它是一款基于ARM的微型電腦主板，具有Python語言編程、OpenCV圖像處理庫，搭配硬件學(xué)習(xí)人工智能，可實(shí)現(xiàn)多種數(shù)據(jù)融合、物體檢測識別、紅外避障、語音播報(bào)等多種功能。

仿真裝置由有軌電車交通模擬地圖、智能小車等部件組成，如圖3所示。在該試驗(yàn)平臺的基礎(chǔ)上結(jié)合Python，展開智能小車對前方障礙物檢測試驗(yàn)。智能小車通過循跡模擬有軌電車在固定軌道上行駛，同一個(gè)直道周圍有行人和小車，在行駛過程中對前方障礙物車輛和行人進(jìn)行檢測。驗(yàn)證智能小車對前方障礙物的檢測情況。智能小車對前方障礙物檢測情況如圖4所示。

利用該仿真平臺對50個(gè)測試樣本圖片進(jìn)行測試，其中包括30個(gè)車輛樣本和20個(gè)行人樣本，測試結(jié)果如表1所示。通過一定的樣本數(shù)據(jù)測試，驗(yàn)證了檢測方法的可行性和準(zhǔn)確性。

4 結(jié)語

我國現(xiàn)代有軌電車的建設(shè)多數(shù)是利用現(xiàn)有道路進(jìn)行設(shè)計(jì)改造，因此，有軌電車與汽車或行人共享路權(quán)，路況變得極為復(fù)雜，而且駕駛員易產(chǎn)生視覺疲憊，交通事故發(fā)生率升高。該檢測方法旨在從有軌電車運(yùn)行環(huán)境出發(fā)，研究在混合路權(quán)運(yùn)行條件下，向駕駛員在行駛過程中提供必要警示和輔助的障礙物入侵檢測系統(tǒng)，可以提醒駕駛員前方可能出現(xiàn)威脅行車安全的障礙物，并及時(shí)采取措施避免交通事故的發(fā)生，從而保護(hù)國家和人民的生命財(cái)產(chǎn)安全。

參考文獻(xiàn)

[1]梁浩. 現(xiàn)代有軌電車運(yùn)行控制技術(shù)發(fā)展和展望[J]. 現(xiàn)代城市軌道交通， 2021（4）： 33-37.

[2]詹奇， 王釧文， 虞乾儷， 等. 應(yīng)用于現(xiàn)代有軌電車的司機(jī)手動排路方案研究[J]. 鐵路通信信號工程技術(shù)， 2020（4）： 76-78+91.

[3]陳學(xué)文， 陳華清， 裴月瑩. 基于多特征融合的汽車先進(jìn)輔助駕駛系統(tǒng)前方車輛檢測方法[J]. 計(jì)算機(jī)應(yīng)用， 2020（S1）： 185-188.

[4]徐雨亭. 基于頭肩卷積特征的人體目標(biāo)檢測方法研究及應(yīng)用[D]. 成都：電子科技大學(xué)， 2019.

[5]張勇， 王磊， 楊崢嶺， 等. 基于多傳感融合的有軌電車在途障礙物檢測方法研究[J]. 現(xiàn)代城市軌道交通， 2021（2）： 22-25.