基于信息融合的典型工況感知算法研究

王夢園，甘海云*，袁志宏

基于信息融合的典型工況感知算法研究

王夢園1,2，甘海云1,2*，袁志宏3

（1.天津職業(yè)技術(shù)師范大學(xué)汽車與交通學(xué)院，天津 300222；2.智能車路協(xié)同與安全技術(shù)國家地方聯(lián)合工程研究中心，天津 300084；3.山東大學(xué)能源與動力工程學(xué)院，山東 濟(jì)南 250061）

針對自動駕駛頻發(fā)交通事故的問題，結(jié)合中國道路的典型工況，文章基于信息融合的理念，將毫米波雷達(dá)與攝像頭融合的目標(biāo)檢測的結(jié)果進(jìn)行融合來解決盲區(qū)中行人橫向穿越道路的小目標(biāo)檢測問題。首先將毫米波雷達(dá)和攝像頭環(huán)境感知的信息進(jìn)行融合；然后通過yolov2目標(biāo)檢測算法對相鄰車道前方車輛進(jìn)行檢測；最后，對車輛前方劃定ROI（Region of Interest），并通過yolov3-bt對ROI進(jìn)行檢測。實(shí)驗(yàn)對比結(jié)果表明，對車輛前方出現(xiàn)行人這一現(xiàn)象，毫米波雷達(dá)與攝像頭信息融合的方法比單視覺算法檢測提前135幀，即檢測時(shí)間提前4.5 s，提升了17.8%。表明文章提出的毫米波雷達(dá)與攝像頭信息融合的方法可以進(jìn)一步提高自動駕駛車輛行駛的安全性。

自動駕駛；環(huán)境感知；信息融合；目標(biāo)檢測

前言

智能網(wǎng)聯(lián)汽車的快速發(fā)展在帶來許多便利的同時(shí)也引發(fā)了許多安全問題。就自動駕駛頻頻發(fā)生的事故而言，2016年5月，美國佛羅里達(dá)州一輛開啟自動駕駛模式的特斯拉與白色卡車相撞，導(dǎo)致特斯拉車主身亡[1]。2019年11月7日，Uber的一輛自動駕駛SUV與一位橫穿馬路的女士相撞，造成該女士的死亡[2]。2021年3月11日下午，美國底特律市一輛特斯拉Model Y撞上了一輛白色半掛卡車，從車禍現(xiàn)場來看，地面并沒有剎車的跡象，推測該車的自動駕駛系統(tǒng)可能把白色卡車貨箱識別成天空。當(dāng)前隨著人工智能技術(shù)的發(fā)展，自動駕駛的技術(shù)路線方案也各不相同，但結(jié)合自動駕駛車輛事故的數(shù)據(jù)來看，當(dāng)前自動駕駛車輛在某些危險(xiǎn)場景中，如視線盲區(qū)、夜間、雨雪天氣等，自動駕駛車輛的感知效果的性能仍然有很多不足。

根據(jù)國家汽車安全統(tǒng)計(jì)數(shù)據(jù)，94%的交通事故是由人為因素造成的，而在所有人為因素里，94%的人為事故中80%是由于駕駛員在交通事故的前3秒的時(shí)間內(nèi)未注意到路況。實(shí)際上，駕駛員在駕駛時(shí)，其視線很容易被道路兩旁的障礙物遮擋，司機(jī)沒有及時(shí)發(fā)現(xiàn)目標(biāo)并且做出相應(yīng)的制動，從而造成事故的發(fā)生。而當(dāng)前的汽車自動駕駛系統(tǒng)在面對駕駛視覺盲區(qū)時(shí)，往往不能提前對車輛前方障礙物進(jìn)行識別。為了提高自動駕駛環(huán)境感知系統(tǒng)識別的準(zhǔn)確性，以防交通事故的發(fā)生，本文基于信息融合的理念，將毫米波雷達(dá)與攝像頭融合的目標(biāo)檢測方法來解決盲區(qū)中行人橫向穿越道路的小目標(biāo)檢測問題。

1 典型工況場景分析

眾所周知，在駕駛員開車的過程中，除正常視野之外，還存在一定的視覺盲區(qū)，若盲區(qū)檢測問題不能有效解決，那么自動駕駛車輛中環(huán)境感知就會存在一定的缺陷，這些盲區(qū)場景往往是由于其他物體的遮擋，若突然出現(xiàn)行人或車輛時(shí)，駕駛員毫無防備，將會導(dǎo)致事故的發(fā)生。隨著智能車輛的發(fā)展，這類車輛配有環(huán)境感知系統(tǒng)，像人類的眼睛一樣感知周圍的環(huán)境，為后續(xù)車輛的控制系統(tǒng)提供相應(yīng)的信息，從而進(jìn)行本車的決策。本文主要是針對交通道路環(huán)境下，突然出現(xiàn)在前車側(cè)邊前方的行人目標(biāo)檢測，現(xiàn)有的視覺感知算法往往是在行人基本全部出現(xiàn)在視野中才能被準(zhǔn)確地檢測到，而當(dāng)面對前方車輛側(cè)邊突然橫穿的行人時(shí)，由于車輛的遮擋，往往是先出現(xiàn)人的頭部或者手腳等，其檢測的泛化能力和準(zhǔn)確性差?；诖耍疚母鶕?jù)出現(xiàn)在視線中的人體的部分特征來判斷前方是否存在行人，這將有效解決自動駕駛盲區(qū)檢測的問題，提升駕駛安全性。

2 方案場景設(shè)計(jì)

本文在對自動駕駛車輛毫米波雷達(dá)以及攝像頭進(jìn)行信息融合時(shí)，由于決策層融合是信息融合中的最后一級，其偏向于應(yīng)用層面；另外特征層融合在毫米波雷達(dá)數(shù)據(jù)處理上存在一定的困難[3-5]。鑒于此，考慮到毫米波雷達(dá)和攝像頭在不同場景下的精度，本文在數(shù)據(jù)層融合方面進(jìn)行研究。

2.1 數(shù)據(jù)融合平臺搭建

本文為了解決盲區(qū)中行人橫向穿越的中國典型道路場景的前方障礙物檢測問題，以我國某自主品牌乘用車為平臺，并搭建LEOPARD IMAGING攝像頭和大陸ARS408毫米波雷達(dá)的融合平臺。

2.1.1基于感興趣區(qū)域的空間融合方案

由于毫米波雷達(dá)ARS408和攝像頭單獨(dú)獲取物體信息時(shí)采取的參考系不同，因此需要將毫米波雷達(dá)與攝像頭采集到的信息在空間上進(jìn)行統(tǒng)一，分別將兩者獲取的信息轉(zhuǎn)換到同一坐標(biāo)系下，轉(zhuǎn)換過程如下：

（1）雷達(dá)投影坐標(biāo)系轉(zhuǎn)換成攝像頭投影坐標(biāo)系。

坐標(biāo)系轉(zhuǎn)換示意圖如圖1，將攝像頭與雷達(dá)坐標(biāo)系投影到地面上，得到對應(yīng)的投影坐標(biāo)系。

圖1 雷達(dá)投影與攝像頭投影坐標(biāo)系轉(zhuǎn)換示意圖

假設(shè)車輛前方物體在雷達(dá)投影坐標(biāo)系下的坐標(biāo)為（X，Y），而其在攝像頭投影坐標(biāo)系下坐標(biāo)為（X，Y），由公式（1）可以將兩者進(jìn)行空間轉(zhuǎn)換。其中0，0分別為兩投影坐標(biāo)系、軸方向的距離。

（2）圖像坐標(biāo)系轉(zhuǎn)換到攝像頭坐標(biāo)系。

圖像坐標(biāo)系是三維坐標(biāo)，因此根據(jù)圖像坐標(biāo)系下的坐標(biāo)能夠計(jì)算出車輛前方物體的高度。圖像坐標(biāo)系與攝像頭坐標(biāo)系之間得相互轉(zhuǎn)換如圖2所示。

圖2 圖像坐標(biāo)系與攝像頭坐標(biāo)系相互轉(zhuǎn)換示意圖

攝像頭技術(shù)參數(shù)如表1。利用水平視場角和垂直方向分辨率的比例關(guān)系完成坐標(biāo)系轉(zhuǎn)換，可求出障礙物高度。

表1 攝像頭技術(shù)參數(shù)

技術(shù)參數(shù)垂直視場角/°水平視場角/°水平方向分辨率垂直方向分辨率 數(shù)值31581 9201 080

圖3 圖像坐標(biāo)系轉(zhuǎn)換成攝像頭坐標(biāo)系

如圖3所示，攝像頭能實(shí)現(xiàn)障礙物檢測，由檢測結(jié)果得、點(diǎn)的像素坐標(biāo)，參考目標(biāo)上側(cè)的點(diǎn)，得到障礙物在攝像頭坐標(biāo)系下的信息，進(jìn)而求得的像素值P。從而根據(jù)式（2）求出值。

結(jié)合攝像頭坐標(biāo)系中的X，求的高度H，即障礙物Z的坐標(biāo)。

通過不同坐標(biāo)系的轉(zhuǎn)換，使得攝像頭與毫米波雷達(dá)的信息能夠互相補(bǔ)充，信息共享，確保了毫米波雷達(dá)與攝像頭探測到的是同一目標(biāo)，能夠準(zhǔn)確描述前方障礙物的距離和高度信息，為智能車輛提供更加精準(zhǔn)的環(huán)境信息。

2.1.2時(shí)間數(shù)據(jù)融合

在攝像頭和雷達(dá)在空間坐標(biāo)達(dá)到統(tǒng)一的條件下，還需要毫米波雷達(dá)與攝像頭采集的數(shù)據(jù)在同一時(shí)刻，實(shí)現(xiàn)時(shí)間上的對應(yīng)統(tǒng)一。

本文數(shù)據(jù)融合平臺所使用的雷達(dá)為德國大陸ARS408毫米波雷達(dá)，具有每秒能夠采集79幀數(shù)據(jù)的能力，每幀數(shù)據(jù)間隔為13 ms；而LEOPARD IMAGING攝像頭的拍攝頻率是30 fps，即每幀圖像數(shù)據(jù)間隔為33.3 ms。鑒于攝像頭的采集周期比毫米波雷達(dá)長，為了更好地將其進(jìn)行時(shí)間維度上的融合，以攝像機(jī)采樣速率為基準(zhǔn)，攝像機(jī)每采一幀圖像，選取毫米波雷達(dá)上一幀緩存的數(shù)據(jù)，即完成共同采樣一幀雷達(dá)與視覺融合的數(shù)據(jù)，從而保證了毫米波雷達(dá)數(shù)據(jù)和攝像機(jī)數(shù)據(jù)時(shí)間上的同步。

2.2 基于融合識別方案

本文在毫米波雷達(dá)和攝像頭采集到的數(shù)據(jù)融合時(shí)，主要包括兩部分，如圖4所示。將毫米波雷達(dá)經(jīng)過采集和濾波處理得到的有效目標(biāo)數(shù)據(jù)，投影到攝像頭采集到的圖像上，從而形成ROI；然后利用攝像頭傳感器對ROI進(jìn)行檢測，判斷出車輛前方障礙物的種類。

圖4 融合思路

而對于盲區(qū)中行人橫向穿越場景這一特殊檢測情形，其產(chǎn)生駕駛員視覺盲區(qū)的主要原因是相鄰車道的車輛。為了提高檢測的泛化能力與準(zhǔn)確性，本文利用攝像頭傳感器對相鄰車道前方車輛進(jìn)行檢測，若相鄰車道前方出現(xiàn)車輛，對其前方劃定ROI，并對ROI利用yolov3-bt[6-7]進(jìn)行目標(biāo)檢測，詳細(xì)的檢測方案如圖5所示。

圖5 小目標(biāo)檢測方案

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

為了對比視覺檢測準(zhǔn)確率與本文融合算法準(zhǔn)確率的差距，體現(xiàn)融合算法的優(yōu)勢，需要采集相應(yīng)的目標(biāo)數(shù)據(jù)集，在深度學(xué)習(xí)的Darknet框架下，訓(xùn)練網(wǎng)絡(luò)模型，之后進(jìn)行測試驗(yàn)證，而融合方面需要建立一個(gè)毫米波雷達(dá)與攝像頭兩者融合的軟硬件系統(tǒng)，最后將該系統(tǒng)應(yīng)用到實(shí)車檢測。

3.1 試驗(yàn)平臺介紹

本文融合實(shí)驗(yàn)的環(huán)境感知系統(tǒng)是基于現(xiàn)有的實(shí)驗(yàn)車設(shè)備，在數(shù)據(jù)采集的車輛上，安裝毫米波雷達(dá)與攝像頭，位置如圖6所示。該車配有一臺開發(fā)信息采集系統(tǒng)的工控機(jī)，能夠?qū)Σ杉男畔⑦M(jìn)行保存，錄制視頻，同時(shí)具有回放的功能。該系統(tǒng)可分別通過USB線和周立功CAN卡接收毫米波雷達(dá)與攝像頭的信息。

圖6 環(huán)境感知采集系統(tǒng)

3.2 數(shù)據(jù)集的采集與制作

深度學(xué)習(xí)網(wǎng)絡(luò)模型的性能往往取決于數(shù)據(jù)集是否合適，若是訓(xùn)練車輛檢測模型，就需要提前在數(shù)據(jù)集上標(biāo)注車輛的信息，同樣，若是小目標(biāo)針對人頭的檢測，就需要相應(yīng)的數(shù)據(jù)集，然而，目前常用的開源數(shù)據(jù)集有VOC與COCO，雖然這兩大數(shù)據(jù)集包括大量的行人、車輛等其他目標(biāo)，但是對于突然出現(xiàn)的小目標(biāo)的數(shù)據(jù)少之又少。因此本文針對小目標(biāo)進(jìn)行數(shù)據(jù)集的制作。

3.2.1數(shù)據(jù)采集

首先在學(xué)校內(nèi)選取經(jīng)常有學(xué)生走動的道路進(jìn)行所需的數(shù)據(jù)集，視頻采集的過程按照車輛視角，采集突然出現(xiàn)在小轎車與模擬公交車前的行人目標(biāo)特征，攝像機(jī)采集圖片的高度和車輛安裝攝像頭的高度保持一致。具體采集過程如下：

（1）模擬公交車前出現(xiàn)行人。因?yàn)楣卉嚫哂谛腥?，所以若突然出現(xiàn)行人時(shí)，其特征為：胳膊、腿，半身、頭部等。

（2）模擬轎車前出現(xiàn)行人。一般人的身高比家用轎車高，所以若從側(cè)邊突然出現(xiàn)行人時(shí)，首先視覺系統(tǒng)下出現(xiàn)的特征是頭部，然后是胳膊，腿等。

圖7 數(shù)據(jù)集整理

本文通過錄制視頻進(jìn)行數(shù)據(jù)集的采集，采集完成后通過視頻解析算法將視頻分為一幀幀圖片，為了提升數(shù)據(jù)集的質(zhì)量，要對重復(fù)性大的圖片進(jìn)行篩選與剔除。得到有效的數(shù)據(jù)集如圖7所示。

3.2.2數(shù)據(jù)集制作

通過上文的介紹，本文的典型場景為突然在車輛前方的行人頭部位置。所以，首先需要訓(xùn)練識別大量行人的頭部。根據(jù)解析之后的圖片可知，人體的頭部在整個(gè)場景中的占比很小，并且距離越遠(yuǎn)，行人頭部信息越少，如果不找出頭部出現(xiàn)的區(qū)域，直接訓(xùn)練，會造成訓(xùn)練時(shí)間長，檢測結(jié)果差。由此本文提出對小目標(biāo)出現(xiàn)的感興趣區(qū)域進(jìn)行檢測。

首先，根據(jù)訓(xùn)練好的車輛檢測模型，對圖片進(jìn)行檢測，選取距離本車比較近的目標(biāo)車輛，截取車輛周圍環(huán)境。根據(jù)車輛檢測框的中心位置，感興趣區(qū)域?qū)挾群透叨鹊南袼胤謩e為320、224。如圖8所示。

圖8 形成的感興趣區(qū)域圖

其次，只保留所需的感興趣區(qū)域，其他區(qū)域刪除，得到寬度和高度的像素分別為320、224的圖片集。如圖9所示，與圖8相比，感興趣區(qū)域內(nèi)的目標(biāo)較少，干擾信號大大降低，縮短了訓(xùn)練周期。

本文采用數(shù)據(jù)標(biāo)注軟件LebelImg完成標(biāo)注，框出圖片中所存在行人頭部進(jìn)行標(biāo)注，保存yolo格式得標(biāo)簽文件，得到圖片與該圖片相對應(yīng)得標(biāo)簽文件夾。最終的數(shù)據(jù)集如圖10所示。

圖9 最終的感興趣區(qū)域圖

圖10 數(shù)據(jù)集匯總圖

3.3 實(shí)車驗(yàn)證

將已完成的數(shù)據(jù)集進(jìn)行訓(xùn)練，并把模型加載到工控機(jī)中，然后選擇某一檢測場景，分別利用單一攝像頭以及本文的融合檢測方案進(jìn)行目標(biāo)檢測。

3.3.1普通交通場景檢測結(jié)果與分析

選取包含相鄰車道與對向車道的普通交通道路，如圖11所示，視覺檢測結(jié)果如圖12所示，該場景下的車輛目標(biāo)基本都會被檢測并標(biāo)記出來。毫米波與攝像頭融合的檢測結(jié)果如圖13所示，首先是融合的第一步，假設(shè)產(chǎn)生，雷達(dá)對前方目標(biāo)進(jìn)行檢測，在圖上以綠點(diǎn)表示雷達(dá)的檢測結(jié)果。其次是將雷達(dá)的檢測結(jié)果通過坐標(biāo)系之間的轉(zhuǎn)換投影到圖像上形成一個(gè)ROI[7-8]，融合的第二步是假設(shè)驗(yàn)證過程，視覺系統(tǒng)的檢測只需在此感興趣區(qū)域內(nèi)進(jìn)行，相對于原圖片，縮小了視覺檢測的范圍，周圍的干擾信號也大大減少，檢測性能有所提升。在相同的硬件與軟件環(huán)境下，確保被檢測的圖片有相同的分辨率，單一攝像頭的檢測時(shí)間與融合的檢測時(shí)間對比如表2所示。最終加上雷達(dá)的檢測時(shí)間為24.53 ms，明顯高于單一視覺的檢測結(jié)果29.89 ms。在檢測時(shí)間方面提高17.8%。

圖11 交通場景圖

圖12 攝像頭檢測結(jié)果

圖13 融合方案檢測結(jié)果

表2 兩種方案檢測時(shí)間對比

方案算法檢測時(shí)間/ms 攝像頭方案Yolov3-bt-41629.89 融合方案Radar+Yolov3-bt-41624.53

由于校園環(huán)境條件有限，只能根據(jù)現(xiàn)有的條件模擬普通交通場景圖14，分別用單一視覺與融合方案檢測本車前方?jīng)]有任何遮擋的車輛與行人，將視覺檢測與融合檢測結(jié)果與目標(biāo)的實(shí)際尺寸進(jìn)行對比，實(shí)驗(yàn)檢測結(jié)果如圖15、16所示。目標(biāo)的尺寸大小對比如表3所示。由表可知，本文融合方案的檢測效果更加貼近目標(biāo)的真實(shí)尺寸。

圖14 模擬交通場景圖

圖15 Yolov3-bt目標(biāo)檢測算法結(jié)果

圖16 Radar+Yolov3-bt目標(biāo)檢測算法結(jié)果

表3 實(shí)驗(yàn)結(jié)果

類別車輛行人單位 目標(biāo)寬目標(biāo)高目標(biāo)寬目標(biāo)高 真實(shí)尺寸120903073像素 Yolov3-bt1501104589 Radar+Yolov3-bt1311023680

3.3.2典型交通場景檢測結(jié)果與分析

在校園內(nèi)模擬搭建典型的十字交通路口，如圖17所示，存在從側(cè)邊突然出現(xiàn)小目標(biāo)的典型危險(xiǎn)場景如圖17里框所示，即為視覺檢測的感興趣區(qū)域。常用的視覺檢測算法往往是對該場景下的所有目標(biāo)進(jìn)行檢測，存在兩處不足，一是無法及時(shí)檢測“鬼探頭”式的小目標(biāo)（本文為行人頭部），二是針對場景下的所有目標(biāo)進(jìn)行檢測，干擾信號多，檢測性能差，檢測速度慢[9]。通過本文的融合算法，首先以車輛為基準(zhǔn)劃定感興趣區(qū)域，如圖17的綠色框所示，針對感興趣區(qū)域進(jìn)行探測，大大減少了計(jì)算量，提升了檢測速率；其次本文毫米波雷達(dá)與視覺融合方案，提升了小目標(biāo)的檢測準(zhǔn)確率；有效解決了這兩處不足。同時(shí)，若大量訓(xùn)練行人的特征，也能在交通場景中及時(shí)準(zhǔn)確的識別出行人目標(biāo)。

圖17 典型道路交通場景

圖18 yolov3-bt檢測效果

圖19 改進(jìn)后的檢測效果

此外，針對車輛前方出現(xiàn)行人這一典型工況，本文改進(jìn)后的融合算法優(yōu)于單一視覺的檢測結(jié)果。本文以典型的行人突然從側(cè)邊出現(xiàn)在車輛前方為場景，如圖19所示。普通視覺檢測算法只能在行人基本完全出現(xiàn)在視野中才能檢測到，如圖21所示，然而本文改進(jìn)后的算法在人體的頭部剛剛出現(xiàn)在視野中時(shí)即可被探測到，如圖22所示。此外，選取校園內(nèi)多種典型場景，大量實(shí)驗(yàn)對比結(jié)果如表4所示，本文的方案比普通視覺檢測方法平均提前了135幀，根據(jù)攝像頭每秒30幀圖片得出，檢測時(shí)間提前4.5 s。根據(jù)實(shí)驗(yàn)發(fā)現(xiàn)，攝像頭在該典型場景下，平均最遠(yuǎn)能夠在21.7米的距離處檢測到行人的人頭。若自動駕駛車輛在這種典型的復(fù)雜場景下以20 km/h的速度行駛時(shí)，從發(fā)現(xiàn)行人到汽車制動大約有3.95 s的反應(yīng)與制動時(shí)間，符合智能駕駛汽車實(shí)時(shí)性的要求。

圖20 小目標(biāo)檢測場景

圖21 普通算法行人檢測結(jié)果

圖22 改進(jìn)后的算法行人檢測結(jié)果

表4 測試數(shù)據(jù)記錄

場景搭建yolov3-btYolov3-bt-head相差幀數(shù) 第一組18652134 第二組20560145 第三組15732125 第四組18848140 第五組17242130 第六組17236136 平均值135

4 結(jié)論

本文提出了一種毫米波雷達(dá)與攝像頭信息融合的方法來解決中國典型工況的問題。實(shí)驗(yàn)對比結(jié)果表明，對車輛前方出現(xiàn)行人這一現(xiàn)象，毫米波雷達(dá)與攝像頭信息融合的方法比單視覺算法檢測提前135幀，即檢測時(shí)間提前4.5 s，提升了17.8%。表明本文提出的毫米波雷達(dá)與攝像頭信息融合的方法可以進(jìn)一步提高自動駕駛車輛行駛的安全性。

[1] 劉葳漪.無人駕駛技術(shù)不會因特斯拉停擺[N].北京商報(bào),2016-7-5.

[2] Self-Driving Uber Car Kills Pedestrian in Arizona, Where Robots Roam[EB/OL].(2018-03-19)[2018-03-30].https://www.nytimes.com/2018/03/19/technology/uber-driverless-fatality.html.

[3] 譚力凡.機(jī)器視覺與毫米波雷達(dá)融合的前方車輛檢測方法研究[D].長沙:湖南大學(xué),2018.

[4] 梁翼.基于毫米波雷達(dá)及深度學(xué)習(xí)視覺信息融合的前方車輛檢測方法研究[D].廣州:華南理工大學(xué),2019.

[5] 陳曉偉.汽車前方車輛識別的雷達(dá)和視覺信息融合算法開發(fā)[D].長春:吉林大學(xué),2016.

[6] N Long,Wang K,Cheng R, et al.Unifying obstacle detection, recogni- tion, and fusion based on millimeter wave radar and RGB-depth sensors for the visually impaired[J].Review of Scientific Instrumen- ts,2019,90(4):044102.

[7] Chen X, Ma H, Wan J, et al. Multi-View 3D Object Detection Netw- ork for Autonomous Driving[C].2017 IEEE Conference on Compu- ter Vision and Pattern Recognition (CVPR). IEEE, 2017. Redmon J, Farhadi A.YOLOv3:an incremental improvement[J].arXiv,1804. 02767v1,2018.

[8] 宋偉杰.基于毫米波雷達(dá)與機(jī)器視覺融合的車輛檢測技術(shù)研究[D].合肥:合肥工業(yè)大學(xué),2020.

[9] He K,Zhang X,Ren S,et al.Deep residual learning for image recogni- tion[C].Proceedings of the IEEE conference on computer vision and pattern recognition.2016:770-778.

Research on Typical Working Condition Perception Algorithm Based on Information Fusion

WANG Mengyuan1,2, GAN Haiyun1,2*, YUAN Zhihong3

（1.School of Automotive and Transportation, Tianjin University of Technology and Education,Tianjin 300222;2.National and Local Joint Engineering Center for Smart Vehicle-Road Collaboration and Safely Technology, Tianjin 300084;3.College of Energy and Power Engineering, Shandong University, Shandong Jinan 250061）

Aiming at the frequent traffic accidents of autonomous driving, combined with the typical working conditions of Chinese roads, an information fusion scheme is proposed in this paper. Firstly, the millimeter-wave radar and camera are used to perceive the front environment, and the collected information is fused. Secondly, the front right vehicle is detected based on the yolov2 target detection algorithm, which forms the trigger condition for the appearance of a specific scene. Finally, the area of interest in front of the vehicle is divided, and the yolov3-bt algorithm is used for target detection in the area of interest to solve the problem of small target detection under typical working conditions. Through experimental comparison, it is found that the fusion algorithm improves the detection time by 17.8% compared with the ordinary vision detection algorithm. Aiming at the phenomenon of pedestrians in front of the vehicle, compared with ordinary visual detection algorithms, the improved algorithm is advanced by 135 frames on average, and the corresponding detection time is advanced by 4.5s, thereby further improving the safety of intelligent driving vehicles.

Autonomous vehicles; Environment perception; Information fusion; Target detection

B

1671-7988(2021)22-17-07

U495

B

1671-7988(2021)22-17-07

CLC NO.:U495

王夢園，碩士研究生，就讀于天津職業(yè)技術(shù)師范大學(xué)，研究方向：智能駕駛環(huán)境感知融合。

甘海云，博士、教授，就職于天津職業(yè)技術(shù)師范大學(xué)，研究方向：智能網(wǎng)聯(lián)汽車。

基于封閉園區(qū)及開放道路的L4級智能網(wǎng)聯(lián)汽車研發(fā)及示范運(yùn)行（編號18ZXZNGX00230）。

10.16638/j.cnki.1671-7988.2021.022.005