曹立波,向國(guó)梁,張樂祺,廖家才,王秋麗
(湖南大學(xué) 汽車車身先進(jìn)設(shè)計(jì)制造國(guó)家重點(diǎn)實(shí)驗(yàn)室,長(zhǎng)沙 410082)
先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistance System,ADAS)是目前汽車安全領(lǐng)域的研究熱點(diǎn)。在ADAS中,采用基于視覺的方法進(jìn)行行人檢測(cè)的缺點(diǎn)是只能對(duì)攝像頭視野范圍內(nèi)的無遮擋行人進(jìn)行檢測(cè),而很多行人碰撞事故的發(fā)生正是由于駕駛員或攝像機(jī)受到局部或者全部遮擋時(shí)無法及時(shí)發(fā)現(xiàn)前方行人造成的,同時(shí)攝像頭工作環(huán)境易受天氣影響,在極端天氣下無法工作,導(dǎo)致基于視覺的主動(dòng)安全設(shè)備的適應(yīng)性比較差。近年來,隨著無線通信技術(shù)的發(fā)展,車用無線通信(Vehicle to Everything,V-X)技術(shù)的應(yīng)用可降低交通事故發(fā)生率或避免此類碰撞交通事故的發(fā)生。
行人檢測(cè)是計(jì)算機(jī)視覺比較有挑戰(zhàn)性的問題,基于HOG + SVM的行人檢測(cè)算法[1],采用了滑動(dòng)窗口技術(shù),對(duì)每一個(gè)窗口進(jìn)行前景和背景的二分類,并對(duì)圖像進(jìn)行縮放?;贖OG特征擴(kuò)展出來的HOG+AdaBoost方法[2]進(jìn)行了分類器級(jí)聯(lián),通過強(qiáng)分類器排除沒有人的候選區(qū)域以加快檢測(cè)速度。針對(duì)行人檢測(cè)中的遮擋問題,DPM+ latent SVM方法采用部件檢測(cè)進(jìn)行優(yōu)化[3]。深度卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)算法方面取得了巨大突破[4],以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regions with CNN,RCNN)為代表的Fast-RCNN、Faster-RCNN等系列網(wǎng)絡(luò),在行人檢測(cè)任務(wù)上取得了較好的檢測(cè)效果,但在速度方面仍有不足[5-6]。REDMON等[7-8]基于深度卷積神經(jīng)網(wǎng)絡(luò)提出單次檢測(cè)框架(YOLO系列框架),實(shí)現(xiàn)了端對(duì)端實(shí)時(shí)目標(biāo)檢測(cè),在保證檢測(cè)效果的同時(shí)提高了檢測(cè)速率。
車聯(lián)網(wǎng)在智能交通系統(tǒng)和車輛安全等領(lǐng)域的相關(guān)應(yīng)用逐漸成為研究熱點(diǎn)。王野秋等[9]將UWB通信模塊置于車身上來進(jìn)行車輛間的相對(duì)定位。蔣夢(mèng)琴等[10]將UWB通信模塊用于車輛跟馳距離檢測(cè),跟馳距離超過某一閾值時(shí)就對(duì)駕駛員進(jìn)行報(bào)警提示。趙佳樂等[11]通過UWB通信模塊進(jìn)行車對(duì)車的信息傳輸,從而實(shí)現(xiàn)了輔助車輛跟馳、車輛換道以及車輛超車等功能。澳洲智能網(wǎng)聯(lián)汽車智能型運(yùn)輸系統(tǒng)開發(fā)商與澳洲電信合作,使用4G移動(dòng)通信網(wǎng)絡(luò)成功完成了行人防撞預(yù)警測(cè)試,而隨著5G技術(shù)的發(fā)展,基于無線通信的行人安全應(yīng)用將逐漸得到普及[12]。
本文將視覺技術(shù)與V-X技術(shù)相結(jié)合,實(shí)現(xiàn)車載式與網(wǎng)聯(lián)式主動(dòng)安全設(shè)備的信息融合。用UWB通信模塊做測(cè)試,并提升基于UWB通信的行人定位精度,通過UWB和視覺分別得出行人與車輛間的相對(duì)位置信息,根據(jù)碰撞時(shí)間模型判斷危險(xiǎn)行人,以提高ADAS系統(tǒng)中車輛-行人碰撞預(yù)警的可靠性。
UWB通過納秒至微秒級(jí)的非正弦波窄脈沖傳輸數(shù)據(jù),具有傳輸速率高、抗干擾能力強(qiáng)、多徑分辨率高、系統(tǒng)容量大等優(yōu)點(diǎn),適用于精確測(cè)距及定位[13-14],因此,選用UWB通信模塊進(jìn)行無線通信行人檢測(cè)定位測(cè)試。行人攜帶UWB定位標(biāo)簽,將UWB定位基站布置于車身上,選取基于到達(dá)時(shí)間的雙邊測(cè)距算法,依據(jù)三邊定位方法測(cè)得行人相對(duì)于車輛的位置坐標(biāo)。為了減少誤差,對(duì)行人的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì),以提升行人的定位精度。
為了計(jì)算得出目標(biāo)物體的位置坐標(biāo),一般情況下首先需要測(cè)量得到未知節(jié)點(diǎn)與已知節(jié)點(diǎn)之間的距離值?;诘竭_(dá)時(shí)間測(cè)量法(Time of Arrival,TOA)通過計(jì)算無線電磁波的傳輸時(shí)間,依據(jù)電磁波飛行速度換算得出兩測(cè)距模塊的間距。為消除時(shí)鐘偏差帶來的誤差,采用雙邊測(cè)距法,在兩測(cè)距模塊之間增加一次傳輸,記錄每次信號(hào)發(fā)送及接收時(shí)間ti(i=1,2,3,4,5,6),則計(jì)算得出兩測(cè)距模塊間電磁波單次飛行時(shí)間T,如式(1)所示。
式中:Trd1=t4-t1為基站發(fā)送并接收信號(hào)的時(shí)間間隔;Trd2=t6-t3為標(biāo)簽從發(fā)送到接收信號(hào)的時(shí)間間隔;Trp1=t3-t2為標(biāo)簽從接收到發(fā)送信號(hào)的時(shí)間間隔;Trp2=t5-t4為基站從接收到發(fā)送信號(hào)的時(shí)間間隔。
假設(shè)3個(gè)基站的位置坐標(biāo)分別為(x1,y1)、(x2,y2)以及(x3,y3),待求的行人標(biāo)簽坐標(biāo)為(x,y),則通過3個(gè)定位圓相交于一點(diǎn),可以進(jìn)一步計(jì)算出未知行人的位置坐標(biāo)[15]。在實(shí)際應(yīng)用中,由于測(cè)距誤差的存在,致使3個(gè)定位圓在一般情況下難以交為一點(diǎn)[16],如圖1所示。
圖1 三邊定位原理(定位圓未交于一點(diǎn))
3個(gè)定位圓的3個(gè)交點(diǎn)構(gòu)成一個(gè)三角形區(qū)域,利用三角質(zhì)心法令定位圓的3個(gè)交點(diǎn)分別為Pj(xpj,ypj)(j=1,2,3),則標(biāo)簽定位點(diǎn)坐標(biāo)計(jì)算如式(2)所示。
卡爾曼濾波是目前在定位系統(tǒng)中廣泛應(yīng)用的方法[17]??柭鼮V波器能夠綜合傳感器輸出值和依據(jù)先驗(yàn)知識(shí)所得出的狀態(tài)估計(jì)值,從而得到更為貼近真實(shí)值的結(jié)果。
依據(jù)前兩個(gè)連續(xù)時(shí)刻的行人相對(duì)定位結(jié)果來計(jì)算出行人與車輛間的相對(duì)運(yùn)動(dòng)速度值,并根據(jù)此相對(duì)運(yùn)動(dòng)速度對(duì)下一時(shí)刻行人相對(duì)車輛的位置進(jìn)行估計(jì),同時(shí)結(jié)合該UWB行人定位的實(shí)時(shí)測(cè)量值來綜合計(jì)算出下一時(shí)刻行人相對(duì)車輛的定位結(jié)果,其中最初兩次的行人定位結(jié)果直接依照觀測(cè)值給出。在恒變速條件下,卡爾曼濾波器狀態(tài)矩陣Xk、狀態(tài)轉(zhuǎn)移矩陣Fk/k-1如式(3)所示。
由定位系統(tǒng)給出的觀測(cè)結(jié)果為周圍行人相對(duì)車輛的相對(duì)位置坐標(biāo),觀測(cè)向量為Zk=[x,y]T,結(jié)合上文的誤差分析,在長(zhǎng)沙近郊某路段進(jìn)行定位測(cè)試,使測(cè)試行人與測(cè)試車輛共線勻速相對(duì)運(yùn)動(dòng),對(duì)該行人進(jìn)行濾波前后的相對(duì)定位測(cè)試,其定位結(jié)果對(duì)比如圖2所示。
深度學(xué)習(xí)目標(biāo)檢測(cè)模型YOLOv3在準(zhǔn)確率和速度方面得到了很好的平衡,對(duì)小目標(biāo)有很好的檢測(cè)效果,適用于自動(dòng)駕駛場(chǎng)景下的多目標(biāo)快速檢測(cè)。
對(duì)COCO和KITTI數(shù)據(jù)集進(jìn)行清洗,獲得只有行人的一類目標(biāo)標(biāo)注數(shù)據(jù)集,在此數(shù)據(jù)集上使用YOLOv3模型訓(xùn)練得出以行人為檢測(cè)目標(biāo)的權(quán)重文件及配置文件。使用攝像頭獲取到車輛前方的圖像信息,并利用訓(xùn)練的檢測(cè)權(quán)重實(shí)現(xiàn)行人檢測(cè)。
使用雙目實(shí)現(xiàn)檢測(cè)目標(biāo)的測(cè)距,雙目測(cè)距通過兩個(gè)攝像頭從不同角度采集同一目標(biāo)物體圖像信息,經(jīng)匹配計(jì)算得出目標(biāo)點(diǎn)在兩個(gè)攝像頭中的成像視差測(cè)得目標(biāo)物的深度信息,可計(jì)算得到行人深度值Z,如式(4)所示。
式中:Z為行人與攝像頭間的縱向距離;f為相機(jī)焦距;B為基線長(zhǎng)度,即兩相機(jī)間的中心距;XR,XT分別為目標(biāo)點(diǎn)在左右兩個(gè)攝像頭成像的像素橫坐標(biāo)值。結(jié)合上文中由視覺檢測(cè)出的行人結(jié)果,以檢測(cè)框中心點(diǎn)坐標(biāo)作為目標(biāo)點(diǎn),測(cè)得行人與攝像頭間的縱向距離Z,即為行人與車輛間相對(duì)縱向坐標(biāo)yv,同時(shí)通過找到相機(jī)成像中的滅點(diǎn),由滅點(diǎn)與目標(biāo)像素點(diǎn)間的連線通過標(biāo)定得到的像素比計(jì)算得出目標(biāo)像素點(diǎn)距離相機(jī)的橫向距離,即其橫向坐標(biāo)xv。
碰撞時(shí)間(Time to Collision,TTC)指車輛與目標(biāo)物體間的跟馳距離除以兩者的相對(duì)速度,即在此時(shí)刻預(yù)計(jì)兩者的碰撞剩余時(shí)間值,是常用的評(píng)價(jià)車輛行車安全的指標(biāo)。根據(jù)連續(xù)兩個(gè)時(shí)刻內(nèi)行人相對(duì)位置的變化計(jì)算出行人與車輛間的相對(duì)速度,通過測(cè)出的距離值計(jì)算得到的TTC值來評(píng)估行人、車輛的碰撞風(fēng)險(xiǎn)。計(jì)算原理如圖3所示,TTC計(jì)算公式如式(5)所示。
圖3 TTC計(jì)算原理
式中:V為行人與車輛間的相對(duì)速度;Δt為連續(xù)兩時(shí)刻間的時(shí)間間隔,即檢測(cè)系統(tǒng)更新行人位置的時(shí)間間隔;θ為某時(shí)刻行人與車輛相對(duì)運(yùn)動(dòng)速度方向與行人車輛連線方向間的夾角;ΔV為行人與車輛沿直線距離方向的相對(duì)運(yùn)動(dòng)速度;d為該時(shí)刻檢測(cè)系統(tǒng)測(cè)得的行人與車輛間的相對(duì)距離值。當(dāng)計(jì)算得出的TTC值達(dá)到安全閾值時(shí),判定此時(shí)行人與車輛間存在潛在的碰撞危險(xiǎn)。
為了將UWB無線通信系統(tǒng)的行人檢測(cè)預(yù)警結(jié)果與視覺的行人檢測(cè)預(yù)警結(jié)果相融合,首先需要建立一個(gè)世界坐標(biāo)系,并將UWB檢測(cè)結(jié)果與視覺檢測(cè)結(jié)果分別轉(zhuǎn)換到世界坐標(biāo)系中。由于預(yù)警只需要進(jìn)行行人平面定位,因此只考慮平行于地面的二維坐標(biāo)系。
空間中的世界坐標(biāo)系可由用戶自由定義,由于車輛行駛過程中與行人發(fā)生碰撞的部位主要是車輛前方車頭突出部分,因此,將車輛與行人間的相對(duì)距離值設(shè)定為行人與車輛最前方車頭中點(diǎn)的距離,將世界坐標(biāo)系原點(diǎn)設(shè)置在車輛最前端中點(diǎn)O處,世界坐標(biāo)系XOY如圖4所示。
圖4 坐標(biāo)系轉(zhuǎn)換
UWB的3個(gè)通信基站分別安裝于車身的前保險(xiǎn)杠中間部位以及車輛左右的C柱底端部位,為了計(jì)算方便,將UWB檢測(cè)定位系統(tǒng)的坐標(biāo)系建立在車輛前向保險(xiǎn)杠中間部位的通信模塊上,UWB坐標(biāo)系如圖4中Xu,Ou,Yu所示。由于車輛前方的UWB通信模塊的安裝位置與世界坐標(biāo)系原點(diǎn)間的Y向安裝間距為L(zhǎng)1,則UWB坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(6)所示。
對(duì)于視覺坐標(biāo)系,使用了水平儀將攝像機(jī)布置在車內(nèi)后視鏡位置,保持?jǐn)z像機(jī)鏡頭平面與地面垂直,視覺坐標(biāo)系為圖4中Xc,Oc,Yc所示,令攝像頭安裝位置與世界坐標(biāo)系原點(diǎn)間的Y向安裝間距為L(zhǎng)2,則視覺行人坐標(biāo)值轉(zhuǎn)換至世界坐標(biāo)系的關(guān)系式如式(7)所示。
3.3.1 基于歐式距離的危險(xiǎn)行人位置匹配
令UWB的危險(xiǎn)行人點(diǎn)Ui(i=1, …,p)集合為U,視覺危險(xiǎn)行人點(diǎn)Vj(j=1, …,q)集合為V,將集合U與集合V進(jìn)行匹配。首先進(jìn)行坐標(biāo)系轉(zhuǎn)換,假設(shè)UWB危險(xiǎn)行人坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系中的位置坐標(biāo)為(xi,yi),視覺危險(xiǎn)行人坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系中的位置坐標(biāo)為(xj,yj),分別計(jì)算某種檢測(cè)中每個(gè)危險(xiǎn)行人位置點(diǎn)與另一種檢測(cè)中所有危險(xiǎn)行人位置點(diǎn)間的歐式距離值,求得其中的最小距離,若最小距離值在設(shè)定閾值范圍內(nèi),則判定匹配成功,匹配公式如式(8)所示。
式中:e1為UWB定位系統(tǒng)的定位誤差值;e2為雙目視覺測(cè)距誤差值;s為測(cè)試過程中的動(dòng)態(tài)匹配調(diào)整值。
3.3.2 預(yù)警決策流程
得到UWB危險(xiǎn)行人位置點(diǎn)與視覺危險(xiǎn)行人位置點(diǎn)的匹配結(jié)果后,若UWB檢測(cè)的危險(xiǎn)點(diǎn)無法找到對(duì)應(yīng)匹配的視覺危險(xiǎn)點(diǎn),則判定該行人為被障礙物遮擋或在攝像機(jī)視野外的行人,依據(jù)UWB檢測(cè)結(jié)果給予預(yù)警并標(biāo)識(shí)出遮擋的危險(xiǎn)行人相應(yīng)位置。若視覺危險(xiǎn)點(diǎn)無法找到對(duì)應(yīng)的UWB檢測(cè)危險(xiǎn)點(diǎn)進(jìn)行匹配,則判定為非攜帶UWB模塊的行人,給出視覺預(yù)警結(jié)果。若匹配成功,則為視覺和UWB共同檢測(cè)判定出的危險(xiǎn)點(diǎn),給出視覺預(yù)警提示。具體預(yù)警融合流程如圖5所示。
圖5 綜合預(yù)警流程
本文選取某型號(hào)UWB芯片進(jìn)行測(cè)試,測(cè)距芯片的主要參數(shù)見表1。
表1 UWB測(cè)距模塊參數(shù)
選取ZED雙目攝像機(jī)來進(jìn)行視覺檢測(cè)測(cè)試,該雙目立體攝相機(jī)同步獲取到空間物體的雙目圖像,并在計(jì)算機(jī)中通過對(duì)應(yīng)的軟件開發(fā)包來計(jì)算分析。雙目攝相機(jī)參數(shù)見表2。
表2 雙目攝像機(jī)參數(shù)
4.2.1 基于UWB通信的行人定位誤差測(cè)試
為衡量行人運(yùn)動(dòng)情況下的定位誤差,對(duì)UWB行人定位算法進(jìn)行動(dòng)態(tài)誤差測(cè)試。在天氣晴朗的條件下分別在車速為20 km/h、30 km/h、40 km/h的情況下對(duì)行人在0~15 m及15~30 m的距離段進(jìn)行定位測(cè)試,并對(duì)結(jié)果進(jìn)行誤差分析。UWB車輛安裝及UWB行人攜帶如圖6所示,所得到的不同車速及距離下的定位平均誤差及最大誤差見表3。
圖6 UWB安裝圖示
表3 UWB行人定位誤差
由上述檢測(cè)結(jié)果可知,UWB定位誤差隨著車速的增加而增加,并隨著檢測(cè)距離的增加而增加,在行人與車輛相距0~15 m的范圍內(nèi),動(dòng)態(tài)測(cè)距平均誤差較低,整體在不同車速下該距離范圍內(nèi)的誤差較為穩(wěn)定。一般情況下,對(duì)于車輛有碰撞危險(xiǎn)的行人大部分處于這個(gè)距離范圍。因此,可認(rèn)為該定位適用于本文的碰撞危險(xiǎn)行人檢測(cè)。
4.2.2 基于視覺的行人定位誤差測(cè)試
在不同天氣和光照的情況下進(jìn)行多組視覺行人檢測(cè)定位誤差測(cè)試,將雙目攝像機(jī)安裝在車內(nèi)后視鏡位置處,其具體的安裝位置如圖7所示。分別針對(duì)晴天、雨天以及不同的距離段進(jìn)行了多組測(cè)試,并分析定位誤差,得到不同天氣及距離段下的定位平均誤差和最大誤差,其定位誤差結(jié)果見表4。
圖7 雙目攝像機(jī)安裝及行人檢測(cè)結(jié)果
表4 視覺行人定位誤差
從定位檢測(cè)結(jié)果可以看出,晴天時(shí),在15 m以內(nèi)的平均定位誤差在0.74 m,而15~30 m的定位誤差超過1 m;雨天時(shí),由于行人檢測(cè)準(zhǔn)確率受到影響,出現(xiàn)跳變的情況,導(dǎo)致15 m內(nèi)誤差超過1 m。在夜晚也進(jìn)行了測(cè)試,然而由于夜晚光照度很低,能檢測(cè)出行人的幀數(shù)較少,所以夜晚檢測(cè)定位效果不佳。
在天氣晴朗的條件下進(jìn)行試驗(yàn),以30 km/h的車速對(duì)15 m以內(nèi)的行人進(jìn)行UWB及視覺的融合行人預(yù)警測(cè)試,根據(jù)上文對(duì)基于UWB和視覺的行人定位動(dòng)態(tài)誤差的測(cè)試結(jié)果,選取e1為0.53 m,e2為0.74 m。首先進(jìn)行被遮擋行人預(yù)警測(cè)試,測(cè)試本系統(tǒng)對(duì)被遮擋行人的檢測(cè)效果。設(shè)定一個(gè)被遮擋的危險(xiǎn)行人點(diǎn)進(jìn)行測(cè)試,一共進(jìn)行30組檢測(cè)測(cè)試,測(cè)試得到的結(jié)果見表5。圖8為綜合預(yù)警測(cè)試的界面,視覺框中右前方行人被障礙物遮擋,駕駛員以及攝像頭無法檢測(cè)到行人,使用該綜合預(yù)警的方法可以根據(jù)匹配結(jié)果獲取視覺無法檢測(cè)的被遮擋行人位置,并在視覺界面中標(biāo)識(shí)出危險(xiǎn)行人,給出行人坐標(biāo),給予預(yù)警。圖9為測(cè)試現(xiàn)場(chǎng)的場(chǎng)景記錄,表5為測(cè)試結(jié)果。圖9中的右側(cè)為布置UWB基站的白色車輛,左邊為攜帶UWB標(biāo)簽的危險(xiǎn)行人。
表5 被遮擋行人預(yù)警測(cè)試
圖8 融合預(yù)警測(cè)試界面結(jié)果
圖9 融合預(yù)警測(cè)試場(chǎng)景
根據(jù)試驗(yàn)結(jié)果,全程漏標(biāo)或錯(cuò)標(biāo)危險(xiǎn)點(diǎn)的次數(shù)為0,說明本融合預(yù)警系統(tǒng)可以有效檢測(cè)出被遮擋的危險(xiǎn)行人,具有很強(qiáng)的可靠性。同時(shí),全程正確標(biāo)識(shí)出危險(xiǎn)點(diǎn)的情況達(dá)到了96.7%,說明本系統(tǒng)具有較強(qiáng)的穩(wěn)定性。有兩次間斷性漏標(biāo)或錯(cuò)標(biāo)危險(xiǎn)點(diǎn)的情況,經(jīng)分析是某時(shí)刻由于外界影響UWB定位時(shí)突然發(fā)生較大跳變所致。
再進(jìn)行無遮擋行人預(yù)警測(cè)試,檢驗(yàn)本系統(tǒng)對(duì)不同傳感器信息的融合效果。在上述同樣試驗(yàn)條件下設(shè)定一個(gè)無遮擋行人危險(xiǎn)點(diǎn),進(jìn)行30次試驗(yàn),試驗(yàn)結(jié)果見表6。
表6 無遮擋行人預(yù)警匹配測(cè)試
根據(jù)試驗(yàn)結(jié)果,預(yù)警失敗的次數(shù)為0,說明本融合預(yù)警系統(tǒng)可以有效檢測(cè)出危險(xiǎn)行人,同時(shí)匹配成功的情況達(dá)到了93.3%,說明本系統(tǒng)可以有效匹配UWB危險(xiǎn)行人點(diǎn)和視覺危險(xiǎn)行人點(diǎn),危險(xiǎn)行人點(diǎn)多報(bào)、誤報(bào)的概率較低。
(1)開發(fā)了一種融合UWB和視覺信息的行人預(yù)警系統(tǒng)。試驗(yàn)表明,本系統(tǒng)能夠用來檢測(cè)視覺被遮擋狀態(tài)下的危險(xiǎn)行人,并提高行人碰撞預(yù)警系統(tǒng)的可靠性。
(2)通過誤差分析對(duì)UWB車載基站的布置方式進(jìn)行了優(yōu)化,在采用雙邊測(cè)距和三點(diǎn)定位法時(shí),使用等腰三角形布置下的最大誤差值為0.90 m,對(duì)不同車速條件下的UWB定位誤差進(jìn)行了量化分析。
(3)在被遮擋行人試驗(yàn)中,融合UWB和視覺信息的行人定位系統(tǒng)全程檢測(cè)準(zhǔn)確率達(dá)到了96.7%,在無遮擋行人試驗(yàn)中,本系統(tǒng)匹配成功正確率達(dá)到了93.3%,驗(yàn)證了該行人預(yù)警系統(tǒng)的有效性。