袁朝春, 宋金行, 何友國, JIE Shen, 陳 龍, 翁爍豐
(1. 江蘇大學(xué) 汽車工程研究院, 江蘇 鎮(zhèn)江 212013; 2. 密歇根大學(xué)迪爾本分校 計算機科學(xué)與信息科學(xué)系, 密歇根州 迪爾本MI 48128)
隨著汽車保有量的增加,道路行人安全逐步成為關(guān)注的熱點話題.傳統(tǒng)行人安全保障主要通過車身吸能材料減輕碰撞傷害的被動行人保護系統(tǒng)[1]來實現(xiàn),然而單純的被動行人保護系統(tǒng)不足以充分保障行人安全,因此,基于多傳感器檢測的主動避撞系統(tǒng)[2]應(yīng)運而生.安全距離模型主要有基于制動過程和基于車頭時距的安全距離模型[3],廣泛應(yīng)用于主動避撞算法中.但是由于行人行走意圖的主觀能動性,軌跡存在風(fēng)險轉(zhuǎn)移的可能,具備潛伏性和突發(fā)性的交通事故風(fēng)險,現(xiàn)有的安全距離模型對人車混雜環(huán)境下潛在交通事故的軌跡存在一定局限性.
目前,智能汽車領(lǐng)域?qū)<抑饾u意識到行人軌跡預(yù)測對汽車安全行駛的影響.D. HELBING等[4]基于社會力模型對行人進行建模,通過引力與斥力的相互作用規(guī)劃行人行走軌跡,模型簡單直接,但對模型參數(shù)的設(shè)置要求較高,實際應(yīng)用能力較差.K. M. KITANI等[5]基于隱馬爾可夫模型對行人進行建模,構(gòu)建了描述行人運動狀態(tài)轉(zhuǎn)換的隱馬爾可夫鏈,并使用反向強化學(xué)習(xí)的方式訓(xùn)練模型參數(shù),但模型計算時間長、時效性低.董文杰[6]通過8分類的SVM分類器對行人頭像角度進行識別,再基于動態(tài)多模的卡爾曼濾波算法進行運動預(yù)測,但是該算法最佳距離為3~5 m.
筆者提出一種基于行人軌跡預(yù)測的行人主動避撞算法.基于車載傳感器獲取道路行人圖像和位置信息,通過深度學(xué)習(xí)算法識別行人的動作特征,挖掘軌跡潛在變化規(guī)律;結(jié)合改進的卡爾曼濾波算法,預(yù)測貼合行人主觀意圖的行人軌跡;建立行人預(yù)估安全距離模型,對因行人軌跡變化造成的潛在交通事故風(fēng)險進行分析,設(shè)計行人主動避撞算法,通過對道路行人軌跡的預(yù)測分析,控制車速處于合理區(qū)間,有效防止行人軌跡變化造成的潛在碰撞事故風(fēng)險.
行人過街時往往表現(xiàn)出不同的動作特征,通過動作特征的變化轉(zhuǎn)移可以分析出行人行走意圖.早期行人動作識別算法大多通過對人體結(jié)構(gòu)的追蹤表示來分析行為動作[7].近年來,深度學(xué)習(xí)理論在靜態(tài)圖像特征提取上取得了卓越成就,并逐步應(yīng)用到人體行為識別算法中[8].
卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)是深度學(xué)習(xí)領(lǐng)域常用的模型之一,能夠從數(shù)據(jù)中自動學(xué)習(xí)并提取特征,其泛化能力優(yōu)于傳統(tǒng)方法,已經(jīng)成功應(yīng)用于模式分類、物體檢測和識別等領(lǐng)域.
使用的卷積神經(jīng)網(wǎng)絡(luò)樣本數(shù)據(jù)集來源有2部分,即MIT庫行人圖片和人車混雜環(huán)境下實景拍攝的過街行人動作特征圖片,樣本數(shù)共1.1萬張,用于測試集的樣本數(shù)和用于訓(xùn)練集的樣本數(shù)比例為1 ∶10.
基于7層網(wǎng)絡(luò)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進行行人動作識別,其特征提取過程如圖1所示,卷積核大小為5×5像素.獲取樣本數(shù)據(jù)集后通過Matlab圖像處理函數(shù)將樣本處理成大小為64×128像素的圖片并進行灰度處理.
圖1 CNN特征提取過程
根據(jù)行人的動作特征將樣本圖像分為直行行人、側(cè)行行人、站立行人、扭頭行人和分神行人5類.為了保證網(wǎng)絡(luò)模型的收斂性,需對模型參數(shù)進行調(diào)節(jié).根據(jù)試驗結(jié)果可知:學(xué)習(xí)率為0.1,每次訓(xùn)練樣本數(shù)為10 個,迭代次數(shù)為300 次時,行人動作特征識別效果最佳,識別準(zhǔn)確率達到86.7%.
基于行人動作特征的變化情況可以分析行人下一步行走意圖和軌跡.為分析道路行人的速度特性,以無人駕駛汽車行駛方向為x方向,分析行人速度變化特性,以正常條件下行人步行速度vp為基準(zhǔn)速度.行人縱向速度vpx和橫向速度vpy分別為
(1)
式中:kp為行人不同行走特性下的修正比例;θ為偏離x軸方向的航偏角.
1.2.1人車軌跡平行
以初始時刻行人運動方向為依據(jù),軌跡平行情況包括行人站立、直行時人車軌跡無交叉的情況,初始狀態(tài)下人車無碰撞可能性.
無人駕駛汽車沿道路行駛過程中,行人可能改變其動作特征,其運動方程為
(2)
(3)
式中:vx0、vy0分別為行人初始狀態(tài)下的縱向、橫向速度;ts為行人動作特征改變時刻.
1.2.2人車軌跡相交
軌跡相交場景主要表現(xiàn)為行人具備y軸方向的橫向速度.根據(jù)對行人過街潛在風(fēng)險的研究及相關(guān)安全距離模型可知,人車相對運動關(guān)系對無人駕駛汽車行駛策略的影響較大.行人過街時的運動特征如式(1)所示.
1.2.3分神行人
分神行人由于自身注意力分散使得對道路環(huán)境信息的獲取存在一定遲滯,下一時刻的行為動作跨度較大.當(dāng)分神行人突然闖入道路,緊急制動條件下,容易因制動距離不足導(dǎo)致碰撞事故的發(fā)生;若將分神行人動作特征作為危險信號指令,提前進入預(yù)制動狀態(tài),避免行人突然闖入時因制動距離不足導(dǎo)致碰撞事故的發(fā)生.
傳統(tǒng)行人軌跡預(yù)測算法基于行人位置信息進行軌跡預(yù)測,在行人有過街意圖,但實際軌跡并未改變的這段時間內(nèi)無法準(zhǔn)確估計行人意圖.在卡爾曼濾波(Kalman filtering, KF)算法中融入過街行人動作特征分析,以提前對行人的期望運動軌跡進行預(yù)測.
卡爾曼濾波通過系統(tǒng)輸入輸出觀測數(shù)據(jù)對系統(tǒng)狀態(tài)進行最優(yōu)估計,其核心思想是預(yù)測和測量反饋[9].卡爾曼濾波軌跡預(yù)測狀態(tài)方程和觀測方程為
(4)
式中:Xk為系統(tǒng)狀態(tài)向量;Fk為狀態(tài)轉(zhuǎn)移矩陣,描述前一時刻到當(dāng)前時刻的運動狀態(tài)轉(zhuǎn)移方式;Bk為干擾轉(zhuǎn)移矩陣;Uk為系統(tǒng)噪聲矩陣;Zk為k時刻的測量值;Hk為狀態(tài)變量到測量的轉(zhuǎn)換矩陣;Rk為測量噪聲矩陣.
設(shè)前一時刻行人狀態(tài)估計為xk-1,與其相關(guān)聯(lián)的誤差協(xié)方差矩陣為Pk,以Fk表示預(yù)測步驟,使其從原始預(yù)測中移動到新的預(yù)測位置.由于系統(tǒng)存在噪聲和外部不確定性,需要將系統(tǒng)噪聲向量uk和協(xié)方差噪聲Qk作為預(yù)測系統(tǒng)的修正,則軌跡預(yù)測狀態(tài)方程為
(5)
由于傳感器精度因素獲取的觀測值往往有一定偏差,將這種傳感器噪聲的協(xié)方差設(shè)為Rk,則觀測方程為
zk=Hkxk+Rk,
(6)
式中:zk為k時刻的觀測值;Hk為傳感器讀數(shù)矩陣.
由式(5)、(6)可得卡爾曼增益為
(7)
(8)
將式(7)、(8)代入(5)、(6)中可得
(9)
圖2 卡爾曼濾波預(yù)測過程
行人運動方向的改變往往會伴隨一定程度的環(huán)境觀察階段.在利用卡爾曼濾波預(yù)測行人軌跡的基礎(chǔ)上,融合行人動作特征進行綜合評定,提前預(yù)測行人的軌跡信息.
行人動作特征不發(fā)生變化,依靠卡爾曼濾波預(yù)測算法可有效預(yù)測行人位置信息;行人運動模式發(fā)生改變,動作行為發(fā)生初期,傳感器觀測到的行人位置信息還未更新,仍然按照位置信息進行預(yù)測,存在一定缺陷.
軌跡預(yù)測原理如圖3所示,P為行走意圖改變時刻點,trj1為原預(yù)測軌跡,trj2為改進后預(yù)測軌跡.改進算法優(yōu)勢在于當(dāng)預(yù)測過程中評定行人行走意圖改變后,根據(jù)行人意圖判定其規(guī)劃的行走方向,并將下一時刻的速度方向統(tǒng)一規(guī)劃到x或y方向上,此時預(yù)測狀態(tài)方程輸出的軌跡即行人行走意圖軌跡,結(jié)合觀測值進行更新修正后得到一條全新的預(yù)測軌跡,因此在預(yù)測過程獲取的輸出相對僅依靠速度位移值獲取的輸出要提前.下一時刻行人位置為
(10)
式中:pxk、pyk、pxk-1、pyk-1為行人位置信息;vxk-1、vyk-1為行人速度信息;Δt為采樣周期.
圖3 軌跡預(yù)測原理圖
2.3.1試驗環(huán)境搭建
行人軌跡預(yù)測試驗所需的移動對象數(shù)據(jù)集利用大陸ARS408-21雷達進行采集.由于毫米波雷達檢測行人的局限性,實際傳感器測試所得行人檢測距離為70 m,距離檢測精度為±0.5 m,速度檢測精度為±0.1 km·h-1.
2.3.2試驗驗證分析
為驗證算法的有效性,與卡爾曼濾波軌跡預(yù)測算法進行對比,對其預(yù)測結(jié)果的時效性和智能性進行分析.假設(shè)行人沿道路直行,無橫向速度,平面坐標(biāo)中行人運動軌跡和預(yù)測軌跡如圖4所示,行人速度為1.2 m·s-1,在距離傳感器縱向距離約35 m處扭頭觀察道路情況,具備橫穿馬路行走意圖,由于道路車輛迫使行人扭頭觀察時仍保持直行狀態(tài),并在距離傳感器縱向距離約40 m處實際改變行走軌跡.
根據(jù)圖4可知,行走意圖不變時,2種算法預(yù)測結(jié)果趨于一致.行人在35 m處行走意圖發(fā)生改變,此刻實際行走軌跡沒有發(fā)生變化,基于動作特征分析的行人軌跡預(yù)測算法預(yù)測出新的軌跡路線,相較傳統(tǒng)卡爾曼濾波算法而言,軌跡變化的時間點提前約4 s,距離點提前約5 m.隨著測量值的更新,預(yù)測的軌跡逐步趨向于實際軌跡,對實際應(yīng)用而言,提前預(yù)測軌跡變化給予行人主動避撞算法更多的反饋時間,更好地保護行人安全.
人車混雜環(huán)境下,交通事故風(fēng)險主要來源2個方面: ① 由于路面附著條件或反映遲滯時間使得安全距離判斷失誤造成的碰撞事故; ② 由于對行人運動軌跡缺乏準(zhǔn)確預(yù)估,行人突然闖入使得車輛在當(dāng)前速度條件下無法緊急避讓造成的碰撞事故.
基于傳統(tǒng)安全距離模型設(shè)計主動避撞算法,需要采取緊急制動措施釋放車輛動能,車輛仍需行駛一段距離,在這段距離內(nèi)隨時都會發(fā)生碰撞危險,且制動過程中舒適性較差.因此,準(zhǔn)確預(yù)估行人軌跡,建立適用于無人駕駛汽車行人主動避撞算法的安全距離模型,提前控制車速至關(guān)重要.
不考慮車輛橫向運動的情況,人車混雜環(huán)境下的交通事故示意圖如圖5所示.其中Dsafe為一定車速下無人駕駛汽車的最小安全距離;Sunsafe為制動非安全區(qū),縱向行駛條件下的范圍為最小安全距離與車寬的乘積;Sp0為道路行人可能的運動軌跡區(qū)域;Dv2p為檢測到行人時的人車距離.
無人駕駛汽車行駛過程中行人有橫穿馬路的可能,車輛在位置A2處時,制動非安全區(qū)處于與行人運動軌跡發(fā)生沖突的臨界位置.假設(shè)車輛行駛到位置A3處行人闖入制動非安全區(qū),此時采取緊急制動控制也無法規(guī)避人車碰撞事故的發(fā)生.可以看出,若能準(zhǔn)確預(yù)估行人可能的運動軌跡,在位置A1處以相對較小的減速度勻減速行駛,可有效避免車輛制動非安全區(qū)和行人運動軌跡存在的交通沖突風(fēng)險,提高行人和車輛的交通安全性.
圖5 人車混雜狀態(tài)下的交通事故示意圖
綜合考慮行人軌跡、道路情況和車輛動力學(xué)特性,減少緊急制動情況的發(fā)生,建立預(yù)估安全距離模型,提前制動減速,保障舒適性和安全性.
3.2.1軌跡平行
人車軌跡平行情況下,根據(jù)自車行駛速度確定所需制動距離,實際環(huán)境下,由于行人存在縱向速度vpx,預(yù)估安全距離為
(11)
3.2.2軌跡相交
無人駕駛汽車預(yù)測人車軌跡相交情況下,檢測到行人橫向運動速度為vpy,則行人走過車輛行駛軌跡所需時間為
(12)
式中:Dv2py為行人橫向運動時的人車橫向距離;C為車寬.
人車軌跡相交情況下預(yù)估安全距離為
D2=vvτ+t2(vv+vpx)+d0.
(13)
3.3.1軌跡相交行人主動避撞算法
道路行人在沒有過街意圖時,橫向速度相對車輛行駛速度而言可以忽略不計;有過街意圖時,會以較大的橫向速度過街.因此,為消除上述誤差對軌跡判定產(chǎn)生的影響,引入速度誤差閾值ξ(一般取值為0.25 m·s-1)與行人橫向速度進行比較,若vpy>ξ,判定行人有過街意圖.通過比較車輛行駛至行人軌跡處所需時間和行人走過車輛行駛范圍所需時間,決策是否需要采取主動避撞措施.
軌跡相交場景下的人車碰撞分析示意圖如圖6所示,Sp1為行人軌跡;Sv1為無人駕駛汽車車頭中心行駛軌跡;Dp1為行人當(dāng)前位置與無人駕駛汽車行駛軌跡距離;Dv1為無人駕駛汽車車頭與行人軌跡距離;Srisk1為碰撞事故危險區(qū)域.
圖6 軌跡相交場景下的人車碰撞分析示意圖
無人駕駛汽車行駛至行人軌跡處所需時間t3和行人走過無人駕駛汽車行駛范圍所需時間t4分別為
(14)
(15)
當(dāng)t3>t4時,行人走過碰撞事故危險區(qū)Srisk時車輛還未到達行人軌跡處,無碰撞風(fēng)險,車輛以當(dāng)前車速行駛;當(dāng)t3≤t4時,車輛行駛到行人軌跡處時行人尚未走過碰撞事故危險區(qū),為避免碰撞事故的發(fā)生以及禮讓行人的交通法規(guī),基于預(yù)估安全距離規(guī)劃車輛減速行駛,待行人安全通過后加速駛離.
3.3.2軌跡平行行人主動避撞算法
若vpy<ξ,判斷行人處于直行偏移狀態(tài),橫向速度為誤差閾值,行人無過街意圖.
軌道平行場景下的人車碰撞分析示意圖如圖7所示,Sp2為行人軌跡;Sv2為無人駕駛汽車車頭中心行駛軌跡;vsafe為安全行駛車速,一般取20~30 km·h-1;Dv2為無人駕駛汽車車頭與行人位置的縱向距離;Dv3為減速至安全車速時人車縱向距離;Srisk2為碰撞事故危險區(qū)域.
行人由P1行走到P2過程中行人軌跡保持直行狀態(tài).為有效避免因行人行走軌跡變化造成人車碰撞事故的發(fā)生,無人駕駛汽車基于預(yù)估安全距離模型以減速度a0制動減速.減速過程中更新預(yù)測的行人軌跡,當(dāng)預(yù)測行人保持直行狀態(tài)不變,減速至安全車速vsafe后勻速行駛;若在車速vv≥vsafe時預(yù)測行人軌跡將入侵自車行駛路線,保持減速度a0減速直至停止;若在車速vv (16) 式中:Dvn為預(yù)測行人軌跡變化時人車縱向距離;tpw為此環(huán)節(jié)下行人縱向行走時間. 圖7 軌跡平行場景下的人車碰撞分析示意圖 3.3.3分神行人主動避撞算法 為驗證所提出的基于動作特征分析的軌跡預(yù)測算法和主動避撞算法的有效性,基于Carsim/Simulink進行聯(lián)合仿真. 檢測環(huán)節(jié)與制動協(xié)調(diào)時間為0.2 s,路面附著系數(shù)取0.7,對比4種模型在不同車速下的安全距離與制動減速度,仿真結(jié)果如圖8所示.基于行人軌跡預(yù)測的預(yù)估制動安全距離模型雖然比2個傳統(tǒng)安全距離模型的最小安全距離大,但減速過程中有效規(guī)避了緊急制動情況的發(fā)生,制動過程較為平緩.此安全距離模型將道路行人潛在軌跡變化情況作為計算依據(jù),合理規(guī)劃智能汽車行駛速度,保障智能汽車車速處于安全可控的范圍,提高了主動安全性能. 圖8 不同車速下安全距離與制動減速度仿真結(jié)果 基于上述行人軌跡,假設(shè)路面附著系數(shù)為0.8,遲滯時間為0.2 s,后方車輛車速為50 km·h-1,檢測到行人時人車距離為70.0 m,行駛1.0 s后行人動作特征發(fā)生改變,車輛緊急制動時所需最小距離為16.8 m.車速控制及人車相對距離分別如圖9、10所示. 圖9 車速控制圖 圖10 人車相對距離圖 從圖9、10可以看出:基于KF軌跡預(yù)測進行避撞控制,行人約在5.2 s改變軌跡,人車距離約4.4 m,遠小于緊急制動所需最小安全距離,無法有效避免縱向碰撞;基于行人動作特征分析的軌跡預(yù)測算法進行主動避撞時,行駛1.0 s后識別行人行走意圖改變,即可采取制動控制,此時人車距離約為57.0 m,可有效規(guī)避碰撞可能性.結(jié)果表明,所提行人軌跡預(yù)測算法實用性較強. 4.3.1行人保持直行 假設(shè)道路環(huán)境中無障礙物遮擋,路面附著系數(shù)為0.8,以80 km·h-1的車速行駛.行人沿道路直行,初始時刻人車距離為200.0 m,時滯為0.2 s,無人駕駛汽車行駛的縱向速度及路程如圖11所示. 圖11 行人直行,無人駕駛汽車行駛速度、路程圖 從圖11可以看出:人車距離小于軌跡平行條件下的預(yù)估安全距離時,無人駕駛汽車以加速度為-3 m·s-2減速至30 km·h-1后勻速行駛,期間行人動作特征不變,車輛駛過行人所在位置后加速行駛.由相對距離結(jié)果可知,該算法在保證安全行駛的同時具有較好的交通通過性. 4.3.2行人直行途中過街 假設(shè)道路環(huán)境中無障礙物遮擋,路面附著系數(shù)為0.8,無人駕駛汽車以80 km·h-1的車速行駛.行人沿道路直行,在某一時刻轉(zhuǎn)彎,初始時刻人車距離為200.0 m,時滯0.2 s,無人駕駛汽車行駛過程中的縱向速度及行駛路程如圖12所示.人車距離小于軌跡平行條件下的預(yù)估安全距離時,無人駕駛汽車以加速度為-3 m·s-2減速至30 km·h-1,勻速行駛一段時間后行人有過街意圖,根據(jù)當(dāng)前距離和車速規(guī)劃制動減速度.此過程中無人駕駛汽車行駛距離為210.0 m,行人移動距離約為14.0 m,停車后人車間距為4.0 m.結(jié)果表明防碰撞控制方法有效. 圖12 直行過街,無人駕駛汽車行駛速度、路程圖 假設(shè)道路環(huán)境中無障礙物遮擋,路面附著系數(shù)為0.8,無人駕駛汽車以80 km·h-1速度行駛,初始時刻人車距離為200.0 m.檢測到行人側(cè)向行走時的橫向距離為4.0 m,時滯為0.2 s,行駛過程中的縱向速度及行駛路程如圖13所示. 圖13 軌跡相交,無人駕駛汽車行駛速度、路程圖 從圖13可以看出:此工況下主動避撞預(yù)估安全距離約為96.0 m,人車距離小于此安全距離時將規(guī)劃制動減速度,直至行人走過無人駕駛汽車行駛軌跡,無人駕駛汽車加速行駛.結(jié)果表明防碰撞控制方法在保證安全行駛的同時具有較好的交通通過性. 假設(shè)道路環(huán)境中無障礙物遮擋,路面附著系數(shù)0.8,無人駕駛汽車以80 km·h-1速度行駛.分神行人站立在路邊,某一時刻突然闖入,初始時刻人車距離為200.0 m,時滯為0.2 s,無人駕駛汽車行駛過程中的縱向速度及行駛路程如圖14所示. 圖14 分神行人突然闖入,無人駕駛汽車行駛速度、路程圖 從圖14可以看出:人車距離小于軌跡平行條件下的主動避撞預(yù)估安全距離時,無人駕駛汽車以加速度為-3 m·s-2減速至10 km·h-1,勻速行駛一段時間,道路分神行人突然闖入車輛行駛路徑,根據(jù)當(dāng)前道路情況和車速規(guī)劃所需制動減速度.此過程中,無人駕駛汽車行駛距離為197.8 m,行人無縱向移動距離,停車后人車間距為2.2 m.結(jié)果表明防碰撞控制方法是有效的. 1) 提出了人車混雜環(huán)境下行人軌跡變化造成的潛在碰撞事故的概念,通過卷積神經(jīng)網(wǎng)絡(luò)對道路行人動作特征進行識別,并將過街行人的身體動作特征作為行走意圖判別依據(jù),分析出影響車輛行駛的3類人車軌跡交匯情況,囊括了道路可能出現(xiàn)的大部分行人軌跡變化特性. 2) 基于卡爾曼濾波算法,綜合考慮融入道路行人的運動特征,提出基于動作特征分析的行人軌跡預(yù)測算法.該算法在行人軌跡位置點連續(xù)預(yù)測的基礎(chǔ)上,結(jié)合行人行走意圖,預(yù)測出動態(tài)系統(tǒng)的最優(yōu)狀態(tài),獲得符合行人主觀意圖的最優(yōu)軌跡,為行人主動避撞算法提供實時有效的行人軌跡信息. 3) 對人車混雜環(huán)境下交通事故風(fēng)險進行分析,依據(jù)人車軌跡交匯情況建立預(yù)估安全距離模型.試驗結(jié)果表明:所提的行人主動避撞算法能有效保障道路行人安全性的同時,可確保制動減速過程的平緩性和交通流的通暢性.4 試驗分析
4.1 制動安全距離與制動減速度仿真分析
4.2 軌跡預(yù)測算法有效性分析
4.3 人車軌跡平行主動避撞算法仿真分析
4.4 人車軌跡相交主動避撞算法仿真分析
4.5 分神行人主動避撞算法仿真分析
5 結(jié) 論