基于神經(jīng)網(wǎng)絡與數(shù)據(jù)融合的行人檢測方法*

朱 波， 黃茂飛， 談東奎，胡旭東，顧家鑫

(合肥工業(yè)大學汽車工程技術研究院，合肥 230009)

前言

行人作為交通參與者中的弱勢群體，常常是最易受到車輛碰撞而被傷害的群體。 據(jù)統(tǒng)計，全球范圍內(nèi)行人與騎自行車者占交通事故死亡總?cè)藬?shù)的26%[1]。 隨著高級駕駛輔助系統(tǒng)(advanced driving assistance system， ADAS)的發(fā)展，自動緊急制動系統(tǒng)(autonomous emergency braking，AEB)的應用越來越普遍。 但現(xiàn)有的AEB 系統(tǒng)多采用毫米波雷達或攝像頭等單一傳感器對目標進行識別，由于毫米波雷達對行人的識別難度較大，而攝像頭對距離等數(shù)據(jù)探測不夠準確，造成現(xiàn)有AEB 系統(tǒng)對行人的檢測效果不夠理想。

近年來，國內(nèi)外專家和學者在行人識別與檢測方面做了大量研究并取得了豐富的成果。 文獻[2]中提出了一種基于深度神經(jīng)網(wǎng)絡的行人和騎車人聯(lián)合檢測方法，實現(xiàn)了行人和騎車人的聯(lián)合檢測與有效識別。 文獻[3]中提出了一種基于運動分析的運動行人檢測方法，提高了行人檢測的實時性。 文獻[4]中通過改進的HOG 與Sobel-LBP 融合算法實現(xiàn)了行人的快速檢測。 文獻[5]中提出了一種視覺和毫米波雷達信息融合的行人識別算法，能獲取更加精確的行人特征且提高了對行人的識別率。

本文中提出一種基于神經(jīng)網(wǎng)絡與數(shù)據(jù)融合的行人檢測方法。 該方法首先根據(jù)本車車速劃定可變潛在危險區(qū)，即劃定毫米波雷達與Mobileye 的目標檢測范圍，然后通過Mobileye 與毫米波雷達分別對可變潛在危險區(qū)內(nèi)的目標進行檢測，并對毫米波雷達識別的目標通過神經(jīng)網(wǎng)絡算法篩選出疑似行人目標，再將其與Mobileye 識別的行人目標進行匹配和數(shù)據(jù)融合。 經(jīng)實車試驗驗證，該算法能夠?qū)崿F(xiàn)對行人的準確識別以及對行人位置進行準確估計。

1 毫米波雷達、Mobileye 單一傳感器行人檢測

1.1 可變潛在危險區(qū)劃定

為了描述行人的位置，首先建立毫米波雷達坐標系，如圖1 所示，以毫米波雷達中心為原點，車輛行駛方向為x軸正方向、與車輛軸線垂直指向駕駛員左側(cè)為y軸正方向。

圖1 毫米波雷達坐標系

為了減少后續(xù)目標篩選與計算工作量，不同于現(xiàn)有方法中劃定一個固定且較大的探測區(qū)域，本文中根據(jù)本車車速劃定可變潛在危險區(qū)，即范圍隨車速變化的可能對行車安全造成威脅的有行人的區(qū)域。 根據(jù)汽車制動距離S和駕駛員反應時間tR等可以確定可變潛在危險區(qū)的x向(縱向)長度L，汽車的制動距離S可通過式(1)計算[6]:

據(jù)統(tǒng)計駕駛員的制動反應時間為 1.14 ～1.38 s[10]，為保證安全，取tR＝1.38 s；再考慮特殊情況下路面附著能力較低以及制動后的安全距離等因素，對可變潛在危險區(qū)的縱向長度多預留10 m 的距離，以確保行人安全。 可變潛在危險區(qū)的縱向長度L(m)通過式(2)計算:

可變潛在危險區(qū)y向(橫向)寬度根據(jù)車輛寬度D確定，考慮傳感器測量誤差與橫向安全距離，可變潛在危險區(qū)y向?qū)挾葹椤?D/2＋1) m，本文中使用的車輛寬度D＝1.794 m，取可變潛在危險區(qū)y向?qū)挾葹椤?.9 m，即

1.2 基于毫米波雷達的行人檢測

本文中使用的雷達能夠通過CAN 總線配置過濾器來輸出某一范圍內(nèi)的目標，根據(jù)1.1 節(jié)中可變潛在危險區(qū)的范圍配置毫米波雷達的輸出目標范圍。 首先通過真實目標初選[11]和目標有效性檢驗[12]篩選出毫米波雷達檢測到的有效目標，再在有效目標中篩選出疑似行人目標。

多層神經(jīng)網(wǎng)絡在諸多分類問題中都有很好的性能表現(xiàn)[13]，而毫米波雷達可通過CAN 總線輸出目標的x、y向相對速度、目標長度、目標寬度和雷達散射截面積等數(shù)據(jù)。 其中，若保持車輛靜止對行人進行檢測，則可獲得行人的絕對速度，行人的絕對速度可作為行人的運動特征。 在車輛實際運行過程中可通過車輛CAN 總線或其他傳感器獲取車輛的運動速度，結(jié)合毫米波雷達測得的目標相對車輛的運動速度進行計算，則可獲取目標的絕對速度；而雷達散射截面積是目標在雷達波照射下所產(chǎn)生回波強度的一種物理量，它與目標的形狀、結(jié)構和材料等因素有關。 通過目標x、y向絕對速度、目標長度、目標寬度和雷達散射截面積等參數(shù)再利用神經(jīng)網(wǎng)絡分類算法可篩選出疑似行人目標，從而提高后續(xù)行人目標匹配準確性和減少后續(xù)處理的數(shù)據(jù)量。

1.2.1 神經(jīng)網(wǎng)絡結(jié)構

本文中采用輸入層、單個隱含層和輸出層組成的3 層神經(jīng)網(wǎng)絡，神經(jīng)網(wǎng)絡結(jié)構如圖2 所示。 其中:x1，x2，…，x5分別表示目標x向絕對速度、目標y向絕對速度、目標長度、目標寬度和雷達散射截面積等5 個輸入?yún)?shù)；y1和y2分別表示目標類型為行人和其他類型。

圖2 神經(jīng)網(wǎng)絡結(jié)構

根據(jù)多次試驗驗證隱含層節(jié)點數(shù)取7，激活函數(shù)采用Sigmoid 函數(shù):

式中f(x)為隱含層輸出，范圍為(0，1)，x為隱含層輸入。

本文中將毫米波雷達目標分為行人和其他目標兩類，所以輸出層節(jié)點設置為2。 輸出層激活函數(shù)采用Softmax 函數(shù):

式中:Si為當前元素的指數(shù)與所有元素指數(shù)和的比值；Vi為前級的輸出；C為類別總數(shù)。

1.2.2 樣本采集

行人碰撞一般多發(fā)生在城市街道，我國交通法規(guī)規(guī)定城市道路車速不超過60 km/h，超速10%予以警告。 取ua0＝66 km/h，并代入式(1)和式(2)，求得L＝74.78 m。 在x方向 74.78 m、y方向±1.9 m范圍內(nèi)，保持車輛靜止，采集不同體型、不同行走狀態(tài)的行人以及不同交通工具或障礙物的雷達探測數(shù)據(jù)作為訓練樣本。 本文中采集樣本數(shù)量為1 000個，其中行人樣本500 個，其他樣本500 個，圖3 為行人樣本各特征的分布情況。

圖3 行人樣本特征分布

1.2.3 離線訓練模型

量化共軛梯度下降法(scaled conjugate gradient，SCG)具有收斂速度快、無須設置學習率等參數(shù)的特點， SCG 神經(jīng)網(wǎng)絡不僅改進了BP 網(wǎng)絡容易陷入到局部極小、不適用于大規(guī)模神經(jīng)網(wǎng)絡以及需要調(diào)節(jié)多個影響網(wǎng)絡性能的參數(shù)等多個缺點，還具備識別誤差較小的優(yōu)越性[14]。

所以本文中采用量化共軛梯度下降法對網(wǎng)絡進行訓練。 將樣本的70%作為訓練集，15%作為驗證集，剩余的15%作為測試集。

1.2.4 模型訓練結(jié)果

訓練集分類結(jié)果如表1 所示，訓練集樣本總數(shù)為700 個，其中行人樣本359 個，正確將其分類為行人的樣本數(shù)為352 個，錯誤將其分類為其他類型樣本數(shù)為7 個，訓練集行人目標分類正確率為98.1%。

表1 訓練集分類結(jié)果

驗證集分類結(jié)果如表2 所示，驗證集樣本總數(shù)為150 個，其中行人樣本71 個，正確將其分類為行人的樣本數(shù)為68 個，錯誤將其分類為其他類型樣本數(shù)為3 個，驗證集行人目標分類正確率為95.8%。

表2 驗證集分類結(jié)果

測試集分類結(jié)果如表3 所示，測試集樣本總數(shù)為150 個，其中行人樣本70 個，正確將其分類為行人的樣本數(shù)為68 個，錯誤將其分類為其他類型樣本數(shù)為2 個，測試集行人目標分類正確率為97.1%。

表3 測試集分類結(jié)果

SCG 神經(jīng)網(wǎng)絡訓練結(jié)果表明，在1 000 個樣本中，總體分類正確樣本數(shù)為926 個，總體分類正確率為92.6%；其中行人樣本數(shù)為500 個，正確分類樣本數(shù)為488 個，行人樣本分類正確率為97.6%。

1.3 基于Mobileye 的行人檢測

Mobileye 是由以色列Mobileye 公司生產(chǎn)的一款單目視覺攝像頭，其具有強大的圖像處理算法，能夠準確識別行人、車輛等目標，主要通過CAN 通信來輸出檢測信息。 基于Mobileye 的行人檢測主要包括報文解析和目標篩選等步驟。

1.3.1 Mobileye CAN 報文解析

本文中采用的Mobileye 版本可通過CAN 總線輸出目標的數(shù)量、類型、速度以及目標的位置等信息，相關CAN 報文如表4 所示。

表4 Mobileye 報文

1.3.2 Mobileye 檢測目標篩選

由于Mobileye 檢測范圍固定，無法配置調(diào)整，所以需要在檢測到的所有目標中篩選出位于潛在危險區(qū)內(nèi)的行人目標。 是否位于潛在危險區(qū)根據(jù)1.1 節(jié)中潛在危險區(qū)的范圍確定，是否為行人目標通過CAN 報文中的障礙物類型確定。

2 毫米波雷達與Mobileye 數(shù)據(jù)融合

2.1 空間融合

由于毫米波雷達與Mobileye 安裝位置不同，兩傳感器檢測到的行人坐標分別是相對于毫米波雷達坐標系和Mobileye 坐標系，為了后續(xù)對數(shù)據(jù)進行融合，首先需要對兩傳感器進行空間融合，即進行坐標轉(zhuǎn)換。 考慮行人碰撞關注車頭與行人之間的距離，本文中將Mobileye 坐標轉(zhuǎn)換到毫米波雷達坐標系。

由于Mobileye 安裝標定過程中通過標靶和自帶標定程序標定車頭中間位置，所得目標的坐標即為車頭坐標系坐標。 所以在標定過程中以毫米波雷達中心作為Mobileye 標定位置，Mobileye 輸出坐標即為毫米波雷達坐標系坐標，空間融合過程示意圖如圖4 所示。

圖4 空間融合

2.2 時間融合

為了保證毫米波雷達與Mobileye 在時間上的同步，需要對兩傳感器的信息進行時間融合。 本文中采用的毫米波雷達數(shù)據(jù)采樣周期為60 ms， Mobileye采樣周期為 66 ～ 100 ms。 由于 Mobileye 為變動周期，以Mobileye 周期為系統(tǒng)的數(shù)據(jù)更新周期，并通過毫米波雷達最近的一個采樣時間點的數(shù)據(jù)預測某一系統(tǒng)數(shù)據(jù)更新點時毫米波雷達的數(shù)據(jù)，時間融合示意圖如圖5 所示。 利用式(6)預測系統(tǒng)數(shù)據(jù)更新時刻毫米波雷達的數(shù)據(jù):

圖5 時間融合

2.3 行人目標匹配

根據(jù)Mobileye 手冊，其x向測量誤差小于10%或2 m(兩者中間的較大值)。 首先在Mobileye 檢測到的某一行人目標(XMi，YMi)(i＝ 1，2，3…)的x向誤差范圍內(nèi)初步匹配毫米波雷達所探測到的疑似行人目標(XRk，YRk)(k＝ 1，2，3…)；然后通過x向(縱向)運動速度方向一致再次篩選(Mobileye可通過報文輸出目標縱向速度)，縱向運動速度方向一致是指毫米波雷達和Mobileye 檢測到的同一行人目標的縱向運動方向應一致，即同為遠離(縱向速度為正值)、同為靠近(縱向速度為負值)或同為靜止(縱向速度為0)；最后通過最小距離原則進行準確匹配，即

式中:Δdk為毫米波雷達和Mobileye 檢測到的目標之間的距離，取Δdk最小時對應的目標(XRk，YRk)作為Mobileye 檢測到的行人目標(XMi，YMi)的匹配目標。

2.4 行人檢測數(shù)據(jù)融合

2.4.1 融合策略

由于Mobileye 與毫米波雷達測量原理不同，檢測結(jié)果會有所差異，各種情況下的結(jié)果采用表5 的方法。

表5 融合策略

2.4.2 基于卡爾曼濾波的數(shù)據(jù)融合

當Mobileye 與毫米波雷達同時檢測到行人目標并匹配成功時，為了獲得更準確的行人位置信息，需要對兩傳感器的檢測數(shù)據(jù)進行融合。 卡爾曼濾波具有的遞推特性既可以讓系統(tǒng)對當前狀態(tài)進行估計，也可以對未來的狀態(tài)進行預測，因而卡爾曼濾波是信息融合常用方法之一[15]。 運用卡爾曼濾波對兩傳感器檢測的行人目標進行數(shù)據(jù)融合，取[d，v]T為狀態(tài)向量，預測方程為

式中:為t時刻狀態(tài)向量的預測值；F為狀態(tài)轉(zhuǎn)移矩陣；B為控制矩陣；at-1為t-1 時刻控制量(加速度)。 令。

協(xié)方差矩陣傳遞公式為

式中:為t時刻的預測狀態(tài)協(xié)方差矩陣；Pt-1為t-1 時刻的狀態(tài)協(xié)方差矩陣；F為狀態(tài)轉(zhuǎn)移矩陣；Q為過程噪聲協(xié)方差矩陣。

卡爾曼增益計算公式為

式中:Kt為t時刻的卡爾曼增益；H為觀測矩陣；R為測量噪聲協(xié)方差矩陣。 本文中采用兩傳感器數(shù)據(jù)融合分別表示毫米波雷達與Mobileye 的測量噪聲協(xié)方差，其表示卡爾曼濾波器對兩種傳感器的信任權重，數(shù)值越小表明對該傳感器的信任權重越大。

最優(yōu)估計值的計算公式為

協(xié)方差矩陣Pt的更新公式為

式中Pt為t時刻的狀態(tài)協(xié)方差矩陣。

2.4.3 數(shù)據(jù)測量(融合)效果評價指標

對于毫米波雷達與Mobileye 對行人位置檢測數(shù)據(jù)的測量(融合)效果通過“測量(融合)偏差”這一指標來評價，該值越小表示測量(融合)效果越好，“測量(融合)偏差”計算公式為

3 試驗驗證

3.1 試驗平臺

試驗平臺如圖6 所示，主要包括某款轎車、某款主流中遠程毫米波雷達、Mobileye 630 以及dSPACE/MicroAutoBoxⅡ，通過 MATLAB/Simulink 搭建系統(tǒng)的算法模型，并在ControlDesk 軟件中觀測和記錄試驗數(shù)據(jù)。

圖6 試驗平臺

3.2 單個行人目標識別與檢測

在單個行人場景下對算法進行測試，如圖7(a)所示，檢測結(jié)果見圖7(b)，檢測數(shù)據(jù)如表6 和表7所示。

單個行人目標識別與檢測結(jié)果表明，本文的方法能夠通過神經(jīng)網(wǎng)絡準確判斷毫米波雷達檢測到的目標為行人，并且能與Mobileye 檢測到的行人目標進行準確匹配，最后通過卡爾曼濾波進行數(shù)據(jù)融合，能夠在一定程度上減小行人位置的檢測誤差。

圖7 單個行人目標識別與檢測

表6 單個行人檢測x 向距離

表7 單個行人檢測y 向距離

3.3 多行人多目標識別與檢測

多行人多目標檢測場景如圖8(a)所示，由近及遠1、2、3、4 號目標分別為電動車、行人、行人和汽車，本文中主要關注對象為行人，暫不對其他類目標進行融合處理，檢測結(jié)果如圖8(b)所示，檢測數(shù)據(jù)如表8 和表9 所示。

多行人多目標識別與檢測試驗結(jié)果表明:本文的方法能夠在多類型目標中準確判斷出毫米波雷達探測到的目標2 和目標3 為行人，并與Mobileye檢測到的行人目標進行正確匹配；采用卡爾曼濾波算法對兩傳感器檢測到的行人位置數(shù)據(jù)進行融合，x向(縱向)距離融合偏差最大為2.07%，y向(橫向)距離融合偏差最大為10.68%，能滿足AEB 等高級駕駛輔助系統(tǒng)對檢測精度的要求；對比單一傳感器對應測量值表明，采用本文中兩傳感器數(shù)據(jù)融合的方法能有效降低對行人位置檢測的誤差。

圖8 多行人多目標識別與檢測

表8 多行人多目標檢測x 向距離

表9 多行人多目標檢測y 向距離

4 結(jié)論

(1)利用SCG 神經(jīng)網(wǎng)絡對毫米波雷達檢測到的目標進行分類，可有效篩選出目標中的疑似行人目標，提高了將其與Mobileye 檢測到的行人目標進行匹配的可靠性；

(2) 利用卡爾曼濾波算法對毫米波雷達和Mobileye 檢測到的行人位置數(shù)據(jù)進行融合可有效提高對行人位置檢測的精度，保證行人檢測數(shù)據(jù)的準確性。