智能汽車環(huán)境感知算法測試評價系統(tǒng)開發(fā)

隗寒冰 曹 旭 賴 鋒

1.重慶交通大學機電與車輛工程學院，重慶，400074

2.東風汽車集團有限公司技術中心，武漢，430020

0 引言

基于機器視覺的環(huán)境感知算法是智能汽車的關鍵和共性技術之一，也是智能汽車領域研究范圍最廣、水平最深的方向之一。早期車道線和車輛目標檢測算法均建立在目標輪廓特征基礎上，對檢測算法性能測試評價還缺乏足夠研究。文獻［1］用Sobel算子檢測目標縱橫向邊緣后，再根據尺寸等先驗知識進行過濾得到候選邊緣，然后經分級過濾、直線型過濾得到最終邊緣；文獻［2］利用顏色、形狀、直方圖特征對候選區(qū)域標志牌進行檢測。此類方法雖檢測效率高，但容易受到光照、陰影、遮擋等因素影響。文獻［3］采用基于特征模板配準方法對目標進行檢測，該方法同樣受遮擋限制。文獻［4］綜述了采用基于目標特征和分類器的目標檢測算法以解決光照等環(huán)境因素影響的相關研究。為提高環(huán)境感知算法的實時性，近年來也有學者提出了基于隨機集概率密度模型、特征數據關聯和運動信息配準的多目標跟蹤算法。文獻［5-6］采用數據關聯方法，將復雜環(huán)境下的多目標檢測問題轉化為全局最優(yōu)問題和隨機圖最短路問題；文獻［7］利用目標特征及其組成分對關聯數據結果進行優(yōu)化；文獻［8-9］將多傳感器檢測數據關聯表述為多維匹配問題，采用多假設跟蹤（multi-hypothesis tracking，MHT）算法，把待測評算法檢測結果與標準算法檢測結果進行數據關聯，該算法較好地解決了場景中存在目標進出和目標被遮擋的情況，被認為是目前處理目標誤警和漏警最有效的算法。

目前，硬件在環(huán)仿真技術多運用于構建駕駛模擬器和測試車輛控制器性能等，將真實環(huán)境導入測試評價系統(tǒng)并對環(huán)境感知算法進行測評的研究還較為少見。文獻［10-11］構建了基于硬件在環(huán)的車輛仿真系統(tǒng)，但輸入場景信息是虛擬道路場景，無法反映真實環(huán)境下車輛的運動姿態(tài)；文獻［12］搭建的人在環(huán)仿真（human-in-loop，HIL）系統(tǒng)加入駕駛模擬器，但本質上仍屬于基于虛擬環(huán)境的駕駛仿真測試；文獻［13-14］在真實場景中加入車輛模型作為仿真系統(tǒng)的輸入場景信息，但無法反映駕駛員在道路環(huán)境中的真實動態(tài)信息。

本文基于dSPACE硬件在環(huán)仿真平臺和六自由度駕駛模擬器，搭建了環(huán)境感知算法測試評價系統(tǒng)，實現了真實道路場景信息的輸入與車輛運動姿態(tài)的模擬；建立了基于機器學習的標準檢測算法和基于數據關聯的檢測評價算法，針對智能汽車環(huán)境感知算法多借助于人工識取結果進行對比的不足，提出一套針對準確率、穩(wěn)定性、通用性及實時性的測試評價體系。

1 測試評價系統(tǒng)硬件架構

測試評價系統(tǒng)以dSPACE硬件在環(huán)仿真平臺為基礎構建，能夠保證系統(tǒng)仿真的實時性。系統(tǒng)的硬件結構及邏輯關系見圖1。駕駛模擬器安裝于六自由度運動平臺上，能夠為駕駛員提供真實的駕駛體驗，同時將駕駛員對車輛的控制信息發(fā)送至硬件在環(huán)仿真平臺并接收反饋信息，實現對車輛動力學模型的實時控制。dSPACE硬件在環(huán)仿真平臺采集來自駕駛模擬器的駕駛員對車輛的控制信號，再由車輛動力學模型計算車身姿態(tài)信息并發(fā)送給六自由度運動平臺，以實現車輛動態(tài)模擬。

圖1 系統(tǒng)硬件結構及邏輯關系Fig.1 System hardware structure and logic relationship

2 測試評價系統(tǒng)軟件架構

2.1 車輛動力學模型

建立七自由度車輛模型見圖2，假定車身為剛性體，車輪簡化為質點，懸架類型可簡化為4個獨立懸架，7個自由度分別是車身的垂向位移、側傾角、俯仰角和4個車輪的垂向位移。

圖2 七自由度車輛動力學模型Fig.2 Vehicle dynamics model of 7 DOF

建立側向力平衡方程：

建立繞Z軸力矩平衡方程：

建立4個車輪的運動微分方程：

式中，m為整車質量；r為車輪半徑；δ為前輪轉角；β為質心側偏角；γ為橫擺角速度；vX、vY分別為縱向和橫向車速；FX、FY、FZ分別為輪胎縱向力、側向力和垂向力；w?為車輪的轉動線速度；i=fl、fr、rl、rr分別表示左前輪、右前輪、左后輪、右后輪；a、b分別為前后軸到質心的距離；lw1為前軸輪距；lw2為后軸輪距；IZ為繞Z軸的轉動慣量；Itw為車輪的轉動慣量；Tbi為車輪上的合力矩；Tdi為車輪上的扭矩。

2.2 運動學反解算法

運動學反解算法用于計算各液壓缸位移，從而對各個缸進行控制，使平臺達到需要的位姿，從而實現由六自由度運動平臺輸入真實道路場景信息。

由圖3所示的六自由度運動平臺的姿態(tài)求6個缸的伸縮量Δli，可利用上下鉸支點間的距離li減去相應液壓缸的初始長度l0來求解，即

式中，Pki為上鉸支點在靜坐標系中的坐標；Bki為下平臺6個鉸點在靜坐標系中的坐標；k（k=1，2，3）表示鉸點坐標的X、Y、Z軸。

圖3 六自由度運動平臺Fig.3 Movement platform of 6 DOF

選取車體坐標系OAXAYAZA的坐標原點為上鉸外接圓圓心坐標系，固定在上平臺上。將靜坐標系OBXBYBZB固定在下平臺上，并使初始位置時的動坐標系和靜坐標系完全重合。運動平臺的初始高度（上鉸點與下鉸點間的垂直距離）為h。上平臺6個鉸點坐標矩陣A與由靜坐標系到動坐標系的變換矩陣R分別表示為

式中，c代表 cos；s代表 sin；rA為上平臺圓周半徑；ωA為OAA1與起始線的夾角；?為橫擺角；θ為俯仰角；ψ為偏航角；x、y、z分別為沿OAXA、OAYA和OAZA方向的位移。

上鉸支點在靜坐標系中的坐標可用矩陣P表示為

運動平臺的6個下鉸點位于半徑為rB的圓周，下鉸點固定在基座，因此它在靜坐標系中的坐標不變，即矩陣B固定不變。下平臺6個鉸點坐標矩陣B表示為

式中，rB為下平臺圓周半徑；ωB為OBB1與起始線的夾角。

2.3 Washout濾波算法

六自由度駕駛模擬器的作用是讓駕駛員能感受到與實車相當一致的加速度和角速度，從而實現由六自由度運動平臺輸入真實道路場景信息。理論上只要平臺重現車輛各種動作，即可達到模擬效果。然而運動平臺受硬件工作空間限制，不能完全復現車輛運行時的各種運動狀態(tài)，尤其是很難模擬低頻加速度，故可用Washout濾波算法將車輛的實際運動變換成使駕駛員有相似感受且模擬器能夠實現的信號。設計控制系統(tǒng)時，不僅要考慮絕對加速度還要考慮重力加速度，因此引入比力的概念：

式中，fAA為車體坐標系A下洗出位置A點的比力；gA為車體坐標系A下的重力加速度；aAA為車輛質心加速度。

Washout濾波算法的目的是使模擬器在受限的運動空間內，復現真實環(huán)境中駕駛員所能感受到的比力和角速度，所以Washout算法應以真實車輛的加速度和角速度為輸入，變換成使駕駛員有相似感受且運動模擬器能夠實現的信號作為運動系統(tǒng)的輸入信號。動力學模型輸出的加速度和角速度均在車輛的體坐標系中，加速度要通過坐標變換矩陣LIS轉換到慣性坐標系下，角速度要通過變換矩陣TS轉換成歐拉角的變化率。

從車體坐標系到模擬器慣性坐標系的轉換矩陣LIS為

角速度轉換成歐拉角變化率的轉換矩陣TS可表示為

Washout濾波算法包括高通加速度通道、高通角速度通道和傾斜協(xié)調通道3個部分。輸入信號為動力學模型輸出的車輛質心加速度aAA和角速度ωAA，輸出信號為動平臺質心的位置向量SIS和平臺的空間角向量βS。加速度通道輸出為加速度，而平臺輸入的控制信息為位姿，需要對加速度信息進行二次濾波以得到位置信息。平臺受最大行程限制，濾波信號幅值不能超過選定的最大幅值。算法比例限制環(huán)節(jié)方程如下：

式中，Kf、Kω分別為比力fAA和角速度ωAA的限制比例系數；、分別為限制后的比力和角速度。

由于傾斜協(xié)調通道的存在，故高通加速度通道平移和側移方向的濾波器可以降低一階，采用二階高通傳遞函數。平臺平移和側移方向的行程范圍較小，故平移和側移方向均采用二階高通濾波器；由于升沉方向的行程較大，為使平臺盡快回到初始位置，因此該方向采用三階高通濾波器，傳遞函數分別表示為

式中，ωHP,X、ωHP,Y、ωHP,Z分別為X、Y和Z方向高通濾波器的自然響應頻率；ξHP,X、ξHP,Y、ξHP,Z分別為X、Y、Z方向高通濾波器的阻尼比；ωHP1,Z、ωHP2,Z分別為Z方向一階環(huán)節(jié)和二階環(huán)節(jié)的自然響應頻率；aIA,X、aIA,Y、aIA,Z分別為X、Y、Z方向輸入給高通濾波器濾波的加速度，等于對應方向上比力與重力加速度之和；aIS,X、aIS,Y、aIS,Z分別為X、Y、Z方向高通濾波器濾波后輸出的加速度；s為拉普拉斯算子。

高通角速度通道采用二階高通濾波器，3個旋轉方向的傳遞函數分別表示為

式中：ωHP,?、ωHP,θ、ωHP,ψ分別為?、θ、ψ 3個旋轉方向的角速度通道高通濾波器的自然響應頻率；ξHP,?、ξHP,θ、ξHP,ψ分別為?、θ、ψ3個旋轉方向的角速度通道高通濾波器的阻尼比；βA,?、βA,θ、βA,ψ分別為?、θ、ψ 3個旋轉方向的歐拉角變化率；βSH,?、βSH,θ、βSH,ψ分別為?、θ、ψ 3個旋轉方向經過二階高通濾波器處理后的歐拉角變化率。

傾斜協(xié)調通道的傳遞函數分別為

式中，ωLP,X、ωLP,Y分別為平移和側移方向的傾斜協(xié)調通道低通濾波器的自然響應頻率；ξLP,X、ξLP,Y分別為平移和側移方向的傾斜協(xié)調通道低通濾波器的阻尼比；fSL,X、fSL,Y分別為傾斜協(xié)調通道縱向和側向比力輸入的低頻分量；、分別為經比例限制環(huán)節(jié)限制后的比力在傾斜協(xié)調通道縱向和側向的分量。

協(xié)調傾斜通道中的協(xié)調變換環(huán)節(jié)是為了將比力信號的低頻分量轉化為傾斜角度，可用下式表達：

式中：?、θ分別為傾斜協(xié)調通道的橫擺角和俯仰角。

高通加速度通道的輸入信號為車輛質心加速度aAA，經該通道高通濾波器濾波后，輸出為加速度aIS。但Washout濾波器高通加速度通道最后輸出給平臺的控制信號為位移SIS，因此需在該通道各個方向上對加速度信號進行二次濾波，從而得到位移信號。二次濾波的傳遞函數可表示為

式中，ω2為二次濾波器的自然響應頻率；ξ2為二次濾波器的阻尼比；k2為前向調節(jié)系數。

3 測試評價系統(tǒng)

測試評價系統(tǒng)包含基于機器學習的標準檢測算法和基于數據關聯的檢測結果關聯算法。標準檢測算法通過對標準空間的樣本在離線狀態(tài)下進行機器學習，得到目標檢評價標準。評價系統(tǒng)利用檢測標準對被測圖像幀進行目標檢測，以得到標準檢測結果。檢測結果關聯算法采用多假設跟蹤算法，將待測評算法檢測結果與標準檢測結果進行數據關聯對比，以確定兩者之間的對應關系，從而計算待測評算法準確率和漏警率等。

3.1 測試評價功能定義

測試評價體系包括準確率評價、穩(wěn)定性評價、實時性評價及通用型評價四部分。準確率評價主要對環(huán)境信息提取和處理能力進行測評，指標有漏警率和誤警率等；穩(wěn)定性評價主要對算法抗干擾能力進行測評，從陰影、遮擋、路口、光照突變及相機抖動等方面進行評價，指標有正確數累計值及占此種影響總幀數的百分比；實時性評價主要對算法實時性進行測評，指標有單幀處理時間、平均處理時間及最短處理時間；通用性評價主要對不同環(huán)境下的算法適用性進行測評，具體指標有車道線特性通用性和車輛類型、車速特性的通用性等。開發(fā)的測試評價界面見圖4。

圖4 測試評價界面Fig.4 Test and evaluation interface

3.2 標準檢測算法

目前用于環(huán)境感知算法評價的標準方法多采取人工識取結果，即對每幀圖像內的目標進行離線手工標注，存在效率低、通用性差等不足。本文提出基于機器學習得到測評標準的標準檢測算法，實現動態(tài)因素下的測試評價，既有效提高了測評準確性，又可實現海量數據的動態(tài)測評。算法通過圖像樣本來構建檢測指標的標準空間，包含標準模糊空間、標準光照空間及標準遮擋空間等，并對標準空間的樣本在離線狀態(tài)下進行機器學習，最終得到標準檢測結果。標準檢測算法的處理順序見圖5。

圖5 標準檢測算法Fig.5 Standard test algorithm

具體而言，算法采用的標準模糊空間可分為對樣本高斯平滑處理得到的高斯模糊子空間、對樣本直方圖調整處理得到的光照模糊子空間、對樣本運動濾波處理得到的運動模糊子空間。標準光照空間包括全局曝光圖像、全局陰影圖像、局部曝光圖像以及局部陰影圖像等。標準遮擋空間包括車道線被積水遮擋圖像、車道線被車輛遮擋圖像、車道線被行人遮擋圖像以及車道線被障礙物遮擋圖像等。算法采用的AdaBoost分類器是一種把若干個弱分類器整合為強分類器的分類器，分類器訓練迭代過程僅改變樣本的分布，并減小分類正確樣本的權值，增大分類錯誤樣本的權值，最終將多個弱分類器加權組成強分類器，即形成測評標準。算法詳細步驟如下：

（1）給定訓練集。訓練集上樣本的初始分布可表示為

（2）尋找具有最小錯誤率的弱分類器。某弱分類器在分布上的錯誤率為

（3）計算該弱分類器的權重系數：

（4）更新訓練樣本的分布：

（5）計算最后的強分類器：

式中，Dk(i)為訓練樣本集的權值分布；N為樣本集數目；hk為預測函數；Hf為最終的強分類器；αk為弱分類器權重；Zk為歸一化常數；εk為誤差率；k（k=1，2，…，T）為當前迭代次數；T為總迭代次數；xi為輸入的訓練樣本向量；yi為分類的類別標志。

3.3 檢測結果關聯算法

為驗證目標檢測算法結果的準確性，將待測評算法輸出結果與前面建立的機器學習檢測標準算法輸出結果進行關聯比對。關聯算法級聯了距離分類器、速度分類器和特征分類器，依次采用3個分類器以確保檢測結果和標準結果之間的唯一對應。算法采用了距離最近假設、速度一致假設和灰度一致性假設，可消除車輛間的相互遮擋對被測結果與標準結果間的匹配造成的影響。

（1）距離分類器。將標準結果中的車輛坐標輸入到距離分類器，若經過距離分類器時，由檢測結果得到的候選對象數目等于1，則該候選對象即為該車在待測評算法中的檢測結果；若無候選對象，則進入漏檢計算；若候選對象數目大于1，則進入速度和特征分類器進行判斷。坐標距離用下式表示：

式中，（xI，yI）、（xK，yK）分別為圖像坐標系中候選目標車輛和標準目標車輛坐標值；d為檢測結果和標準結果的坐標距離。

（2）速度分類器。車輛的運動軌跡連續(xù)光滑，將最能保持軌跡光滑且未被其他標準結果匹配選中的候選對象，選為該車輛在當前時刻的檢測結果，用下式表示：

式中，Pm-1、Pm、Pm+1分別為車輛目標上一幀、當前幀和下一幀的幀數信息；Vd為車輛的運動軌跡光滑度。

（3）特征分類器。在未匹配選中的候選對象中，某個候選對象的特征與同一時刻標準結果中車輛的特征向量最相似，則認為該候選對象是該車在此時刻的檢測結果，用下式表示：

式中，V、S分別為候選對象特征和標準目標特征；μV、σV分別為V的均值和標準差；μS、σS分別為S的均值和標準差。

令 li,t(ui,t,vi,t)、si,t(wi,t,hi,t)、Ai,t和 Fi,t分別表示t時刻第i個目標的位置坐標、尺寸大小、重疊面積和特征矩陣，對于t時刻，任意目標i與t+Δt時刻任意目標j的相似度wij定義為

Pl表示位置相似度，用中心點坐標距離定義。待測目標的中心位置與標準算法目標中心位置的距離誤差值越小，則說明檢測結果越準確，用下式定義：

Ps表示尺寸相似度，用目標尺寸定義。待測目標的尺寸與標準算法目標尺寸越接近，則說明相似度誤差值越小，用下式定義：

Po表示目標重疊度，用下式定義：

Pf為特征矩陣相似度，用特征矩陣巴氏距離的指數形式進行定義：

式中，u、v、w、h分別為目標的坐標信息及寬度、高度信息。

4 試驗結果與分析

為了驗證開發(fā)的環(huán)境感知算法測試評價系統(tǒng)的有效性，采集一段高速工況圖像數據進行測試。預先在圖像幀中通過人工識取方法得到目標識別的標準結果，然后將測評系統(tǒng)測試得到的結果與人工識取得到的標準結果進行對比。

圖6a～圖6c分別為某段時間內的駕駛員輸入前輪轉角、車輛運行軌跡及車速信息，圖6d為識別得到的兩側車道線與本車之間的距離信息，虛實線分別為車輛距離左右側車道線的距離，圖6e為識別得到的前方目標車輛與本車之間的距離信息，圖6f為目標車輛與本車車速的差值信息。

圖6 車輛運動狀態(tài)Fig.6 Dynamic state of vehicle

圖7 所示為車輛運行軌跡相對應的六自由度平臺運動狀態(tài)。

環(huán)境感知算法測試場景見圖8，場景分別包含車道線漏檢與誤檢、車輛漏檢與誤檢、目標遮擋、相機抖動與光照突變等情況。圖8中深色矩形框2為人工識取結果，淺色矩形框1為本文開發(fā)的環(huán)境感知算法檢測結果。

圖9所示為檢測算法數據關聯結果，其中圖9a所示為位置相似度，用當前幀中的檢測目標中心位置與目標真實位置之間的距離誤差值定義，見式（30）；圖9b所示為當前幀中的檢測目標尺寸與目標真實尺寸的相似度，見式（31）；圖9c所示為當前幀中的檢測目標與目標真實值之間的重疊度，見式（32）；圖9d所示為當前幀中的檢測目標特征矩陣與目標真實特征矩陣的相似度，見式（33）。

圖7 六自由度平臺運動狀態(tài)Fig.7 Dynamic state of 6 DOF platform

圖8 環(huán)境感知檢測算法測試場景Fig.8 Scenario of environmental perception algorithm experiment

表1給出了檢測算法結果與人工識取結果在不同場景下的對比。由對比結果可知，本文建立的標準檢測算法和數據關聯檢測評價算法的識別結果與人工識取結果的吻合度較高，可較好地作為標準檢測算法。

圖9 數據關聯測試結果Fig.9 Experiment results of data association

圖10 所示為對某典型連續(xù)圖像幀的測試結果。圖10a所示為當前幀檢測所耗的時長；圖10b所示為當前幀圖像的清晰度，用圖像邊緣寬度表示；圖10c所示為當前幀圖像的曝光度，用圖像灰度直方圖表示。由測試結果可知，測評系統(tǒng)開發(fā)的基于機器學習的感知算法針對目標遮擋、曝光度、大曲率車道線等情況時，均能對目標進行有效識別。

表1 算法結果與人工識取結果對比Fig.1 Results comparison of algorithm and manually recognition

圖10 環(huán)境感知檢測算法測試結果Fig.10 Experiment results of environmental perception algorithm

5 結論

（1）針對智能汽車環(huán)境感知算法開發(fā)多借助于實車測試，受道路環(huán)境條件限制等問題，開發(fā)了基于硬件在環(huán)仿真平臺和六自由度駕駛模擬器的智能汽車環(huán)境感知算法測試評價系統(tǒng)。系統(tǒng)采用真實交通場景作為系統(tǒng)的輸入場景信息，借助六自由度運動平臺輸入真實道路場景信息。

（2）基于機器學習和數據關聯開發(fā)了環(huán)境感知測試評價算法，將系統(tǒng)測評結果與人工識取結果進行對比。測試結果表明，開發(fā)的環(huán)境感知測試評價算法針對光照、遮擋、大曲率彎曲道路等情況時，均能準確檢測到車道線和目標車輛，可有效代替人工識取結果。

（3）該系統(tǒng)方案可行、實時性較好，能為智能汽車環(huán)境感知算法開發(fā)和測試提供真實、有效、可靠的評價手段，能顯著提高算法開發(fā)和測試效率。