基于多傳感器數(shù)據(jù)融合的攝像頭數(shù)據(jù)預(yù)處理研究

沈平，楊國平

（201620 上海 上海工程技術(shù)大學(xué) 機械與汽車工程學(xué)院）

0 引言

汽車新技術(shù)的快速發(fā)展逐漸改變著人們的生活方式。汽車技術(shù)不僅加快了不同地區(qū)人們的交流，而且促進了不同地區(qū)的互利共贏[1]。智能輔助駕駛系統(tǒng)（Advanced Driver Assistance System，ADAS）是智能汽車主動安全的重要組成部分，傳感器則是實現(xiàn) ADAS 感知的基石，直接影響智能駕駛車輛（Intelligent driving vehicle，IDV）的決策和控制。不同的傳感器采集周圍環(huán)境信息各有優(yōu)勢與不足。如Camera 可以獲取較豐富的信息量，包括目標的種類、目標物與本車的相對距離、車道線等信息，但Camera 容易受到光照條件和天氣等環(huán)境因素的影響而導(dǎo)致識別目標信息不精確；特別是安裝在主車的 CalmCar 攝像頭，由于自身參數(shù)特性和主車在行駛中的顛簸抖動，識別結(jié)果會出現(xiàn)空目標和虛假目標現(xiàn)象。為解決這一問題，MAHLISCHL[2]等人提出基于時空對齊理論，搭建時空對準視覺和多波束激光雷達測量的傳感器融合系統(tǒng)，同時進行短程-遠程 Radar 和Camera 數(shù)據(jù)的校準；LAGHMARAA[3]等人基于 Camera 和 Radar 建立數(shù)據(jù)關(guān)聯(lián)模型，以Radar 數(shù)據(jù)為參考修正Camera 數(shù)據(jù)；孫青[4]等人提出了基于 Radar 的障礙物檢測算法，在傳統(tǒng) SSD 算法基礎(chǔ)上改進識別算法，添加反卷積網(wǎng)絡(luò)層，提高識別目標的精度，通過建立各坐標系的轉(zhuǎn)換關(guān)系最終驗證了該算法的有效性。

為了提高Camera 數(shù)據(jù)的精度，本文對于Camera 采用改進的 GNN 數(shù)據(jù)關(guān)聯(lián)的方法，根據(jù)實時的需求動態(tài)調(diào)整關(guān)聯(lián)閾值，提高 Camera 采集數(shù)據(jù)與實際目標匹配精度。

1 有效目標初選

將CalmCar 采集的前方目標與主車的相對距離（S）、車速（V）和加速度（a）進行數(shù)據(jù)分析，通過多個周期跟蹤判斷，得出結(jié)論：假如CalmCar采集的S、V 和a 的最值沒有發(fā)生變化，可以斷定采集的目標為噪聲信息，即為虛假目標。圖1 所示為攝像頭初選采集前方目標信息顯示圖。

圖1 攝像頭識別信號圖Fig.1 Camera acquisition signal diagram

如圖2 所示為攝像頭Camera 在15 s 內(nèi)識別周圍目標物ID 與主車相對距離曲線圖，圖2 中的曲線代表不同目標物ID 信息，縱坐標是主車與識別目標的相對距離。因為沒有經(jīng)過預(yù)處理，所以圖2中存在如左上角直線所表示的虛假目標信息。

圖2 視覺識別前方目標物實時距離圖Fig.2 Visually collecting real-time distance map of front target

2 數(shù)據(jù)關(guān)聯(lián)

2.1 全局最鄰近（GNN）數(shù)據(jù)關(guān)聯(lián)

經(jīng)過有效目標的初選后，剔除部分虛假目標等干擾信息，仍會出現(xiàn)Camera 檢測的數(shù)據(jù)與實際目標無法一一對應(yīng)的情況，本文采用目標數(shù)據(jù)關(guān)聯(lián)的方法解決此問題。數(shù)據(jù)關(guān)聯(lián)是將某一時刻傳感器識別的多目標信息與實際目標信息相匹配的過程。

目前常用的多目標數(shù)據(jù)跟蹤算法主要有最近鄰（NN）方法、全局最近鄰（GNN）、概率數(shù)據(jù)關(guān)聯(lián)（PDA）和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)（JPDA），考慮到計算復(fù)雜度和設(shè)備性能，本文采用改進的GNN 方法。GNN 的一個關(guān)鍵步驟是生成代價矩陣。計算公式為

式中：εij（k+1）——第i 次采集數(shù)據(jù)的關(guān)聯(lián)與第j次實際測量產(chǎn)生的新數(shù)據(jù)；——第i 條關(guān)聯(lián)的預(yù)測狀態(tài)估計值；Zj（k+1）——第i 次采集數(shù)據(jù)的實際測量值；Sij（k+1）——εij（k+1）的協(xié)方差；cost（i，j）——第i 次關(guān)聯(lián)與第j 次實際測量代價函數(shù)。代價矩陣如表1 所示。

表1 代價函數(shù)檢測表Tab.1 Cost function detection

在 k 時刻有3 個有效目標跟蹤值，3 個真實測量值，此時代價矩陣為 3×3 矩陣。將數(shù)據(jù)關(guān)聯(lián)的問題轉(zhuǎn)換為數(shù)值分配問題，其中匈牙利算法是一種求解分配問題的組合優(yōu)化算法。與此同時，在代價矩陣中需要考慮關(guān)聯(lián)閾值，表達式如下：

表2 是代價函數(shù)檢測表，INF 為變量的最大值，表示傳感器探測到的 3、4 和5 數(shù)值沒有被目標跟蹤。

表2 代價函數(shù)檢測表Tab.2 Cost function detection

2.2 關(guān)聯(lián)閾值的確定

關(guān)聯(lián)閾值決定Camera 識別數(shù)據(jù)與實際目標匹配精度。在整個過程中關(guān)聯(lián)閾值不能為固定值，需要實時調(diào)整。如圖3 所示，設(shè)定閾值關(guān)聯(lián)閾值為3σ。關(guān)聯(lián)閾值主要由兩部分組成，一個是置信區(qū)間即符合正態(tài)分布的方差σ，另一個為方差的權(quán)重系數(shù)。根據(jù)實時的需求動態(tài)調(diào)整關(guān)聯(lián)閾值，不僅可以調(diào)整置信區(qū)間σ，還可以調(diào)整σ的權(quán)重系數(shù)。由于權(quán)重系數(shù)是一個與置信區(qū)間有關(guān)的值，因此權(quán)重系數(shù)的選擇需要在確定置信區(qū)間后進行實時的設(shè)定。在多傳感器數(shù)據(jù)融合過程中，可以根據(jù)不同類型傳感器各自的特點分別進行不同的置信區(qū)間的設(shè)定，并且要使用相同的權(quán)重系數(shù)[5-7]。

圖3 關(guān)聯(lián)閾值設(shè)定區(qū)間分布圖Fig.3 Correlation threshold setting interval distribution chart

在目標跟蹤的過程中，Sij（k+1）主要取決于H、Pi（k+1│k）和Rj（k+1），在傳感器融合策略中，主要運用了集中式融合策略，在融合中心進行不同傳感器識別數(shù)據(jù)的處理。假設(shè)經(jīng)過融合處理后的被預(yù)測的軌跡是正確的，表明在上述表達式中特性的軌跡Pi（k+1│k）是正確的。當(dāng)建立測量方程相等時，即H相等，只需要改變測量噪聲Rj（k+1）即可以實現(xiàn)對Sij（k+1）的調(diào)節(jié)。

3 虛擬仿真與實車驗證

3.1 Prescan 與Simulink 聯(lián)合仿真

采用Prescan 與Simulink 聯(lián)合仿真平臺進行仿真驗證，選擇合適的攝像頭傳感器和參數(shù)配置。然后進行道路環(huán)境的構(gòu)建及布局，盡量符合實際項目中環(huán)境要素。同時，構(gòu)建一些典型工況通過3D 視圖對仿真結(jié)果進行顯示和評價分析。

場景創(chuàng)建時，利用仿真軟件中道路和基礎(chǔ)設(shè)施模塊、車輛模塊和行人模塊，添加天氣設(shè)置創(chuàng)建交通場景，模擬真實道路，進行直道和彎道結(jié)合的工況的虛擬仿真驗證。圖4 為在Prescan 仿真軟件場景下構(gòu)建的示意圖。

圖4 Prescan 場景創(chuàng)建示意圖Fig.4 Prescan scene creation diagram

圖5（a）為視覺初選目標的曲線圖?？梢苑治龅贸觯跊]經(jīng)過數(shù)據(jù)預(yù)處理的狀況下，攝像頭探測的目標信息與實際的目標信息探測值不一致，無法保證通過攝像頭采集的每一個目標信息都與實際目標信息保持一致。圖5（b）為經(jīng)過目標關(guān)聯(lián)后的攝像頭感知目標信息。分析圖5（b）曲線，可以從原始目標序列中篩選出5 個有效目標。仿真對比驗證后，得出結(jié)論：關(guān)聯(lián)后的目標信息可以保證視覺探測目標與實際目標相一致。

圖5 攝像頭目標預(yù)處理圖Fig.5 Camera target preprocessing image

3.2 實車驗證

采用之前有效目標初選后的數(shù)據(jù)，利用改進的 GNN 數(shù)據(jù)關(guān)聯(lián)的方法，根據(jù)實時的需求動態(tài)調(diào)整關(guān)聯(lián)閾值，進行優(yōu)化Camera 的數(shù)據(jù)，得到如圖6 所示的優(yōu)化后的數(shù)據(jù)。

圖6 目標數(shù)據(jù)關(guān)聯(lián)后識別有效目標距離曲線Fig.6 Identifying the effective target distance curve after target data associated

從圖6 中分析得出，在主車保持以一定速度勻速行駛的條件下，經(jīng)過預(yù)處理后僅存在4 個有效目標物ID 信息，其中有效目標1 在3.7～5.8 s時間段存在目標丟失的情形；有效目標2 在行駛過程中與主車的相對距離從23 m 增長到44 m；有效目3 在行駛過程中與主車的相對距離從10.3 m 增長到39.0 m；有效目標4 在行駛過程中有減速的行為，與主車的相對距離在16.5～24.0 m 之間。從實際識別目標運動狀態(tài)與數(shù)據(jù)曲線可知，經(jīng)過數(shù)據(jù)關(guān)聯(lián)后的Camera 可以剔除不可信的虛假目標信息。

4 結(jié)論

本文主要研究Camera 原始信號的預(yù)處理。對于Camera 采用改進的GNN 數(shù)據(jù)關(guān)聯(lián)的方法，根據(jù)實時的需求動態(tài)調(diào)整關(guān)聯(lián)閾值，提高Camera 采集數(shù)據(jù)與實際目標匹配精度。試驗驗證結(jié)果表明：通過對Camera 原始信號的預(yù)處理，可以篩選更加精確的有效目標，剔除了不可信的干擾信號。為后續(xù)數(shù)據(jù)融合提供了更加可靠的Camera 數(shù)據(jù)。