基于單應性變換的可見光與毫米波雷達數(shù)據(jù)標定方法

盧 鋒， 陳 震， 張聰炫， 葛利躍， 張 陀

（1. 南昌航空大學 測試與光電工程學院，南昌 330063； 2. 南昌航空大學 信息工程學院，南昌 330063；3. 中國人民解放軍第五七一九工廠，成都 610000）

引 言

基于多傳感器信息融合的環(huán)境感知技術是利用兩個或多個不同傳感器的冗余和互補信息完成對環(huán)境進行更加可靠、準確的描述[1]。21 世紀以來，隨著傳感器成像質量和探測精度的大幅提升，該項技術已被廣泛應用于無人機自主巡航、軍事目標探測與打擊、車輛輔助駕駛以及視障人群視覺增強等社會生產(chǎn)生活的諸多領域。在多傳感器數(shù)據(jù)融合系統(tǒng)中，不同傳感器對目標的空間坐標描述各不相同，將傳感器數(shù)據(jù)統(tǒng)一到同一空間坐標系上進行標定是實現(xiàn)多傳感器數(shù)據(jù)融合的基礎。

目前，國內(nèi)外介紹測距傳感器（如雷達、激光）與可見光傳感器的標定方法主要分為兩步，即可見光傳感器的內(nèi)參標定和毫米波雷達或激光雷達與可見光傳感器的外部標定[2-3]?？梢姽鈧鞲衅鞯膬?nèi)參標定已經(jīng)發(fā)展非常成熟了，有很多可直接使用的方法[4-5]?，F(xiàn)有關于毫米波雷達與可見光傳感器外部標定的文獻較少，其中多數(shù)標定方法是通過建立毫米波雷達坐標系、世界坐標系、可見光傳感器坐標系、圖像坐標系以及像素坐標系之間的空間坐標轉換關系，從而求得雷達掃描平面坐標系與可見光圖像像素坐標系之間的轉換矩陣[6-9]，此類標定方法存在操作步驟繁瑣、標定可靠性低等問題，難以滿足實際應用需求。本文針對毫米波雷達與可見光傳感器的外部標定方法進行研究，提出了一種基于單應性變換的傳感器標定方法，有效提高了傳感器標定的效率與精度。

1 毫米波雷達數(shù)據(jù)處理

本文選用的毫米波雷達為DelphiESR 2.5，該款毫米波雷達最多可同時返回64 個目標信息，其中存在一些空信號、噪聲干擾信號、靜止目標以及虛假目標信號，因此需要對雷達數(shù)據(jù)進行預處理，剔除無效目標數(shù)據(jù)。此外，為了獲得穩(wěn)定有效的雷達目標數(shù)據(jù)，本文采用濾波算法對預處理后的雷達目標進行跟蹤。在實際應用場景中，目標（如車輛、行人）的運動通常是非線性運動，需要建立非線性運動模型，本文采用擴展卡爾曼濾波算法（Extended Kalman Filter，EKF）對目標的運動軌跡進行預測和更新[10]。

如表1 所示為隨機抽取的兩個周期內(nèi)部分雷達原始數(shù)據(jù)。經(jīng)過上述雷達數(shù)據(jù)處理操作后，得到如表2 所示的有效目標數(shù)據(jù)。對上述雷達目標數(shù)據(jù)進行可視化，結果如圖1 所示，其中圖1a 為可見光數(shù)據(jù)幀，圖1b 為對應時刻的雷達原始目標數(shù)據(jù)可視化結果。由圖可以直觀發(fā)現(xiàn)，未經(jīng)處理的雷達原始數(shù)據(jù)存在許多噪聲，采用雷達數(shù)據(jù)處理算法，可以從諸多繁雜目標中選出有效目標。圖2 所示為雷達數(shù)據(jù)處理后的有效目標可視化結果，圖中3 個目標分別對應表2 中3 組目標數(shù)據(jù)。

圖2 雷達目標濾波結果示意圖

表1 毫米波雷達探測的原始目標數(shù)據(jù)

表2 雷達探測的有效目標數(shù)據(jù)

2 基于單應性變換的毫米波雷達與可見光傳感器標定

考慮到現(xiàn)有的傳感器標定方法存在操作步驟繁瑣、標定精度低等問題，本文提出一種簡單、易操作的毫米波雷達與可見光傳感器標定方法。

基于毫米波雷達掃描平面與地面平行的特點，本文利用雷達掃描平面和可見光圖像平面之間的單應性變換關系，利用點對齊的方法來估計單應性變換矩陣[11]，從而實現(xiàn)毫米波雷達與可見光傳感器之間的數(shù)據(jù)標定。其中點對齊的方法表示為雷達掃描平面的一個點目標轉換到可見光圖像平面上對應位置用一個像素點表示，此時雷達目標點與該像素點為一組對齊點。如圖3 所示為標定場景與標定物示意圖，其中圖3a 所示為本文設定的標定場。在標定場中放置六塊30 cm × 30 cm 大小的金屬面板，同時獲取標定場中金屬面板的毫米波雷達數(shù)據(jù)與可見光圖像，基于點對齊方法獲取六組雷達目標與可見光目標的對齊目標點集。

圖3 標定場景與標定物示意圖

以下為推導求解雷達掃描平面坐標系與可見光圖像平面坐標系之間變換的單應性矩陣的過程：

如圖4 所示，以上分析可得運動目標在雷達平面坐標系下的位置坐標 (xr,yr)和可見光圖像平面坐標系下的位置坐標 (u,v)之間的齊次坐標轉換關系，如式（2）所示，其中s表示尺度因子，由于轉換過程為剛性運動，故令s=1。

圖4 坐標系轉換示意圖

3×3的 矩陣R和 3×1的 向量t分別表示毫米波雷達坐標系與可見光傳感器坐標系之間的旋轉矩陣和平移向量，3 × 3 的矩陣M表示可見光傳感器的內(nèi)參，3 × 4 的矩陣T表示毫米波雷達坐標系與可見光傳感器坐標系之間的轉換矩陣。針對求解轉換矩陣T的復雜性問題，本文基于雷達掃描平面與地面平行的特點，利用雷達掃描平面和可見光圖像平面之間的單應性變換關系，可將式（2）轉換為式（3），從而避免了求取內(nèi)參矩陣M、旋轉矩陣R和平移向量t，簡化了標定過程，減少了額外誤差的引入。

上述過程即可求解雷達掃描平面坐標系與可見光圖像平面坐標系轉換的單應性矩陣H，即毫米波雷達與可見光傳感器之間的標定矩陣。

3 實驗與分析

為了驗證本文提出的傳感器標定方法的效率和精度，將本文方法與文獻[12]和文獻[13]的標定方法分別在晴天、傍晚、雨天等不同天氣條件以及存在自然光干擾和近距離大目標等多個場景下進行實驗測試，實驗結果如圖5 所示。圖中圓點為雷達目標點經(jīng)過標定之后投射到可見光圖像上的可視化結果，由圖中標定結果可直觀發(fā)現(xiàn)，本文標定方法與文獻[12]、文獻[13]標定方法相比，能夠更準確的將雷達目標標定到對應可見光圖像目標的中心位置附近。

為了定量分析本文方法標定精度，分別統(tǒng)計了在多個不同場景下3 種方法標定誤差的平均值，誤差值表示為雷達目標標定位置與對應圖像目標的中心位置之間的像素差值。統(tǒng)計結果如表3 所示，具體分析如下：

表3 標定誤差平均值統(tǒng)計

1）針對同一場景橫向分析，本文方法較其他兩種方法的標定精度均具有顯著的提升。

2）針對不同場景縱向分析，3 種標定方法在不同場景下的標定誤差均有所不同，對于近距離目標，如圖5a、圖5b、圖5c 和圖5m、圖5n、圖5o所示，三種方法的標定誤差較其他場景均有所降低，但本文方法表現(xiàn)最出色；對于遠距離小目標，如圖圖5d、圖5e、圖5f 所示，其他兩種方法的標定誤差相對較大，但本文標定方法的精度依然很穩(wěn)定。

圖5 多場景標定結果

3）針對不同天氣情況分析，天氣狀況對三種方法的標定效果影響不大。

綜上分析，本文標定方法與現(xiàn)有的標定方法相比，不僅操作步驟簡單、標定效率高，且標定可靠性高、魯棒性好，能夠適應各種不同復雜場景。

4 結 論

針對現(xiàn)有的傳感器標定方法操作步驟繁瑣、標定精度低等問題，本文提出了一種基于單應性變換的毫米波雷達與可見光傳感器標定方法；基于雷達掃描平面與地面平行的特點，利用雷達掃描平面和可見光圖像平面之間的單應性變換關系，基于點對齊方法的偽逆來估計單應性變換矩陣；最少只需要四組對齊點即可求得單應性變換矩陣，從而完成可見光與毫米波雷達的標定。實驗結果，表明本文標定方法簡單易操作、且標定精度高。