基于單應(yīng)性變換的雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)映射方法研究

王彥平 崔喜偉 李 洋

（北方工業(yè)大學(xué)信息學(xué)院雷達(dá)監(jiān)測(cè)技術(shù)實(shí)驗(yàn)室，北京 100144）

1 引言

毫米波雷達(dá)與光學(xué)攝像頭信息融合可提升其全天候、全天時(shí)的感知魯棒性，提升目標(biāo)的深度、速度等屬性的預(yù)測(cè)精度，彌補(bǔ)雷達(dá)點(diǎn)云語(yǔ)義特征信息弱、高度缺失及分類能力的不足，廣泛應(yīng)用于自動(dòng)駕駛、移動(dòng)機(jī)器人等領(lǐng)域［1］。SLAM（Simultaneous Localization And Mapping，SLAM）即同時(shí)定位和構(gòu)圖，是指搭載特定傳感器的主體在運(yùn)動(dòng)過(guò)程中通過(guò)重復(fù)觀測(cè)到的環(huán)境特征來(lái)獲取自身定位信息，再根據(jù)定位信息構(gòu)建周圍環(huán)境的增量式地圖。根據(jù)傳感器類型可分為視覺(jué)SLAM、激光SLAM和毫米波SLAM。因其重要的學(xué)術(shù)價(jià)值和應(yīng)用價(jià)值，一直被認(rèn)為是實(shí)現(xiàn)自動(dòng)駕駛的關(guān)鍵技術(shù)［2］。由于毫米波雷達(dá)點(diǎn)云稀疏，運(yùn)動(dòng)積累多幀點(diǎn)云構(gòu)建的占據(jù)柵格地圖目標(biāo)視覺(jué)語(yǔ)義特征不強(qiáng)，難以通過(guò)自監(jiān)督學(xué)習(xí)提升目標(biāo)檢測(cè)模型精度。因此，常需要將毫米波雷達(dá)柵格坐標(biāo)映射至光學(xué)像素坐標(biāo)，與光學(xué)圖像中強(qiáng)語(yǔ)義信息融合，作為雷達(dá)目標(biāo)檢測(cè)訓(xùn)練的交叉監(jiān)督數(shù)據(jù)來(lái)源［3］。

毫米波雷達(dá)與攝像頭坐標(biāo)映射方法可分為兩大類，基于坐標(biāo)變換方法和基于單應(yīng)性變換原理方法。文獻(xiàn)［4-6］中將毫米波雷達(dá)點(diǎn)云數(shù)據(jù)中的一個(gè)點(diǎn)作為一個(gè)目標(biāo)，經(jīng)過(guò)每一幀的坐標(biāo)轉(zhuǎn)換關(guān)系，將目標(biāo)點(diǎn)從雷達(dá)坐標(biāo)系映射至像素坐標(biāo)系。文獻(xiàn)［7-10］利用毫米波雷達(dá)與攝像機(jī)的標(biāo)定矩陣，將單幀雷達(dá)點(diǎn)從世界坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系平面?；谧鴺?biāo)變換的方法，其過(guò)程計(jì)算復(fù)雜，只應(yīng)用于雷達(dá)坐標(biāo)系單幀點(diǎn)云與光學(xué)像素坐標(biāo)系之間存在固定關(guān)系的映射。張富有［11］在論文中通過(guò)設(shè)計(jì)多種實(shí)驗(yàn)完成攝像頭內(nèi)參數(shù)以及毫米波雷達(dá)與光學(xué)攝像頭三軸旋轉(zhuǎn)自由度的標(biāo)定，從而實(shí)現(xiàn)了毫米波雷達(dá)點(diǎn)云與圖像像素?cái)?shù)據(jù)間的映射。這種方法的目的是通過(guò)標(biāo)定求解出光學(xué)攝像頭與毫米波雷達(dá)的空間轉(zhuǎn)換關(guān)系。其方法對(duì)相機(jī)內(nèi)參數(shù)有很高的標(biāo)定精度，并且三軸旋轉(zhuǎn)自由度標(biāo)定時(shí)選擇合適的標(biāo)定特征物體較為困難。因此，文獻(xiàn)［12］提出了一種利用單應(yīng)性變換原理的交通監(jiān)測(cè)毫米波雷達(dá)與攝像頭標(biāo)定方法。該方法只需提取交通監(jiān)測(cè)場(chǎng)景中目標(biāo)在兩傳感器中對(duì)應(yīng)的坐標(biāo)點(diǎn)對(duì)，通過(guò)求解單應(yīng)性矩陣即可標(biāo)定出傳感器間的映射關(guān)系，實(shí)現(xiàn)毫米波雷達(dá)單幀點(diǎn)云映射至光學(xué)圖像，但未分析高度變化對(duì)映射方法的影響。單應(yīng)性變換可以表示現(xiàn)實(shí)中目標(biāo)物的位置和其圖像像素之間的映射關(guān)系，也可以用來(lái)表示兩個(gè)平面之間的映射關(guān)系［13-15］?；趩螒?yīng)性變換原理的方法較坐標(biāo)轉(zhuǎn)換方法計(jì)算簡(jiǎn)單，應(yīng)用場(chǎng)景為靜止雷達(dá)和攝像頭設(shè)備固定，被觀測(cè)目標(biāo)運(yùn)動(dòng)的場(chǎng)景，光學(xué)圖像像素坐標(biāo)系與雷達(dá)坐標(biāo)系間都存在固定的轉(zhuǎn)換關(guān)系。但本文所針對(duì)的場(chǎng)景為雷達(dá)和攝像頭設(shè)備運(yùn)動(dòng)，被觀測(cè)目標(biāo)靜止，占據(jù)柵格地圖所在的坐標(biāo)系隨時(shí)間變化。較文獻(xiàn)［13-15］，本文將單應(yīng)性變換應(yīng)用到坐標(biāo)系間映射關(guān)系隨時(shí)間變化的情況中。

針對(duì)上述問(wèn)題，本文提出以雷達(dá)坐標(biāo)系為橋梁，通過(guò)單應(yīng)性變換建立全局坐標(biāo)系與光學(xué)像素坐標(biāo)系的映射關(guān)系，以解決雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)之間的映射關(guān)系問(wèn)題，并分析映射精度影響及有效性條件。

論文第2節(jié)闡述了與映射方法相關(guān)的坐標(biāo)系定義，以及全局柵格坐標(biāo)系與像素坐標(biāo)系間的映射參數(shù)估計(jì)方法，第3節(jié)論述了誤差模型，并分析有效性條件，第4節(jié)實(shí)驗(yàn)與驗(yàn)證，用實(shí)際采集數(shù)據(jù)驗(yàn)證算法能夠?qū)崿F(xiàn)映射，第5節(jié)為總結(jié)。

2 全局坐標(biāo)系與像素坐標(biāo)系間的映射參數(shù)估計(jì)方法

2.1 坐標(biāo)系定義

本文將毫米波雷達(dá)坐標(biāo)系定義為局部坐標(biāo)系，雷達(dá)運(yùn)動(dòng)積累多幀點(diǎn)云構(gòu)成的占據(jù)柵格地圖定義為全局坐標(biāo)系，光學(xué)圖像中的坐標(biāo)系定義為像素坐標(biāo)系。

圖1 局部坐標(biāo)系示意圖Fig.1 Schematic diagram of the local coordinate system

在雷達(dá)獲取第一幀局部坐標(biāo)基礎(chǔ)上，以雷達(dá)運(yùn)動(dòng)起點(diǎn)為全局坐標(biāo)系原點(diǎn)，局部坐標(biāo)系中的測(cè)量方位軸為全局坐標(biāo)系x軸，局部坐標(biāo)系中測(cè)量距離軸為全局坐標(biāo)系y軸。設(shè)全局坐標(biāo)系下的柵格坐標(biāo)為(xm，ym)，xm為雷達(dá)全局坐標(biāo)系測(cè)量距離軸的坐標(biāo)，ym為測(cè)量方位的坐標(biāo)，單位為m。如圖2所示。

圖2 全局坐標(biāo)系示意圖Fig.2 Global coordinate system diagram

設(shè)像素坐標(biāo)系下的點(diǎn)為(ui，vi)，以光學(xué)圖像左上角頂點(diǎn)位置為坐標(biāo)原點(diǎn)，ui為第i幀光學(xué)圖像u軸的坐標(biāo)，vi為v軸的坐標(biāo)，單位為像素。根據(jù)毫米波雷達(dá)與攝像頭的時(shí)間同步，像素坐標(biāo)系的第i幀與局部坐標(biāo)的第i幀相對(duì)應(yīng)。如圖3所示。

圖3 像素坐標(biāo)系示意圖Fig.3 Schematic diagram of the pixel coordinate system

2.2 局部坐標(biāo)系與全局坐標(biāo)系間的映射參數(shù)估計(jì)

SLAM 技術(shù)依托于毫米波雷達(dá)、攝像頭等傳感器不僅可以對(duì)自身位置軌跡和姿態(tài)進(jìn)行估計(jì)，還可以通過(guò)構(gòu)圖對(duì)觀測(cè)到的目標(biāo)進(jìn)行定位和視覺(jué)表征，在低成本2D毫米波雷達(dá)同步定位與構(gòu)圖方法中，雷達(dá)點(diǎn)云占據(jù)柵格概率是廣泛應(yīng)用的多角度觀測(cè)匹配特征［16］。通過(guò)全局坐標(biāo)系下的待估位姿參數(shù)，將多角度局部坐標(biāo)系下采集的多幀點(diǎn)云轉(zhuǎn)換到統(tǒng)一的全局坐標(biāo)系下，并由此計(jì)算每個(gè)柵格位置被點(diǎn)云擊中的概率。相鄰幀間可重復(fù)觀測(cè)到的目標(biāo)越多，則同一柵格的概率積累越大，雷達(dá)位姿估計(jì)越準(zhǔn)確。當(dāng)不同幀對(duì)同一位置是否被擊中的結(jié)論存在矛盾時(shí)，概率累計(jì)減小，位姿估計(jì)誤差更大。因此，只有最優(yōu)位姿估計(jì)才能使全圖的占據(jù)柵格地圖聯(lián)合概率最大，從而實(shí)現(xiàn)雷達(dá)自定位。

雷達(dá)運(yùn)動(dòng)的同時(shí)對(duì)周圍環(huán)境進(jìn)行單幀及多幀點(diǎn)云匹配、位姿估計(jì)修正及構(gòu)圖運(yùn)算。根據(jù)逐幀位姿，估計(jì)每個(gè)全局柵格被擊中的概率大小并持續(xù)更新地圖。最終生成占據(jù)柵格地圖為運(yùn)動(dòng)多幀積累的圖像，與雷達(dá)單幀點(diǎn)云相比有強(qiáng)反射目標(biāo)的輪廓、位置分布等語(yǔ)義信息，在一定程度上彌補(bǔ)了雷達(dá)單幀點(diǎn)云稀疏性的缺陷。

全局坐標(biāo)系下的柵格坐標(biāo)根據(jù)首幀位姿將局部坐標(biāo)系下的點(diǎn)經(jīng)過(guò)剛體變換轉(zhuǎn)換而來(lái)，其過(guò)程需經(jīng)過(guò)旋轉(zhuǎn)、平移等轉(zhuǎn)換，示意圖如圖4所示。

圖4 局部坐標(biāo)系與全局坐標(biāo)系映射示意圖Fig.4 Diagram of local and global coordinate system mapping

設(shè)首幀幀位姿為pose=（tx，ty，θ），tx為全局坐標(biāo)系下x方向的平移，ty為全局坐標(biāo)系下y方向的平移，θ為旋轉(zhuǎn)角。設(shè)局部坐標(biāo)系中坐標(biāo)與全局坐標(biāo)系中的柵格坐標(biāo)旋轉(zhuǎn)關(guān)系為R，公式如（1）所示

由此可以得到全局坐標(biāo)系與局部坐標(biāo)系映射關(guān)系。其含義是在局部坐標(biāo)系獲取第一幀點(diǎn)云坐標(biāo)時(shí)，SLAM 過(guò)程估計(jì)出首幀位姿，隨著幀數(shù)的增加，其余幀的局部坐標(biāo)系與全局坐標(biāo)系根據(jù)首幀位姿的轉(zhuǎn)換關(guān)系實(shí)現(xiàn)映射。i(i=1，2，3…)為局部坐標(biāo)系與全局坐標(biāo)系的幀號(hào)。

2.3 局部坐標(biāo)系與像素坐標(biāo)系間的映射參數(shù)估計(jì)

毫米波雷達(dá)與攝像頭運(yùn)動(dòng)狀態(tài)中，隨著局部坐標(biāo)系中的幀數(shù)變化，全局坐標(biāo)系中的柵格坐標(biāo)處于持續(xù)更新?tīng)顟B(tài)。由兩傳感器時(shí)間同步關(guān)系可得出，像素坐標(biāo)系中，與局部坐標(biāo)系處于同一幀的光學(xué)圖像隨時(shí)間的積累，幀數(shù)也在不斷增加。但在運(yùn)動(dòng)過(guò)程中，毫米波雷達(dá)與攝像頭的幾何關(guān)系未發(fā)生改變，所以局部坐標(biāo)系與全局坐標(biāo)系的幾何標(biāo)定關(guān)系不變。因此，隨著幀數(shù)的增加，每幀的局部坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系不變。

圖5 毫米波雷達(dá)與攝像頭平面關(guān)系Fig.5 Millimeter-wave radar and camera plane relationship

由此可以得到局部坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系單應(yīng)性矩陣H，其中S為常數(shù)，作為縮放因子使用，使等式兩側(cè)全等。

2.4 全局坐標(biāo)系與像素坐標(biāo)系間的映射參數(shù)估計(jì)

由2.2、2.3 節(jié)所述，雷達(dá)運(yùn)動(dòng)積累多幀點(diǎn)云構(gòu)建的占據(jù)柵格地圖可獲取比單幀雷達(dá)數(shù)據(jù)更強(qiáng)的幾何語(yǔ)義特征信息，實(shí)現(xiàn)雷達(dá)自定位的同時(shí)在全局坐標(biāo)系下建立周圍環(huán)境的占據(jù)柵格地圖，得出局部坐標(biāo)系首幀點(diǎn)云與全局坐標(biāo)系的剛體變換關(guān)系，以實(shí)現(xiàn)局部坐標(biāo)系與全局坐標(biāo)系的映射；然后通過(guò)對(duì)毫米波雷達(dá)與攝像機(jī)幾何關(guān)系標(biāo)定，由單應(yīng)性原理得出局部坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系。最后以局部坐標(biāo)系為橋梁，利用單應(yīng)性變換構(gòu)建起全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系。整體映射流程如圖6所示。

圖6 空間映射流程圖Fig.6 Spatial mapping flowchart

將全局坐標(biāo)系中的目標(biāo)點(diǎn)坐標(biāo)提取出來(lái)，并將提取出的坐標(biāo)與局部坐標(biāo)系中的目標(biāo)點(diǎn)形成一對(duì)匹配點(diǎn)，通過(guò)局部坐標(biāo)系與像素坐標(biāo)系的單應(yīng)性變換關(guān)系可以得出目標(biāo)點(diǎn)的像素坐標(biāo)。由此，以局部坐標(biāo)系為橋梁，通過(guò)單應(yīng)性變換原理，經(jīng)過(guò)對(duì)公式（2）、（3）進(jìn)行矩陣變換，得出全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系如下：

對(duì)公式（3）做變換后得出公式（4）

將公式（4）帶入公式（2）得到公式（5）

由此可得出全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系，分別求解出局部坐標(biāo)系與全局坐標(biāo)系的剛體變換、局部坐標(biāo)系與像素坐標(biāo)系映射關(guān)系的單應(yīng)性矩陣H，以局部坐標(biāo)為橋梁，最后利用單應(yīng)性變換原理，通過(guò)公式（5）完成雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)的映射。S為常數(shù)，作為縮放因子使用，使等式兩側(cè)全等。

2.5 單應(yīng)性矩陣參數(shù)求解

2.4節(jié)中公式（5）得出全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系，單應(yīng)性矩陣為3×3 的矩陣，由于毫米波雷達(dá)與攝像頭的幾何關(guān)系不改變，所以H矩陣不發(fā)生改變。H中都有九個(gè)參數(shù)，以求解單應(yīng)性矩陣H為例，根據(jù)公式（3）可得到公式（6）：

將公式（6）展開(kāi)可得到公式（7）：

若兩平面存在N個(gè)對(duì)應(yīng)的目標(biāo)點(diǎn)則：

將公式（8）表示為

公式（9）中Z為2N×9 的矩陣N特征點(diǎn)數(shù)量，h為9×1的矩陣為單應(yīng)性矩陣H中的九個(gè)參數(shù)，最少需要4 個(gè)不共線的特征點(diǎn)對(duì)求解出單應(yīng)性矩陣，并且對(duì)于這種超定方程組可以通過(guò)最小二乘法求解［15］。

3 誤差模型

根據(jù)第2 節(jié)原理所述，介紹了基于單應(yīng)性變換的雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)映射方法。單應(yīng)性變換在構(gòu)建坐標(biāo)系間映射關(guān)系時(shí)如果一定數(shù)量的特征點(diǎn)對(duì)即可求解出單應(yīng)性矩陣，并由公式（8）可知單應(yīng)性矩陣實(shí)際是一種超定方程組，從方程組求解角度來(lái)說(shuō)至少需要四對(duì)不共線的特征點(diǎn)對(duì)。因此，特征點(diǎn)對(duì)的數(shù)量多少對(duì)映射精度影響需做進(jìn)一步分析。由公式（2）可知，在局部坐標(biāo)系與像素坐標(biāo)系標(biāo)定幾何映射關(guān)系過(guò)程中，局部坐標(biāo)需與像素坐標(biāo)為一對(duì)匹配點(diǎn)。當(dāng)雷達(dá)與攝像頭處于不同高度時(shí)，特征點(diǎn)在像素坐標(biāo)系下的位置不同，所以同一特征點(diǎn)不同高度下在局部坐標(biāo)系與像素坐標(biāo)系中的匹配點(diǎn)發(fā)生改變，從而使得單應(yīng)性矩陣發(fā)生改變。通過(guò)上述分析，本文將誤差模型構(gòu)建為公式（10）所示：

在公式（10）中，er為誤差，n為特征點(diǎn)數(shù)量，p為采集高度。

3.1 特征點(diǎn)數(shù)量誤差分析

由公式（5）可知，單應(yīng)性矩陣中如果獲得一定數(shù)量的特征點(diǎn)對(duì)即成對(duì)的和、(ui，vi) 就可以求解出。但是，實(shí)際計(jì)算的點(diǎn)對(duì)中都會(huì)包含噪聲，比如點(diǎn)的位置偏差幾個(gè)像素，甚至出現(xiàn)特征點(diǎn)對(duì)誤匹配的現(xiàn)象，如果只使用四個(gè)點(diǎn)對(duì)計(jì)算單應(yīng)性矩陣，會(huì)使局部坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系產(chǎn)生誤差，進(jìn)而導(dǎo)致全局坐標(biāo)系與像素坐標(biāo)系的映射誤差。

如圖7所示為特征點(diǎn)由少到多對(duì)映射影響示意圖，通過(guò)圖中灌木叢和車輛模型的映射傾斜度對(duì)比可看出，特征點(diǎn)數(shù)量在攝像頭視角范圍內(nèi)分布均勻且數(shù)量足夠，才可使目標(biāo)在全局坐標(biāo)系的柵格坐標(biāo)與像素坐標(biāo)系的像素坐標(biāo)相對(duì)應(yīng)。

圖7 特征點(diǎn)數(shù)量由少到多的映射影響示意圖Fig.7 Mapping diagram of the number of feature points from few to many

3.2 毫米波雷達(dá)與攝像頭標(biāo)定關(guān)系單應(yīng)性矩陣高度有效性

物體在空間有六個(gè)自由度，即沿x、y、z三個(gè)直角坐標(biāo)軸方向的移動(dòng)自由度和繞這三個(gè)坐標(biāo)軸的轉(zhuǎn)動(dòng)自由度，要完全確定物體的位置，就必須清楚這六個(gè)自由度。設(shè)毫米波雷達(dá)與攝像頭世界坐標(biāo)系下六自由度描述為：

x為沿局部坐標(biāo)系x方向平移，y為沿局部坐標(biāo)系y方向平移，z為雷達(dá)與攝像頭采集高度，α，β，γ分別為局部坐標(biāo)系下繞x軸轉(zhuǎn)動(dòng)、繞y軸轉(zhuǎn)動(dòng)、繞z軸轉(zhuǎn)動(dòng)。

毫米波雷達(dá)與攝像頭采集設(shè)備在不同高度進(jìn)行標(biāo)定時(shí)，公式（11）中x，y，α，β，γ不變，只有z方向位移發(fā)生改變。根據(jù)針孔相機(jī)模型知，由于高度的不同，攝像機(jī)視角范圍不同，導(dǎo)致同一特征點(diǎn)在與像素坐標(biāo)系中位置不同，示意圖如圖8 所示。特征點(diǎn)在標(biāo)定時(shí)實(shí)際位置不發(fā)生改變，在局部坐標(biāo)系中的坐標(biāo)不變，由于像素坐標(biāo)系中的位置發(fā)生改變，即坐標(biāo)不變、坐標(biāo)(ui，vi)發(fā)生改變，由公式（2）知局部坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系單應(yīng)性矩陣H隨之發(fā)生改變，進(jìn)而影響全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系。

圖8 毫米波雷達(dá)與攝像頭不同高度映射結(jié)果示意圖Fig.8 Schematic diagram of the mapping results of mmWave radar and camera at different altitudes

由以上分析可得，不同高度下的單應(yīng)性矩陣H無(wú)法復(fù)用，需重新對(duì)毫米波雷達(dá)與攝像頭進(jìn)行標(biāo)定，求解出相應(yīng)高度下的單應(yīng)性矩陣。

由以上分析可得出本文映射方法有效性條件：

a.進(jìn)行毫米波雷達(dá)與攝像機(jī)標(biāo)定時(shí)，保證特征點(diǎn)在視角范圍內(nèi)分布均勻且數(shù)量足夠，單應(yīng)性矩陣參數(shù)的求解需至少四對(duì)特征點(diǎn)，所以特征點(diǎn)數(shù)量至少為四對(duì)。

b.若采集設(shè)備高度發(fā)生變化需重新標(biāo)定毫米波雷達(dá)與攝像機(jī)的幾何關(guān)系，不能使用與采集場(chǎng)景高度不一致的單應(yīng)性矩陣計(jì)算。

當(dāng)設(shè)備運(yùn)動(dòng)時(shí)，目標(biāo)的電磁和光學(xué)特征在某一幀或某幾幀中發(fā)生明顯變化時(shí)，毫米波雷達(dá)得到目標(biāo)的坐標(biāo)，通過(guò)局部坐標(biāo)系與全局坐標(biāo)系的映射關(guān)系將其轉(zhuǎn)換為柵格坐標(biāo)，再根據(jù)變化的時(shí)間內(nèi)每一幀的映射關(guān)系，利用單應(yīng)性變換原理將局部坐標(biāo)系與全局坐標(biāo)系、局部坐標(biāo)系與像素坐標(biāo)系的轉(zhuǎn)換關(guān)系聯(lián)系起來(lái)，從而使得在目標(biāo)發(fā)生明顯變化的時(shí)間內(nèi)，全局坐標(biāo)系中的柵格坐標(biāo)映射至像素坐標(biāo)系。

4 實(shí)驗(yàn)驗(yàn)證與分析

本文所用的設(shè)備包括77 GHz 毫米波雷達(dá)與光學(xué)攝像頭。毫米波雷達(dá)在短距模式下測(cè)量范圍為0.2～70 m/100 m（±45°范圍內(nèi)），測(cè)量距離精度為±0.1 m。長(zhǎng)距模式下，測(cè)量范圍為0.2～250 m，測(cè)量距離精度為±0.4 m。本文使用雷達(dá)工作模式為短距模式。攝像頭的圖像大小為1920×1080。實(shí)驗(yàn)設(shè)備如圖9所示。

圖9 數(shù)據(jù)采集系統(tǒng)Fig.9 Data acquisition system

4.1 實(shí)驗(yàn)數(shù)據(jù)及步驟

為了對(duì)所提出的基于單應(yīng)性變換的雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)映射方法進(jìn)行驗(yàn)證，通過(guò)平視場(chǎng)景和俯視場(chǎng)景中角反射器等典型人工目標(biāo)的映射結(jié)果驗(yàn)證方法有效性。在像素坐標(biāo)系下，利用角反射器散射中心等典型人工目標(biāo)所在像素位置作為真值，統(tǒng)計(jì)與同一目標(biāo)映射像素與真值的均方根誤差作為定量指標(biāo)，驗(yàn)證映射方法的準(zhǔn)確性。為驗(yàn)證標(biāo)定特征點(diǎn)數(shù)量對(duì)映射結(jié)果的影響，設(shè)計(jì)標(biāo)定特征點(diǎn)為4 對(duì)和8 對(duì)兩組實(shí)驗(yàn)。為驗(yàn)證毫米波雷達(dá)與攝像頭標(biāo)定關(guān)系單應(yīng)性矩陣高度有效性，設(shè)計(jì)設(shè)備高度為5 m與1.7 m兩組實(shí)驗(yàn)。

設(shè)計(jì)平視場(chǎng)景實(shí)驗(yàn)，場(chǎng)地位于足球場(chǎng)，角反射器置于采集設(shè)備15 m 處，攝像頭與毫米波雷達(dá)以0.5 m/s速度向左勻速拉動(dòng)，平視場(chǎng)景如圖10所示。

圖10 平視場(chǎng)景示意圖Fig.10 Schematic diagram of the heads-up scene

設(shè)計(jì)俯視場(chǎng)景實(shí)驗(yàn)為停車場(chǎng)，數(shù)據(jù)采集系統(tǒng)置于二層平臺(tái)處，高度為5 m，毫米波雷達(dá)與攝像頭角度為向下30°，攝像頭與毫米波雷達(dá)以0.5 m/s 速度向左勻速拉動(dòng)。在停車場(chǎng)內(nèi)車輛停放較為稀疏，場(chǎng)景相對(duì)空曠，被測(cè)對(duì)象選為停車場(chǎng)內(nèi)的家用轎車及角反射器，角反射器放置位置距離雷達(dá)直線距離15 m 左右，被測(cè)對(duì)象周圍沒(méi)有強(qiáng)烈的雷達(dá)干擾反射源，無(wú)視覺(jué)上的遮擋。俯視場(chǎng)景如圖11所示。

圖11 俯視場(chǎng)景示意圖Fig.11 Schematic diagram of the top-down scene

4.2 映射誤差量化實(shí)驗(yàn)驗(yàn)證

平視場(chǎng)景結(jié)果如圖12 所示，圖13 中紅框?yàn)榻欠瓷淦鳌?/p>

圖12 像素坐標(biāo)系下的光學(xué)映射圖Fig.12 Optical mapping in a pixel coordinate system

圖13 全局坐標(biāo)系下的雷達(dá)占據(jù)柵格地圖Fig.13 Radar in a global coordinate system occupies a raster map

俯視場(chǎng)景結(jié)果如圖14所示，全局坐標(biāo)系下的占據(jù)柵格地圖如圖15所示。

圖14 像素坐標(biāo)系下的光學(xué)映射圖Fig.14 Optical mapping in a pixel coordinate system

圖15 全局坐標(biāo)系下的占據(jù)柵格地圖Fig.15 Radar in a global coordinate system occupies a raster map

在映射過(guò)程中，通過(guò)目標(biāo)的RCS（Radar Cross Section，RCS）值對(duì)占據(jù)柵格地圖中的點(diǎn)進(jìn)行篩選，目的是使映射圖中車輛等目標(biāo)突顯出來(lái)，然后通過(guò)全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系將柵格坐標(biāo)映射至像素坐標(biāo)上。

占據(jù)柵格地圖構(gòu)建的是毫米波雷達(dá)整個(gè)運(yùn)動(dòng)過(guò)程中周圍環(huán)境的目標(biāo)，而攝像頭采集到的單幀光學(xué)圖像視角為整個(gè)運(yùn)動(dòng)過(guò)程中的一部分。實(shí)現(xiàn)映射時(shí)，利用某一幀的全局坐標(biāo)系與像素坐標(biāo)系的映射關(guān)系，將占據(jù)柵格地圖與光學(xué)圖像之間共同存在的目標(biāo)實(shí)現(xiàn)映射。由平視場(chǎng)景和俯視場(chǎng)景映射結(jié)果圖12、圖13可知，角反射器、汽車和柵欄等標(biāo)志物上的紅色點(diǎn)為雷達(dá)運(yùn)動(dòng)多幀積累后的占據(jù)柵格地圖中的點(diǎn)云，說(shuō)明通過(guò)單應(yīng)性矩陣得到的全局坐標(biāo)系與局部坐標(biāo)系的轉(zhuǎn)換關(guān)系是正確的，通過(guò)映射前后對(duì)比可知，雷達(dá)運(yùn)動(dòng)積累多幀數(shù)據(jù)后構(gòu)成的占據(jù)柵格地圖可獲取比單幀雷達(dá)數(shù)據(jù)更明顯的輪廓等特征，經(jīng)過(guò)映射后，占據(jù)柵格地圖獲得更強(qiáng)的幾何語(yǔ)義信息，通過(guò)映射圖可清楚看出目標(biāo)特征，同時(shí)使得光學(xué)圖像具有定位能力，映射圖可應(yīng)用于隧道火災(zāi)救援機(jī)器人、自動(dòng)駕駛等領(lǐng)域。由于角反射器接收到雷達(dá)電磁波后，會(huì)在金屬腳上產(chǎn)生折射放大，產(chǎn)生很強(qiáng)的回波信號(hào)，在占據(jù)柵格地圖中會(huì)直觀看出，因此所有的映射點(diǎn)都應(yīng)在角反射器中央位置，但在圖12、圖14可以看出，少數(shù)點(diǎn)相對(duì)角反射器中心位置存在偏移，本文將映射后的紅點(diǎn)坐標(biāo)相對(duì)角反射器正中間像素坐標(biāo)的誤差定義為

角反射器中心位置像素坐標(biāo)為(ui，vi)，映射后的像素坐標(biāo)為，計(jì)算誤差結(jié)果如表1所示。

表1 映射誤差表Tab.1 Mapping error table

通過(guò)表中誤差數(shù)據(jù)可知，誤差為3.8 個(gè)像素左右，攝像頭采集的光學(xué)圖像大小為1920×1080，誤差值遠(yuǎn)小于圖像大小。由此可得，本文實(shí)現(xiàn)了基于單應(yīng)性變換及自定位信息的雷達(dá)柵格坐標(biāo)與光學(xué)像素坐標(biāo)映射方法。

4.3 誤差模型驗(yàn)證

因素1：特征點(diǎn)數(shù)量及分布誤差。

為驗(yàn)證標(biāo)定特征點(diǎn)數(shù)量和分布對(duì)映射結(jié)果的影響，設(shè)計(jì)標(biāo)定特征點(diǎn)數(shù)量為4 對(duì)和8 對(duì)兩組實(shí)驗(yàn)，實(shí)驗(yàn)場(chǎng)地為北方工業(yè)大學(xué)圖書(shū)館南側(cè)的停車場(chǎng)，數(shù)據(jù)采集系統(tǒng)置于停車場(chǎng)二層平臺(tái)處，特征點(diǎn)數(shù)量為4對(duì)和8對(duì)分布如圖16、圖17所示。

圖16 特征點(diǎn)為4對(duì)的分布Fig.16 The feature points are a distribution of 4 pairs

圖17 特征點(diǎn)為8對(duì)的分布Fig.17 The feature points are a distribution of 8 pairs

如圖18為4對(duì)特征點(diǎn)參與求解全局坐標(biāo)系與像素坐標(biāo)系映射關(guān)系得到的映射圖，圖19 為8 對(duì)特征點(diǎn)參與求解全局坐標(biāo)系與像素坐標(biāo)系映射關(guān)系得到的映射圖?？梢杂^察到，圖18中柵欄處向右下傾斜，圖19 中柵欄則為水平映射在目標(biāo)位置。由此可得出，在標(biāo)定時(shí)，特征點(diǎn)點(diǎn)對(duì)數(shù)量需保證在4對(duì)以上。

圖18 像素坐標(biāo)系下特征點(diǎn)為4對(duì)的映射圖Fig.18 Map of 4 pairs of feature points in pixel coordinate system

圖19 像素坐標(biāo)系下特征點(diǎn)為8對(duì)的映射圖Fig.19 Map with 8 pairs of feature points in pixel coordinate system

因素2：毫米波雷達(dá)與攝像頭標(biāo)定關(guān)系單應(yīng)性矩陣高度有效性。

為驗(yàn)證不同高度標(biāo)定單應(yīng)性矩陣關(guān)系有效性，分別設(shè)計(jì)毫米波雷達(dá)與攝像頭置于高度為1.7 m 與5 m兩組實(shí)驗(yàn)，在兩個(gè)場(chǎng)景下分別設(shè)置16個(gè)特征點(diǎn)，分別求解出兩個(gè)場(chǎng)景下毫米波雷達(dá)與攝像頭標(biāo)定關(guān)系單應(yīng)性矩陣。然后將毫米波雷達(dá)與攝像頭高度為1.7 m 的標(biāo)定關(guān)系單應(yīng)性矩陣用于高度為5 m場(chǎng)景中，圖20為映射結(jié)果，從圖中可看出，所有的點(diǎn)都聚集在一定范圍之內(nèi)。圖21 為毫米波雷達(dá)與攝像頭高度為5 m 的標(biāo)定關(guān)系單應(yīng)性矩陣應(yīng)用于高度為5 m 映射場(chǎng)景中，從圖中可以看出柵欄、小車等人工目標(biāo)都有映射點(diǎn)覆蓋。所以設(shè)備處于不同高度下需重新標(biāo)定，求解不同高度下的單應(yīng)性矩陣H。

圖20 1.7 m高度標(biāo)定矩陣用于5 m高度映射圖Fig.20 The 1.7 m height calibration matrix is used for the 5 m height map

圖21 5 m高度標(biāo)定矩陣用于5 m高度映射圖Fig.21 The 5 m height calibration matrix is used for the 5 m height map

5 結(jié)論

針對(duì)毫米波雷達(dá)柵格坐標(biāo)難以與光學(xué)像素坐標(biāo)直接建立坐標(biāo)映射關(guān)系問(wèn)題，本文提出一種基于單應(yīng)性變換的映射方法，以局部坐標(biāo)系作為橋梁，利用單應(yīng)性變換原理構(gòu)建全局坐標(biāo)系與像素坐標(biāo)系的關(guān)系，實(shí)現(xiàn)了將柵格坐標(biāo)映射至與光學(xué)圖像，為后續(xù)信息融合處理提供了關(guān)鍵基礎(chǔ)。通過(guò)觀察平視場(chǎng)景和俯視場(chǎng)景中角反射器等人工目標(biāo)的映射結(jié)果驗(yàn)證方法有效性。但對(duì)于標(biāo)定時(shí)出現(xiàn)的誤差可做自適應(yīng)單應(yīng)性矩陣研究，使矩陣具有普適性。由映射圖中可以提取出環(huán)境中線性特征，未來(lái)可利用此線性特征作為后驗(yàn)概率以優(yōu)化雷達(dá)自身位姿估計(jì)。