毫米波雷達(dá)與攝像頭單應(yīng)性變換標(biāo)定方法誤差因素分析

李 洋，韓 萌，王紫欣，李靜雯，曹舒文，曹 月，楊彬彬

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100144）

0 引 言

根據(jù)世界衛(wèi)生組織（World Health Organization, WHO）報(bào)告數(shù)據(jù)，每年有大約135萬人死于道路交通事故，平均每24 s就有1人在道路上失去生命；道路交通傷害是5～29歲兒童和年輕人的主要死因，全球道路交通安全形勢(shì)嚴(yán)峻。交通事故的頻發(fā)給人們的生活健康和經(jīng)濟(jì)產(chǎn)生了巨大影響，所以優(yōu)良的交通監(jiān)測(cè)技術(shù)對(duì)人們的生活有著重大意義。目前在交通監(jiān)測(cè)領(lǐng)域，較為普遍的是使用單一光學(xué)攝像頭對(duì)車輛進(jìn)行識(shí)別跟蹤或者使用雷達(dá)對(duì)車輛進(jìn)行測(cè)速測(cè)距。但是這些傳統(tǒng)的監(jiān)控方式都存在一定的局限性，光學(xué)攝像頭可以獲得較為豐富的目標(biāo)及場(chǎng)景的紋理特征，但其測(cè)速測(cè)距能力較弱，且光學(xué)傳感器容易受到天氣、光照等因素的影響。而毫米波雷達(dá)在測(cè)速測(cè)距以及抗天氣干擾等方面具有天然的優(yōu)勢(shì)，但卻無法獲得目標(biāo)的紋理信息等特征。將光學(xué)攝像頭與毫米波雷達(dá)傳感器進(jìn)行融合可以做到優(yōu)勢(shì)互補(bǔ)。因此，光學(xué)攝像頭與毫米波雷達(dá)信息的融合已成為智能交通系統(tǒng)的研究熱點(diǎn)。

在進(jìn)行傳感器數(shù)據(jù)融合之前，首先要通過傳感器標(biāo)定來解決毫米波雷達(dá)與光學(xué)攝像頭間的空間轉(zhuǎn)換問題。目前已經(jīng)有學(xué)者研究出了一些較為有效的毫米波雷達(dá)與光學(xué)攝像頭標(biāo)定方法。日本豐巴技術(shù)中心研究人員研發(fā)出了基于毫米波雷達(dá)和攝像頭的障礙物檢測(cè)分類系統(tǒng)，首先利用攝像頭獲取圖像，使用毫米波雷達(dá)選出并建立感興趣區(qū)域，然后利用神經(jīng)網(wǎng)絡(luò)進(jìn)行待測(cè)車輛識(shí)別，但這種方法識(shí)別效果的精確性較差。Nabati，Ramin & Qi等提出了一種中心融合的深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)了雷達(dá)與攝像頭的融合，該方法為車輛檢測(cè)建立了立體的視錐而不再是檢測(cè)框，從而提高了自動(dòng)駕駛過程中2個(gè)傳感器標(biāo)定及融合的準(zhǔn)確性。張富有提出一種通過標(biāo)定攝像頭內(nèi)參數(shù)以及毫米波雷達(dá)與光學(xué)攝像頭三軸旋轉(zhuǎn)自由度的方法來解算空間轉(zhuǎn)換關(guān)系，從而實(shí)現(xiàn)傳感器間的標(biāo)定。但這種方式需要標(biāo)定的參數(shù)過多，增加了實(shí)驗(yàn)難度，并且攝像頭標(biāo)定誤差也會(huì)受多種因素影響。已有文章提出一種基于單應(yīng)性變換的毫米波雷達(dá)與攝像頭標(biāo)定方法，該方法通過在毫米波雷達(dá)與攝像頭共同采集區(qū)域中設(shè)置定標(biāo)物，然后提取定標(biāo)物在雷達(dá)數(shù)據(jù)以及攝像頭像素?cái)?shù)據(jù)中的坐標(biāo)形成特征點(diǎn)對(duì)，通過多個(gè)特征點(diǎn)對(duì)可以標(biāo)定出兩者的空間轉(zhuǎn)換關(guān)系。但基于單應(yīng)性變換的毫米波雷達(dá)與攝像頭標(biāo)定方法缺少對(duì)影響標(biāo)定誤差的因素的分析。

基于單應(yīng)性變換的毫米波雷達(dá)與攝像頭標(biāo)定方法缺少對(duì)影響誤差因素的分析，本文將通過實(shí)驗(yàn)從特征點(diǎn)空間分布以及數(shù)量對(duì)單應(yīng)性標(biāo)定誤差的影響進(jìn)行分析。

1 單應(yīng)性標(biāo)定原理及誤差建模

1.1 毫米波雷達(dá)與攝像頭單應(yīng)性標(biāo)定原理介紹

單應(yīng)性變換原理常被應(yīng)用于圖像領(lǐng)域，比如相機(jī)成像可以把現(xiàn)實(shí)世界中的三維目標(biāo)表示在二維的像素平面中。由此單應(yīng)性變換可以用來表示三維目標(biāo)點(diǎn)與二維目標(biāo)點(diǎn)之間的映射關(guān)系。毫米波雷達(dá)采集的目標(biāo)數(shù)據(jù)為二維坐標(biāo)(,)，而攝像機(jī)采集的目標(biāo)像素點(diǎn)坐標(biāo)為(,)，假設(shè)雷達(dá)檢測(cè)到的目標(biāo)以及攝像機(jī)檢測(cè)到的目標(biāo)全部在雷達(dá)采集平面與像素平面上，如圖1所示。

圖1 雷達(dá)采集平面與像素平面示意圖

圖1所示為一個(gè)在毫米波雷達(dá)與攝像頭公共視場(chǎng)內(nèi)的目標(biāo)，假設(shè)其在毫米波雷達(dá)坐標(biāo)下的位置為(,)，在攝像機(jī)像素坐標(biāo)系中的位置為(,)。由單應(yīng)性變換原理可知，標(biāo)定雷達(dá)采集的目標(biāo)點(diǎn)與攝像機(jī)像素坐標(biāo)之間的空間轉(zhuǎn)換關(guān)系就是標(biāo)定雷達(dá)采集平面與像素平面之間的映射關(guān)系，根據(jù)單應(yīng)性原理可得雷達(dá)采集平面與圖像像素平面關(guān)系：

式中，為雷達(dá)平面與像素平面之間的單應(yīng)性矩陣，其表示兩個(gè)采集面之間的轉(zhuǎn)換關(guān)系，是一個(gè)3×3的矩陣，為常數(shù)。雷達(dá)采集平面和像素平面之間的關(guān)系可以通過估計(jì)單應(yīng)性矩陣得到，此過程不需要對(duì)攝像機(jī)內(nèi)外參數(shù)等進(jìn)行單獨(dú)標(biāo)定，也不需要對(duì)各坐標(biāo)軸旋轉(zhuǎn)角度進(jìn)行標(biāo)定。根據(jù)式（1）將單應(yīng)性矩陣展開可得：

將式（2）展開可以得到：

在雷達(dá)平面與像素平面取個(gè)對(duì)應(yīng)的目標(biāo)點(diǎn)對(duì)，帶入式（3）化為矩陣則有：

式（4）左矩陣為2×9階的矩陣，右部分矩陣為9×1階的矩陣，記為單應(yīng)性矩陣。最小需要4個(gè)不共線的特征點(diǎn)對(duì)可以求解出單應(yīng)性矩陣，并且對(duì)于超定方程組，可以通過最小二乘法求解，但為了減少數(shù)據(jù)中噪聲對(duì)單應(yīng)性矩陣標(biāo)定的影響，采用最小中值估計(jì)的方法來增加的準(zhǔn)確性和魯棒性。定義每個(gè)標(biāo)定出的單應(yīng)性矩陣的標(biāo)定誤差為：

最小中值優(yōu)化估計(jì)實(shí)現(xiàn)步驟如下：

（1）對(duì)于包含對(duì)特征點(diǎn)的集合，每次隨機(jī)抽取4個(gè)特征點(diǎn)對(duì)組成一個(gè)集合；

（2）對(duì)于每一個(gè)樣本集，使用最小二乘法估計(jì)得到一個(gè)單應(yīng)性矩陣h；

（3）對(duì)于每一個(gè)h，可以求出整個(gè)數(shù)據(jù)集所有點(diǎn)對(duì)的標(biāo)定誤差e，再找出e的中值；

（4）求解出使最小的h。

通過上述方法可以求解出毫米波雷達(dá)與攝像頭之間的單應(yīng)性矩陣，只需采集一定數(shù)量的定標(biāo)物特征點(diǎn)對(duì)就可以完成毫米波雷達(dá)與攝像頭之間的標(biāo)定，實(shí)現(xiàn)毫米波雷達(dá)坐標(biāo)與像素坐標(biāo)之間的轉(zhuǎn)換。

1.2 誤差因素建模

根據(jù)式（2）可知，單應(yīng)性標(biāo)定法中如果獲得一定數(shù)量的特征點(diǎn)對(duì)，即成對(duì)的(,)與(,)就可以求解出單應(yīng)性矩陣，并且由于單應(yīng)性矩陣實(shí)際是一種超定方程組，因此求解至少需要4對(duì)特征點(diǎn)對(duì)。但是特征點(diǎn)對(duì)的數(shù)量選擇多少以及特征點(diǎn)對(duì)選取的位置對(duì)標(biāo)定精度產(chǎn)生的影響需要進(jìn)一步實(shí)驗(yàn)探究。針對(duì)單應(yīng)性變換標(biāo)定方法將其標(biāo)定誤差與其影響因素定義如式（6）所示：

式中：表示標(biāo)定的總誤差；為雷達(dá)自身采集誤差；為特征點(diǎn)空間分布的位置；為特征點(diǎn)數(shù)量。公式說明標(biāo)定總誤差為3個(gè)誤差因素共同作用下產(chǎn)生的結(jié)果。在這3個(gè)誤差因素中，雷達(dá)采集誤差受雷達(dá)硬件自身測(cè)距精度與測(cè)角精度的影響，因設(shè)備差異的不同會(huì)導(dǎo)致不同測(cè)距測(cè)角精度誤差。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)設(shè)備介紹

本文采用的實(shí)驗(yàn)設(shè)備為77G大陸ARS408毫米波雷達(dá)以及?？低暪鈱W(xué)監(jiān)控?cái)z像頭，設(shè)備如圖2所示，雷達(dá)采集界面示意圖如圖3所示，雷達(dá)采集數(shù)據(jù)示意圖如圖4所示。

圖2 采集設(shè)備

圖3 雷達(dá)采集界面示意圖

圖4 雷達(dá)采集數(shù)據(jù)示意圖

毫米波雷達(dá)參數(shù)見表1所列，攝像頭參數(shù)見表2所列。

表1 毫米波雷達(dá)參數(shù)

表2 攝像頭參數(shù)

2.2 誤差實(shí)驗(yàn)分析

在本節(jié)將對(duì)提出的標(biāo)定模型中各因素進(jìn)行實(shí)驗(yàn)分析，研究特征點(diǎn)對(duì)空間位置分布以及特征點(diǎn)對(duì)數(shù)量對(duì)標(biāo)定精度的影響。設(shè)計(jì)實(shí)驗(yàn)在操場(chǎng)上利用攝像頭與毫米波雷達(dá)對(duì)不同位置的角反射器進(jìn)行采集。雷達(dá)采集數(shù)據(jù)包含縱向距離，橫向距離，縱向速度v，橫向速度v以及RCS等信息。攝像頭采集的數(shù)據(jù)中，角反射器的位置為像素坐標(biāo)(u,v)。本次實(shí)驗(yàn)將在毫米波雷達(dá)與攝像頭的公共采集視場(chǎng)中放置角反射器，每一個(gè)角反射器都可以從雷達(dá)數(shù)據(jù)中提取出其坐標(biāo)位置(,)以及其在攝像頭數(shù)據(jù)中的像素坐標(biāo)(u,v)，由此形成一組特征點(diǎn)對(duì)，通過不斷改變角反射器的位置從而獲得不同的特征點(diǎn)對(duì)。

2.2.1 雷達(dá)設(shè)備采集誤差

由于毫米波雷達(dá)設(shè)備硬件本身在測(cè)速和測(cè)角方面存在一定的誤差，這也會(huì)給單應(yīng)性變換標(biāo)定帶來一定的誤差。根據(jù)表1所列的毫米波雷達(dá)參數(shù)，可以制作圖5所示的毫米波雷達(dá)設(shè)備采集誤差模型。

圖5 毫米波雷達(dá)設(shè)備誤差示意圖

圖5中，紅色區(qū)域代表雷達(dá)遠(yuǎn)距離掃描模式，藍(lán)色區(qū)域代表近距離掃描模式，白色圓圈代表此處目標(biāo)的位置測(cè)量誤差，圓圈的半徑越大代表誤差越大。根據(jù)此圖可知，目標(biāo)距離雷達(dá)越遠(yuǎn)相對(duì)角度越大，位置測(cè)量精度會(huì)增大，故綠色區(qū)域?yàn)檩^為合適的采集區(qū)域。實(shí)驗(yàn)根據(jù)雷達(dá)誤差模型選擇雷達(dá)縱向50 m以內(nèi)，橫向±10 m內(nèi)的范圍作為實(shí)驗(yàn)區(qū)域，以降低雷達(dá)設(shè)備誤差對(duì)標(biāo)定精度的影響。

2.2.2 特征點(diǎn)空間位置構(gòu)型實(shí)驗(yàn)

標(biāo)定誤差模型=(,,)受雷達(dá)設(shè)備誤差、特征點(diǎn)空間分布，以及特征點(diǎn)數(shù)量的綜合影響，由于求解單應(yīng)性變換矩陣最少需要4組點(diǎn)對(duì)并且不能共線，所以采用控制變量的方式研究特征點(diǎn)數(shù)為4對(duì)情況下，不同空間構(gòu)型對(duì)標(biāo)定誤差的影響。定義兩種主要的空間構(gòu)型如圖6、圖7所示。

圖6 空間構(gòu)型一

圖7 空間構(gòu)型二

由于4點(diǎn)不共線主要考慮空間構(gòu)型一與空間構(gòu)型二這兩種位置分布，其他位置分布可以通過整體旋轉(zhuǎn)、平移與這兩種空間構(gòu)型進(jìn)行等效。實(shí)驗(yàn)采集一定組數(shù)的空間構(gòu)型一與空間構(gòu)型二的定標(biāo)物雷達(dá)坐標(biāo)數(shù)據(jù)(,)，通對(duì)標(biāo)定誤差進(jìn)行計(jì)算，將數(shù)據(jù)記錄在表3與表4。

表3 構(gòu)型一實(shí)驗(yàn)數(shù)據(jù)

表4 構(gòu)型二實(shí)驗(yàn)數(shù)據(jù)

兩種構(gòu)型標(biāo)定誤差如圖8所示。

圖8 兩種構(gòu)型標(biāo)定誤差

由圖中的構(gòu)型數(shù)據(jù)與誤差的關(guān)系可知，空間構(gòu)型二的特征點(diǎn)位置分布比構(gòu)型一所示的空間分布標(biāo)定誤差更小。并且對(duì)表4中構(gòu)型二數(shù)據(jù)進(jìn)行分析可知，對(duì)于空間構(gòu)型二的位置分布，當(dāng)4個(gè)點(diǎn)空間差異越大即4個(gè)點(diǎn)在橫向和縱向距離增大時(shí)標(biāo)定誤差會(huì)下降。

2.2.3 特征點(diǎn)數(shù)量實(shí)驗(yàn)分析

通過實(shí)驗(yàn)分析了空間構(gòu)型對(duì)單應(yīng)性變換標(biāo)定誤差的影響，證明了空間構(gòu)型二比空間構(gòu)型一的標(biāo)定誤差小，本節(jié)選擇空間構(gòu)型二作為特征點(diǎn)分布，保持構(gòu)型不變的情況下研究特征點(diǎn)數(shù)量對(duì)單應(yīng)性標(biāo)定誤差的影響。特征點(diǎn)位置實(shí)驗(yàn)數(shù)據(jù)(,)為（11.2，2.5），（14，2.5），（18.2，-4.7），（24，-4.7）（17，2.5），（30，-4.7），（20，2.5），（36，-4.7），表 5 為不同特征點(diǎn)數(shù)量的標(biāo)定誤差數(shù)據(jù)。

表5 特征點(diǎn)數(shù)量與標(biāo)定誤差

通過表中的數(shù)據(jù)可以看出，在同一種空間構(gòu)型下，隨著特征點(diǎn)數(shù)量單應(yīng)性標(biāo)定誤差逐漸下降，當(dāng)點(diǎn)數(shù)增加到6個(gè)點(diǎn)時(shí)，標(biāo)定誤差已經(jīng)基本不發(fā)生變化。所以在標(biāo)定時(shí)選擇6個(gè)點(diǎn)較為合適。

3 結(jié) 語

本文研究了毫米波雷達(dá)與攝像頭單應(yīng)性變換標(biāo)定方法中誤差因素對(duì)單應(yīng)性變換標(biāo)定精度的影響。建立了誤差模型并分別對(duì)毫米波雷達(dá)設(shè)備誤差、特征點(diǎn)空間位置構(gòu)型、特征點(diǎn)數(shù)量這三個(gè)因素對(duì)標(biāo)定精度的影響進(jìn)行了實(shí)驗(yàn)分析。結(jié)果表明，文中的空間構(gòu)型二特征點(diǎn)位置分布的標(biāo)定誤差較小，并且在空間構(gòu)型二下，特征點(diǎn)數(shù)量選擇6點(diǎn)標(biāo)定誤差可達(dá)到最小并且基本不再變化。本文的結(jié)果為后續(xù)毫米波雷達(dá)與攝像頭標(biāo)定實(shí)驗(yàn)方案的設(shè)計(jì)提供了基礎(chǔ)，具有一定的研究意義。