基于神經(jīng)網(wǎng)絡(luò)的毫米波雷達(dá)與視覺(jué)傳感器聯(lián)合標(biāo)定方法

牛萍娟，劉 雷

（1.天津工業(yè)大學(xué) 電氣工程與自動(dòng)化學(xué)院，天津 300387；2.天津工業(yè)大學(xué) 大功率半導(dǎo)體照明應(yīng)用系統(tǒng)教育部工程研究中心，天津 300387）

在輔助駕駛（ADAS）中，基于毫米波雷達(dá)與視覺(jué)融合的車輛檢測(cè)是重點(diǎn)研究方向[1-2]。為了獲得毫米波雷達(dá)坐標(biāo)系下一目標(biāo)在圖像像素坐標(biāo)系下的坐標(biāo)，需要進(jìn)行毫米波雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定[3-4]。傳統(tǒng)的標(biāo)定方法是采用理想的小孔成像模型來(lái)模擬攝像機(jī)的成像過(guò)程初始化參數(shù)，然后通過(guò)非線性最小二乘法對(duì)參數(shù)進(jìn)行修正，完成畸變校正[5-7]。毫米波雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定與神經(jīng)網(wǎng)絡(luò)都是建立一種映射關(guān)系，通過(guò)已有數(shù)據(jù)建立參數(shù)模型來(lái)對(duì)新的數(shù)據(jù)進(jìn)行處理。在聯(lián)合標(biāo)定中，攝像機(jī)的成像模型是一種非線性模型，當(dāng)采用非線性模型對(duì)攝像機(jī)進(jìn)行標(biāo)定時(shí)，需要使用非線性優(yōu)化計(jì)算，但引入過(guò)多的非線性參數(shù)往往不僅不能提高精度，反而引起解的不穩(wěn)定，而神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的非線性逼近能力[7-9]。所以，將神經(jīng)網(wǎng)絡(luò)應(yīng)用于攝像機(jī)標(biāo)定是可以實(shí)現(xiàn)的。

本文以基于毫米波雷達(dá)與視覺(jué)融合的車輛檢測(cè)為背景，采用神經(jīng)網(wǎng)絡(luò)對(duì)毫米波雷達(dá)與攝像機(jī)進(jìn)行聯(lián)合標(biāo)定，實(shí)時(shí)采集車輛目標(biāo)數(shù)據(jù)，然后通過(guò)時(shí)間融合，將毫米波雷達(dá)信息與攝像機(jī)采集的信息進(jìn)行對(duì)應(yīng)，對(duì)采集的車輛目標(biāo)進(jìn)行標(biāo)注，提取車輛目標(biāo)的真實(shí)邊界框中心點(diǎn)，將雷達(dá)極坐標(biāo)系下的目標(biāo)坐標(biāo)R（目標(biāo)徑向距離）、α（目標(biāo)方位角）轉(zhuǎn)換為車輛坐標(biāo)系后的坐標(biāo)（xw，yw，zw）作為神經(jīng)網(wǎng)絡(luò)的輸入，將經(jīng)過(guò)標(biāo)注的車輛目標(biāo)真實(shí)邊界框的中心點(diǎn)（u，v）作為神經(jīng)網(wǎng)絡(luò)的輸出，采用反向傳播和梯度下降算法來(lái)更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，完成模型的搭建，并在測(cè)試集上進(jìn)行驗(yàn)證。

1 傳統(tǒng)聯(lián)合標(biāo)定方法

1.1 坐標(biāo)轉(zhuǎn)換過(guò)程

毫米波雷達(dá)的安裝位置為車牌附近，攝像機(jī)的安裝位置為車輛擋風(fēng)玻璃處，而且都位于車輛中心軸線上，如圖1 所示。圖1 中坐標(biāo)系（o0x0y0z0）、（owxwywzw）、（ocxcyczc）分別為毫米波雷達(dá)、車輛、攝像機(jī)坐標(biāo)系。雷達(dá)距離地面高度為Hm，與車輛坐標(biāo)原點(diǎn)距離為L(zhǎng)m，橫向偏移為0；同理，攝像機(jī)距離地面的高度為Hn，與車輛坐標(biāo)原點(diǎn)距離為L(zhǎng)n，橫向偏移為0。

傳統(tǒng)的雷達(dá)與視覺(jué)聯(lián)合標(biāo)定中，毫米波雷達(dá)的掃描平面為一個(gè)二維水平平面，如圖2 所示，再確定雷達(dá)安裝于車輛的位置，可將雷達(dá)測(cè)量的點(diǎn)轉(zhuǎn)化為車輛坐標(biāo)系中的某點(diǎn)。

圖2 中，α 為目標(biāo)方位角，R 為目標(biāo)徑向距離，o0為毫米波雷達(dá)安裝位置。毫米波雷達(dá)坐標(biāo)系與車輛坐標(biāo)系轉(zhuǎn)換關(guān)系如式（1）所示：

車輛坐標(biāo)系下一點(diǎn)（xw，yw，zw）在圖像像素坐標(biāo)系下的坐標(biāo)表示為（xu，yu），結(jié)合公式（1）可得它們之間的轉(zhuǎn)換關(guān)系如式（2）所示：

以車輛中心軸線上的點(diǎn)為原點(diǎn)建立車輛坐標(biāo)系，可以得到雷達(dá)的三維平移向量Tm=[0，Lm，Hm]，攝像機(jī)的三維平移向量Tn=[0，Ln，Hn]。由于其俯仰角、側(cè)傾角和橫擺角均接近于0°，借助車輛坐標(biāo)系即可求取雷達(dá)與攝像頭空間上的相對(duì)位置，可得式（3）：

所以，雷達(dá)和攝像機(jī)的坐標(biāo)轉(zhuǎn)換關(guān)系更新為式（4）：

1.2 攝像機(jī)內(nèi)外參數(shù)標(biāo)定

根據(jù)小孔成像原理，假定模板平面在世界坐標(biāo)系Z=0 的平面上，[X Y 1]T為模板平面上某點(diǎn)的齊次坐標(biāo)，[u v 1]T為圖像上該點(diǎn)的齊次坐標(biāo)，轉(zhuǎn)換關(guān)系如式（5）所示：

式中：K 為攝像機(jī)的內(nèi)參數(shù)矩陣；[r1r2r3]和t 分別為攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系（本文即為車輛坐標(biāo)系）的旋轉(zhuǎn)矩陣和平移向量。

記單應(yīng)性矩陣H=[h1h2h3]=λK[r1r2t]，每幅圖像可以獲得2 個(gè)對(duì)內(nèi)參數(shù)矩陣的基本約束，如式（6）所示：

由于攝像機(jī)有5 個(gè)未知內(nèi)參數(shù)，所以當(dāng)拍攝到的圖像數(shù)目大于等于3 時(shí)，即可線性唯一求解出K 值。

考慮到透鏡畸變，參考坐標(biāo)系從理想投影平面轉(zhuǎn)換為實(shí)際投影平面，如式（7）所示：

式中：（x0，y0）為理想圖像點(diǎn)坐標(biāo)；（x，y）為畸變校正后的實(shí)際圖像點(diǎn)坐標(biāo)；r2= x2+ y2；k1、k2、k3為徑向畸變系數(shù)。

由此可以看出，傳統(tǒng)標(biāo)定方法[10-12]的計(jì)算步驟繁瑣，計(jì)算復(fù)雜度高，準(zhǔn)確率低。為此，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的聯(lián)合標(biāo)定方法，以降低計(jì)算復(fù)雜度，并提高標(biāo)定準(zhǔn)確率。

2 基于神經(jīng)網(wǎng)絡(luò)的聯(lián)合標(biāo)定方法

本文采用了一種模型簡(jiǎn)單且具有良好泛化性能的BP 神經(jīng)網(wǎng)絡(luò)，BP 神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)[13-15]，主要包括輸入層、隱含層和輸出層，每層之間通過(guò)權(quán)重和偏差進(jìn)行連接。理論上，含有一個(gè)隱層的三層BP 神經(jīng)網(wǎng)絡(luò)在隱層神經(jīng)元節(jié)點(diǎn)數(shù)可以任意設(shè)定的情況下，能夠以任意精度逼近任意連續(xù)函數(shù)。所以，本文采用三層BP 神經(jīng)網(wǎng)絡(luò)，如圖3 所示。假設(shè)圖3 中網(wǎng)絡(luò)的輸入特征向量為[x1，x2，…，xi]，輸出為輸入層與隱含層之間的權(quán)重為wih，偏移量為bh；隱含層與輸出層之間的權(quán)重為whj，偏移量為bj。其中：i 為輸入層神經(jīng)元個(gè)數(shù)；h 為隱含層神經(jīng)元個(gè)數(shù)；j 為輸出層神經(jīng)元個(gè)數(shù)。

圖3 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 BP neural network structure

根據(jù)圖3 神經(jīng)網(wǎng)絡(luò)的連接關(guān)系可知：

式中：oh、oj分別為第 2、第 3 層神經(jīng)網(wǎng)絡(luò)的輸入；f1、f2為非線性激活函數(shù)，主要為了將神經(jīng)元非線性化，從而實(shí)現(xiàn)非線性逼近。

誤差函數(shù)采用平方誤差函數(shù)，總樣本的誤差如式（12）所示：

利用梯度下降法使整體誤差E 達(dá)到最小值，計(jì)算過(guò)程如式（13）、式（14）所示：

權(quán)值的更新規(guī)則如式（15）、式（16）所示：

本文采用一個(gè)三層的BP 神經(jīng)網(wǎng)絡(luò)模型進(jìn)行標(biāo)定，該網(wǎng)絡(luò)由一個(gè)網(wǎng)絡(luò)輸入層（3 個(gè)節(jié)點(diǎn)）、一個(gè)隱含層（8 個(gè)節(jié)點(diǎn)）、一個(gè)網(wǎng)絡(luò)輸出層（2 個(gè)節(jié)點(diǎn)）組成，非線性激活函數(shù)選擇ReLU 函數(shù)，權(quán)重w 采用均值為0、方差為0.01 的高斯分布進(jìn)行初始化。如圖3 所示，網(wǎng)絡(luò)輸入為目標(biāo)在車輛坐標(biāo)系下的坐標(biāo)（xw，yw，zw），輸出為目標(biāo)在圖像中的位置（u，v）。輸入值為[xw，yw，zw]，輸出值為[u′，v′]，真實(shí)值為[u，v]，總體誤差如式（17）所示：

3 實(shí)驗(yàn)設(shè)計(jì)與仿真

3.1 實(shí)驗(yàn)數(shù)據(jù)獲取

實(shí)驗(yàn)設(shè)備有：GEFORCE GTX1080Ti 電腦；維視MV-EM120C 型CCD 相機(jī)，最高分辨率1 280×960，像素尺寸 3.75 μm × 3.75 μm；湖南納雷 CAR150 毫米波雷達(dá)。在目標(biāo)檢測(cè)中，需要定位出目標(biāo)在圖像中的位置，本文通過(guò)毫米波雷達(dá)和攝像機(jī)聯(lián)合采集前方車輛信息，將毫米波雷達(dá)信息與圖像上的車輛一一對(duì)應(yīng)，然后對(duì)所采集的圖像進(jìn)行車輛目標(biāo)的標(biāo)定，取目標(biāo)標(biāo)定框的中心點(diǎn)作為目標(biāo)物在圖像中的映射。毫米波雷達(dá)數(shù)據(jù)采集通過(guò)上位機(jī)軟件實(shí)現(xiàn)，可以得到目標(biāo)物的徑向距離R 和方位角α，轉(zhuǎn)換到世界坐標(biāo)系下即為神經(jīng)網(wǎng)絡(luò)的輸入特征向量；車輛圖像的數(shù)據(jù)標(biāo)注結(jié)果如圖4 所示，提取目標(biāo)標(biāo)定框中心點(diǎn)的圖像坐標(biāo)（u，v）即為神經(jīng)網(wǎng)絡(luò)的輸出。

圖4 車輛圖像的數(shù)據(jù)標(biāo)注結(jié)果和中心點(diǎn)Fig.4 Data annotation results and center points of vehicle images

張正友標(biāo)定過(guò)程[8，16]中采用 5 × 7 的棋盤(pán)格，其內(nèi)角點(diǎn)數(shù)為4×6，棋盤(pán)格邊長(zhǎng)為40 mm×40 mm，標(biāo)定圖片的數(shù)量一般在10～20 張之間，圖像數(shù)量太少，會(huì)導(dǎo)致標(biāo)定參數(shù)不準(zhǔn)確，拍攝過(guò)程中要保證標(biāo)定板的亮度足夠且均勻，相機(jī)的光圈、焦距不能發(fā)生改變。根據(jù)以上分析，本文使用同一相機(jī)從不同的位置、角度、姿態(tài)拍攝12 張圖像，如圖5 所示。

圖5 不同角度拍攝的標(biāo)定板照片F(xiàn)ig.5 Photographs of calibration plate taken at different angles

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

通過(guò)對(duì)采集的1 000 張圖片進(jìn)行標(biāo)定，并提取目標(biāo)中心像素坐標(biāo)，將數(shù)據(jù)集劃分為訓(xùn)練集700 個(gè)、驗(yàn)證集150 個(gè)和測(cè)試集150 個(gè)。該神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練、測(cè)試過(guò)程如圖6 所示，可以發(fā)現(xiàn)，當(dāng)運(yùn)行50 個(gè)迭代后，測(cè)試集誤差達(dá)到最佳的0.160 23。

圖6 該神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練、測(cè)試過(guò)程Fig.6 Training，testing process of neural network model

不同方格標(biāo)定板標(biāo)定時(shí)，在X 軸和Y 軸方向上的像素誤差如圖7 所示。圖7 中不同顏色表示不同角度的標(biāo)定板對(duì)應(yīng)的誤差結(jié)果，紅色的對(duì)應(yīng)第2 幅標(biāo)定板圖像的誤差較大。所有圖片的像素誤差err=[0.182 36 0.207 56]。

圖7 不同方格標(biāo)定板標(biāo)定時(shí)在X 軸和Y 軸方向上的像素誤差Fig.7 Pixel error in X-axis and Y-axis directions as different square calibration plates calibrated

采用張正友標(biāo)定法得到的相機(jī)內(nèi)部參數(shù)值如表1所示。兩種標(biāo)定方法的圖像殘差均值、總體誤差和標(biāo)定時(shí)間如表2 所示。

表1 標(biāo)定得到的相機(jī)內(nèi)部參數(shù)Tab.1 Internal parameters of camera obtained after calibration

表2 2 種標(biāo)定方法的標(biāo)定結(jié)果對(duì)比Tab.2 Comparison of calibration results of two calibration methods

將神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)標(biāo)定方法重投影目標(biāo)中心值的像素平方誤差進(jìn)行對(duì)比，部分結(jié)果如圖8 所示。

圖8 重投影目標(biāo)中心值總體誤差對(duì)比Fig.8 Comparison of overall error of reprojection target center value

傳統(tǒng)聯(lián)合標(biāo)定方法中，相機(jī)內(nèi)參的標(biāo)定[17-21]是其中關(guān)鍵的一步，若相機(jī)內(nèi)參標(biāo)定誤差較大，會(huì)使得毫米波雷達(dá)坐標(biāo)系下的目標(biāo)與其在圖像像素坐標(biāo)系中的投影位置出現(xiàn)較大的偏差，導(dǎo)致聯(lián)合標(biāo)定的誤差較大，進(jìn)一步影響車輛檢測(cè)的準(zhǔn)確性。通過(guò)表1 標(biāo)定得到的相機(jī)內(nèi)部參數(shù)值可以發(fā)現(xiàn)，經(jīng)過(guò)畸變校正后，標(biāo)定后的誤差很小。若表1 中相機(jī)內(nèi)參標(biāo)定結(jié)果誤差較大，會(huì)導(dǎo)致表2 中總體樣本出現(xiàn)異常值，使得神經(jīng)網(wǎng)絡(luò)標(biāo)定模型的泛化能力降低，標(biāo)定過(guò)程中X 和Y 方向上的圖像殘差誤差較大，方差也較大，會(huì)出現(xiàn)標(biāo)定不穩(wěn)定的結(jié)果，總體誤差大，同時(shí)增加標(biāo)定時(shí)間復(fù)雜度。由表2 可知，與傳統(tǒng)標(biāo)定方法相比，本文采用的神經(jīng)網(wǎng)絡(luò)方法誤差低，方差小，且標(biāo)定時(shí)間短。由圖8 可知，本文提出的方法不僅標(biāo)定精度高，且相對(duì)穩(wěn)定，克服了傳統(tǒng)標(biāo)定方法過(guò)程復(fù)雜的缺點(diǎn)。

4 結(jié) 論

本文提出了一種基于BP 神經(jīng)網(wǎng)絡(luò)的毫米波雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定方法，并對(duì)其標(biāo)定效果進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明：

（1）相機(jī)內(nèi)參標(biāo)定結(jié)果誤差較大會(huì)導(dǎo)致測(cè)試集總體樣本出現(xiàn)異常值，使得神經(jīng)網(wǎng)絡(luò)標(biāo)定模型的泛化能力降低，標(biāo)定過(guò)程中X 和Y 方向上的圖像殘差誤差較大，方差也較大，會(huì)出現(xiàn)標(biāo)定不穩(wěn)定的結(jié)果，總體誤差大，同時(shí)增加標(biāo)定時(shí)間復(fù)雜度。

（2）用測(cè)試樣本對(duì)所建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行泛化能力評(píng)估，其在驗(yàn)證集上的總體平均標(biāo)定誤差為0.160 89像素，時(shí)間為100 s，標(biāo)定結(jié)果比傳統(tǒng)標(biāo)定方法精度高，且標(biāo)定時(shí)間短，重投影后在X、Y 方向上的圖像殘差方差分別為0.001 8、0.002 1，具有很好的穩(wěn)定性。該方法為輔助駕駛中的目標(biāo)檢測(cè)和跟蹤等工作奠定了良好的基礎(chǔ)。