檢測(cè)多傳感器標(biāo)定失效的方法

楊軍典　陳凌珊　程書慧

摘要：為了提高智能車觀測(cè)周圍的環(huán)境的能力，其感知系統(tǒng)采用多傳感器融合技術(shù)已經(jīng)成為一種共識(shí)。采用多傳感器融合技術(shù)可以對(duì)環(huán)境目標(biāo)的位置進(jìn)行融合，核心在于時(shí)間和空間對(duì)齊，其中空間對(duì)齊高度依賴于傳感器的標(biāo)定參數(shù)。由于車輛行駛過程的惡劣環(huán)境，傳感器的標(biāo)定參數(shù)會(huì)有失效的風(fēng)險(xiǎn)，從而使空間融合失敗。因此，本文提出了一種檢測(cè)多傳感器標(biāo)定失效的方法，提高智能車的安全性。

關(guān)鍵詞：多傳感器;標(biāo)定;失效;檢測(cè)

【Abstract】Inordertoimprovetheabilityofsmartcartoobservethesurroundingenvironment，ithasbecomeaconsensusthatitssensingsystemadoptsmulti-sensorfusiontechnology.Multi-sensorfusiontechnologycanbeusedtofusethelocationofenvironmentaltargets.Thecoreisthetimeandspacealignment，andthespacealignmentheavilydependsonthecalibrationparametersofthesensor.Duetotheharshenvironmentofthevehicleduringthedrivingprocess，thecalibrationparametersofthesensorwillhavetheriskoffailure，whichwillmakethespacefusionfail.Therefore，thispaperproposesamethodtodetectthefailureofmulti-sensorcalibrationtoimprovethesafetyofsmartcars.

【Keywords】multiplesensors;calibration;failure;detection

作者簡(jiǎn)介：楊軍典（1990-），男，碩士研究生，主要研究方向：ADAS感知及功能開發(fā)技術(shù);陳凌珊（1966-），女，博士，教授，主要研究方向：新能源汽車技術(shù)、智能駕駛控制技術(shù)。

0引言

隨著技術(shù)進(jìn)步，智能駕駛技術(shù)飛速發(fā)展，對(duì)主動(dòng)安全的要求越來越高。安全性能的提高，離不開感知系統(tǒng)的發(fā)展。在這種背景下，智能駕駛汽車會(huì)采用越來越多的傳感器，采用多傳感器融合技術(shù)來提升智能車的感知能力。目前配備有ADAS功能的汽車普遍會(huì)采用多個(gè)攝像頭、多個(gè)毫米波雷達(dá)、激光雷達(dá)的感知方案。多傳感器融合技術(shù)首先需要標(biāo)定多個(gè)傳感器的內(nèi)外參數(shù)，從而可以將各個(gè)傳感器感知到的目標(biāo)統(tǒng)一到一個(gè)坐標(biāo)系里面進(jìn)行融合。

傳統(tǒng)的傳感器標(biāo)定方法是將待標(biāo)定的參數(shù)分為內(nèi)參和外參。其中，內(nèi)參指的是傳感器自身的參數(shù)，比如相機(jī)的焦距、雷達(dá)的帶寬等，外參主要是各個(gè)傳感器間的位置關(guān)系。一般內(nèi)參可以直接從傳感器廠家獲取，因此，標(biāo)定的主要任務(wù)是外參。傳統(tǒng)的標(biāo)定方法有特征點(diǎn)法和棋盤格法[1]，在一個(gè)布滿標(biāo)記的標(biāo)定間里，采用一個(gè)高精度的激光雷達(dá)獲得標(biāo)記的三維坐標(biāo)，然后使用低精度的相機(jī)或毫米波雷達(dá)對(duì)標(biāo)記進(jìn)行感知，最后使用PNP方法[2-3]求解相機(jī)或毫米波雷達(dá)的位姿就可以得到其相對(duì)位置。這種方法求解過程比較繁瑣，并且需要一個(gè)高精度的激光雷達(dá)提供基準(zhǔn)。文獻(xiàn)[4-5]直接避開了分別求傳感器內(nèi)外參的過程，采用最小二乘法直接求解相機(jī)平面和毫米波雷達(dá)平面變換的正應(yīng)性矩陣。這種方法是將雷達(dá)坐標(biāo)系變換到相機(jī)坐標(biāo)系，并在相機(jī)坐標(biāo)系中對(duì)雷達(dá)感知到的目標(biāo)進(jìn)行融合，然而標(biāo)定的精度會(huì)明顯受到相機(jī)和雷達(dá)感知算法的影響。文獻(xiàn)[6]以車輛縱向?qū)ΨQ平面為基準(zhǔn)，首先將雷達(dá)探測(cè)面法向量和相機(jī)的光軸標(biāo)定到與縱向平面平行的位置，其余兩軸投影到坐標(biāo)平面分別與車身右側(cè)、車輛前進(jìn)方向平行。車輛縱向?qū)ΨQ平面的確定對(duì)這種方法的影響很大，同時(shí)在大批量使用過程中，將相機(jī)光軸和雷達(dá)探測(cè)面法向量安裝位置與車輛縱向平面平行誤差調(diào)為較小是一件非常困難的事。

在智能車輛的批量生產(chǎn)過程中，傳感器的標(biāo)定通常根據(jù)車輛的CAD數(shù)據(jù)模型，相對(duì)車輛某一零部件固定，從而間接獲得傳感器的安裝位置參數(shù)。因此，在這種情況下，必須設(shè)置一種簡(jiǎn)單可靠的檢測(cè)傳感器標(biāo)定是否準(zhǔn)確的方法。除此之外，由于車輛行駛是一個(gè)動(dòng)態(tài)的振動(dòng)過程，傳感器的標(biāo)定參數(shù)會(huì)隨時(shí)間發(fā)生變化乃至失效。一旦失效，多傳感器融合的結(jié)果必然會(huì)出錯(cuò)，帶來安全隱患。因此，本文設(shè)計(jì)了一種靜態(tài)和動(dòng)態(tài)檢測(cè)智能網(wǎng)聯(lián)汽車相機(jī)和毫米波雷達(dá)標(biāo)定是否失效的方法，來預(yù)防可能出現(xiàn)的融合風(fēng)險(xiǎn)。最后，利用自動(dòng)駕駛公司nuTonomy公開的大型開源數(shù)據(jù)集nuScenes進(jìn)行了驗(yàn)證。

1檢測(cè)方法

在智能駕駛汽車上，相機(jī)一般安裝在后視鏡，前向毫米波雷達(dá)則放置在前向保險(xiǎn)杠里面。雷諾Zoe是nuScenes數(shù)據(jù)集中測(cè)試所用的車輛，各個(gè)傳感器的安裝位置[7]如圖1所示。

由圖1可看出，在一輛智能駕駛車中，所有的傳感器最終都要把感知的目標(biāo)變換到車輛坐標(biāo)系上，形成一個(gè)以車輛中心的局部3D空間內(nèi)。由于激光雷達(dá)價(jià)格高昂，目前仍主要搭載于研究階段的智能車上面，因此本文主要關(guān)注的是前向相機(jī)和前向雷達(dá)的標(biāo)定失效問題。

1.1前向相機(jī)坐標(biāo)系及目標(biāo)位置感知

1.2前向雷達(dá)坐標(biāo)系及目標(biāo)位置感知

建立前向雷達(dá)直角坐標(biāo)系如圖3所示。圖3中，Oradar-Xradar-Yradar-Zradar為坐標(biāo)系的原點(diǎn)和各軸，F(xiàn)OV為雷達(dá)的視角。

1.3車輛坐標(biāo)系

在本文中定義車輛坐標(biāo)系的原點(diǎn)處于后軸的中心，坐標(biāo)系各軸的方向如圖4所示，并將相機(jī)和雷達(dá)的坐標(biāo)系及FOV一起表示出來。

1.4靜態(tài)檢測(cè)方法

首先設(shè)計(jì)一種靜態(tài)的檢測(cè)方法，如圖5所示。圖5中，放置2個(gè)小尺寸的鐵球，其在車輛坐標(biāo)系中設(shè)置X_car坐標(biāo)一致，Z_car與雷達(dá)的安裝高度一致，同時(shí)2個(gè)鐵球之間的距離保持在0.1m左右。

由圖5可看出，毫米波雷達(dá)背面貼合車身安裝，因此主要的安裝誤差是繞車輛行駛方向的轉(zhuǎn)角誤差過大造成的，這樣會(huì)引起雷達(dá)的掃描水平面不平行于車輛坐標(biāo)系XcarOcarYcar平面。當(dāng)靜態(tài)檢測(cè)時(shí)，如果雷達(dá)不能同時(shí)掃描到2個(gè)鐵球，那么就說明雷達(dá)安裝存在較大誤差，必須重新標(biāo)定校準(zhǔn)。

同時(shí)，因?yàn)?個(gè)鐵球在車輛坐標(biāo)系中的X_car和Z_car坐標(biāo)值相同，那么由公式（1）可知，其在像素平面上的v軸坐標(biāo)一致，即2個(gè)鐵球在圖片中應(yīng)該保持一條水平線。那么，如果車輛出廠時(shí)相機(jī)安裝位置誤差過大，采用上述檢測(cè)裝置拍攝到2個(gè)鐵球在圖片上并不保持在同一條水平線上，那么說明相機(jī)的安裝位置有問題，需要重新標(biāo)定校準(zhǔn)。

1.5動(dòng)態(tài)檢測(cè)

靜態(tài)檢測(cè)適用于汽車從生產(chǎn)線中裝配出來，而后進(jìn)行抽檢來驗(yàn)證傳感器的標(biāo)定是否失效。然而，更重要的是要在車輛行駛過程中，能夠?qū)崟r(shí)動(dòng)態(tài)地檢測(cè)出傳感器的標(biāo)定參數(shù)是否失效。借用靜態(tài)檢測(cè)的思路，在下面分別提出雷達(dá)和相機(jī)的動(dòng)態(tài)檢測(cè)方法。

圖6是nuScene數(shù)據(jù)集相機(jī)在某個(gè)時(shí)刻拍攝的照片，并使用了圖形檢測(cè)框架YOLO5對(duì)圖片中的目標(biāo)進(jìn)行了檢測(cè)，而且也做了標(biāo)記。圖6中，從左向右第二輛車（以下用Car1代表此車）明顯與其它車是分離狀態(tài)，因此也很容易被雷達(dá)發(fā)現(xiàn)并聚類為單個(gè)目標(biāo)。在現(xiàn)實(shí)場(chǎng)景中，會(huì)經(jīng)常性地存在這樣的單個(gè)孤立分離目標(biāo)。

當(dāng)目標(biāo)檢測(cè)出來之后，Car1標(biāo)記框的左右兩側(cè)v坐標(biāo)是可以計(jì)算出來的，物距可以在相鄰幀通過PnP算法或激光雷達(dá)求解，那么通過公式（1）可算出物體左右兩側(cè)的水平坐標(biāo)，其差值即為Car1被圖像所檢測(cè)到的寬度Wcam，如圖7所示。

又因?yàn)镃ar1是一個(gè)孤立的目標(biāo)，那么毫米波雷達(dá)對(duì)其寬度的感知是非常準(zhǔn)確的，設(shè)其測(cè)量出來的寬度是Wradar。

如果Wcam和Wradar的差距非常大，那么就說明雷達(dá)或相機(jī)的標(biāo)定參數(shù)已經(jīng)失效，此時(shí)如果繼續(xù)進(jìn)行多傳感器目標(biāo)融合的話，必然會(huì)發(fā)生誤差，因此車輛需采取相關(guān)措施，使駕駛員介入操作。

2實(shí)驗(yàn)

nuScene[7]是自動(dòng)駕駛公司nuTonomy在互聯(lián)網(wǎng)上開源的大型自動(dòng)駕駛數(shù)據(jù)集。由圖1可知，其傳感器包括了1個(gè)激光雷達(dá)，5個(gè)毫米波雷達(dá)和6個(gè)單目相機(jī)，總共記錄了1000個(gè)場(chǎng)景，每個(gè)場(chǎng)景以2Hz的速率采樣記錄20s的時(shí)間。在本文中，主要采用了前置相機(jī)和前置毫米波雷達(dá)的數(shù)據(jù)進(jìn)行驗(yàn)證。下面將以第一個(gè)場(chǎng)景第一個(gè)采樣記錄（以下記為采樣1）的結(jié)果為例進(jìn)行說明。

2.1標(biāo)定參數(shù)

通過使用nuScenes數(shù)據(jù)集官方python的nuscens-devkit開發(fā)庫，可以編寫python程序來提取前置相機(jī)和前置雷達(dá)的標(biāo)定參數(shù)。

傳感器坐標(biāo)系相對(duì)車輛坐標(biāo)系的旋轉(zhuǎn)見表1。為了簡(jiǎn)潔表示，采用四元數(shù)（w，x，y，z）形式。

2.4驗(yàn)證結(jié)果

由2.2節(jié)和2.3節(jié)可知，Wcam和Wradar的結(jié)果非常接近，說明相機(jī)和雷達(dá)的標(biāo)定參數(shù)處于正常的工作狀態(tài)。

3結(jié)束語

本文對(duì)多傳感器的工作原理進(jìn)行了探討，分析了目標(biāo)融合失效的風(fēng)險(xiǎn)，并且提出了靜態(tài)檢測(cè)和動(dòng)態(tài)檢測(cè)兩種方法來規(guī)避這種風(fēng)險(xiǎn)，提高智能車的安全性。通過nuScenes的數(shù)據(jù)驗(yàn)證可知，比較多個(gè)傳感器檢測(cè)到的孤立目標(biāo)寬度，可以實(shí)時(shí)驗(yàn)證傳感器的標(biāo)定參數(shù)是否失效。

未來可以考慮采取多個(gè)維度方向上長(zhǎng)度的檢測(cè)，來增加傳感器標(biāo)定失效的魯棒性，進(jìn)一步提升智能車的主動(dòng)安全性。

參考文獻(xiàn)

[1]許小徐，黃影平，胡興.智能汽車激光雷達(dá)和相機(jī)數(shù)據(jù)融合系統(tǒng)標(biāo)定[J].光學(xué)儀器，2019，41（6）：79-86.

[2]ZHENGYinqiang，KUANGYubin，SUGIMOTOS，etal.RevisitingthePnPproblem：Afast，generalandoptimalsolution[C]∥Proceedingsof2013IEEEInternationalConferenceonComputerVision.Sydney，Australia：IEEE，2013：2344-2351.

[3]HESCHJA，ROUMELIOTISSI.Adirectleast-squares（DLS）methodforPnP[C]∥Proceedingsof2011InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2011：383-390.

[4]SUGIMOTOS，TATEDAH，TAKAHASHIH，etal.Obstacledetectionusingmillimeter-waveradaranditsvisualizationonimagesequence[C]∥InternationalConferenceonPatternRecognition.Cambridge，UK：IEEE，2004：342-345.

[5]LIUXianru，CAIZixing.Advancedobstaclesdetectionandtrackingbyfusingmillimeterwaveradarandimagesensordata[C]∥InternationalConferenceonControl，AutomationandSystems（ICCAS2010）.Gyeonggi-do，Korea（South）：IEEE，2010：1115-1120.

[6]羅逍，姚遠(yuǎn)，張金換.一種毫米波雷達(dá)和攝像頭聯(lián)合標(biāo)定方法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，54（3）：289-293.

[7]nuScenes.Carsetupindatacollection[EB/OL].[2020-09-27].https：∥www.nuscenes.org/nuscenes#tutorials.

[8]CAESARH，BANKITIV，LANGAH，etal.nuScenes：Amultimodaldatasetforautonomousdriving[J].arXivpreprintarXiv：1903.11027，2019.

[9]陳伯孝等編著.現(xiàn)代雷達(dá)系統(tǒng)分析與設(shè)計(jì)[M].西安：西安電子科技大學(xué)出版社，2016.