智能汽車激光雷達和相機數(shù)據(jù)融合系統(tǒng)標(biāo)定

許小徐，黃影平，胡 興

（上海理工大學(xué) 光電信息與計算機工程學(xué)院，上海 200093）

引 言

智能汽車采用相機和激光雷達實現(xiàn)對環(huán)境的感知。通過這些傳感器的數(shù)據(jù)融合，可以發(fā)揮各個傳感器的特點提高環(huán)境識別的可靠性[1]。數(shù)據(jù)融合的前提是傳感器的聯(lián)合標(biāo)定，標(biāo)定就是要找到傳感器坐標(biāo)系之間的位置關(guān)系，據(jù)此可以將不同傳感器的數(shù)據(jù)在空間上準(zhǔn)確地對應(yīng)起來。

現(xiàn)有的激光雷達和相機聯(lián)合標(biāo)定方法可以分為兩類：特征點匹配法和棋盤格標(biāo)定法。特征點匹配法采用特殊圖形的標(biāo)定板提取激光雷達采集到的三維點和對應(yīng)的相機得到的二維圖像點，建立約束方程，優(yōu)化計算相機位姿，其本質(zhì)是相機位姿估計的 PNP（perspective-n-point）問題[2-3]。該方法無需求解相機的內(nèi)參數(shù)，標(biāo)定精度主要取決于特征點對的提取精度[4-7]。劉大學(xué)[6]針對單線激光雷達，設(shè)計了一種帶刻度的平面標(biāo)定模板，利用激光雷達點擬合直線求交點，獲得特征點坐標(biāo)，再根據(jù)標(biāo)定板上的刻度，手動標(biāo)注出特征點位置，以便在圖像中找出對應(yīng)的圖像坐標(biāo)。該方法適用于單線激光雷達的標(biāo)定，且需要手動標(biāo)注特征點，易引入操作誤差，且標(biāo)定板制作過程復(fù)雜。Park等[7]針對32線激光雷達設(shè)計了一種三角形平面標(biāo)定板，利用激光雷達掃描在標(biāo)定板上的邊緣點擬合直線方程，再利用直線的交點求出三角形的頂點作為特征點，對應(yīng)圖像中特征點采用圖像角點檢測的方法求出。該方法僅適用于32線或者掃描層數(shù)較多的激光雷達，對于四線激光雷達，可供擬合的邊緣點數(shù)量少，所以擬合出的直線誤差會很大；并且由于提取的是邊緣點，對激光雷達的掃描角度分辨率要求較高?；谄灞P格的標(biāo)定方法最早由華盛頓大學(xué)機器人研究室Zhang等[8]提出，通過相機和雷達多角度觀測棋盤格平面，利用棋盤格平面在兩個坐標(biāo)系的一致性，根據(jù)約束條件用線性方法求解外部參數(shù)，再用非線性方法[9-10]進一步優(yōu)化。Osgood等[11-12]詳細介紹了Nelder-Mead優(yōu)化方法在激光雷達和相機標(biāo)定問題上的應(yīng)用。項志宇等[13]基于Zhang等[8]的方法做出改進，采用平面擬合增加了方法的魯棒性。該類方法只能標(biāo)定外部參數(shù)，相機的內(nèi)參數(shù)要采用張正友法[14]求解。

2018年三季度，根據(jù)中怡康推總數(shù)據(jù)，洗衣機總體零售量規(guī)模為797萬臺，環(huán)比下降8.3%；零售額達到153億元，同比上漲2.6%，環(huán)比下降10.5%。在家電行業(yè)整體低迷的環(huán)境下，洗衣機是三季度唯一實現(xiàn)增長的大家電品類，實屬珍貴；在零售量8.3%的降幅下能夠?qū)崿F(xiàn)零售額2.6%的增長，也展示出洗衣機行業(yè)結(jié)構(gòu)升級的成果已經(jīng)顯現(xiàn)。

本文對特征點匹配法以及棋盤格標(biāo)定方法都進行了研究。針對Park等[7]的方法對激光雷達的層數(shù)和掃描角分辨率要求較高的不足，設(shè)計了一種新的標(biāo)定模板，利用平面擬合的方式求取特征點，獲取的特征點更加可靠。棋盤格法借鑒了Zhang等[8]和項等[13]的方法，針對他們沒有通過實驗驗證標(biāo)定精度的不足，本文設(shè)計了對標(biāo)定結(jié)果的標(biāo)靶驗證實驗，采用靶標(biāo)在圖像上實際的對準(zhǔn)效果來驗證標(biāo)定結(jié)果的準(zhǔn)確性。

1 融合系統(tǒng)標(biāo)定原理

圖1為激光雷達坐標(biāo)系OC-XCYCZC、相機坐標(biāo)系OL-XLYLZL和圖像坐標(biāo)系O-XY之間的關(guān)系。θx，θy，θz為激光雷達坐標(biāo)系相對于相機坐標(biāo)系在x, y, z方向的旋轉(zhuǎn)角度，（cx，cy，cz）為平移向量，（u0，v0）為圖像中心的像素坐標(biāo)，f為相機的焦距。

設(shè)空間中一點P在激光雷達坐標(biāo)系坐標(biāo)為（XL，YL，ZL），在相機坐標(biāo)系坐標(biāo)為（XC，YC，ZC），則有

由圖3可知，NL與NC的長度差應(yīng)當(dāng)?shù)扔谄揭葡蛄縏在NL上投影的長度，即

圖1 各坐標(biāo)系關(guān)系圖Fig. 1 Diagram of related coordinate systems

設(shè)P對應(yīng)的圖像坐標(biāo)為（u,v），則有

式中：dx和dy表示圖像中1個像素在x和y軸方向的物理尺寸；，是相機的內(nèi)參數(shù)矩陣。

將式（1）代入式（2）可得

就這樣，他們和我見了面。見面之后，他們覺得我不僅有知識有學(xué)問，還具備良好的修養(yǎng)，更難能可貴的是我才剛剛24歲，而且家境貧寒急需用錢。他們認為我會是一個稱職的“代孕媽媽”。而我得知了陳清夫婦的坎坷遭遇，看著這對經(jīng)歷了太多磨難的夫妻飽含希冀的眼神，不禁欣然同意為他們孕育孩子。

（5）以式（18）為代價函數(shù)，采用LM優(yōu)化方法，優(yōu)化初始解。

2 基于特征點的標(biāo)定方法

2.1 特征點標(biāo)定方法原理

為了提高平面的擬合精度，應(yīng)有足夠多的激光雷達點，因此在制作標(biāo)定板的過程中，應(yīng)盡量使得標(biāo)定板的尺寸足夠大，從而使每個平面上有足夠多的激光掃描點，本文中標(biāo)定板大小為1.2 m×2.4 m。且在取擬合的散點時應(yīng)盡量避免取靠近兩個平面結(jié)合處的點，以保證所取的點位于同一個平面。

根據(jù)構(gòu)架及輪對垂向受力可列出靜力學(xué)平衡方程，結(jié)合4個軸箱變形協(xié)調(diào)條件可求得轉(zhuǎn)向架4個輪輪重大小FWi(i=1,2,3,4)，如式(2)所示。

將式（6）代入式（4）和式（5）得到兩個方程

也就是說一對特征點可以建立兩個方程。設(shè)有n組特征點，則可建立2n個方程：

式中A12*1= [n11，n12，n13，n14，n21，n22，n23，n24，n31，n32，n33，n34]T，一組特征點對應(yīng)兩個方程，求解12個未知數(shù)，至少需6組特征點。通常會多取幾組特征點，形成過約束方程組，用線性最小二乘法求解[15]。

2.2 特征點標(biāo)定方法步驟

特征點選取的關(guān)鍵是能夠可靠地找到激光掃描點和與之對應(yīng)的圖像點。為了做到這一點，本文設(shè)計了一種標(biāo)定板，如圖2所示。標(biāo)定板上存在圖中1，2，3，4四個平面，其中平面2，3向后折疊，分別與平面1，4形成一定夾角。圖中橫向的粗實線，細實線，點劃線，虛線為模擬的四層激光雷達的掃描線，P1，P2，P3三個頂點為待求取的三個特征點。

在班級群里，通過每日“家長作業(yè)”的展示和主題交流，家校溝通不再是教師喋喋不休的講解、勸導(dǎo)，而是與家長一起陪伴孩子成長進步。人人會說話，人人有話說，人人想說話，這就是微信群的聊天姿勢。我們要在班級智慧的群聊中加深情感、交流信息、增強信任、共同提高，真正實現(xiàn)家校合作，共同助力孩子的幸福成長。

圖2 特征點法標(biāo)定板實物圖Fig. 2 Calibration template of feature-point method

具體步驟如下：

（3）對每個位置激光掃到棋盤格上的點進行平面擬合，按照式（15）求出每個位置的NL。

設(shè)空間平面方程為Ax+By+Cz+D=0，利用各個平面的激光雷達點，采用線性最小二乘法擬合出4個平面方程Aix+Biy+Ciz+Di=0，其中i表示第i個平面。顯然P1點為4個平面的交點，即P1坐標(biāo)滿足如下方程組：

采用線性最小二乘法可求解P1的坐標(biāo)。

根據(jù)各個平面的方程可知，其對應(yīng)的法向量 Vi為（Ai，Bi，Ci），其中 i表示第 i個平面。根據(jù)向量叉乘的定義可知，向量應(yīng)與V1×V2共線，再結(jié)合向量的模，即可求出該向量。

（2）提取特征點圖像坐標(biāo)

設(shè)點 P1，P2，P3的坐標(biāo)分別為 p1，p2，p3，則有

一眼看下去，很明顯，南邊的十幾歲那個團隊的少年們，一個個都凝神靜氣、呼吸自然。同時一個個都做到了‘深、平、穩(wěn)’。很顯然在‘蘊氣式’上都有了一些成就。

同理可知，

在圖像中采用角點檢測的方法，獲得標(biāo)定板的三個頂點在圖像坐標(biāo)系中的坐標(biāo)。從而獲得三組對應(yīng)的特征點。

（3）移動標(biāo)定板的位置，再次求出三組特征點，用六組特征點，按照式（9）建立方程組，用最小二乘法[15]求解矩陣A12*1。

通過提取若干對激光雷達與圖像特征點，建立約束方程組，求解矩陣A中的12個元素。式（3）展開可得

3 基于棋盤格的標(biāo)定方法

3.1 棋盤格法標(biāo)定原理

如圖3所示，NC與NL分別代表從相機坐標(biāo)系原點和激光雷達坐標(biāo)系原點到棋盤格平面的三維垂直向量，NC的模|等于從棋盤格到相機原點的距離，NL的模|等于從棋盤格到激光雷達原點的距離。

1) 間歇采樣重復(fù)轉(zhuǎn)發(fā)干擾只要獲得脈壓雷達的最小脈寬就可實施有效干擾，因此不需要進行過多的電子戰(zhàn)偵察工作，效率更高；

通過張正友標(biāo)定法[14]求得世界坐標(biāo)系（棋盤格左上角為原點）到相機坐標(biāo)系的旋轉(zhuǎn)矩陣R′，以及平移向量T ′，則有

式中 R′3表示 R′ 第三列。

NL通過激光雷達點云擬合平面獲得：采用最小二乘法[15]對激光掃到棋盤格平面上的點擬合平面，設(shè)擬合出的平面方程為Ax +By +Cz +D=0，則（A，B，C）為平面法向量，且（A，B，C）為單位向量，則

式中nL是NL的單位向量,一組給定的NL與NC提供一組求解T的約束條件，改變棋盤格平面位置，提供多組NL與NC，用線性最小二乘法[15]求解T。

陸游的地域書寫，比其他作家受時空轉(zhuǎn)換的影響更明顯。錢鐘書云：“至放翁詩中，居梁益則憶山陰，歸山陰又戀梁益，此乃當(dāng)前不御，過后方思，遷地為良，安居不樂；人之常情，與議論矛盾殊科?！痹跁r間的流逝與空間的轉(zhuǎn)變中，陸游關(guān)于梁益的地域書寫在內(nèi)容和情緒等方面都發(fā)生了不小的變化，而有些變化因記憶模糊或創(chuàng)作心態(tài)改變甚至?xí)昂竺?，雖非“議論矛盾”，卻是許多細節(jié)或情緒上的矛盾。

圖3 棋盤格法標(biāo)定原理示意圖Fig. 3 Principle diagram of planar checkerboard method

根據(jù)坐標(biāo)系的變換原理可知，nL在相機坐標(biāo)系下可以表示為RnL，設(shè)NC的單位向量nC,

由RnL與nC平行關(guān)系可知，向量RnL與nC的內(nèi)積為1，即

實證研究結(jié)果顯示：同樣是每提高1個單位，成長性創(chuàng)業(yè)質(zhì)量比生存性創(chuàng)業(yè)對農(nóng)民工價值觀念、身份認同、經(jīng)濟適應(yīng)和生活方式因子得分的促進作用分別高出3.952分、3.028分、4.742分和2.096分。雖然大多數(shù)農(nóng)民工返鄉(xiāng)創(chuàng)業(yè)的投資規(guī)模較小，大多數(shù)選擇在離家較近的小城鎮(zhèn)創(chuàng)業(yè)，以達到重新整合配置返鄉(xiāng)農(nóng)民工人力資源，扭轉(zhuǎn)以往返鄉(xiāng)陷入水平流動或向下流動的困境，并進一步通過返鄉(xiāng)創(chuàng)業(yè)實現(xiàn)積極的向上流動，但總體來說，現(xiàn)階段農(nóng)民工返鄉(xiāng)創(chuàng)業(yè)的質(zhì)量普遍偏低，大都處于創(chuàng)業(yè)后的發(fā)展階段，有些甚至處于停滯或倒退階段，其創(chuàng)業(yè)所獲得的利潤往往不足以維持其在城市體面的生活，因而生存性創(chuàng)業(yè)質(zhì)量對其就地市民化的影響程度相對較小。

式中：Ncr為液化判別標(biāo)準(zhǔn)貫入錘擊數(shù)臨界值；N0為液化判別標(biāo)準(zhǔn)貫入錘擊數(shù)基準(zhǔn)值，可按表4.3.4采用；ds為飽和土標(biāo)準(zhǔn)貫入點深度，m；dw為飽和土標(biāo)準(zhǔn)貫入點深度，m； ρc為粘粒含量百分率，當(dāng)小于3時或為砂土?xí)r，應(yīng)采用3； β為調(diào)整系數(shù)，設(shè)計地震第一組取0.8，第二組取0.95，第三組取1.05。

一組給定的nL與nC提供一組求解R的約束條件，改變棋盤格平面位置，提供多組nL與nC，用線性最小二乘法[15]求解R。

將以上得到的R,T作為初始解，建立式（18）所示目標(biāo)函數(shù)，使用Levenberg-Marquard（LM）優(yōu)化方法[8]對初始解進行優(yōu)化。

式中：n表示放置的棋盤格位置數(shù)；m表示第i個位置棋盤格上的激光掃描點數(shù)。NC,i代表第i個棋盤格位置時相機原點到棋盤格平面的垂直三維向量。Pi,j表示第i個位置的棋盤格上的第j個激光掃描點。

將旋轉(zhuǎn)矩陣轉(zhuǎn)化為旋轉(zhuǎn)角，公式為

式中rij表示R第i行第j個元素。

3.2 棋盤格法標(biāo)定步驟

（1）將棋盤格放置在相機和激光雷達共同視場的20個不同位置。

（2）用張正友法求取每個位置棋盤格相對于相機的旋轉(zhuǎn)和平移矩陣，可采用MATLAB標(biāo)定工具[16]實現(xiàn)，根據(jù)式（14）求出每個位置的NC。

（1）提取特征點在激光雷達坐標(biāo)系的坐標(biāo)

（4）按照式（16）和式（17）建立約束方程組，用線性最小二乘法[15]求出R,T初始解。

因此將激光雷達測量點（XL，YL，ZL）對應(yīng)到圖像點（u,v）的問題，轉(zhuǎn)化為求取10個參數(shù)（cx，cy，cz，θx，θy，θz，u0，v0，fx，fy），或者求解矩陣A的過程。下述基于特征點的標(biāo)定方法是求解A, 基于棋盤格的標(biāo)定方法是直接求解10個參數(shù)。

（6）用張正友標(biāo)定方法求取相機的內(nèi)參數(shù)u0、v0、fx、fy。

4 實驗結(jié)果

激光雷達和相機的安裝位置如圖4所示。激光雷達為四線激光雷達，水平視野為120°，掃描垂直視野為3.2°，角度分辨率為0.25°。標(biāo)稱的相機內(nèi)參數(shù)為：圖像分辨率640 ×480 ，焦距800 像素（6 mm），像素物理尺寸大小 7.5 μm。棋盤格標(biāo)定板采用9×7格，每格大小為171 mm×171 mm。

④ manus dara-a sara-yin arbad-iyar yabuy-ageju bui(我們下月十來號就要走)

4.1 特征點法

按照2.2節(jié)描述的方法提取至少6組激光雷達和對應(yīng)圖像特征點坐標(biāo)，計算得到的矩陣A如表1所示。

再次，每學(xué)年進行全區(qū)統(tǒng)一檢測，為進一步研究提供數(shù)據(jù)。各校以“閱讀實驗校”評選為契機，以閱讀為突破口，積極開發(fā)閱讀課程，鼓勵各學(xué)科根據(jù)學(xué)科特色開展相應(yīng)的閱讀研究活動，形成“大閱讀”的理念，促進各學(xué)科均衡發(fā)展，形成“大教育觀”，著力培養(yǎng)學(xué)生的綜合素質(zhì)，提升學(xué)校的綜合實力，讓學(xué)校成為真正的“書香圣園”。

幼兒園階段的行為規(guī)范要求總體較自由和生活化，剛性要求較少。如入園和離園的時間不硬性固定，上課可以在不影響秩序的情況下去喝水或上廁所。隨著一入小學(xué)，規(guī)范要求一下從寬松到嚴(yán)格，不遲到不早退，上課不能隨便說話、上廁所，這些變化必然給孩子造成一定的心理壓力。

圖4 相機與激光雷達安裝位置圖Fig. 4 Installation diagram of the lidar-camera system

4.2 棋盤格法

按照3.2節(jié)所述方法，將棋盤格放置在20個不同位置，記錄每個位置掃在棋盤格上的激光點Pi,j，求取每個位置的NL與NC,部分?jǐn)?shù)據(jù)記錄如表2所示。如3.2節(jié)所述，先用最小二乘法[15]求出R，[cx，cy，cz] 的初始解，在初始解的基礎(chǔ)上進一步用LM方法[8]優(yōu)化初始解，得到優(yōu)化解，結(jié)果如表3所示。R與旋轉(zhuǎn)角θx，θy，θz的轉(zhuǎn)換按照式（19）求得。

教師應(yīng)樹立“大語文”的觀點，讓學(xué)生從傳統(tǒng)那種“學(xué)海無涯苦作舟”的苦讀走向開放型的自主學(xué)習(xí)。從課堂走向課外，從校園走向校外，使語文成為一泓活水，在豐富多彩的社會生活中學(xué)語文，長才干，學(xué)做人。因此，教師要引導(dǎo)學(xué)生深入生活，也可開展課外閱讀活動，設(shè)立圖書角，推薦好書讓學(xué)生閱讀，教給閱讀方法，開展讀書競賽，興趣小組等。在實踐中出真知，讓學(xué)生多觀察，多思考，充分發(fā)揮學(xué)生的主觀能動性。

4.3 校準(zhǔn)結(jié)果驗證

如圖5所示，采用9個如圖中標(biāo)號1～9所示的細小白色泡沫靶，用可上下移動的細桿支撐，放置在相機和激光雷達共同視場。移動標(biāo)靶使得激光雷達能夠掃描到靶子上，記錄各個標(biāo)靶的雷達點坐標(biāo)，同時在圖像中取標(biāo)靶圖像的中心位置代表靶標(biāo)位置，讀取圖像坐標(biāo)，如表4所示。

表1 實驗提取的特征點對與計算結(jié)果Tab. 1 Extracted feature points and calculated parameters

表2 棋盤格平面在部分位置的NL，NC及相應(yīng)位置的部分Pl點坐標(biāo)示例Tab. 2 NL, NC of the checkerboard planes at different positions and Pl at corresponding positions

表3 參數(shù)求解結(jié)果Tab. 3 Results of the parameters

圖5 驗證實驗示意圖Fig. 5 Diagram of validation experiment

分別采用特征點法和棋盤格法得到的結(jié)果，將激光雷達坐標(biāo)投影到圖像上得到投影的圖像坐標(biāo)，按照式（20）計算投影對準(zhǔn)誤差，記錄如表4所示。

表4 特征點法與棋盤格法投影激光雷達點到圖像坐標(biāo)的結(jié)果Tab. 4 Results of the projection of the two methods

式中[ua,i，va,i] 表示第i個標(biāo)靶實際讀取的圖像坐標(biāo)；[uc,i，vc,i]為采用標(biāo)定結(jié)果通過坐標(biāo)轉(zhuǎn)換得到的圖像坐標(biāo)。計算出特征點法的平均誤差3.03 像素，棋盤格法的平均誤差為2.33 像素。

將激光雷達點云數(shù)據(jù)分別依據(jù)兩種方法的實驗結(jié)果，投影到圖像中，如圖6所示，可見兩種方法的激光點云都能很好地與圖像匹配。

圖6 投影激光雷達點到圖像Fig. 6 Projection of lidar points to image

5 結(jié) 論

特征點標(biāo)定法可以直接求出標(biāo)定結(jié)果，其結(jié)果是一個包含了坐標(biāo)系外參數(shù)和相機內(nèi)參數(shù)的矩陣，利用該矩陣可以將激光雷達坐標(biāo)轉(zhuǎn)換為圖像坐標(biāo)，但是矩陣內(nèi)各個參數(shù)的物理意義不明顯。該方法的核心是準(zhǔn)確提取特征點，本文設(shè)計的特征點選取方法相對于文獻[6],省去了人為標(biāo)注的過程，特征點選取也更為可靠、簡單。相對于文獻[7]擬合直線求取特征點的方法，本文采用平面擬合的方法求取特征點，可供采用的激光點數(shù)量顯著增加，而且可以均衡激光雷達本身的測量誤差引起的標(biāo)定誤差，提高了標(biāo)定的精度。棋盤格法的標(biāo)定過程需要分兩步進行,即分別求取坐標(biāo)系外參數(shù)和相機的內(nèi)參數(shù)，其中相機內(nèi)參數(shù)通過張正友標(biāo)定法獲得，坐標(biāo)系外參數(shù)可以直接獲取旋轉(zhuǎn)角度和平移參數(shù)。棋盤格法無需人工標(biāo)注特征點，避免引入手動誤差。但是操作過程比較繁瑣，需要將棋盤格標(biāo)定板放置到多個不同位置，處理的數(shù)據(jù)也比較多。總之，兩種方法各有優(yōu)缺點，實驗中棋盤格法的精度略高于特征點法。