車載激光點(diǎn)云與全景影像的配準(zhǔn)研究

聶倩，蔡元波，林昀，陳長(zhǎng)軍

(1.寧波市測(cè)繪設(shè)計(jì)研究院，浙江 寧波 315042；2.武漢大學(xué) 測(cè)繪學(xué)院，武漢 430079)

1 引 言

地面三維激光掃描技術(shù)采用非接觸主動(dòng)測(cè)量方式直接高速獲取高精度、高密度、超高分辨率的三維空間信息，已成為快速獲取城市空間信息的全新技術(shù)手段[1-3]。雖然很多地面激光掃描儀可通過(guò)內(nèi)置相機(jī)同步獲取掃描點(diǎn)的紋理，但是其分辨率、攝影方式、精準(zhǔn)度等均不能滿足應(yīng)用的需要。而全景成像技術(shù)是一種超廣角視野表達(dá)方式，它包含了比圖像序列更直觀、更完整的場(chǎng)景信息，同時(shí)可供用戶自由轉(zhuǎn)換視角。因此，目前以高速地面三維激光掃描儀和全景相機(jī)為核心傳感器，并輔以GPS、IMU進(jìn)行激光掃描傳感器定位定姿的移動(dòng)測(cè)量系統(tǒng)正在興起[4-9]，例如Topcon的IP-S2系統(tǒng)、寧波測(cè)繪院的移動(dòng)測(cè)量系統(tǒng)等。

基于激光掃描儀和全景相機(jī)的移動(dòng)測(cè)量系統(tǒng)用于城市快速三維測(cè)量與重建的一個(gè)關(guān)鍵步驟就是點(diǎn)云與全景影像的高精度配準(zhǔn)[10]。目前，關(guān)于點(diǎn)云與普通CCD影像的配準(zhǔn)已經(jīng)有很多研究成果：共線方程解法、直接線性變換法、角錐體法等[11-12]，而對(duì)于車載點(diǎn)云與全景影像的配準(zhǔn)研究則鮮有進(jìn)展。由于激光點(diǎn)云和全景影像在數(shù)據(jù)表現(xiàn)形式和屬性上均有很大差異，因此傳統(tǒng)的遙感配準(zhǔn)方法不能完全適用于這兩類數(shù)據(jù)的配準(zhǔn)。針對(duì)上述問(wèn)題，本文提出一種車載激光點(diǎn)云與全景影像配準(zhǔn)方法，該方法利用POS數(shù)據(jù)和各個(gè)傳感器間的相對(duì)空間位置關(guān)系建立點(diǎn)云與單張面陣CCD影像間的對(duì)應(yīng)關(guān)系，然后根據(jù)全景影像與單張面陣CCD影像間的映射關(guān)系，從而實(shí)現(xiàn)車載激光點(diǎn)云與全景影像的高精度配準(zhǔn)。

2 移動(dòng)測(cè)量系統(tǒng)的組成及工作原理

本文的移動(dòng)測(cè)量系統(tǒng)是由寧波市測(cè)繪設(shè)計(jì)研究院和武漢大學(xué)共同開發(fā)研制，它以帕拉丁汽車為移動(dòng)平臺(tái)，集成安裝了1部高精度慣性導(dǎo)航設(shè)備(GPS/IMU)、1臺(tái)高分辨率全景相機(jī)、2臺(tái)RIEGL公司不同型號(hào)激光掃描儀VZ-400和LMS-120i、1臺(tái)同步控制單元以及4臺(tái)工控計(jì)算機(jī)。

本文的移動(dòng)測(cè)量系統(tǒng)所有傳感器被固定在移動(dòng)平臺(tái)上，采用系統(tǒng)標(biāo)定建立其嚴(yán)格幾何關(guān)系，并通過(guò)同步控制系統(tǒng)觸發(fā)脈沖來(lái)實(shí)現(xiàn)各傳感器數(shù)據(jù)的同步采集。當(dāng)車輛以一定速度勻速行駛時(shí)，GPS和IMU同時(shí)觀測(cè)記錄各傳感器的位置和姿態(tài)數(shù)據(jù)，VZ-400和LMS-120i掃描儀分別獲取車輛兩側(cè)和地表面的點(diǎn)云信息，全景相機(jī)采集城市街景影像，從而實(shí)現(xiàn)全方位場(chǎng)景下的三維空間信息和紋理信息獲取。

3 車載激光點(diǎn)云與全景影像的配準(zhǔn)

如圖1所示，本文移動(dòng)測(cè)量系統(tǒng)的全景相機(jī)由8個(gè)面陣CCD鏡頭構(gòu)成，面陣CCD相機(jī)采用框幅式成像方式仍滿足中心投影構(gòu)像方程，在每個(gè)采樣時(shí)刻獲取8張面陣CCD影像，然后將8張影像進(jìn)行球面投影和拼接處理，從而形成全景影像。由于全景成像系統(tǒng)的8臺(tái)CCD相機(jī)為非量測(cè)工業(yè)相機(jī)，其成像存在較大的畸變，因此本文首先對(duì)單臺(tái)面陣CCD相機(jī)進(jìn)行標(biāo)定以獲取其內(nèi)方位元素和畸變參數(shù)，然后利用VZ-400掃描儀可以靜態(tài)掃描特性，建立單臺(tái)CCD相機(jī)的像空輔坐標(biāo)和VZ-400掃描儀坐標(biāo)系間的平移和旋轉(zhuǎn)關(guān)系，并基于POS數(shù)據(jù)和各個(gè)傳感器間的相對(duì)空間位置信息實(shí)現(xiàn)激光點(diǎn)云和單張面陣CCD影像間的配準(zhǔn)，最后利用全景影像與單張CCD影像間的映射關(guān)系實(shí)現(xiàn)點(diǎn)云與全景影像的配準(zhǔn)。圖1給出了車載點(diǎn)云與全景影像的配準(zhǔn)流程。

圖1 車載點(diǎn)云與全景影像配準(zhǔn)的原理

3.1 單臺(tái)面陣CCD相機(jī)的標(biāo)定

為了消除畸變對(duì)配準(zhǔn)精度的影響，本文采用張正友提出的平面標(biāo)定法進(jìn)行單臺(tái)面陣CCD相機(jī)的標(biāo)定試驗(yàn)，以確定單鏡頭的內(nèi)參數(shù)和畸變系統(tǒng)，從而消除相機(jī)畸變對(duì)配準(zhǔn)精度的影響。具體實(shí)施步驟如下：

(1)對(duì)全景相機(jī)的每一個(gè)鏡頭，采用平面棋盤格作為標(biāo)定物，獲取不同視角下的多張圖像。

(2)利用Harris算子進(jìn)行影像特征點(diǎn)的提取。

(3)在不考慮徑向及切向畸變的情況下，利用旋轉(zhuǎn)矩陣的正交性，求解相機(jī)的內(nèi)參數(shù)(f,x0,y0)。

(4)利用最小二乘法估算相機(jī)的徑向和切向畸變系統(tǒng)(k1,k2,p1,p2)，并利用最大似然估計(jì)原則整體優(yōu)化所有參數(shù)。

3.2 車載激光點(diǎn)云與單張面陣CCD影像間的配準(zhǔn)

由于全景成像系統(tǒng)在每一個(gè)采樣瞬間獲得8張面陣CCD影像，以面陣CCD相機(jī)m為例詳細(xì)介紹其與車載點(diǎn)云間的配準(zhǔn)。對(duì)于某一個(gè)地面目標(biāo)點(diǎn)，其所對(duì)應(yīng)像點(diǎn)的像空輔坐標(biāo)與同名點(diǎn)云的掃描儀坐標(biāo)間存在如下對(duì)應(yīng)關(guān)系：

(1)

由于移動(dòng)測(cè)量系統(tǒng)各傳感器間進(jìn)行了嚴(yán)格標(biāo)定，即掃描儀坐標(biāo)系L、慣導(dǎo)坐標(biāo)系G和WGS-84系W間的轉(zhuǎn)換關(guān)系在系統(tǒng)標(biāo)定時(shí)已確定，如式(2)和式(3)所示。

(2)

(3)

其中，RLG和TLG分別表示掃描儀坐標(biāo)系和慣導(dǎo)坐標(biāo)系間的旋轉(zhuǎn)矩陣和平移量；RGW和TGW表示慣導(dǎo)系和WGS-84系間的旋轉(zhuǎn)矩陣和平移量。

綜合式(1)～式(3)，可建立單張面陣CCD影像的像點(diǎn)像空輔坐標(biāo)與其WGS-84坐標(biāo)間的轉(zhuǎn)換關(guān)系：

(4)

(5)

CPW=TGW+RGWTLG+RGWRLGCPL

(6)

由于車載系統(tǒng)經(jīng)過(guò)嚴(yán)格標(biāo)定，即RLG、RGW、TLG和TGW已知，故RPW和CPW的解算可以轉(zhuǎn)換為RPL和CPL的求解問(wèn)題。因此，本文將移動(dòng)測(cè)量系統(tǒng)進(jìn)行靜態(tài)掃描和拍照，利用單張CCD影像的n個(gè)像點(diǎn)和同名點(diǎn)云的掃描坐標(biāo)，由式(1)列出誤差方程，并根據(jù)最小二乘平差原理進(jìn)行旋轉(zhuǎn)矩陣RPL和平移向量CPL的解算，最后基于POS數(shù)據(jù)和各傳感器間的相對(duì)空間位置信息實(shí)現(xiàn)車載激光點(diǎn)云與單張CCD影像間的配準(zhǔn)。注意：由于全景成像系統(tǒng)與激光掃描儀在車輛平臺(tái)上的位置是固定的，即相機(jī)m和掃描儀間的轉(zhuǎn)換參數(shù)RPL和CPL一旦確定，則車載系統(tǒng)在采集數(shù)據(jù)中可實(shí)現(xiàn)點(diǎn)云與影像的實(shí)時(shí)配準(zhǔn)。

3.3 全景影像與單張CCD影像間的映射

假設(shè)面陣CCD影像m(m=1,2,…,8)上任意像點(diǎn)A的像素坐標(biāo)為(i,j)，則對(duì)應(yīng)全景球的三維點(diǎn)坐標(biāo)為(xS,yS,zS)，將影像投影到球面生成球面坐標(biāo)系以(θ,φ,r)表示，其中θ為水平旋轉(zhuǎn)角，φ為俯仰角，r為球體半徑，根據(jù)空間直角坐標(biāo)與球面坐標(biāo)的轉(zhuǎn)換關(guān)系，可得：

(7)

(8)

其中，β為相機(jī)光軸繞垂直軸Y軸的旋轉(zhuǎn)角度，對(duì)于相機(jī)m而言，β=45×(m-1)；W和H分別為面陣CCD影像m的長(zhǎng)度和寬度。

根據(jù)全景影像上任意一點(diǎn)的三維坐標(biāo)(xS,yS,zS)可由式(7)和式(8)確定它所對(duì)應(yīng)的單張面陣CCD影像上的像點(diǎn)行列號(hào)，進(jìn)而依據(jù)式(4)實(shí)現(xiàn)全景影像與車載激光點(diǎn)云間的配準(zhǔn)。

4 試驗(yàn)及分析

為了驗(yàn)證本文配準(zhǔn)方法的正確性和可靠性，首先對(duì)全景成像系統(tǒng)的8個(gè)面陣CCD鏡頭進(jìn)行平面板標(biāo)定試驗(yàn)，以確定其內(nèi)方位元素和畸變系數(shù)，然后利用車載系統(tǒng)進(jìn)行靜態(tài)掃描和拍照，解算單臺(tái)CCD相機(jī)與掃描儀坐標(biāo)系間的旋轉(zhuǎn)平移關(guān)系。最后采用車載移動(dòng)測(cè)量系統(tǒng)對(duì)寧波市聚賢路周邊區(qū)域進(jìn)行了激光點(diǎn)云和全景影像采集試驗(yàn)。表1為單臺(tái)面陣CCD相機(jī)的標(biāo)定結(jié)果；表2為面陣CCD相機(jī)與激光掃描儀間的轉(zhuǎn)換關(guān)系；圖2和圖3為車載點(diǎn)云與全景影像的配準(zhǔn)結(jié)果。

本文通過(guò)由配準(zhǔn)后全景影像的像點(diǎn)反算其對(duì)應(yīng)點(diǎn)云的物方坐標(biāo)，并與檢查點(diǎn)的實(shí)測(cè)物方坐標(biāo)進(jìn)行對(duì)比分析，從而定量評(píng)價(jià)車載點(diǎn)云與全景影像的配準(zhǔn)精度。本文選取了13個(gè)檢查點(diǎn)進(jìn)行實(shí)驗(yàn)分析，其中X、Y是利用全站儀獲取的檢查點(diǎn)在WGS-84高斯投影坐標(biāo)系下的平面坐標(biāo)；X′、Y′是全景影像像點(diǎn)所對(duì)應(yīng)的同名點(diǎn)云的物方坐標(biāo)。由表3可以看出，通過(guò)13個(gè)檢查點(diǎn)的全景像點(diǎn)坐標(biāo)反算點(diǎn)云物方坐標(biāo)與實(shí)測(cè)坐標(biāo)的比對(duì)，可以看出車載點(diǎn)云與全景影像整體可達(dá)到0.1的平面中誤差。因此，利用本文方法進(jìn)行車載點(diǎn)云與全景影像的配準(zhǔn)后，由全景影像實(shí)現(xiàn)地物量測(cè)可以滿足城市大比例尺測(cè)圖的精度要求。

表1 單臺(tái)面陣CCD相機(jī)的標(biāo)定結(jié)果

表2 單臺(tái)面陣CCD相機(jī)與VZ-400掃描儀間的轉(zhuǎn)換關(guān)系

圖2 車載點(diǎn)云與全景影像絕對(duì)配準(zhǔn)后的結(jié)果

圖3 車載點(diǎn)云與全景影像絕對(duì)配準(zhǔn)后的局部效果

表3 配準(zhǔn)結(jié)果精度(m)

5 結(jié)束語(yǔ)

本文對(duì)車載三維激光點(diǎn)云與全景影像的配準(zhǔn)進(jìn)行研究，首先利用POS數(shù)據(jù)和各個(gè)傳感器間的相對(duì)空間位置關(guān)系建立點(diǎn)云與單張面陣CCD影像間的對(duì)應(yīng)關(guān)系，然后根據(jù)全景影像與單張面陣CCD影像間的映射關(guān)系，從而實(shí)現(xiàn)車載點(diǎn)云與全景影像的高精度配準(zhǔn)。試驗(yàn)結(jié)果表明，本文配準(zhǔn)方法簡(jiǎn)單，可以達(dá)到0.1m的平面精度，基于配準(zhǔn)后的全景影像進(jìn)行地物量測(cè)可滿足城市大比例尺測(cè)圖的精度要求。

參考文獻(xiàn)：

[1] 張毅.地面三維激光掃描點(diǎn)云數(shù)據(jù)處理方法研究[D].武漢大學(xué)，2008.

[2] 馬洪超，姚春靜，鄔建偉.利用線特征進(jìn)行高分辨率影像與LiDAR點(diǎn)云的配準(zhǔn)[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2012，37(2)：136-140.

[3] 楊勇，鐘若飛，康永偉，等.車載激光與單目線陣相機(jī)的數(shù)據(jù)融合[J].首都師范大學(xué)學(xué)報(bào)，2010，31(2)：82-87.

[4] 張卡，盛業(yè)華，葉春，等.車載三維數(shù)據(jù)采集系統(tǒng)的絕對(duì)標(biāo)定及精度分析[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版)，2008，33(1)：55-59.

[5] 陳允芳，葉澤田.IMU/DGPS輔助車載CCD及激光掃描儀三維數(shù)據(jù)采集與建模[J].測(cè)繪科學(xué)，2006，31(5)：91-92.

[6] HAALA N，PETER M，KREMER J.Mobile LiDAR mapping for 3D point cloud collection in urban areas：A performance test[J].In：ISPRS，2008(37)：1119-1124.

[7] RIEGER P，STUDNICKA N，PFENNINGBAUER M.Boresight alignment method for mobile laser scanning systems[EB/OL].http：//www.geomatik-hanmburg.de/tls/tls2.

[8] HAMMOUDI K，DORNAIKA F，PAPARODITIS N.Extracting building footprints from 3d point clouds using terrestrial laser scanning at street level[C].2009 International Conference on CMRT09 IAPRS，Paris，2009.

[9] HAN Y M，WANG L.A novel approach to calibrating the line scan camera of Vehicle-borne 3D data acquisition system[C].2010 International Colloquium on Computing，Communication，Control，and Management，2010.

[10] 陳為民.基于全景成像與激光掃描的城市快速三維測(cè)量與重建技術(shù)研究[D].武漢大學(xué)，2012.

[11] 王國(guó)利，王晏民.地面激光點(diǎn)云多源約束的穩(wěn)健整體配準(zhǔn)[J].測(cè)繪通報(bào)，2012，(1)：20-21.

[12] 王宴民，胡春梅.一種地面激光雷達(dá)點(diǎn)云與紋理影像穩(wěn)健配準(zhǔn)方法[J].測(cè)繪學(xué)報(bào)，2012，41(2)：266-272.