一種三維激光數(shù)據(jù)與數(shù)碼影像自動配準的方法*

宋二非，童小華，劉向鋒，陳　鵬

(同濟大學(xué) 測繪與地理信息學(xué)院，上?！?00092)

?

一種三維激光數(shù)據(jù)與數(shù)碼影像自動配準的方法*

宋二非，童小華，劉向鋒，陳鵬

(同濟大學(xué) 測繪與地理信息學(xué)院，上海200092)

摘要：地面激光掃描儀可以獲取目標表面密集高精度離散的三維點云數(shù)據(jù)，攝影測量可以獲取目標表面豐富高質(zhì)量連續(xù)的紋理影像數(shù)據(jù)，將地面激光掃描儀點云和近景數(shù)碼影像進行有機融合成為當前研究的熱點和難點，提出了一種通過基于激光點云強度圖像和數(shù)碼影像自動配準來實現(xiàn)兩種異源數(shù)據(jù)間的精確融合。其中，針對異源數(shù)據(jù)成像模型不同的問題，將點云數(shù)據(jù)嚴格地轉(zhuǎn)換為相機中心投影方式的強度影像；在點云強度圖像和數(shù)碼影像間特征點的提取與匹配過程中，采用了由粗到精的穩(wěn)健策略；根據(jù)高精度的匹配點利用空間后方交會獲取相機的準確外方位元素，恢復(fù)圖像在攝影瞬間相對點云目標的位置和姿態(tài)。實驗證明，該方法可實現(xiàn)地面激光點云數(shù)據(jù)與近景數(shù)碼影像的有機融合。

關(guān)鍵詞：地面激光；數(shù)碼影像；配準方法；強度圖像

0引言

地面激光掃描儀和攝影數(shù)碼相機具有不同的成像方式，其分別獲取的是三維離散點云和二維柵格影像，點云在表達空間數(shù)據(jù)上具有高精度、高密度和高分辨率的特點，但缺乏光譜信息，而數(shù)字影像具有清晰的輪廓、豐富的光譜信息和紋理特征。對于同一目標，如果能將點云數(shù)據(jù)和影像數(shù)據(jù)進行有效集成，可以獲得比單一數(shù)據(jù)更有效的信息。而集成兩種數(shù)據(jù)的前提是需對兩種不同成像方式的數(shù)據(jù)進行精確的配準，計算相機在統(tǒng)一坐標系(掃描坐標系)下的精確外方位元素，將圖像光譜紋理信息映射到對應(yīng)的點云位置，豐富點云特征。

與傳統(tǒng)二維影像的配準算法不同，數(shù)字影像與LiDAR點云的配準，是二維與三維數(shù)據(jù)、連續(xù)影像與離散點云間的配準，簡單利用傳統(tǒng)影像間的配準方法收效甚微[1]。近10年來，國內(nèi)外學(xué)者已對其進行了大量的研究，大致可以分為3種：

1)通過攝影測量立體像對生成攝影測量點云，然后利用ICP算法建立影像與點云間的對應(yīng)關(guān)系，如文獻[2]中在無POS系統(tǒng)下三維激光點云與影像的自動配準，此類算法本質(zhì)上是3D-3D的配準變換，無法滿足單張影像與點云的配準，而且生成的攝影測量點云會降低整體的配準精度。

2)將LiDAR點云生成距離或者強度影像，再通過傳統(tǒng)的圖像配準方法實現(xiàn)兩種數(shù)據(jù)間的配準，例如采用基于MI的配準方法[3]，基于點特征[4]、線特征[5]、面特征[6]的配準方法等，如文獻[7]中融合地面LiDAR和無人機影像在三維制圖和礦山分類中的應(yīng)用，這些算法充分利用了成熟的圖像配準算法，自動化程度高，然而通過內(nèi)插生成的強度或距離影像一方面也降低了配準的精度。

3)建立影像與點云之間的直接配準模型，如文獻[8]中手動選擇點云模型和影像中的6對同名點，通過直接線性變換求出兩者之間的轉(zhuǎn)換參數(shù)，此類方法需要交互操作，難以判斷每個控制點的精度是否滿足配準的要求。

本文利用目前比較成熟的圖像處理算法，采用基于強度圖像的方法與數(shù)碼影像進行配準，將點云與影像的配準轉(zhuǎn)換為二維影像間配準。一旦在強度圖像與數(shù)碼影像間形成共軛點對，強度圖像特征點在三維空間的坐標可以通過后向映射得到[9]。采用中心投影方法形成的強度圖像降低了它和數(shù)碼照片間的差異性，有利于兩種異源數(shù)據(jù)的配準。在強度圖像和數(shù)碼影像間特征點的提取與匹配過程中，采用了由粗到精的穩(wěn)健策略，通過不斷迭代得到精確的外方元素，此算法比較穩(wěn)定，且精度較高。

1研究方法

圖1為本文的技術(shù)路線，首先對數(shù)碼照片和原始點云數(shù)據(jù)進行預(yù)處理，其次采用中心透視投影的方式，通過消隱、插值以及圖像增強，將地面激光數(shù)據(jù)生成強度圖像，由于強度圖像采用和數(shù)碼相機相同投影方式，大大降低了兩種異源數(shù)據(jù)之間的差異，最后采用由粗到精的穩(wěn)健配準策略。

圖1　研究路線Fig.1　Route of research

1.1預(yù)處理

預(yù)處理過程分為圖像和點云預(yù)處理。普通數(shù)碼相機靈活，輕便，在近景攝影測量中得到廣泛應(yīng)用，但其構(gòu)像畸變誤差大，大致以像幅中心對稱，中心幾乎為零，向外遞增。一般非量測數(shù)碼相機構(gòu)象質(zhì)量普遍較差，畸變誤差高達幾十個像元，影響了攝影構(gòu)像的共線條件，導(dǎo)致計算結(jié)果不準確甚至迭代不收斂[10]，因此，在進行精密配準前需要對數(shù)碼相機進行嚴格的檢校，進而恢復(fù)攝影中心與像片間的相對幾何關(guān)系。普通數(shù)碼相機檢校方法主要有三維控制光線束和二維控制直接線性變換方法[11]，前者雖然精度較高，但要求布設(shè)較多控制點，而后者不需要初始的內(nèi)外方位參數(shù)，且使用簡單方便。因此，本文采用基于直接線性變換的相機檢校方法來解求相機內(nèi)方位元素和畸變系數(shù)，數(shù)碼相機的畸變改正模型為：

(1)

相機的檢校結(jié)果，如表1所示。內(nèi)方參數(shù)的檢校精度達到0.002 mm，畸變系數(shù)的檢校精度為1.175×10-6，所有參與檢校的點中，最大殘差值為0.817 pixel，最小為0.102 pixel。

表1　相機檢校參數(shù)及精度

由于激光掃描數(shù)據(jù)量大、掃描視場廣，為了加快數(shù)據(jù)處理速度，在強度圖像生成之前，需對點云數(shù)據(jù)進行預(yù)處理，主要有點云數(shù)據(jù)的濾波，去噪和抽稀等。具體操作流程為：首先，利用開源軟件CloudCompare，通過人機交互操作，剔除原始點云數(shù)據(jù)中存在的粗差、錯誤和無關(guān)信息；其次，將目標區(qū)域點云數(shù)據(jù)進行濾波處理，去除測量噪聲，避免噪聲降低配準的精度；最后，為了提高程序運行效率，利用曲率采樣的方法進行點云抽稀，不但數(shù)據(jù)得到簡化，而且能有效的保留有用的特征信息[12]。

1.2強度影像的生成

利用成熟的攝影測量和計算機視覺技術(shù)，完成激光點云和近景攝影測量影像配準的第一步就是點云強度圖像的生成[4]。強度圖像基于共線方程理念，將三維的激光點映射到二維圖像上，進而使得3D-2D的配準轉(zhuǎn)換為2D-2D。傳統(tǒng)的強度圖像需要自定義共線方程外方位元素(XS，YS，ZS，φ，ω，κ)，為了有利于點云強度圖像與數(shù)碼影像的配準，本文對文獻[13]中強度圖像生成方法進行改進，將投影中心到投影平面的距離和格網(wǎng)大小分別設(shè)為數(shù)碼相機的焦距和影像像素大小。

在三維點云數(shù)據(jù)的坐標空間中定義一個虛擬相機，然后把點云投影到該虛擬相機中。以地面三維激光雷達單測站掃描中心O(X0，Y0，Z0)為投影中心，其與激光點云中心P(Xp，Yp，Zp)的連線作為激光點云中心投影射線，垂直于該射線的平面即為投影平面，O到投影平面的距離為相機的焦距f，該平面的法向量為：

(2)

式中：ds為掃描中心與點云中心間距離。

利用法向量可以求得每個投影點在投影平面下的坐標(xi，yi)，以相機的像素大小delta作為點云采樣間隔，分別計算每一個投影點在強度圖像中對應(yīng)的行號和列號，即其像素坐標，并將該點對應(yīng)的強度值作為圖像灰度值。行號和列號計算公式為：

(3)

在強度圖像生成過程中，由于存在不同的景深，可能會出現(xiàn)同一光線上兩個或更多三維激光點投影到同一個圖像格網(wǎng)，文中采用了消隱的算法，即遍歷整幅強度圖像，比較同一個格網(wǎng)中不同投影點對應(yīng)的原始三維點與掃描中心的距離，選擇距離掃描中心較近的作為該格網(wǎng)的投影點，同時記錄每個格網(wǎng)點所對應(yīng)的三維點坐標。另外，地面三維激光掃描儀在掃描過程中可能會出現(xiàn)掃描盲區(qū)，即強度圖像中有像素值為0的情況，文中采用了反權(quán)距離插值方法(Inverse Distance Weighted，IDW)[14]進行處理。

1.3穩(wěn)健的配準策略

1.3.1特征匹配

配準前，將畸變矯正過的數(shù)碼影像以及強度圖像做一系列的增強處理，如對比度增強、直方圖均衡化和圖像銳化等，以便于后續(xù)影像特征提取和匹配。由于地面激光掃描儀和數(shù)碼相機在獲取目標屬性特征上的本質(zhì)差異，即使采用相同的透視投影方式，在特征提取方面依舊存在差異，因此本文采用尺度和旋轉(zhuǎn)不變的SIFT(Scale-invariant feature transform)算法[15]來快速提取精確特征點。其中，為了克服灰度兩極分布而導(dǎo)致對比不明顯的問題，得到相對較多的特征點，將影像做分塊處理；最后，由于部分點相對聚集，為了保證特征點的均勻分布和參數(shù)求解的準確性，對于一定范圍內(nèi)的共軛點對做唯一化處理，公式為：

Pointloc=max(CC(i))

(4)

式中：CC(i)為匹配點的相關(guān)系數(shù)；Pointloc為相關(guān)系數(shù)最大對應(yīng)的位置，取該范圍內(nèi)相關(guān)系數(shù)較大的點作為該區(qū)域唯一的匹配點。

為了提高圖像的匹配精度，本文應(yīng)用最小二乘匹配算法(Least Squares Matching，LSM)[16]，通過最小化誤差的平方和尋找特征點的最佳匹配，其匹配的精度可以達到1/10甚至1/100像素。但該方法必須有滿足精度要求的匹配初值作為引導(dǎo)，否則不收斂。因此，本文利用SIFT方法得到的匹配點作為LSM的初始值進行雙向匹配。

LSM雙向匹配技術(shù)在一定情況下可以消除誤匹配，但數(shù)碼影像和強度圖像是非同源數(shù)據(jù)，需要采用由粗到精的策略，逐步剔除誤匹配點對。經(jīng)典的參數(shù)估計方法對噪聲和誤匹配都有良好的魯棒性[17]，本文運用M估計抽樣一致性(M-estimator Sample and Consensus，MSAC)算法[18]估計基礎(chǔ)矩陣，進而剔除粗差。

1.3.2空間后方交會

雖然在匹配過程中已剔除相應(yīng)的粗差點，但仍存在匹配精度較差的點，因而文中進一步在傳統(tǒng)的空間后方交會基礎(chǔ)上采用了逐步迭代的方法來進行穩(wěn)健的粗差估計與探測，進而獲取高精度匹配點。另外，空間后方交會是基于共線方程，將其進行線性化，利用間接平差求得未知參數(shù)(XS，YS，ZS，φ，ω，κ)的改正值。在每次的迭代過程中，剔除重投影誤差大于3倍中誤差的匹配點對，同時更新空間后方交會外方位參數(shù)值，直到滿足兩次迭代線元素和角元素誤差在10-8內(nèi)停止。文中最后使用空間后方交會單位權(quán)中誤差和協(xié)方差矩陣對角元素的平方根來估計配準的精度。共線方程式為：

(5)

式中：(x，y)為圖像坐標；f為相機的主距；(Xd，Yd，Zd)為目標物體的點云坐標；(XS，YS，ZS)為相機的位置；(ai，bi，ci)組成了3×3的旋轉(zhuǎn)矩陣。

另外，空間后方交會可以精確的求得影像的外方位元素，但它需要良好的初值作為約束條件，初值的選擇影響算法的效率以及參數(shù)的精度，因此，本文選擇利用直接線性變換(DirectLinearTransformation，DLT)求解相機在地面三維激光掃描儀坐標系下的位置作為初始值。

2試驗與分析

2.1試驗數(shù)據(jù)

本文采用FaroFocus3D120地面三維激光掃描儀獲取三維點云數(shù)據(jù)，試驗場地為同濟大學(xué)129英雄紀念碑(見圖2)，共獲得6 608 643個點，數(shù)據(jù)由三維點坐標(X，Y，Z)及其強度值(I)組成，其中該掃描儀的強度量化等級為11bit，強度值范圍是0～2 048，需要進行線性變換到0～255。用NIKOND600獲取二維影像數(shù)據(jù)，分辨率為3 008×2 008，像素大小為0.012mm/pixel。有關(guān)掃描儀和數(shù)碼相機的幾項主要參數(shù)，如表2所示。

圖2　數(shù)碼影像、強度圖像及配準內(nèi)外點Fig.2　Digital image，intensity image，and registration points

FaroFocus3D120參數(shù)發(fā)散度視野最大測量范圍波長NIKOND600參數(shù)傳感器尺寸像素最高分辨率0.009°360°×305°120m905nm35.9×24mm2426萬6016×4016

2.2試驗結(jié)果與分析

采用MatlabR2013a作為編程平臺，實現(xiàn)上述相關(guān)算法。強度圖像的生成需要進行圖像消隱及插值，圖3為強度圖像局部圖。圖3(a)為未處理前的圖像，深色方框和淺色方框分別代表消隱和插值區(qū)域；圖3(b)為處理后的圖像，為使用本文提出方法得到的點云強度圖像。使用SIFT進行特征提取，經(jīng)過LSM精匹配和均勻處理后共得到1 397對匹配點。使用MSAC算法消除誤匹配，與常用的RANSAC(Random Sample and Consensus，隨機抽樣一致性)相比，本文運用的算法花費0.358 4 s，提供了分布均勻的899對匹配內(nèi)點(圖2(a)和圖2(b)中綠色點(淺色點)為MSAC粗剔除的外點)，而利用RANSAC算法花費1.586 4 s，僅提供了368對匹配內(nèi)點，且點的分布較為聚集，因此MSAC算法在本次實驗的外點剔除效率和內(nèi)點的分布上相比RANSAC更好。

圖3　消隱算法和IDW算法效果圖Fig.3　The image of hiding algorithm and IDW

前文介紹了點云與影像的配準模型，用DLT方法求得相機初始外方位元素，通過空間后方交會迭代求解精確的外方參數(shù)，在迭代過程中對誤匹配進行精剔除，圖2中藍色點為刪除的外點，最終參與運算的共軛點對數(shù)為668，如圖2中紅色點所示。圖4為迭代過程中線元素和角元素的參數(shù)中誤差。從圖4中可以看出，隨著外點的剔除，外方位參數(shù)趨于收斂。表3為求得的精確的相機外方參數(shù)，σxy為空間后方交會單位權(quán)中誤差，σXsYsZs是相機位置的平均標準差，通過外方參數(shù)協(xié)方差矩陣對角元素的平方根計算得到。以上評價指標參數(shù)滿足此次配準實驗的要求。

圖4　空間后方交會迭代誤差Fig.4　The iterative errors of space resection

線元素/mm 角元素/radian 評價指標 XSYSZSφωκσxy/pixelσXsYsZs/mm-89.2851-93.0561542.8290-0.0155-0.1079-0.02563.89131.1256

一旦精確的配準參數(shù)確定之后，將最終的迭代參數(shù)值代入共線方程，即可將數(shù)碼照片彩色紋理信息RGB賦給激光點云，實現(xiàn)兩者幾何特征和屬性特征的融合配準。圖5為地面激光數(shù)據(jù)和數(shù)碼影像配準后的效果圖，圖5(a)為全局圖，圖5(b)為局部區(qū)域，圖中單點屬性顯示，點云具有幾何信息(XYZ)和屬性信息(RGB)。

圖5　地面激光數(shù)據(jù)與數(shù)碼影像配準結(jié)果Fig.5　The registration result of LiDAR data and digital image

3結(jié)論

綜合地面激光掃描儀點云和近景數(shù)碼影像各自的優(yōu)點，本文提出一種適用于點云與基于中心投影影像的自動配準方法，該方法將2D-3D的配準轉(zhuǎn)換為2D-2D間的配準，使用了成熟的圖像處理算法?；诩す恻c云強度圖像通過一種由粗到精的穩(wěn)健配準策略，實現(xiàn)異源數(shù)據(jù)間幾何特征和屬性特征的精確融合，恢復(fù)圖像在攝影瞬間相對點云目標的位置和姿態(tài)。最后，將配準方法應(yīng)用到具體的實驗中進行驗證，結(jié)果表明：匹配點對分布均勻，外方定位精度為1.125 6 mm，達到毫米級，滿足點云數(shù)據(jù)與數(shù)碼影像的融合配準要求。

[參考文獻]

[1]Mishra R，Zhang Y.A review of optical imagery and airborne lidar data registration methods[J].The Open Remote Sensing Journal，2012，5(1)：54-63.

[2]邵杰，張愛武，王書民，等.三維激光點云與 CCD 影像融合的研究[J].中國激光，2013(5)：228-235.

[3]Parmehr E G，F(xiàn)raser C S，Zhang C，et al.Automatic registration of optical imagery with 3D LiDAR data using statistical similarity[J].ISPRS Journal of Photogrammetry and Remote Sensing，2014，88：28-40.

[4]González-Aguilera D，Rodríguez-Gonzálvez P，Gómez-Lahoz J.An automatic procedure for co-registration of terrestrial laser scanners and digital cameras[J].ISPRS Journal of Photogrammetry and Remote Sensing，2009，64(3)：308-316.

[5]馬洪超，姚春靜，鄔建偉.利用線特征進行高分辨率影像與LiDAR點云的配準[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2012，37(2)：136-140.

[6]Armenakis C，Gao Y，Sohn G.Co-registration of aerial photogrammetric and LiDAR point clouds in urban environments using automatic plane correspondence[J].Applied Geomatics，2013，5(2)：155-166.

[7]Tong X，Liu X，Chen P，et al.Integration of UAV-Based Photogrammetry and Terrestrial Laser Scanning for the Three-Dimensional Mapping and Monitoring of Open-Pit Mine Areas[J].Remote Sensing，2015，7(6)：6 635-6 662.

[8]劉淑民.三維激光點云著色及表面模型紋理映射研究[D].南京：南京師范大學(xué)，2009.

[9]Han J Y，Perng N H，Lin Y T.Feature conjugation for intensity-coded LIDAR point clouds[J].Journal of Surveying Engineering，2013，139(3)：135-142.

[10]程效軍，許誠權(quán)，周行泉.基于PhotoModeler Scanner 的普通數(shù)碼相機快速檢校研究[J].遙感信息，2011(4)：80-84.

[11]陳舒，李浩，黃河.普通數(shù)碼相機三種檢校方法的量測精度評價[J].遙感信息，2012(5)：73-76.

[12]李必軍，方志祥，任娟.從激光掃描數(shù)據(jù)中進行建筑物特征提取研究[J].武漢大學(xué)學(xué)報：信息科學(xué)版，2003，28(1)：65-70.

[13]胡春梅，李天爍.一種基于中心投影的地面激光雷達反射強度圖像的生成方法[J].激光雜志，2014，35(8)：12-14.

[14]Shepard D.A two-dimensional interpolation function for irregularly-spaced data[C]//Proceedings of the 1968 23rd ACM national conference.ACM，1968：517-524.

[15]Lowe D G.Object recognition from local scale-invariant features[C]//Computer vision，1999.The proceedings of the seventh IEEE international conference on.Ieee，1999，2：1 150-1 157.

[16]Ackermann F.High precision digital image correlation[C]//Proceedings 39th Photogrammetric Week，InstitutfürPhotogrammetrie，Stuttgart，Heft 9，1983：231-243.

[17]甄艷，劉學(xué)軍，王美珍.一種改進 RANSAC 的基礎(chǔ)矩陣估計方法[J].測繪通報，2014(4)：39-43.

[18]Torr P H S，Murray D W.The development and comparison of robust methods for estimating the fundamental matrix[J].International journal of computer vision，1997，24(3)：271-300.

An Automatic Registration Method Between 3D Laser Data and Digital Image

SONG Er-fei，TONG Xiao-hua，LIU Xiang-feng，CHEN Peng

(CollegeofSurveyingandGeo-informatics，TongjiUniversity，Shanghai200092，China)

Abstract：Terrestrial laser scanner can be used to obtain the dense，high precision and discrete 3D point cloud data of the target surface，but the use of photogrammetry could obtain the rich，high quality and continuous texture image data，the registration of the laser scanning data and texture image has been becoming a focus in current research.This paper proposes an automatic registration method based on the intensity image of the laser point clouds and digital images to achieving the precision data integration between the two kinds of heterogeneous data.Because the imaging model of heterogeneous data is different，the point clouds are converted to an intensity image with center projection method.In the process of extracting and matching the feature points between the intensity and digital images for the point clouds,the steady strategy is adpted from coarse to fine.With the high precision matching points，the use of space resection to obtain the accurate exterior orientation of camera，and recover the position and posture of images relative to the point cloud target in photography moment.In the end，it has been proved that this method can realize the organic integration between the terrestrial laser point clouds and the digital images through the actual experiment data.

Key words：terrestrial laser；digital image；registration method；intensity image

作者簡介：宋二非(1988～)，男，河南許昌人，碩士研究生，現(xiàn)主要從事近景攝影測量和地面LiDAR數(shù)據(jù)處理方面的研究。

中圖分類號：P 23

文獻標識碼：A

文章編號：1007-9394(2016)01-0001-04

收稿日期：2016-01-06

地礦測繪2016，32(1)：1～4

CN 53-1124/TDISSN 1007-9394

Surveying and Mapping of Geology and Mineral Resources