基于深度圖像的地面激光雷達(dá)與近景影像數(shù)據(jù)無縫紋理映射研究

胡春梅，李天爍，王晏民

(1. 北京建筑大學(xué)測(cè)繪與城市空間信息學(xué)院，北京 100044；

2.北京建筑大學(xué)現(xiàn)代城市測(cè)繪國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

?

基于深度圖像的地面激光雷達(dá)與近景影像數(shù)據(jù)無縫紋理映射研究

胡春梅1,2，李天爍1,2，王晏民1,2

(1. 北京建筑大學(xué)測(cè)繪與城市空間信息學(xué)院，北京 100044；

2.北京建筑大學(xué)現(xiàn)代城市測(cè)繪國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，北京 100044)

Study on T-LiDAR and Close-range Imagery Data Seamless Texture

Mapping Based on Depth Image

HU Chunmei，LI Tianshuo，WANG Yanmin

摘要：地面激光雷達(dá)與影像數(shù)據(jù)通過配準(zhǔn)和紋理映射生成彩色仿真模型，但由于分辨率的差異，相鄰兩張影像與模型的紋理映射會(huì)出現(xiàn)紋理接縫現(xiàn)象。針對(duì)這一問題，本文以點(diǎn)云深度圖像基準(zhǔn)面為載體，把重疊影像投影到基準(zhǔn)面上生成基準(zhǔn)影像，并通過重疊基準(zhǔn)影像的匹配對(duì)紋理接縫處進(jìn)行糾正，糾正后無縫的基準(zhǔn)影像再反投影回模型，生成無縫仿真模型。該方法解決了激光雷達(dá)與影像縫紋理接縫問題，具有一定的現(xiàn)實(shí)性意義。

關(guān)鍵詞：地面激光雷達(dá)；近景影像；深度圖像；紋理映射

一、引言

激光雷達(dá)與近景影像數(shù)據(jù)的配準(zhǔn)和紋理映射可以對(duì)物體進(jìn)行精細(xì)三維紋理重建，主要是按照分辨率的要求選擇適合的相機(jī)和鏡頭，對(duì)物體進(jìn)行拍照，一般根據(jù)被測(cè)物的情況拍攝多張無紋理漏洞的影像，通過激光雷達(dá)點(diǎn)云與影像的配準(zhǔn)和紋理映射生成彩色仿真模型[1]，這種配準(zhǔn)屬于三維與二維的配準(zhǔn)。目前上述配準(zhǔn)的主要方法有：共線方程解法[2]、角錐體法[3]、直接線性變換解法[4-5]、基于羅德里格矩陣的直接解法[6-8]、單位四元數(shù)法等[9-10]、基于重心化空間相似變換模型與羅德里格矩陣聯(lián)合方法加之選權(quán)迭代配準(zhǔn)[11]等。通過比較分析，最后一種方法既滿足了影像大角度的問題，又通過選權(quán)迭代提高了配準(zhǔn)精度，但由于兩種數(shù)據(jù)分辨率的差異，在點(diǎn)云模型與影像的紋理建模中就會(huì)出現(xiàn)紋理接縫現(xiàn)象。對(duì)于紋理接縫問題，本文將重疊部分紋理投影到基準(zhǔn)面上生成基準(zhǔn)影像，通過小面元微分糾正消除幾何接縫，最后反投影回模型，生成無縫彩色模型。

二、點(diǎn)云與影像的配準(zhǔn)

點(diǎn)云與影像配準(zhǔn)是紋理建模的首要問題，本文采用基于重心化空間相似變換模型與羅德里格矩陣聯(lián)合加之選權(quán)迭代的方法進(jìn)行配準(zhǔn)。應(yīng)用重心化的空間相似變換模型和正交旋轉(zhuǎn)矩陣與反對(duì)稱矩陣的關(guān)系，得到點(diǎn)云與影像配準(zhǔn)角度參數(shù)的模型。其配準(zhǔn)模型為

(1)

然后，應(yīng)用改進(jìn)的丹麥法選權(quán)迭代小粗差降權(quán)的方法對(duì)初始參數(shù)進(jìn)行精確配準(zhǔn)。改進(jìn)的丹麥法權(quán)函數(shù)為

(2)

由于兩種數(shù)據(jù)的分辨率差異較大，相鄰影像間對(duì)于點(diǎn)云的紋理映射能夠達(dá)到無縫，但是當(dāng)影像映射到模型上生成彩色模型時(shí)，該配準(zhǔn)精度不能得到滿足，則會(huì)出現(xiàn)紋理接縫現(xiàn)象，本文以點(diǎn)云深度圖像為中介，把重疊影像投影到其基準(zhǔn)面上，對(duì)基準(zhǔn)影像進(jìn)行匹配和微分糾正，再反投影回模型，生成無縫彩色模型。

三、深度圖像

深度圖像也屬于圖像的一種，它遵循一般圖像的格式。深度圖像與一般灰度圖像區(qū)別在于(如圖1所示)：一般灰度圖像從數(shù)學(xué)角度上只是一個(gè)二維矩陣，矩陣中每一點(diǎn)的元素值代表該點(diǎn)的灰度值g(x,y)；深度圖像也是一個(gè)矩陣，所不同的是矩陣中每點(diǎn)的數(shù)值不再代表圖像的灰度，而代表場(chǎng)景中可見點(diǎn)到某已知參考基準(zhǔn)的距離，對(duì)于點(diǎn)云來說，通過點(diǎn)云擬合平面，對(duì)平面進(jìn)行格網(wǎng)化，并存儲(chǔ)點(diǎn)云中點(diǎn)到平面的距離，就生成了點(diǎn)云深度圖像。

圖1　灰度圖像與深度圖像

四、基準(zhǔn)影像的生成

為了解決相鄰影像與模型的紋理接縫問題，本文把重疊有縫部分的影像紋理投影到點(diǎn)云深度圖像上，這是一個(gè)數(shù)字微分糾正過程。本文應(yīng)用點(diǎn)云的深度圖像模型，結(jié)合共線方程，對(duì)重疊部分影像進(jìn)行微分糾正獲取基準(zhǔn)影像，其生成步驟如下：

1) 根據(jù)點(diǎn)云擬合基準(zhǔn)平面，依據(jù)影像重疊區(qū)域點(diǎn)云確定投影范圍，并以掃描分辨率設(shè)置深度圖像格網(wǎng)點(diǎn)間距。

2) 計(jì)算深度圖像上每個(gè)格網(wǎng)點(diǎn)的平面坐標(biāo)

(3)

試中，(ox,oy)為點(diǎn)云在深度圖像基準(zhǔn)面上左下角的坐標(biāo)；(xCellSize,yCellSize)為格網(wǎng)的間距；(x,y)為格網(wǎng)點(diǎn)坐標(biāo)；(X′,Y′)為(x,y)在深度圖像基準(zhǔn)面上的坐標(biāo)。

3) 根據(jù)格網(wǎng)點(diǎn)內(nèi)插點(diǎn)云，獲得每個(gè)格網(wǎng)點(diǎn)對(duì)應(yīng)點(diǎn)云的距離值，得到格網(wǎng)點(diǎn)的三維坐標(biāo)(X,Y,Z)。

4) 根據(jù)精配準(zhǔn)得到的參數(shù)和共線方程，計(jì)算每個(gè)格網(wǎng)點(diǎn)(x,y)的紋理坐標(biāo)

(4)

5) 如果(u,v)沒有在整像素點(diǎn)上，則根據(jù)雙線性內(nèi)插求取其紋理值G(u,v)，把該紋理值賦給基準(zhǔn)面格網(wǎng)點(diǎn)(x,y)。

某建筑單張影像(圖2)和深度圖像(圖3)經(jīng)過數(shù)字微分糾正生成的基準(zhǔn)影像如圖4所示?；鶞?zhǔn)影像不僅記錄了影像的信息，同時(shí)與模型間有著對(duì)應(yīng)關(guān)系，不用把影像的信息放在模型上，利用基準(zhǔn)影像與模型的關(guān)系進(jìn)行紋理映射及可視化。對(duì)于相鄰影像間的紋理接邊現(xiàn)象，可以把相鄰影像投影到同一個(gè)基準(zhǔn)面上，在基準(zhǔn)面上對(duì)重疊區(qū)域進(jìn)行幾何糾正，此過程在基準(zhǔn)面上對(duì)影像進(jìn)行了糾正，并沒有改變基準(zhǔn)影像與模型的關(guān)系，方法簡(jiǎn)單，實(shí)用性強(qiáng)。

圖2　原始光學(xué)影像

圖3　深度圖像

圖4　經(jīng)由數(shù)字微分糾正后的影像

五、相鄰基準(zhǔn)面影像的接邊

對(duì)于紋理接邊，本文應(yīng)用重疊部分基準(zhǔn)面影像的密集匹配生成同名點(diǎn)，再應(yīng)用小三角面元的幾何糾正對(duì)重疊基準(zhǔn)影像進(jìn)行精確配準(zhǔn)。

1. 基準(zhǔn)影像的密集匹配

為了保證整體區(qū)域幾何糾正的均勻性和精確性，需要對(duì)重疊區(qū)域基準(zhǔn)影像進(jìn)行密集匹配，本文選用基于均勻網(wǎng)格的特征點(diǎn)的密集匹配，基準(zhǔn)影像是糾正過的影像，匹配相對(duì)容易。為了得到準(zhǔn)確的匹配點(diǎn)對(duì)，本文采用由粗到細(xì)的金字塔匹配，金字塔層數(shù)為2層，匹配策略如下：

1) 在頂層金字塔影像上進(jìn)行SIFT特征匹配，并采用RANSAC方法進(jìn)行粗差剔除，并進(jìn)行反向匹配，應(yīng)用得到的同名點(diǎn)計(jì)算仿射變換參數(shù)。

2) 在底層影像上對(duì)左影像分網(wǎng)格進(jìn)行Harris特征密集提取。

3) 應(yīng)用仿射變換參數(shù)，預(yù)測(cè)左影像每一個(gè)網(wǎng)格點(diǎn)在右影像的大概位置，再應(yīng)用影像相關(guān)確定右影像上的同名點(diǎn)。

匹配的結(jié)果中難免會(huì)有一些誤匹配，在此，根據(jù)以下幾何條件進(jìn)行約束：

1) 目標(biāo)點(diǎn)的順序與同名點(diǎn)順序一致。

2) 同名點(diǎn)的橫縱坐標(biāo)突變處視為粗差點(diǎn)進(jìn)行剔除。

3) 同名點(diǎn)左右橫坐標(biāo)相差不大。

互相關(guān)是一種多峰值函數(shù)，其最大值不一定對(duì)應(yīng)著同名點(diǎn)[12]。對(duì)于一些紋理豐富的區(qū)域，影像相關(guān)的峰值即為匹配結(jié)果；但是對(duì)于一些紋理匱乏的區(qū)域，非峰值則有可能是同名點(diǎn)。為了滿足本文小面元的要求，對(duì)于一些相關(guān)性較弱的點(diǎn)，采用整體松弛法進(jìn)行匹配。影像匹配算法按照?qǐng)?zhí)行的順序可以分為并行算法、串行算法與松弛算法3種。松弛算法是一種并行和迭代的方法，并行處理的同時(shí)，根據(jù)迭代過程中周圍點(diǎn)上的處理結(jié)果來調(diào)整其結(jié)果，是一種逐步逼近最優(yōu)解的方法。假設(shè)左影像上的點(diǎn)為j，將j視為類別，共軛備選點(diǎn)視為目標(biāo)Ai，對(duì)于左影像j，確定r個(gè)點(diǎn)作為j的共軛備選點(diǎn)，則目標(biāo)集合為

(5)

假設(shè)目標(biāo)Ai1、Ai2、…、Air與左影像點(diǎn)j的相關(guān)系數(shù)為ρ1、ρ2、…、ρr，則Aik∈Cj的概率為

Pik,j=ρk/∑ρ

(6)

假設(shè)h為i的相鄰像素，k為j的相鄰像素，同樣計(jì)算Ph,k，計(jì)算其兼容性C(i,j;h,k)。確定了Pi,j和C(i,j;h,k)，就可以根據(jù)下列公式進(jìn)行松弛法運(yùn)算

(7)

式中，n(H)為相鄰目標(biāo)點(diǎn)的個(gè)數(shù)；m(K)和m(J)為從圖像匹配候選點(diǎn)的個(gè)數(shù)；r為迭代次數(shù)，如果P(r)>T(閾值)，則停止迭代，并確定可靠的對(duì)應(yīng)點(diǎn)。

圖5為重疊區(qū)域基準(zhǔn)面應(yīng)用上述方法進(jìn)行影像密集匹配的結(jié)果。

圖5　基準(zhǔn)面影像密集匹配結(jié)果

2. 密集匹配點(diǎn)對(duì)的三角網(wǎng)構(gòu)建

根據(jù)重疊基準(zhǔn)影像數(shù)據(jù)，分別提取出相鄰兩張圖像(待糾正圖像和參考圖像)重疊區(qū)域的密集同名點(diǎn)對(duì)，然后將目標(biāo)圖像上的同名點(diǎn)構(gòu)建成三角網(wǎng)，再將參考圖像上的拓?fù)潢P(guān)系復(fù)制到待糾正圖像上。三角網(wǎng)的構(gòu)建應(yīng)盡量保持三邊均衡、角度均衡，應(yīng)盡量防止其中一個(gè)角度過大或過小，本文采用狄洛尼三角網(wǎng)方法進(jìn)行構(gòu)網(wǎng)泰森多邊形與狄洛尼數(shù)據(jù)文件中的N個(gè)離散點(diǎn)在區(qū)域E上，用一系列直線段將區(qū)域E分割為N個(gè)相鄰的多邊形，且滿足以下條件：

1) 每個(gè)多邊形內(nèi)僅有一個(gè)離散點(diǎn)。

2) 位于多邊形內(nèi)的任意一點(diǎn)必須滿足

(8)

式中，j≠i。

3) 若與其所在的兩多邊形的公共邊上的點(diǎn)滿足下式

(9)

式中，j≠i。滿足以上3個(gè)條件的多邊形稱為泰森多邊形,將每?jī)舌徑拥亩噙呅蝺?nèi)的離散點(diǎn)用直線連接起來，所形成的三角網(wǎng)叫作狄洛尼三角網(wǎng)，泰森多邊形的分法是唯一的，每個(gè)泰森多邊形都是凸多邊形，多邊形不相交、不重疊。

六、小面元微分糾正

對(duì)上述得到的同名點(diǎn)建立三角網(wǎng)，對(duì)每一對(duì)同名的三角面片，應(yīng)用小面元的仿射變換，計(jì)算變換關(guān)系式的參數(shù)，以每一個(gè)三角面片為單元進(jìn)行幾何糾正。仿射變換的公式如下

(10)

應(yīng)用該方法得到的密集匹配點(diǎn)進(jìn)行幾何糾正，很好地解決了紋理接邊問題。在糾正過程中，本文采用按三角形內(nèi)插RGB的方法進(jìn)行糾正，該方法的基本思想是以三角形為單元，首先將待糾正圖像上的三角形的三個(gè)頂點(diǎn)按其變換參數(shù)糾正到目標(biāo)圖像上，與此同時(shí)計(jì)算每個(gè)三角形的三個(gè)頂點(diǎn)在待糾正圖像的RGB值；然后計(jì)算出糾正后的三角形內(nèi)所有像素點(diǎn)坐標(biāo)，并使用反距離加權(quán)平均法內(nèi)插出三角形內(nèi)像素點(diǎn)的RGB值；最后根據(jù)像素點(diǎn)坐標(biāo)及RGB值生成一副目標(biāo)圖像。此方法生成的目標(biāo)圖像質(zhì)量較高、圖像連續(xù)性好、方法簡(jiǎn)便。圖6為紋理接縫糾正前和糾正后的對(duì)比圖，從圖中可以看出本文方法解決了紋理接縫的問題。

圖6

七、結(jié)束語

激光雷達(dá)與多張近景影像的紋理接縫是紋理重建中的關(guān)鍵問題，本文應(yīng)用點(diǎn)云與影像的高精度配準(zhǔn)結(jié)果，通過點(diǎn)云的深度圖像及其基準(zhǔn)面，生成基準(zhǔn)影像，并應(yīng)用基準(zhǔn)影像的密集匹配和小面元微分糾正技術(shù)消除紋理接縫，生成無縫的彩色仿真模型，并

應(yīng)用理論和試驗(yàn)證明了該方法的可行性和正確性。但是，本文的研究只局限于基準(zhǔn)面為平面的深度圖像，對(duì)于復(fù)雜物體，首先要對(duì)其進(jìn)行分割，按照不同基準(zhǔn)面，如球面、柱面等基準(zhǔn)面進(jìn)行基準(zhǔn)影像生成和糾正，這些問題將在后續(xù)的研究中解決。

參考文獻(xiàn)：

[1]王晏民，黃慧敏，胡春梅.地面激光雷達(dá)技術(shù)在故宮保和殿數(shù)字化測(cè)繪中的應(yīng)用[J]. 北京建筑工程學(xué)院學(xué)報(bào),2012,28(3)：33-38.

[2]張劍清，潘勵(lì)，王樹根.攝影測(cè)量學(xué)[M].武漢：武漢大學(xué)出版社，2003.

[3]李德仁,鄭肇葆.解析攝影測(cè)量學(xué)[M].北京:測(cè)繪出版社,1992.

[4]張帆.激光掃描數(shù)據(jù)三維建模中高保真度紋理重建研究[D].武漢：武漢大學(xué)，2008.

[5]馮文灝.近景攝影測(cè)量——物體外形與運(yùn)動(dòng)狀態(tài)的攝影法測(cè)定[M]. 武漢：武漢大學(xué)出版社,2002.

[6]于志路，姚吉利，呂長(zhǎng)廣.羅德里格矩陣在空間后方交會(huì)直接解法中的應(yīng)用[J].測(cè)繪工程，2005,14(2):50-52.

[7]姚吉利,孫亞廷,王樹廣.基于羅德里格矩陣的數(shù)碼像片直接定向的方法[J]. 山東理工大學(xué)學(xué)報(bào)：自然科學(xué)版, 2006,20(2): 36-39.

[8]楊凡，李廣云，王力，等. 一種基于羅德里格矩陣的最小二乘迭代坐標(biāo)轉(zhuǎn)換方法[J].工程勘察，2010(9)：80-84.

[9]王勇,姜挺,江剛武,等.基于單位四元數(shù)描述的單像空間后方交會(huì)[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2007,24(2):133-135.

[10]江剛武,姜挺,王勇，等.基于單位四元數(shù)的無初值依賴空間后方交會(huì)[J].測(cè)繪學(xué)報(bào)，2007,36(2):169-175.

[11]王晏民，胡春梅.一種地面激光雷達(dá)點(diǎn)云與紋理影像穩(wěn)健配準(zhǔn)方法[J].測(cè)繪學(xué)報(bào)，2012，41(4)：267-272.

[12]孫家炳. 遙感原理與應(yīng)用[M]. 武漢：武漢大學(xué)出版社，2003.

[13]閭海慶，鄒崢嶸，羅發(fā)明. 近景攝影測(cè)量中旋轉(zhuǎn)矩陣構(gòu)成方法的研究[J].測(cè)繪科學(xué)，2007,32(3)：15-17.

[14]官云蘭,程效軍,周世健,等. 基于單位四元數(shù)的空間后方交會(huì)解算[J].測(cè)繪學(xué)報(bào)，2008,37(1):30-35.

引文格式： 胡春梅，李天爍，王晏民. 基于深度圖像的地面激光雷達(dá)與近景影像數(shù)據(jù)無縫紋理映射研究[J].測(cè)繪通報(bào)，2015(1)：66-69.DOI:10.13474/j.cnki.11-2246.2015.0013

作者簡(jiǎn)介：胡春梅(1981—)，女，博士，講師，主要研究方向?yàn)榈孛婕す饫走_(dá)與近景攝影測(cè)量集成。E-mail：huchunmei@bucea.edu.cn

基金項(xiàng)目：國(guó)家自然科學(xué)基金(41401536)；國(guó)家測(cè)繪地理信息局科技計(jì)劃(2013CH-15)；北京市優(yōu)秀人才培養(yǎng)項(xiàng)目(00921914013)；北京市人才強(qiáng)教青年英才計(jì)劃(21271413106)

收稿日期：2014-08-18

中圖分類號(hào)：P23

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2015)01-0066-04