POS輔助下的車載序列影像匹配

謝 洪，吳博義，龔 珣，王奕丹

(1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079； 2. 武漢市測(cè)繪研究院博士后創(chuàng)新實(shí)踐基地，湖北 武漢 430079； 3. 山西省基礎(chǔ)地理信息院，山西 太原 030001)

POS輔助下的車載序列影像匹配

謝 洪1,2，吳博義3，龔 珣1，王奕丹1

(1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079； 2. 武漢市測(cè)繪研究院博士后創(chuàng)新實(shí)踐基地，湖北 武漢 430079； 3. 山西省基礎(chǔ)地理信息院，山西 太原 030001)

針對(duì)車載序列影像中所包含的具有大量重復(fù)紋理的建筑立面區(qū)域給現(xiàn)有匹配方法帶來(lái)的誤匹配率高、匹配點(diǎn)不足等不適應(yīng)性問(wèn)題，提出了一種聯(lián)合POS輔助及KLT(Kanade-Lucas-Tomasi)角點(diǎn)特征跟蹤的新匹配方法。通過(guò)充分利用POS信息所能夠建立的局部近似建筑立面分層平面及DEM信息，獲取KLT跟蹤算法中所需的初始位移信息，并將建筑立面及路面區(qū)域進(jìn)行分開追蹤匹配，以保證匹配點(diǎn)的良好分布特性，最后利用RANSAC結(jié)合核線約束進(jìn)行誤差剔除得到最終匹配結(jié)果。試驗(yàn)證明本文方法能夠有效解決車載序列影像中重復(fù)紋理區(qū)域的匹配問(wèn)題，可高效獲取分布均勻、數(shù)量充足的匹配特征點(diǎn)，為后期空中三角測(cè)量提供更穩(wěn)健的同名約束條件。

車載序列影像;POS輔助;KLT算法;RANSAC;核線約束

經(jīng)過(guò)近20年的發(fā)展，車載移動(dòng)測(cè)量技術(shù)已經(jīng)逐漸成為城市空間信息快速獲取的一種重要技術(shù)手段。通過(guò)靈活集成GPS、IMU、CCD相機(jī)、激光掃描儀等傳感器設(shè)備，能夠快速獲取城市道路、建筑、綠化植被等目標(biāo)的精細(xì)幾何及光譜信息[1]。其中，多面陣全景相機(jī)由于具有集成方式簡(jiǎn)單、同步控制方便、分辨率高、處理方式靈活等優(yōu)點(diǎn)而作為主要傳感器廣泛應(yīng)用于各類移動(dòng)測(cè)量系統(tǒng)中[2-3]。目前，針對(duì)多面陣全景影像的處理主要集中在全景匹配與拼接、全景成像模型及全景模型重建[4-5]等領(lǐng)域，但由于多面陣拼接全景存在由不可避免的拼接誤差而導(dǎo)致的定位誤差[6]，因而目前將多面陣全景影像中面向地面道路或街區(qū)立面的影像作為多片序列影像處理仍然是一種主要手段，而其中涉及的可視化瀏覽的拼接過(guò)程及三維空間信息提取的區(qū)域網(wǎng)構(gòu)建過(guò)程都需要正確且數(shù)量充足的同名點(diǎn)，高效可靠的匹配過(guò)程是核心問(wèn)題。

相對(duì)于航攝影像而言，街景影像拍攝場(chǎng)景復(fù)雜，存在遮擋和移動(dòng)物體，光照變化顯著，建筑物紋理重復(fù)且影像視角及尺度變化明顯[3]。SIFT(scale-invariant feature transform)[7]及其改進(jìn)方法[8-9]具有優(yōu)良的尺度和旋轉(zhuǎn)不變特性，但其在街景重復(fù)紋理區(qū)域會(huì)得到大量的誤匹配點(diǎn)。文獻(xiàn)[10]提出一種光流聚類的車載影像匹配方法，通過(guò)建立影像間光流場(chǎng)，實(shí)現(xiàn)了光流的均值漂移聚類，但對(duì)于長(zhǎng)基線序列影像難以得到穩(wěn)定光流場(chǎng)，而且效率相對(duì)較低。文獻(xiàn)[11]通過(guò)構(gòu)造匹配點(diǎn)集，利用特征紋理在圖像上的空間信息從集合中選擇最佳匹配點(diǎn)，提升了匹配效果，但是該方法只適用于解決具有少量對(duì)稱重復(fù)紋理區(qū)域的匹配問(wèn)題。文獻(xiàn)[3]利用SIFT提取建筑物上的點(diǎn)特征，利用Forstner提取道路上的角點(diǎn)特征并結(jié)合點(diǎn)云提取路面來(lái)約束模板匹配同名點(diǎn)。文獻(xiàn)[12]利用相位相關(guān)預(yù)測(cè)同名點(diǎn)在平移、旋轉(zhuǎn)和尺度上的遍歷范圍，在遍歷范圍內(nèi)檢測(cè)角點(diǎn)并利用相關(guān)系數(shù)來(lái)匹配同名點(diǎn)，但是由于車載序列影像的攝影距離很近，導(dǎo)致相鄰影像之間的投影變形十分嚴(yán)重，無(wú)法適用于該方法。上述方法在序列影像基線較短的條件下均能得到較好的結(jié)果，但是受限于車輛速度和相機(jī)快門速度，實(shí)際采集車載序列影像一般在5～10 m，導(dǎo)致該類方法難以得到可靠匹配點(diǎn)，尤其是路面區(qū)域存在較大視角變化時(shí)會(huì)導(dǎo)致匹配點(diǎn)分布不均勻。

針對(duì)該問(wèn)題，本文提出一種基于POS輔助的車載序列影像匹配方法，通過(guò)引入視頻跟蹤領(lǐng)域的KLT算法[13]，充分利用車載移動(dòng)測(cè)量系統(tǒng)所能夠提供的POS信息，針對(duì)待匹配影像建立局部近似建筑立面分層平面及DEM信息，獲取KLT跟蹤算法中所需的初始位移信息，并將建筑立面及路面區(qū)域這兩類主要待匹配目標(biāo)進(jìn)行分開匹配，以保證匹配點(diǎn)的良好分布特性，最后利用RANSAC結(jié)合極線幾何約束進(jìn)行誤差剔除得到最終匹配結(jié)果。

1 POS輔助車載序列影像匹配

本文所提出的車載序列影像匹配策略主要包括7個(gè)關(guān)鍵過(guò)程：①提取參考影像特征Harris角點(diǎn)；②根據(jù)車載平臺(tái)到建筑的平均距離可將影像近似分為上下兩部分，上部分對(duì)應(yīng)建筑區(qū)域，下部分對(duì)應(yīng)路面；③針對(duì)建筑區(qū)域，利用POS信息構(gòu)建與基線平行的不同深度的分層平面，并在各分層平面計(jì)算參考影像角點(diǎn)特征在待匹配影像的初始位置；④利用KLT在各分層平面進(jìn)行追蹤，并合并所有層的特征追蹤結(jié)果；⑤針對(duì)路面區(qū)域，利用POS信息及平臺(tái)高度建立局部路面近似DEM，并對(duì)路面區(qū)域進(jìn)行糾正；⑥針對(duì)糾正后影像采用KLT進(jìn)行追蹤匹配，并映射到原始影像；⑦利用RANSAC結(jié)合核線約束剔除誤匹配點(diǎn)，輸出最后匹配結(jié)果。流程如圖1所示。

1.1 KLT跟蹤匹配方法

KLT跟蹤算法是目前在視頻圖像處理領(lǐng)域使用非常廣泛的一種特征追蹤算法[14-15]，其主要思想是將傳統(tǒng)的滑動(dòng)窗口搜索法變?yōu)橐粋€(gè)求解偏移量的過(guò)程：考慮序列圖像中的相鄰兩幀影像I(x,y)和J(x,y)，假設(shè)某同名特征點(diǎn)之間存在微小相對(duì)位移，現(xiàn)以某一特征點(diǎn)為中心開辟一個(gè)小窗口W，以兩小窗口之間的灰度差平方和作為代價(jià)，得到

(1)

式中，p=(x,y)T代表的是特征點(diǎn)的位置；d=[dx,dy]T代表特征點(diǎn)在兩幀圖像之間的平移量；ω(p)為權(quán)值函數(shù)，一般設(shè)為常數(shù)1；W為跟蹤的窗口范圍。將式(1)對(duì)d求偏導(dǎo)數(shù)，得

(2)

(3)

即可以得到下式

Zd=θ

(4)

此時(shí)偏移量為

d=Z-1θ

(5)

圖1 POS輔助車載序列影像匹配流程

1.2 POS輔助的KLT建筑立面匹配

KLT算法作為視頻跟蹤領(lǐng)域的優(yōu)秀算法，具有計(jì)算簡(jiǎn)單、效率高且能夠達(dá)到亞像素精度的優(yōu)點(diǎn)，但是其應(yīng)用前提是相鄰兩幀影像視差較小，盡管通過(guò)金字塔KLT跟蹤方法[15]能夠從一定程度上解決視差變化較大條件下的特征跟蹤匹配問(wèn)題，但對(duì)于間隔較大的車載影像序列仍然存在錯(cuò)誤跟蹤難題，且街道序列影像中存在的重復(fù)紋理會(huì)導(dǎo)致跟蹤范圍擴(kuò)大后算法容易收斂到錯(cuò)誤的角點(diǎn)上。為了滿足KLT特征跟蹤匹配條件，引入車載影像序列的POS信息，通過(guò)建立分層建筑平面并依次在每層平面上進(jìn)行追蹤獲取追蹤結(jié)果。分層KLT追蹤如圖2所示。

圖2 建筑立面分層KLT追蹤

根據(jù)圖2所示，利用POS輔助的KLT建筑立面匹配的具體步驟為:

(1) 在參考影像中利用Harris提取特征角點(diǎn)，記為點(diǎn)集M。

(2) 根據(jù)SA及SB的POS線元素信息建立與基線平行的分層平面用來(lái)近似建筑立面，最近分層平面PLA可根據(jù)車載平臺(tái)到建筑區(qū)域的平均最近距離進(jìn)行設(shè)置，為保證較好的交會(huì)條件，設(shè)置最遠(yuǎn)平面PLC與PLA不超過(guò)20 m，即較遠(yuǎn)處的建筑不參與特征優(yōu)化追蹤過(guò)程。分層平面之間的等距離間隔根據(jù)KLT追蹤窗口大小進(jìn)行設(shè)置，如圖3所示。

圖3中，f表示焦距；Dpl表示最近分層平面PLA的距離；DBL表示SA與SB的基線長(zhǎng)度；Ipl表示分層平面間隔；DKLT表示由于分層平面深度變化Ipl引起追蹤窗口中心的像素位移；WKLT表示KLT搜索窗口大小。設(shè)置DKLT≤WKLT，使得搜索窗口具有一定的重疊度，以保證分層平面之間的任意特征點(diǎn)處于搜索窗口內(nèi)。根據(jù)圖3可得

(6)

(3) 對(duì)于Mi(Mi∈M)，根據(jù)SA站的POS信息計(jì)算其在各分層平面的物方交點(diǎn)，得到物方點(diǎn)集O，并進(jìn)一步計(jì)算其Oi(Oi∈O)在SA站的投影像點(diǎn)Pi，構(gòu)成投影點(diǎn)集P。

圖3 根據(jù)追蹤窗口設(shè)置分層平面間距

(4) 對(duì)于Pi(Pi∈P)，利用金字塔KLT匹配算法以Pi為搜索窗口中心在搜索窗口內(nèi)尋找最優(yōu)匹配點(diǎn)。如果Oi所在分層平面與其所在的建筑平面位置較為接近，則其與Mi所對(duì)應(yīng)的實(shí)際物方點(diǎn)坐標(biāo)接近，而使得Pi能夠作為KLT搜索的良好初始位移條件，進(jìn)而能夠保證正確特征點(diǎn)追蹤匹配結(jié)果。但需要注意的是，對(duì)應(yīng)于Mi，Pi中可能有多個(gè)點(diǎn)同時(shí)滿足跟蹤閾值條件，即可能存在重復(fù)紋理或近似局部灰度分布導(dǎo)致的錯(cuò)誤匹配點(diǎn)。針對(duì)該問(wèn)題，可采用一種預(yù)剔除的方法，即針對(duì)每個(gè)待匹配點(diǎn)，僅取其在不同分層平面跟蹤結(jié)果中滿足跟蹤閾值且按跟蹤響應(yīng)值由大到小進(jìn)行排序的前3個(gè)匹配點(diǎn)作為備選結(jié)果，后期再結(jié)合RANSAC及核線約束進(jìn)行進(jìn)一步的誤匹配點(diǎn)剔除。

1.3 POS輔助的路面特征匹配

由于路面在成像過(guò)程中與主光軸方向平行而導(dǎo)致路面在車載序列影像的投影變形十分嚴(yán)重，因此利用現(xiàn)有如SIFT等匹配方法難以獲取有效的路面匹配點(diǎn)。為了有效地得到序列影像的路面匹配點(diǎn)，由于路面在局部范圍內(nèi)與車載平臺(tái)平行，因此可根據(jù)當(dāng)前POS信息構(gòu)建局部路面的近似DEM，并進(jìn)一步對(duì)影像的路面區(qū)域進(jìn)行糾正來(lái)解決路面形變所帶來(lái)的匹配困難問(wèn)題。具體步驟如下：

(1) 根據(jù)SA站的POS信息建立局部近似DEM平面GA。

(2) 對(duì)SA站影像的路面區(qū)域利用GA及SB的POS信息建立糾正前后影像的單應(yīng)映射關(guān)系，改正SA站相對(duì)于SB站的路面投影形變。

(3) 利用KLT方法，采用與建筑立面的類似匹配過(guò)程獲取糾正后的路面影像匹配特征點(diǎn)。

(4) 根據(jù)SA站原始路面影像和糾正影像的單應(yīng)對(duì)應(yīng)關(guān)系，將步驟(3)中的特征匹配關(guān)系映射到原始影像，得到路面特征匹配結(jié)果。

1.4 RANSAC結(jié)合核線約束的誤匹配點(diǎn)剔除

為了進(jìn)一步剔除由于分層平面深度誤差及紋理相似性而導(dǎo)致的追蹤匹配誤差，采用RANSAC結(jié)合核線約束的方法進(jìn)行誤匹配點(diǎn)剔除，具體過(guò)程可參見文獻(xiàn)[16]，在此不進(jìn)行贅述。

2 試驗(yàn)與分析

試驗(yàn)數(shù)據(jù)采用了寧波市某街區(qū)的車載多面陣全景影像中面向街邊建筑的CCD傳感器所獲取的序列影像，并選取了其中包含建筑、地面、植被等特征的兩幅典型影像作為試驗(yàn)影像。影像分辨率為2058×2456像素，像素大小為3.45×10-6m，焦距為0.005 m，基線長(zhǎng)度約為11 m，POS信息由車載GPS及IMU傳感器獲取。

試驗(yàn)中，根據(jù)車載平臺(tái)到建筑區(qū)域的平均區(qū)域設(shè)置分層平面最近距離為40，最遠(yuǎn)距離設(shè)置為60，追蹤窗口大小設(shè)置為32×32，追蹤閾值設(shè)置為10，根據(jù)式(6)計(jì)算得到的分層平面間隔為3.3 m，即分層平面?zhèn)€數(shù)為7，建筑立面和地面區(qū)域的分割線設(shè)置為高度為1250像素位置(如圖4(a)所示)。另外，為了驗(yàn)證本文方法的有效性，將其與SIFT匹配方法進(jìn)行了比較，并統(tǒng)計(jì)了剔除前后的匹配點(diǎn)個(gè)數(shù)、匹配耗時(shí)等指標(biāo)。試驗(yàn)結(jié)果及統(tǒng)計(jì)表格分別如圖4和表1所示。

圖4 POS輔助序列影像匹配及SIFT匹配結(jié)果

匹配方法建筑區(qū)域匹配點(diǎn)個(gè)數(shù)路面區(qū)域匹配點(diǎn)個(gè)數(shù)剔除前剔除后剔除前剔除后匹配耗時(shí)/s本文方法27761261101639215.558SIFT匹配方法2511380014.860(單線程)/1.437(GPU加速)

從圖4及表1分析得到，相比較于SIFT匹配方法在建筑立面重復(fù)紋理區(qū)域嚴(yán)重缺乏同名匹配點(diǎn)的匹配結(jié)果，本文的方法利用Harris角點(diǎn)提取結(jié)合POS輔助的KLT匹配方法能夠有效支持建筑立面重復(fù)紋理區(qū)域的角點(diǎn)特征追蹤匹配(如圖4(c)所示)，而且匹配同名點(diǎn)數(shù)據(jù)更為充分(接近SIFT匹配結(jié)果的10倍)，在影像上具有良好的均勻分布特性。另外，從地面區(qū)域的匹配結(jié)果來(lái)看，由于車載影像的地面成像變形嚴(yán)重，SIFT無(wú)法提取有效的同名點(diǎn)，而在利用POS先驗(yàn)地面信息進(jìn)行待匹配區(qū)域的相對(duì)變形糾正后，能夠有效地進(jìn)行地面重疊區(qū)域的同名點(diǎn)追蹤匹配(如圖4(g)所示)，為后期空中三角測(cè)量提供更穩(wěn)健的同名約束條件。從匹配方法的耗時(shí)來(lái)看，本文方法在單線程模式下與SIFT單線程下的匹配效率相當(dāng)，與SIFT-GPU算法的差異明顯，但本文方法中的各點(diǎn)追蹤匹配過(guò)程相互獨(dú)立，能夠支持結(jié)合多線程并行或GPU進(jìn)一步提高匹配效率。

3 結(jié) 語(yǔ)

針對(duì)車載序列影像中重復(fù)紋理區(qū)域及地面成像變形所帶來(lái)的匹配困難問(wèn)題，本文提出了一種聯(lián)合POS輔助及KLT角點(diǎn)特征跟蹤的新匹配方法。通過(guò)充分利用POS信息建立局部近似建筑立面分層平面及DEM信息，有效解決了KLT跟蹤算法中初始位移值確定及地面投影變形問(wèn)題，并通過(guò)試驗(yàn)驗(yàn)證了本文方法能夠有效解決車載序列影像中重復(fù)紋理區(qū)域的匹配問(wèn)題，可高效獲取分布均勻、數(shù)量充足的匹配特征點(diǎn)，為后期空中三角測(cè)量提供更穩(wěn)健的同名約束條件。下一步的研究方向主要為該方法在全景影像匹配中的深化拓展應(yīng)用。

[1] PUENTE I,GONZALEZ J H,MARTINEZ S.Review of Mobile Mapping and Surveying Techonologies[J]. Measurement,2013,46:2127-2145.

[2] AMIRI P J,GRUEN A.Sensor Modeling,Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1): 60-76.

[3] BRANISLAV M,JANA K.Piecewise Planar City 3D Modeling from Street View Panoramic Sequences[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision and Pattern Recognition.Miam:IEEE,2009.

[4] 季順平,史云.車載全景相機(jī)的影像匹配和光束法平差[J].測(cè)繪學(xué)報(bào),2013,42(1):94-100.

[5] 徐振亮,李艷煥,閆利,等.面向立面大角度影像拼接的穩(wěn)健匹配方法[J].測(cè)繪通報(bào),2015(1):131-133.

[6] 季順平,史云.多鏡頭組合型全景相機(jī)兩種成像模型的定位精度比較[J].測(cè)繪學(xué)報(bào),2014,43(12):1252-1258.

[7] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(60):91-110.

[8] BAY H, ESS A, TUYTELAARS T. Speeded-up Robust Features (SURF)[J].Computer Vision & Image Understanding,2008,110(3):346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[10] 張正鵬,江萬(wàn)壽,張靖.光流特征聚類的車載全景序列影像匹配方法[J].測(cè)繪學(xué)報(bào),2014,43(12):1266-1273.

[11] 劉偉,王涌天,陳靖.針對(duì)重復(fù)紋理場(chǎng)景的跟蹤定位算法[J].北京理工大學(xué)學(xué)報(bào)，2012,32(2):189-193.

[12] 何海清,張永軍,黃聲享.相位相關(guān)法輔助的重復(fù)紋理區(qū)低空影像匹配[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014,39(10):1204-1207.

[13] LUCAS B D,KANADE T.An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann Publishers Inc,1981.

[14] SHI J, TOMASI C. Good Features to Track[C]∥CVPR 94.New York:IEEE, 1994.

[15] BOUGUET J Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[J].Acta Pathologica Japonica, 2000, 22(2): 363-381.

[16] 王琳,張力,艾海濱.無(wú)人飛行器遙感影像的自動(dòng)相對(duì)定向研究[J].測(cè)繪通報(bào),2011(11):11-14.

POS-aided Matching of Vehicle-borne Sequential Images

XIE Hong1,2,WU Boyi3,GONG Xun1,WANG Yidan1

(1. School of Geodesy and Geomatics of Wuhan University, Wuhan 430079,China; 2. Postdoctors Innovation and Practice Base of Wuhan Geomatics Institute,Wuhan 430079,China; 3. Shanxi Basic Geographic Information Institute,Taiyuan 030001，China)

Aiming at the existing problem of high mismatching rate and insufficient corresponding points for vehicle-borne sequential images,as a result of the plentiful repetitive texture in the building fa?ade area,a new method combining auxiliary POS and the KLT corner tracking algorithm is proposed in this paper.In the first place,through taking full advantage of POS information, the local approximate stratification fa?ade plane and DEM are established to get the initial displacement required by the KLT algorithm.Then a new strategy tracking the fa?ade and road area separately is employed to ensure a good distribution of matching points.After that,the final result is obtained by integrating the RANSAC and epipolar constraint to eliminate the matching error.The implemented experiments show that the presented method could solve the preceding mismatching problem,as well as obtaining adequate and uniformly distributed corresponding points for a more robust aerial triangulation process.

vehicle-borne sequential image; POS-aided;KLT algorithm;RANSAC; epipolar constraint

謝洪，吳博義，龔珣,等.POS輔助下的車載序列影像匹配[J].測(cè)繪通報(bào)，2017(4)：44-48.

10.13474/j.cnki.11-2246.2017.0117.

2016-07-27；

2017-02-03

國(guó)家自然科學(xué)基金(41401527)；測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)(201512008)；武漢市測(cè)繪研究院博士后創(chuàng)新實(shí)踐基地科研項(xiàng)目(WGF2016001)

謝 洪(1987—)，男，博士，講師，研究方向?yàn)槿S激光測(cè)量。E-mail: hxie@sgg.whu.edu.cn

P237

A

0494-0911(2017)04-0044-05