基于SIFT的特征融合傾斜影像匹配方法

張亮格，吳兆福，余 敏，李齊鍵

(1.合肥工業(yè)大學(xué) 土木與水利工程學(xué)院，安徽 合肥 230009;2.安徽省基礎(chǔ)設(shè)施安全檢測(cè)與監(jiān)測(cè)工程實(shí)驗(yàn)室,安徽 合肥 230009)

傾斜攝影測(cè)量可為建筑物提供頂面和立面信息，因此常被用于三維建模。然而傾斜影像存在局部仿射變形比較大、鏡頭方向不一致帶來(lái)的色差，建筑物遮擋導(dǎo)致的紋理缺失等問(wèn)題，因此相較于普通影像匹配，傾斜影像匹配存在匹配點(diǎn)數(shù)量少，匹配效率低的問(wèn)題[1]。

目前針對(duì)傾斜影像的匹配方法可大致分為三類(lèi):(1)基于仿射不變性的點(diǎn)特征匹配方法。對(duì)原始影像提取具有仿射不變性的特征點(diǎn)，生成描述子，匹配。如仿射-尺度不變特征變換(affine scale-invariant feature transform，ASIFT)[2]、Harris-Affine[3]、Hessian-Affine[4]和最大穩(wěn)定極值區(qū)域(maximally stable extremal regions，MSER)[5]。其中,ASIFT具有完全仿射不變性，對(duì)圖像旋轉(zhuǎn)、尺度、光照變化具有更強(qiáng)的魯棒性[6-7]。(2)基于影像糾正的匹配方法。將各個(gè)傾斜相機(jī)拍攝的影像糾正到以某一基準(zhǔn)面為參考面的“虛擬水平像片”上，再用常規(guī)影像匹配方法進(jìn)行匹配[8-9]。(3)基于線(xiàn)特征的匹配方法。根據(jù)一些幾何關(guān)系，以及一些強(qiáng)度或?qū)Ρ炔町惖纫恍?qiáng)度約束關(guān)系來(lái)建立線(xiàn)段之間潛在的對(duì)應(yīng)關(guān)系，然后在局部間進(jìn)行匹配，如MSLD(mean-standard deviation line descriptor)[10]算法。但對(duì)比上述兩種方法，近幾年線(xiàn)提取算法發(fā)展緩慢。文獻(xiàn)[11]指出目前具有最佳仿射不變性的區(qū)域特征提取算子為MSER特征提取算子，MSER對(duì)于含有相似區(qū)域并有明顯邊界的影像效果較好。Hessian-Affine算子和Harris-Affine算子相對(duì)其他算子,可以檢測(cè)出更多的特征區(qū)域,這一特性有利于有遮擋或紊亂情況的影像匹配。Hessian-Laplace提取尺度不變特征點(diǎn)的時(shí)候通過(guò)二階梯度微分算子，因此Hessian-Affine在穩(wěn)定性和匹配性能優(yōu)于Harris-Affine。 文獻(xiàn)[12]指出目前最佳的特征描述符是尺度不變特征變換(scale-invariant feature transform，SIFT),SIFT對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變。文獻(xiàn)[13]利用MSER和Harris-Affine算法獲取初始匹配，在此基礎(chǔ)上進(jìn)行最小二乘匹配(Least Squares Matchings，LSM)并自適應(yīng)迭代求取LSM最大收斂區(qū)域，再利用一定的方法進(jìn)行匹配擴(kuò)散(匹配傳播)。此方法具有較強(qiáng)的仿射不變性，能夠解決從不同視角獲取的較簡(jiǎn)單立面紋理的匹配問(wèn)題。由于基于拉普拉斯的尺度選擇與Hessian算子相結(jié)合可以獲得更準(zhǔn)確的結(jié)果。文獻(xiàn)[14]針對(duì)城市建筑物的特點(diǎn)，提出融合Hessian-Affine和MSER的仿射協(xié)變區(qū)域檢測(cè)方法，用于城市遙感的建筑物檢測(cè)中。文獻(xiàn)[15]應(yīng)用SIFT和Harris-A兩種具有互補(bǔ)特性的局部不變特征, 實(shí)現(xiàn)大失配圖像的自動(dòng)配準(zhǔn)。

本文融合Hessian-Affine和MSER算子提取具有仿射不變性的特征區(qū)域，將其應(yīng)用至具有較大視角變化的傾斜影像匹配過(guò)程。用SIFT描述子進(jìn)行描述，利用歐式距離進(jìn)行初始匹配，采用比值提純法、歸一化相關(guān)系數(shù)法和左右一致性檢驗(yàn),再將粗匹配得到的匹配點(diǎn)對(duì)用隨機(jī)抽樣一致性算法(random sample consensus ,RANSAC)進(jìn)行提純。

1 MSER和Hessian Affine

1.1 MSER

MSER是Matas等針對(duì)寬基線(xiàn)立體匹配提出的一種局部特征檢測(cè)算子。該算法基于分水嶺的概念，通過(guò)分析影像局部區(qū)域內(nèi)像素點(diǎn)間的灰度值關(guān)系,構(gòu)造出四連通的影像區(qū)域,即為最大穩(wěn)定極值區(qū)域,該區(qū)域內(nèi)部像素點(diǎn)的灰度值都大于或小于區(qū)域邊界像素點(diǎn)的灰度值。MSER常用于圖像的斑點(diǎn)區(qū)域檢測(cè)，具備可區(qū)分、 仿射不變性、穩(wěn)定等特性。下面給出了MSER的數(shù)學(xué)定義為

q(i)=|Qi+Δ-Qi-Δ|/|Qi|

(1)

式中，Qi為閾值是i時(shí)的某一連通區(qū)域；Δ為灰度閾值的微小變化量；q(i)為閾值是i時(shí)的區(qū)域Qi的變化率。當(dāng)q(i)為局部極小值時(shí)，則Qi為最大穩(wěn)定極值區(qū)域。在完成圖像中MSER的區(qū)域檢測(cè)后,形成的圖像不利于進(jìn)行歸一化和提取特征描述, 必須進(jìn)行橢圓擬合。

1.2 Hessian-Affine

Hessian-Affine檢測(cè)算子是基于某點(diǎn)上的Hessian矩陣進(jìn)行興趣點(diǎn)計(jì)算,選擇在多尺度下具有局部最大的興趣點(diǎn),得到一系列對(duì)旋轉(zhuǎn)、尺度、平移、亮度改變穩(wěn)定的點(diǎn),然后運(yùn)用多尺度迭代算法進(jìn)行空間定位和篩選尺度、仿射不變特征。Hessian-Affine檢測(cè)算子首先在高斯尺度空間由Hessian矩陣H(L)及其行列式HDo檢測(cè)初始特征點(diǎn)，然后搜索HDo局部極值來(lái)選擇特征點(diǎn)的位置和特征尺度，最后使用迭代算法不斷調(diào)整特征點(diǎn)的位置、尺度和鄰域形狀，找到收斂后的仿射協(xié)變區(qū)域。通過(guò)上述迭代過(guò)程，一個(gè)初始點(diǎn)將會(huì)自動(dòng)地迭代以調(diào)整規(guī)范化圖像域、初始點(diǎn)的尺度以及空間位置，最終收斂到一個(gè)具有仿射不變性的特征點(diǎn)。Hessian-Affine檢測(cè)算子時(shí)HDo檢測(cè)算子的仿射自適應(yīng)改進(jìn)，用高斯尺度空間的HDo檢測(cè)算子估計(jì)特征點(diǎn)的初始位置和尺度。

2 特征融合

Hessian-Affine能夠大量地檢測(cè)出灰度變化強(qiáng)烈的局部區(qū)域，適用于具有明顯拐角和邊緣的建筑物類(lèi)型，而 MSER 算法能夠提取圖像中灰度一致的目標(biāo)區(qū)域，對(duì)于灰度分布均勻的建筑物具有較好的檢測(cè)效果，且對(duì)于圖像的旋轉(zhuǎn)等仿射變換具有較好的適應(yīng)性。由于沒(méi)有任何一種檢測(cè)子在任何場(chǎng)景或變換下表現(xiàn)最優(yōu)，因此本文提出對(duì) Hessian-Affine、MSER 進(jìn)行互補(bǔ)融合進(jìn)行傾斜影像特征點(diǎn)提取。對(duì)每一個(gè)初始特征點(diǎn)，使用穩(wěn)定和收斂的迭代過(guò)程來(lái)同步調(diào)整特征點(diǎn)的尺度、位置和鄰域形狀。Hessian-Affine檢測(cè)子對(duì)于明顯尺度變化和視角變化等變換具有較強(qiáng)適應(yīng)性，降低了特征的誤配率，從而更準(zhǔn)確地識(shí)別出不同仿射變換和不同光照變化圖像中對(duì)應(yīng)的相似特征區(qū)域。

融合具體流程如下：

(1)特征提取。對(duì)原始影像分別用MSER和Hessian-Affine計(jì)算關(guān)鍵點(diǎn)主方向，生成特征區(qū)域。

(2)特征組合。對(duì)分別用MSER和Hessian-Affine檢測(cè)出來(lái)的特征進(jìn)行組合提取，刪除相同特征區(qū)域。

(3)特征歸一化。Hessian-Affine和MSER特征區(qū)域呈橢圓形，特征描述需在規(guī)則區(qū)域中(如圓形或矩形)進(jìn)行，因此，首先需要對(duì)特征實(shí)施歸一化處理，之后再進(jìn)行特征描述。設(shè)f=(x,W)和f′=(x′,W′)分別為左側(cè)影像和右側(cè)影像中任意同名特征，x和x′表示特征點(diǎn)坐標(biāo)，W和W′表示協(xié)方差矩陣。同名特征點(diǎn)的橢圓特征區(qū)域E和E′的長(zhǎng)短軸和長(zhǎng)軸傾角值可由W和W′求出。仿射歸一化計(jì)算公式為：

(2)

(3)

(4)

(5)

(4)特征描述。用SIFT描述子生成128維特征向量。

3 匹配策略

(1)對(duì)于生成的128維特征向量采用雙向最近鄰(nearest neighbor ,NN)匹配和最鄰近距離與次鄰近距離的比值(nearest/next distance ratios，NNDR)獲得初始匹配結(jié)果，閾值取值ρT=0.8。

(2)采用隨機(jī)采樣一致性(random sample consensus，RANSAC)算法剔除外點(diǎn)并估計(jì)基礎(chǔ)矩陣F和單應(yīng)矩陣H，F(xiàn)代表了對(duì)應(yīng)點(diǎn)應(yīng)該滿(mǎn)足的極限約束，H代表左側(cè)影像和右側(cè)影像間的變換關(guān)系。在初始匹配結(jié)果中任選四對(duì)不共線(xiàn)的點(diǎn)，計(jì)算出單應(yīng)矩陣估計(jì)值Hg，然后在F的約束下，將左右影像特征進(jìn)行歸一化，并作為相關(guān)窗口，根據(jù)公式(6)計(jì)算相關(guān)系數(shù)ρ：

ρ=

(6)

(7)

(3)用均方根誤差(root mean squared error，RMSE)對(duì)最終結(jié)果進(jìn)行約束，若RMSE大于2.0個(gè)像素，剔除誤差最大的同名點(diǎn)對(duì)，然后重新計(jì)算基礎(chǔ)矩陣F和單應(yīng)矩陣H，直至滿(mǎn)足要求。

4 匹配評(píng)價(jià)標(biāo)準(zhǔn)

(8)

(9)

若d小于閾值2.0像素，則認(rèn)為點(diǎn)對(duì)匹配正確，否則認(rèn)為點(diǎn)對(duì)匹配錯(cuò)誤。

5 試驗(yàn)結(jié)果與分析

本次試驗(yàn)運(yùn)行環(huán)境為：運(yùn)行內(nèi)存8.00 GB，處理器Intel?CoreTMi7-8750H CPU@2.20 GHz 2.21 GHz，基于Visual Studio2015的OpenCV2.4.13視覺(jué)庫(kù)。

試驗(yàn)數(shù)據(jù)：安徽合肥地區(qū)某印刷廠附近的一組傾斜影像數(shù)據(jù)，影像大小為1 200像素×800像素，側(cè)視影像的傾角約為45°，飛行高度約為122 m。因篇幅有限，僅選擇其中5個(gè)像對(duì)介紹，如圖1～圖5所示。前3組為側(cè)視影像組成的影像對(duì)，視角變化在2°～5°，后2組為側(cè)視影像和下視影像組成的影像對(duì)，視角變化約為45°。

分別使用本文提出的方法與SIFT、ASIFT對(duì)5組典型試驗(yàn)影像對(duì)進(jìn)行匹配。匹配結(jié)果如表1～表3所示。其中，t1為特征提取時(shí)間，t2為匹配時(shí)間，N1為初始匹配點(diǎn)對(duì)數(shù)，N2為最終正確匹配點(diǎn)對(duì)數(shù)，RMSE為均方根誤差。進(jìn)行ASIFT特征提取時(shí)將圖片縮放為800像素×600像素。

圖1 下視影像對(duì)

圖2 右視影像對(duì)

圖3 后視影像對(duì)

圖4 左視影像和下視影像對(duì)

圖5 前視影像和下視影像對(duì)

前三組匹配結(jié)果顯示，對(duì)于同一相機(jī)獲取的部分重疊影像，在正確匹配點(diǎn)對(duì)數(shù)上，ASIFT最多，約為SIFT方法的20倍，MSER+Hessian-Affine約為SIFT的兩倍， MSER+Hessian-Affine方法的10倍。在耗時(shí)上，ASIFT耗時(shí)最長(zhǎng)，MSER+Hessian-Affine次之，SIFT耗時(shí)最短。

后兩組匹配結(jié)果顯示，對(duì)于側(cè)視影像和下視影像組成的影像對(duì)，在正確匹配點(diǎn)對(duì)數(shù)上，SIFT僅為個(gè)位數(shù)，MSER+Hessian-Affine和ASIFT方法得到的結(jié)果比較一致，在耗時(shí)上，ASIFT耗時(shí)最長(zhǎng)，MSER+Hessian-Affine次之，SIFT耗時(shí)最短。因采取相同的匹配策略，三者精度相近。

試驗(yàn)結(jié)果表明，對(duì)于視角變化約為45°的傾斜影像對(duì)，本文方法能提取到與ASIFT近乎同等數(shù)量的特征點(diǎn)，但耗時(shí)僅為ASIFT的1/10。

表1 本文方法匹配結(jié)果

表2 SIFT方法匹配結(jié)果

表3 ASIFT方法匹配結(jié)果

6 結(jié) 語(yǔ)

本文融合Hessian-Affine和MSER提取具有仿射不變性的特征區(qū)域進(jìn)行匹配，提高了特征點(diǎn)的數(shù)量和分布均勻性。試驗(yàn)表明，對(duì)于視角變化約為45°的傾斜影像對(duì)，本文方法仍能提取到較多的正確特征點(diǎn)，且耗時(shí)僅為ASIFT算法的1/10，為存在較大仿射(透視)變形的低空傾斜立體影像匹配探索一種新的可行思路。直接利用SIFT描述子對(duì)具有仿射不變性的特征區(qū)域進(jìn)行描述,計(jì)算過(guò)程繁瑣、計(jì)算量較大、程序運(yùn)行時(shí)間長(zhǎng),下一步研究可對(duì)該算法進(jìn)一步優(yōu)化并提高速度。