基于仿射不變算子的傾斜影像匹配算法評(píng)價(jià)

劉玉梅，王仁禮，任保剛

(1.山東科技大學(xué) 山東省基礎(chǔ)地理信息與數(shù)字化技術(shù)重點(diǎn)實(shí)驗(yàn)室，山東 青島 266590；2.珠海市測(cè)繪院，廣東 珠海 519015)

0 引 言

近年來(lái)，隨著全球信息化進(jìn)程的加快，數(shù)字城市及智慧城市逐漸走進(jìn)大眾的視野，人們對(duì)三維建模的精度、視覺(jué)效果，以及現(xiàn)勢(shì)性需求在不斷提高，傳統(tǒng)的豎直攝影已無(wú)法滿(mǎn)足需求需要，傾斜攝影測(cè)量[1]技術(shù)便應(yīng)運(yùn)而生。但是，由于傾斜影像往往存在復(fù)雜的三維場(chǎng)景、幾何畸變和輻射畸變等現(xiàn)象，致使傳統(tǒng)空三中的自動(dòng)選點(diǎn)與轉(zhuǎn)點(diǎn)難以進(jìn)行。因此，研究適用于傾斜影像的匹配算法，有助于提高傾斜影像空中三角測(cè)量的自動(dòng)化進(jìn)程。

國(guó)內(nèi)外學(xué)者關(guān)于影像匹配算法[2]進(jìn)行了大量的研究，并取得了較多成果，匹配方法、匹配策略及評(píng)價(jià)標(biāo)準(zhǔn)是當(dāng)前研究的重點(diǎn)內(nèi)容。目前影像匹配分為基于灰度的影像匹配和基于特征的影像匹配，基于灰度的影像匹配算法主要有Moravec算子[3]、Harris算子[4]等，這些算子主要適用于垂直攝影或近似垂直攝影，若直接用于多視角影像連接點(diǎn)的提取，在可靠性、精度和效率等方面都存在較大問(wèn)題；基于特征的影像匹配算子主要有Harris-Laplacia和Harris-Affine算子[5-6]、SIFT算子[7-8]、SURF（Speeded Up Robust Features）算子（Bay等，2006）、CenSurE算子（Motilal Agrawal等，2008）、ASIFT算子（Yu G等，2009）、MSERs算子[9-10]等，這些算子主要是針對(duì)單一特征提取，后續(xù)還出現(xiàn)了多種特征相結(jié)合的匹配算法，一定程度上解決了場(chǎng)景部分遮擋、旋轉(zhuǎn)縮放、視點(diǎn)變化等引起的圖像變形等問(wèn)題。

1 實(shí)驗(yàn)算法

本文主要介紹SIFT、Harris-Affine（簡(jiǎn)稱(chēng)H-A）及MSERs3種基于特征的匹配算子，其基本過(guò)程包含特征提取、特征描述和特征匹配。

1）特征提?。悍謩e從參考影像和待匹配影像中提取SIFT、H-A及MSERs3種特征，SIFT提取算子先檢測(cè)DOG尺度空間上的局部極值點(diǎn)，再通過(guò)該算子的經(jīng)驗(yàn)閾值剔除低對(duì)比度點(diǎn)和邊緣響應(yīng)點(diǎn)實(shí)現(xiàn)精確定位；Harris-Affine算子首先利用多尺度Harris算子檢測(cè)出初始角點(diǎn)，然后通過(guò)迭代不斷調(diào)整初始特征點(diǎn)的位置、尺度及鄰域形狀，得到收斂后的仿射不變特征點(diǎn)；MSERs算子基于分水嶺思想提取影像中灰度最穩(wěn)定的局部區(qū)域特征。

2）特征描述：即生成特征描述子，也就是建立特征空間，以每個(gè)特征點(diǎn)為中心均勻地利用4×4共16個(gè)種子點(diǎn)進(jìn)行描述，對(duì)每個(gè)種子點(diǎn)進(jìn)行8個(gè)梯度方向的直方圖統(tǒng)計(jì)，從而生成一個(gè)128維的SIFT特征描述子。

3）特征匹配:歐式距離主要用來(lái)衡量特征向量間的相似程度，是通過(guò)歐式空間距離或者最近鄰距離與次近鄰距離比率（最近鄰距離比率）來(lái)實(shí)現(xiàn)的，是特征匹配中常用的方法。過(guò)程如下：

設(shè)參考影像I1中某個(gè)特征點(diǎn)A，對(duì)應(yīng)特征向量DA；特征點(diǎn)A在待配準(zhǔn)影像Ii中最近鄰歐氏距離特征點(diǎn)B，次近鄰歐氏距離特征點(diǎn)C，對(duì)應(yīng)特征向量分別為DB和DC，當(dāng)滿(mǎn)足關(guān)系式（1）：

則認(rèn)為特征點(diǎn)A和B是一對(duì)同名特征點(diǎn)。其中，t為最近鄰歐氏距離與次近鄰歐氏距離比值的閾值參數(shù)，t取值越大，則匹配的要求越寬松，錯(cuò)誤匹配點(diǎn)也越多；t取值越小，則匹配的要求越嚴(yán)格，錯(cuò)誤匹配點(diǎn)也越少。

2 評(píng)價(jià)標(biāo)準(zhǔn)

本文使用均方根誤差RMSE（單位：像素）、正確匹配率p和匹配時(shí)間t來(lái)評(píng)價(jià)圖像匹配算子的性能。其中RMSE和p的定義如公式（2）和公式（3）：

一般來(lái)說(shuō)，均方根誤差RMSE越小，匹配精度越高；正確匹配率p越高，匹配精度越高；匹配時(shí)間t越短，匹配效率越快。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)源介紹

如圖1所示，圖(a)為垂直鏡頭拍攝,作為基準(zhǔn)影像，圖(b)為傾斜鏡頭拍攝，作為待匹配影像，(a)-(b)構(gòu)成一組立體像對(duì)，立體像對(duì)間存在40°左右的視角變化。

圖1 實(shí)驗(yàn)所用數(shù)據(jù)Fig.1 Experimental data

3.2 實(shí)驗(yàn)結(jié)果及分析

基于VS2010編程實(shí)現(xiàn)3種算法，分別對(duì)(a)-(b)立體像對(duì)影像數(shù)據(jù)進(jìn)行特征點(diǎn)的提取和匹配實(shí)驗(yàn)，實(shí)驗(yàn)過(guò)程中各程序的閾值都是采用經(jīng)驗(yàn)閾值。圖2、圖3和4圖分別表示3種算子提取的特征點(diǎn)和匹配結(jié)果圖，其中提取的特征點(diǎn)用黃色圓圈表示，正確匹配點(diǎn)對(duì)用紅線(xiàn)連接。

圖2 SIFT特征提取和匹配結(jié)果圖Fig.2 Feature extraction and matching results of SIFT operator

圖3 H-A特征提取和匹配結(jié)果圖Fig.3 Feature extraction and matching results of H-A operator

圖4 MSERs特征提取和匹配結(jié)果圖Fig.4 Feature extraction and matching results of MSERs operator

將匹配點(diǎn)保存為Envi識(shí)別的“.pts”格式，并導(dǎo)入Envi軟件中，具體步驟：①分別打開(kāi)參考影像和待配準(zhǔn)影像，點(diǎn)擊“File-Open Image File”；②導(dǎo)入同名點(diǎn)坐標(biāo)，按照“Map-Registration-Select GCPs:Image to Image”過(guò)程選擇基準(zhǔn)影像和待配準(zhǔn)影像，然后點(diǎn)擊“File-Restore GCPs from ASCII”導(dǎo)入“.pts”同名點(diǎn)文件，對(duì)左右立體像對(duì)匹配的同名點(diǎn)進(jìn)行點(diǎn)對(duì)點(diǎn)檢查，查看同名點(diǎn)位置是否正確，結(jié)果見(jiàn)表1。

表1 3種經(jīng)典算子匹配結(jié)果分析表Tab.1 The matching results of three classic operators

由圖2、圖3及圖4可以看出，基于影像(a)-(b)，3種算子提取的特征點(diǎn)數(shù)目存在較大差異，分布情況也不盡相同。Harris-Affine算子提取的特征點(diǎn)及正確匹配的同名點(diǎn)相對(duì)較多，而且分布也比較均勻；而SIFT和MSER算子提取的特征點(diǎn)數(shù)目則相對(duì)較少，分布情況也比較分散。

本文是以匹配時(shí)間t、正確匹配率p和均方根誤差RMSE作為評(píng)價(jià)3種算子匹配性能的標(biāo)準(zhǔn)，對(duì)比分析結(jié)果見(jiàn)表1。從表1可以很直觀(guān)地看出每種算子的匹配結(jié)果統(tǒng)計(jì)值，進(jìn)而可以得出如下的比較：①RMSE：Harris-Affine＜MSERs＜SIFT；②p：SIFT＜Harris-Affine＜MSERs；③t：Harris-Affine＜SIFT＜MSERs。因此，從正確匹配率的角度而言，Harris-Affine和MSERs算子的性能明顯優(yōu)于SIFT算子，即當(dāng)立體像對(duì)存在較大的視角變化時(shí)，Harris-Affine和MSERs算子具有更強(qiáng)的魯棒性。而在Harris-Affine和MSERs算子正確匹配率比較接近的情況下，Harris-Affine算子的匹配點(diǎn)數(shù)為379，明顯多于MSERs算子，而且Harris-Affine算子的匹配效率相對(duì)較高，均方根誤差相對(duì)較低，說(shuō)明了Harris-Affine算子在特征檢測(cè)數(shù)量方面優(yōu)于MSERs算子，即Harris-Affine算子更適合于初始匹配。

綜上可知，當(dāng)立體像對(duì)存在較大的視角變化時(shí)，Harris-Affine和MSERs算子的適應(yīng)性?xún)?yōu)于SIFT算子；而在特征檢測(cè)數(shù)量方面，Harris-Affine算子明顯優(yōu)于MSERs算子。

4 結(jié)束語(yǔ)

本文針對(duì)鄭州某地區(qū)的兩幅航空影像數(shù)據(jù)，設(shè)計(jì)了SIFT、Harris-Affine及MSERs3種特征提取算子，為了更好地對(duì)比分析其匹配性能，均采用相同的匹配策略、匹配方法及評(píng)價(jià)標(biāo)準(zhǔn)，發(fā)現(xiàn)Harris-Affine、MSERs算子的正確匹配率相對(duì)較高、適應(yīng)性較強(qiáng)，而考慮到匹配效率及特征點(diǎn)提取數(shù)量的要求，Harris-Affine算子性能則更理想。