基于局部哈希學(xué)習(xí)的大面陣CCD航拍圖像匹配方法

陳蘇婷，郭子燁，張艷艷

(南京信息工程大學(xué) 江蘇省氣象探測(cè)與信息處理重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210044)

引言

大面陣CCD數(shù)字成像技術(shù)以其幾何性能好、對(duì)平臺(tái)穩(wěn)定度要求較低、應(yīng)用處理便捷等優(yōu)點(diǎn)[1]，已逐漸成為獲取對(duì)地觀測(cè)信息數(shù)據(jù)來源的主要途徑，隨著航拍影像成像技術(shù)和計(jì)算機(jī)技術(shù)的高速發(fā)展，超高分辨率CCD航拍相機(jī)相繼問世。隨著大面陣CCD圖像的數(shù)據(jù)量劇增，如何實(shí)現(xiàn)快速有效的特征點(diǎn)匹配是近年來CCD圖像處理技術(shù)的研究熱點(diǎn)。為實(shí)現(xiàn)航拍影像的特征點(diǎn)匹配，首先需采用特征檢測(cè)算法提取特征點(diǎn)并構(gòu)建特征描述子；在此基礎(chǔ)上，根據(jù)相似性度量實(shí)現(xiàn)匹配。其中，特征描述子構(gòu)建是實(shí)現(xiàn)快速匹配的關(guān)鍵[1-5]。針對(duì)特征描述子構(gòu)建，文獻(xiàn)[6]提出將SIFT(scale-invariant feature transform)[7]與KDES-G(gradient kernel descriptor)特征[8]進(jìn)行級(jí)聯(lián)融合獲取聯(lián)合向量，以提高特征描述子的魯棒性。SURF(speed up robust features)算法[9]針對(duì)SIFT算子實(shí)時(shí)性不高、并且對(duì)于邊緣光滑目標(biāo)的特征點(diǎn)提取能力較弱等問題，通過使用Hessian矩陣檢測(cè)特征值可精確定位特征點(diǎn)。上述基于浮點(diǎn)型的特征描述子匹配準(zhǔn)確率較高，但過高的計(jì)算復(fù)雜度不適合海量高分辨率航拍影像的實(shí)時(shí)匹配。為此，二值型特征描述子如BRIEF(binary robust independent elementary features)算子[10]則可大大降低特征描述向量的維度。ORB(oriented FAST and rotated BRIEF)算法[11]則將FAST(features from accelenated segment test)特征點(diǎn)的檢測(cè)方法[12]與BRIEF特征描述子結(jié)合，進(jìn)一步提高匹配速度，但也導(dǎo)致了匹配準(zhǔn)確率大大降低。

相對(duì)手工設(shè)計(jì)的特征描述子，近期在機(jī)器學(xué)習(xí)的研究熱潮推動(dòng)下，基于學(xué)習(xí)方法構(gòu)建的特征描述子正成為值得期待的探索研究方向，其中，哈希學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)，得到國(guó)內(nèi)外研究學(xué)者的高度關(guān)注[13-15]。然而，哈希學(xué)習(xí)目前主要用于整幅圖像的信息檢索，無法直接應(yīng)用于海量高分辨率航拍圖像的特征匹配。

針對(duì)上述圖像匹配中存在的計(jì)算復(fù)雜度和匹配速度間的矛盾，本文提出了局部多特征哈希(LMFH)匹配算法，通過局部匹配區(qū)域構(gòu)建、局部哈希學(xué)習(xí)方法、目標(biāo)函數(shù)構(gòu)建及參數(shù)優(yōu)化等關(guān)鍵問題研究，實(shí)現(xiàn)了航拍影像特征點(diǎn)的高效匹配，為航拍影像快速匹配實(shí)現(xiàn)提供新思路，對(duì)超高分辨率航拍影像數(shù)據(jù)處理及應(yīng)用領(lǐng)域具有重要意義。

1 CCD航拍圖像匹配方法

本文提出的LMFH匹配算法分為3部分：局部多特征描述子構(gòu)建、哈希學(xué)習(xí)算法和哈希匹配算法，算法流程如圖1所示。首先對(duì)獲取的CCD航拍圖像進(jìn)行特征點(diǎn)檢測(cè)，構(gòu)建局部多特征描述子；針對(duì)該特征描述子，提出了LMFH算法構(gòu)建局部哈希學(xué)習(xí)函數(shù)；將該函數(shù)獲得的二進(jìn)制哈希代碼映射到漢明距離，實(shí)現(xiàn)快速哈希匹配。

圖1 大面陣CCD圖像特征點(diǎn)匹配方案Fig.1 Feature points matching scheme of large array CDD aerial images

2 基于局部多特征的CCD航拍圖像哈希匹配

2.1 局部多特征描述子

一般來說，待匹配的兩幅航拍圖像之間重疊度較高，為減少計(jì)算復(fù)雜度，提出了基于預(yù)測(cè)區(qū)域的特征描述子構(gòu)建方法。

首先，根據(jù)航拍圖像重疊率估計(jì)預(yù)測(cè)區(qū)域；然后，通過構(gòu)建尺度空間金字塔，在每個(gè)尺度圖像上，采用FAST算法[12]進(jìn)行興趣點(diǎn)檢測(cè)，使得檢測(cè)到的角點(diǎn)具有尺度不變性；對(duì)提取到的特征點(diǎn)，以特征點(diǎn)為中心選取鄰域，確定特征點(diǎn)的主方向，并將中心鄰域旋轉(zhuǎn)至主方向上，以實(shí)現(xiàn)特征的旋轉(zhuǎn)不變性；在鄰域內(nèi)，提取多種特征信息，包括：梯度特征、平均強(qiáng)度特征、方向特征和局部紋理特征，組合多種特征，得到高維特征點(diǎn)描述向量fi∈RD。

2.2 局部多特征哈希學(xué)習(xí)

LMFH算法的主要任務(wù)是學(xué)習(xí)特征描述子的二元表示。首先，特征向量fi表示成矩陣形式Fi；然后采用雙線性投影矩陣Θ1、Θ2定義哈希方程H(Fi)；為保留特征點(diǎn)的相似性關(guān)系，定義相似性標(biāo)簽，并根據(jù)標(biāo)簽信息構(gòu)建目標(biāo)優(yōu)化函數(shù)，實(shí)現(xiàn)哈希函數(shù)參數(shù)的獲?。蛔詈?，使用交替迭代算法學(xué)習(xí)映射矩陣{Θ1、Θ2}，實(shí)現(xiàn)框圖如圖2所示。針對(duì)圖2，本文提出的局部哈希學(xué)習(xí)算法的具體實(shí)現(xiàn)流程如表1所示。

圖2 多特征哈希學(xué)習(xí)方法Fig.2 Multiple features hash learning method

算法:LMFH哈希函數(shù)學(xué)習(xí)算法輸入:訓(xùn)練特征點(diǎn)集{F1,F2,…,FN}。輸出:雙線性投影矩陣Θ1、Θ21) 預(yù)處理:中心化數(shù)據(jù)集fi←1NNj=1fj),i=1,…,N;2) 將所有的特征向量fi轉(zhuǎn)換為矩陣形式Fi,i=1,…,N;3) 構(gòu)建局部特征點(diǎn)對(duì)的集合P,獲取特征點(diǎn)對(duì)間的標(biāo)簽信息lij;4) 計(jì)算相似性權(quán)重Wij;5) 初始化投影矩陣Θ1、Θ2;6) 選代以下過程;7) Θ1←M1(Θ1);8) Θ2←M2(Θ2);9) 目標(biāo)函數(shù)L(Θ1,Θ2)收斂;10) 返回投影矩陣Θ1、Θ2。

2.3 快速哈希匹配

通過哈希函數(shù)構(gòu)建，高維特征向量會(huì)被映射到緊湊的二進(jìn)制哈希編碼。匹配之前，通過構(gòu)建漢明查找表來建立哈希編碼和特征點(diǎn)信息間的索引。匹配階段，在待匹配圖像上根據(jù)漢明距離尋找對(duì)應(yīng)匹配點(diǎn)，實(shí)現(xiàn)圖像快速匹配，如圖3所示。

圖3 基于漢明查找表的航拍圖像特征匹配Fig.3 Aerial image feature matching based on Hamming lookup table

3 實(shí)驗(yàn)結(jié)果與分析

從實(shí)拍的UAV航拍圖像[16]中選取3組航拍圖像做對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖4所示。用提出的LMFH算法和經(jīng)典的ORB[7]、BRIEF[6]和SURF[5]算法作重復(fù)率、匹配準(zhǔn)確率、匹配時(shí)間方面的比較。

圖4 分組的航拍圖像匹配結(jié)果比較Fig.4 Comparison of matching results of aerial images in group

3.1 重復(fù)率比較

重復(fù)率表示每組圖像之間對(duì)應(yīng)的特征點(diǎn)數(shù)量與經(jīng)過特征點(diǎn)檢測(cè)算法后得到的較少特征點(diǎn)數(shù)量之比，定義如下：

(1)

不同算法的3組航拍圖像重復(fù)率對(duì)比結(jié)果如表2所示。

表2 重復(fù)率比較Table 2 Comparison of repetition rate

從表2中可知，LMFH算法在特征檢測(cè)部分重復(fù)率最高，在3組航拍圖像中，平均重復(fù)率為83.9%；BRIEF算子的平均重復(fù)率為49.7%，相比LMFH算法減小約34.2%；ORB算子的平均重復(fù)率為57.7%，相比LMFH算法減小約26.2%；SURF算子的平均重復(fù)率為82.4%，相比LMFH算法減小約1.5%。綜上所述，將LMFH算法用于實(shí)際航拍圖像特征提取時(shí)，檢測(cè)到的特征點(diǎn)重復(fù)率最高，性能穩(wěn)定。

3.2 匹配正確率比較

正確率表示每組圖像中正確匹配的特征點(diǎn)數(shù)量與兩幅圖像間對(duì)應(yīng)的總的匹配點(diǎn)數(shù)量之比，定義如下：

(2)

3組圖像的具體實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 匹配正確率比較分析Table 3 Comparison analysis of matching accuracy

續(xù)表

從表3中可以看出，在第1組匹配實(shí)驗(yàn)中，LMFH算法正確率為75.8%，相比于ORB算子高40%，相比于BRIEF算子高34%，相比于SURF算子高10%；在第2組匹配實(shí)驗(yàn)中，LMFH算法的正確率為71.5%，相比于ORB、BRIEF和SURF算子分別高33%、31%和10%；在第3組匹配實(shí)驗(yàn)中，LMFH算法的匹配正確率為65.6%，相比于ORB、BRIEF和SURF算子分別高23%、24%和12%。從3組匹配實(shí)驗(yàn)結(jié)果可知，在實(shí)際CCD航拍圖像特征匹配中，本文提出算法的匹配正確率最高，BRIEF算子的匹配正確率最低。

3.3 匹配速度比較

匹配速度表示從開始對(duì)圖像進(jìn)行處理到匹配出正確的特征點(diǎn)對(duì)時(shí)所用的時(shí)間。匹配速度越快，算法的運(yùn)行效率也就越高。通過比較匹配時(shí)間，比較各算法的匹配效率。3組航拍圖像的匹配時(shí)間對(duì)比如圖5所示。

圖5 匹配速度比較結(jié)果Fig.5 Comparison result of matching speed

從圖5可知，在匹配速度方面，二值型特征描述算子的匹配時(shí)間最少，如ORB和BRIEF；相比之下，SURF算子的匹配時(shí)間最長(zhǎng)，約為二值型特征描述算子的兩倍，原因在于：在SURF算法中，特征描述子為高維浮點(diǎn)型特征向量，匹配時(shí)根據(jù)向量間的歐式距離進(jìn)行比較，計(jì)算量大；LMFH算法的匹配時(shí)間介于兩者之間，原因在于：LMFH算法在特征描述子構(gòu)建和局部哈希學(xué)習(xí)部分耗費(fèi)較多時(shí)間，但在匹配階段，本文采用學(xué)習(xí)到的哈希函數(shù)，將高維的特征描述向量映射為二進(jìn)制哈希編碼形式，通過漢明距離即可實(shí)現(xiàn)特征間的快速匹配。除此之外，本文在匹配策略方面采用分段匹配方案，可進(jìn)一步提高匹配速度。

4 結(jié)論

本文提出基于LMFH算法實(shí)現(xiàn)大面陣CCD航拍圖像精準(zhǔn)快速匹配，和許多傳統(tǒng)的算法相似，LMFH算法使用各種各樣的具有高精準(zhǔn)度的統(tǒng)計(jì)特征來保證匹配準(zhǔn)確度。然而，LMFH算法通過使用高效率的哈希目標(biāo)函數(shù)并沒有產(chǎn)生處理大量特征而帶來的低效率問題。實(shí)驗(yàn)結(jié)果表明:LMFH算法的檢測(cè)準(zhǔn)確率相比于普通的手動(dòng)設(shè)計(jì)的二值型特征描述算子如SURF算子、ORB和BRIEF算法，分別提高約10%、40%和34%，同時(shí)重復(fù)率最高，匹配速度最快?；贚MFH算法的匹配方案在確保特征匹配的準(zhǔn)確率的同時(shí)實(shí)現(xiàn)特征的快速匹配。