具有抗仿射性的局部特征點匹配方法

邱云飛，劉 興

（遼寧工程技術(shù)大學軟件學院，遼寧葫蘆島125105）

（?通信作者電子郵箱394970000@qq.com）

0 引言

基于局部特征點的圖像匹配算法是三維重建、SLAM（Simultaneous Localization and Mapping）系統(tǒng)、圖像拼接等的重要步驟，但由于待匹配圖像可能是在不同平面拍攝得到的，致使待匹配圖像具有一定的仿射性，導致局部色差和形變較大，很難高效精確地匹配。

針對具有仿射性圖像匹配效果不佳、隨機采樣一致性（RANdom SAmple Consensus，RANSAC）算法對具有仿射性圖像得不到較好的參數(shù)模型等問題，國內(nèi)外學者提出了許多改進算法。如MSER（Maximally Stable Extremal Regions）算法［1］利用分水嶺算法檢測出最穩(wěn)定區(qū)域，然后通過對極值區(qū)域進行旋轉(zhuǎn)和歸一化處理，從而實現(xiàn)仿射不變性。MSER 算法通過歸一化的方法，把不規(guī)則的局部特征采樣區(qū)域標準化，可消除仿射變化對描述符的影響，但對仿射性較大的圖像魯棒性欠佳。針對尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）算法［2］對具有仿射性圖像匹配效果較差提出了ASIFT（Affine SIFT）算法［3］，該算法對描述符采樣區(qū)域在經(jīng)緯度上進行投影，從而模擬圖像在不同方向上的仿射變換，該方法的魯棒性較好；但是SIFT描述符為128維浮點型，在不同方向上的投影導致描述符的維度急劇增加，嚴重影響匹配算法 的 速 度。文 獻［4］在ORB（Oriented FAST and Rotated BRIEF）算法［5］的基礎(chǔ)上提出了AORB（Affine Oriented FAST and Rotated BRIEF）算法，該算法與ASIFT 算法相似，首先利用FAST（Features from Accelerated Segment Test）算法檢測特征點，然后以特征點為中心選取合適的區(qū)域作為采樣窗口并在不同方向上進行投影，最后在多個方向上建立BRIEF（Binary Robust Independent Elementary Features）描 述 符［6］。AORB 算法利用BRIEF 二進制描述符可快速計算漢明距離的特性，相較于ASIFT 算法匹配速度有很大的提升；但是BEIEF描述符的魯棒性較差，嚴重影響匹配算法的性能。文獻［7］提出了一種具有仿射不變的彩色圖像配準算法，通過模擬仿射變換得到一系列模擬圖像，對模擬得到的圖像計算顏色不變量，再對其進行特征點的檢測及特征點的匹配［8］。文獻［7］算法相較于ASIFT 算法在匹配速度上有很大的提升，但是高維度的浮點型描述符依舊造成匹配速度較慢，對實時性要求較高的場景難以應用。

針對現(xiàn)有的算法對具有仿射性圖像匹配速度較慢、魯棒性欠佳等問題，本文提出一種基于非線性濾波［9］的仿射圖像匹配算法:A-AKAZE（Affine Accelerated KAZE）算法。首先利用非線性濾波構(gòu)建非線性金字塔；然后借助Hessian矩陣在非線性金字塔上檢測特征點，再以特征點為中心選擇合適的區(qū)域在不同經(jīng)緯度上進行投影構(gòu)建A-MLDB（Affine Modified-Local Difference Binary）描述符；隨后利用漢明距離衡量不同描述符的相似性；為了得到更精確的成對匹配點，使用向量場一致性（Vector Field Consensus，VFC）算法篩選內(nèi)點［10-11］。

1 A-AKAZE算法

對具有仿射性的圖像匹配時，AKAZE（Accelerated KAZE）算法的匹配效果相較于ASIFT 算法較差，故在本章中提出A-AKAZE算法，旨在增強AKAZE算法［12］抗仿射魯棒性。

1.1 非線性金字塔搭建

非線性擴散濾波算法［13］主要是將灰度圖像L 在不同尺度上變化表示為流動函數(shù)的擴散過程，可用非線性偏微分方程表示為:

其中:L 表示圖像的灰度信息；div 表示流動函數(shù)的擴散；?表示圖像的梯度；c(x，y，t)表示傳導函數(shù)。c(x，y，t)可表示為:

其中:t為尺度參數(shù)；?Lσ表示灰度圖像L經(jīng)過高斯濾波后的梯度圖像。g()函數(shù)表示為:

其中:k為控制擴散度的對比因子。

AKAZE 算法采用FED（Fast Explicit Diffusion）算法［13］，以求解非線性擴散濾波函數(shù)中的偏微分方程式。FED算法可表示為:

其中:I表示單位矩陣；A(Li)為圖像Li的傳導矩陣；n表示顯性擴散步數(shù)；τj表示對應步長。τj可表示為:

其中:τmax為最大迭代步長。單個FED 算法周期的停止時間θn為:

在非線性尺度空間的組和層，用o 和s 來表示，則對應的尺度參數(shù)可以表示為:

其中:σ0為初始尺度參數(shù)；O × S 表示金字塔共有的層數(shù)。非線性尺度空間的尺度參數(shù)σ 轉(zhuǎn)換到時間單位中，映射關(guān)系可表示為:

其中:ti表示非線性金字塔的進化時間。

1.2 特征點檢測

得到尺度空間后，利用Hessian 矩陣在每一層上提取特征點，如式（9）所示:

其中:σi為尺度因子初始值；Lxx為x 方向的2 階導數(shù)；Lxy和Lyy類似。利用式（9）對尺度空間中的像素處理，然后對每個像素的相鄰層中σi× σi區(qū)域以及所在層中σi× σi區(qū)域的像素值進行比較，當像素點為極值時，該點為特征點。

檢測到特征點后，以特征點為中心畫出半徑為σi的圓，并把圓分為6 個部分，計算每個部分內(nèi)所有像素點在橫縱方向一階導數(shù)的高斯加權(quán)值，高斯加權(quán)值最大方向為特征點主方向θ。

1.3 A-MLDB描述符

1.1節(jié)和1.2節(jié)分別構(gòu)建尺度空間和檢測特征點，為了增強AKAZE 算法的抗仿射變換，本節(jié)提出A-MLDB 描述符。具體構(gòu)建方式如下:

1）以特征點為中心選取合適的采樣區(qū)域P 構(gòu)建MLDB（Modified-Local Difference Binary）描述符［14］，并將采樣區(qū)域P劃分為n × n個網(wǎng)格。計算n × n單個網(wǎng)格內(nèi)像所有像素值的平均值，表示為:

其中:I(k)為灰度圖像的像素值；m 是每個劃分網(wǎng)格內(nèi)的像素點的個數(shù)；i表示采樣區(qū)域一共被劃分網(wǎng)格的數(shù)量。

2）需要計算每個網(wǎng)格內(nèi)像素點在x和y方向上的梯度，根據(jù)每個網(wǎng)格平均像素值和網(wǎng)格像素的梯度值進行編碼，可表示為:

其中:

3）由式（11）可得，構(gòu)建出MLDB 描述符，為每一對網(wǎng)格進行比較，得到3位二進制，可用式（12）表示:

則MLDB描述符可表示為:

如圖1的仿射相機模型，A-MLDB描述符在多個角度上對匹配圖像進行仿射變換，對經(jīng)度φ和緯度θ進行采樣實現(xiàn)。

首先，對緯度θ采樣，采樣比例為:1，a，a2，…，an，其中a ＞1，在本文中a = 2，n 取值為6。在對待匹配圖像采樣前，為防止出現(xiàn)混疊，需先借助標準差為c t2- 1 的高斯核函數(shù)對圖像進行濾波，在本文中c = 0.8，t表示為傾斜參數(shù)。

圖1 仿射相機幾何模型Fig.1 Geometric model of affine camera

2 向量場一致性算法

得到A-MLDB 描述符后，利用漢明距離衡量不同描述符的相似性，完成具有仿射性圖像的粗匹配。在傳統(tǒng)方法中，使用隨機采樣一致性算法（RANSAC）對粗匹配點篩選，然而對于具有仿射性的圖像很難得到魯棒性較強參數(shù)模型，這導致粗匹配中的正確匹配點被誤判為外點。

本文提出使用向量場一致性算法對具有仿射性匹配圖像的粗匹配點篩選，得到匹配內(nèi)點。當特征點完成粗匹配后，需要對成對特征點進行篩選，假如正確匹配點為內(nèi)點，錯誤匹配點為離群點，可通過插值向量場f:χ →y 擬合成對匹配點集合中的內(nèi)點［15］。經(jīng)過A-AKAZE 算法完成圖像的粗匹配后，可得到一個粗匹配的成對特征點點集(un，vn)，其中un、vn為匹配圖像成對匹配點的位置。然后對成對匹配點的坐標進行歸一化處理為，通過變換得到運動場樣本［16］，其中xn=，yn=對于每一對匹配點(xn，yn)均有一個隱變量zn∈{0，1}，若zn= 1則代表成對匹配點為內(nèi)點，zn= 0表示為外點。

其中:γ 為混合系數(shù)，表示了隱變量zn的邊緣分布，即?zn，p(zn= 1)= γ，θ ={f，σ2，γ}包含所有的未知變量。對θ 借助貝葉斯準則估計最大后驗解，可把p(Y|X，θ)等價轉(zhuǎn)化為最小化能量函數(shù)，如式（15）:

式（15）可利用期望最大化算法求解［16］。當期望最大化算法收斂時，可得到向量場f，然后通過預設(shè)定一個閾值τ，可以得到成對特征點的內(nèi)點集合m，表示為:

3 實驗與結(jié)果分析

為了驗證本文算法對具有仿射圖像匹配的優(yōu)越性，選擇Oxford和Fisher數(shù)據(jù)集提供的具有仿射變換的待匹配圖像，分別 使 用ASIFT 算 法、ASIFT+RANSAC 算 法、AKAZE 算 法、AKAZE+RANSAC 算法進行對比實驗。

本實驗的硬件平臺為個人筆記本，CPU 為Inter Core i7-6700，8 GB 內(nèi)存，操作系統(tǒng)為Windows 10，編譯環(huán)境為Visual Studio2013，基于Opencv3.1庫進行實驗。

在對比實驗中ASIFT 算法的SIFT 描述符為128 維浮點型，在經(jīng)度φ和緯度θ投影得到具有抗仿射性ASIFT描述符的參數(shù)設(shè)置分別為n = 6，c = 0.8，b= 72°。RANSAC 算法使用Opencv3.1 提供的開源findHomography（）函數(shù)，RANSAC 算法的置信度p = 0.995，最大迭代次數(shù)為2 000。在本文中，AKAZE 算法的MLDB 二進制描述符為維度為256 bit。本文所提的A-AKAZE 算法的MLDB 二進制描述符維度為256 bit，在經(jīng)緯度投影參數(shù)分別為n = 6，c = 0.8，b= 72°，向量場一致性算法的閾值τ = 0.5。

3.1 匹配標準

本文使用精確率判斷不同算法的穩(wěn)定性［17］，精確率為待匹配圖像的正確匹配點數(shù)n 與特征匹配算法匹配數(shù)N 的比值，如式（17）所示:

為了反映匹配算法的速度，本文使用每個特征匹配平均時間進行衡量，若兩幅圖像匹配耗時為Time，匹配點數(shù)為Num，則平均時間point_time可表示為:

3.2 實驗結(jié)果與分析

實驗圖像如圖2 所示，Oxford 數(shù)據(jù)集中Wall 和Graf 組圖像，每組圖像共有6張，第一張為目標圖像，并分別與剩余的5張進行匹配，隨著圖像編號的增加仿射性逐漸增加。Fisher數(shù)據(jù)庫中Freiburg_munster 和Autumntrees 組具有仿射性的圖像，每組共有6張，第一張為基準圖像，分別與剩余的5張進行匹配。

從圖3 所示的不同組圖像的匹配正確率折線圖可看出，隨著待匹配圖像仿射性的增加，匹配正確率逐漸下降。

ASIFT 算法對描述符采樣區(qū)域在經(jīng)緯度上投影，模擬具有不同角度仿射性的圖像，然后提取每個投影區(qū)域的SIFT 描述符，增加了描述符的抗仿射性；ASIFT+RANSAC算法先使用ASIFT 算法進行匹配，再借助RANSAC 篩選匹配的內(nèi)點，RANSAC 算法是一個不斷迭代的過程，對所有的匹配點進行估計得到參數(shù)化模型，但對具有仿射性的圖像很難得到一個合適的參數(shù)化模型；AKAZE 算法借助非線性濾波構(gòu)建金字塔，可以保留更多采樣區(qū)域的邊緣信息，然后使用MLDB 算法對采樣區(qū)域的像素梯度和強度信息進行編碼，該算法未對抗仿射性進行特殊處理。本文算法首先借助非線性濾波函數(shù)構(gòu)建尺度空間；之后利用Hessian矩陣提取特征點并依次為中心選擇合適的區(qū)域作為描述符的采樣區(qū)域；然后再把采樣區(qū)域在不同方向上進行投影，提取每個投影的MLDB 描述符；最后由于RANSAC 算法對仿射圖像匹配的魯棒性較差，采用VFC算法篩選正確匹配點。

圖2 實驗圖像Fig.2 Experimental images

圖3 不同算法的正確匹配率Fig.3 Correct matching rates of different algorithms

ASIFT 算法是在SIFT 算法基礎(chǔ)上改進得到的，主要是對匹配算法的抗仿射性進行優(yōu)化，故對具有仿射性的待匹配圖像具有較好的魯棒性；但是ASIFT 算法并未對匹配點的內(nèi)點進行篩選，故匹配正確率相較ASIFT+RANSAC 算法較差。AKAZE 算法相較ASIFT 算法未對算法的抗仿射性進行增強，故匹配正確率較低。AKAZE+RANSAC 算法先用AKAZE算法進行匹配，再使用RANSAC算法有效地選擇匹配內(nèi)點，故匹配正確率遠高于AKAZE 算法。本文的A-AKAZE+VFC 算法首先對采樣區(qū)域在經(jīng)緯度上進行投影，然后提取具有抗仿射性的A-MLDB 描述符，極大地增強了AKAZE 算法的抗仿射性；最后提出借助向量場一致性算法篩選內(nèi)點，有效地克服RANSAC 算法了難以計算出具有仿射性參數(shù)模型的缺點，故本文算法的匹配正確率最高。

ASIFT 算法的采樣區(qū)域在不同的經(jīng)緯度上投影以模擬圖像的仿射性，然后提取不同經(jīng)緯度的浮點型梯度描述符，多次提取梯度描述符耗時較大，并且所得到的ASIFT 描述符的維度較高，在衡量不同描述符的相似性時耗時巨大，故單個匹配點耗時較長。RANSAC 算法根據(jù)成對匹配點的分布，不斷地優(yōu)化迭代參數(shù)模型，但對于具有仿射性圖像很難得到較好的參數(shù)模型，故造成內(nèi)點數(shù)較少，從而致使單個匹配點耗時很長，嚴重影響匹配算法的效率。本文算法雖也在不同的經(jīng)緯度中提取描述符，但MLDB 描述符構(gòu)建方式相較ASIFT 描述符簡單，僅對相鄰像素塊的梯度和強度編碼，而且MLDB 描述符為二進制，利用漢明距離衡量不同描述符的相似性速度較快；向量場一致性算法對匹配點進行建模，然后利用梯度下降法求解最小化能量函數(shù)，相較于RANSAC 算法具有更強的魯棒性，故匹配點數(shù)量較多，單個匹配點的耗時較少。對圖2（a）提供的Wall 組待匹配圖像進行多次實驗，得到運行時間和匹配點數(shù)，再用式（18）得到單個點匹配時間，結(jié)果如表1 所示，組號為Wall組中與第一張目標圖像匹配的其余5張待匹配圖像的序號。

表1 各種算法單個點匹配時間Tab.1 Single point matching time of various algorithms

4 結(jié)語

針對現(xiàn)有基于特征匹配算法對具有仿射性圖像匹配效果較差的問題，本文提出一種改進的A-AKAZE 算法，首先利用非線性濾波構(gòu)建尺度空間，然后借助Hessian矩陣提取特征點并以特征點為中心選擇描述符采樣區(qū)域，隨后把采樣區(qū)域在不同的經(jīng)緯度上投影，再在采樣區(qū)域上構(gòu)建具有抗仿射性的A-MLDB 描述符，最后利用向量場一致性算法對成對匹配點進行篩選。經(jīng)實驗驗證得:本文算法與ASIFT 算法、ASIFT+RANSAC 算法、AKAZE 算法、AKAZE+RANSAC 算法相比具有更強的抗仿射魯棒性，單個匹配點所需的時間較短。