基于特征的圖像配準(zhǔn)技術(shù)綜述

姚保琛，柏春松

（阜陽師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，阜陽236037）

0 引言

基于特征的圖像配準(zhǔn)算法成為主流，源自Lowe 于2004 年提出的SIFT（Scale-Invariant Feature Transform）特征[2]。SIFT 算法以尺度、旋轉(zhuǎn)不變性以及抑制光照、噪聲影響的優(yōu)點(diǎn)，在圖像特征提取方向大規(guī)模應(yīng)用，圖像配準(zhǔn)中也有出色表現(xiàn)。隨后在SIFT 思想的基礎(chǔ)上，眾多針對(duì)性的改進(jìn)算法不斷出現(xiàn)，具有代表性的特征有SURF[3]、BRISK[4]、Kaze[5]等。其中，Bay 等人于2008年提出的SURF 特征通過Hessian 矩陣行列式檢測(cè)極值點(diǎn)，相比SIFT 特征的優(yōu)勢(shì)在于速度極快。Leuteneg?ger 等人于2011 年提出的BRISK 二值特征在加速分割檢測(cè)算法的基礎(chǔ)上搜索關(guān)鍵點(diǎn)，借助取樣點(diǎn)的強(qiáng)度比對(duì)結(jié)果構(gòu)造二值特征向量。Alcantarilla 等人于2012年提出的Kaze 特征創(chuàng)造性的利用非線性尺度空間，并通過尺度歸一化的Hessian 矩陣搜索關(guān)鍵點(diǎn)，可降低噪聲，保留圖像的邊界信息。

本文在歸納基于特征的圖像配準(zhǔn)技術(shù)整體框架和流程基礎(chǔ)上，重點(diǎn)闡述圖像配準(zhǔn)中的典型特征算法，分類敘述特征匹配方法，并實(shí)驗(yàn)分析不同特征配準(zhǔn)算法優(yōu)劣，對(duì)比實(shí)際匹配效果。

1 配準(zhǔn)基本框架和流程

給定一組配準(zhǔn)測(cè)試圖像，通常將固定位置的圖像稱為參考圖像，待配準(zhǔn)的圖像稱為浮動(dòng)圖像。圖像配準(zhǔn)的目標(biāo)是尋找參考圖像和浮動(dòng)圖像之間的映射關(guān)系，確定最佳圖像轉(zhuǎn)換模型。如圖1 所示，基于特征的圖像配準(zhǔn)方法基本流程可總結(jié)如下四個(gè)步驟：特征檢測(cè)、特征匹配、轉(zhuǎn)換模型估計(jì)以及圖像融合。

圖1 配準(zhǔn)基本框架和流程

（1）特征檢測(cè)：輸入配準(zhǔn)圖像，首先進(jìn)行圖像特征檢測(cè)，主要有兩個(gè)步驟：關(guān)鍵點(diǎn)檢測(cè)和特征描述。關(guān)鍵點(diǎn)的數(shù)量和質(zhì)量、以及特征描述的辨識(shí)力是保證后續(xù)匹配方法性能的重要基礎(chǔ)。

（2）特征匹配：圖像配準(zhǔn)技術(shù)中的匹配方法主要是通過已知特征信息建立參考圖像和浮動(dòng)圖像之間關(guān)鍵點(diǎn)的聯(lián)系，并借助篩選算法確定成功匹配點(diǎn)。

（3）轉(zhuǎn)換模型估計(jì)：利用輸出的成功匹配點(diǎn)，計(jì)算兩幅圖像之間的轉(zhuǎn)換模型，即圖像變換類型及參數(shù)。

（4）圖像融合：根據(jù)圖像轉(zhuǎn)換模型，將浮動(dòng)圖像映射到參考圖像，完成兩幅圖像之間的拼接。同時(shí)，后續(xù)還有針對(duì)拼接圖像的校正、平滑及微調(diào)等手段方法，實(shí)現(xiàn)精準(zhǔn)的圖像融合。

S32205雙相不銹鋼中含碳量低于0.03%屬于超低碳不銹鋼，超低的碳含量可以提高材料的焊接性，降低碳化物在晶界析出的傾向，使得晶間耐腐蝕性提高。氮元素的加入可以改善焊接后金屬抗腐蝕能力，改善焊縫處力學(xué)性能，促進(jìn)形成雙相組織，平衡兩相的比例，高含量的鉻、鉬元素可提高鋼材抗腐蝕性。

2 特征檢測(cè)

圖像配準(zhǔn)技術(shù)中應(yīng)用廣泛、且具有代表性的特征提取算法主要有SIFT、SURF、Kaze 及BRISK 算法等，下面分別闡述其算法思想、主要步驟及特點(diǎn)。

2.1 SIFT特征

在前人大量工作基礎(chǔ)上，Lowe 于2004 年完善的SIFT 特征是圖像處理領(lǐng)域最富盛名的特征提取算法，主要分為四個(gè)步驟：尺度空間極值檢測(cè)、定位關(guān)鍵點(diǎn)、方向分配以及構(gòu)造特征描述符。首先，其尺度空間Dσ是由系數(shù)臨近的高斯函數(shù)與原圖像卷積的差值求得，如式（1）所示，G為高斯函數(shù)，σ為系數(shù)，I(x,y)表示原圖像。

通過大范圍采樣尋找高斯差分尺度空間的極大值，取得可靠的關(guān)鍵點(diǎn)位置；并在當(dāng)前關(guān)鍵點(diǎn)尺度范圍內(nèi)，根據(jù)像素差值計(jì)算梯度方向直方圖，確定關(guān)鍵點(diǎn)的方向，既保證了旋轉(zhuǎn)不變性，又實(shí)現(xiàn)了尺度不變性。最后選取16×16 的鄰域樣本等分成4×4 的塊，每塊構(gòu)建8 維的方向直方圖描述子，輸出128 維的特征向量。SIFT 特征優(yōu)點(diǎn)在于對(duì)圖像尺度、方向以及一定程度的仿射變化均保持不變性，缺點(diǎn)是計(jì)算復(fù)雜、耗時(shí)。

2.2 SURF特征

針對(duì)SIFT 算法運(yùn)行速度慢的問題，Bay 等人于2008 年提出SURF（Speeded Up Robust Features）算法，同樣在高斯尺度空間檢測(cè)關(guān)鍵點(diǎn)，但其不同的是借助Hessian 矩陣行列式獲取極值，如下所示：

式中σ為尺度，Lxx(x,σ)表示圖像在該點(diǎn)的二階高斯卷積導(dǎo)數(shù)。通過計(jì)算關(guān)鍵點(diǎn)鄰域的Haar 小波響應(yīng)，SURF 算法分別確定關(guān)鍵點(diǎn)的主方向和構(gòu)造特征向量。在特征檢測(cè)及描述的關(guān)鍵步驟，SURF 算法都進(jìn)行優(yōu)化改進(jìn)，大大加快了運(yùn)行速度，其適合處理旋轉(zhuǎn)和尺度變化，但不善于應(yīng)對(duì)視角以及光照影響。

2.3 BRISK特征

Leutenegger 等人于2011 年提出的BRISK（Binary Robust Invariant Scalable Keypoints）算法，創(chuàng)新點(diǎn)之一在于為快速實(shí)現(xiàn)尺度空間檢測(cè)關(guān)鍵點(diǎn)，采用FAST 檢測(cè)算法[6]計(jì)算尺度空間每層得分，通過閾值判斷和非極大值抑制法篩選出極值點(diǎn)?？紤]到圖像空間及其尺度空間的顯著性均具有連續(xù)性質(zhì)，對(duì)極值點(diǎn)鄰域得分進(jìn)行最小二乘法擬合以及一維拋物線插值，確定關(guān)鍵點(diǎn)的坐標(biāo)和尺度。

特征描述階段，BRISK 算法在關(guān)鍵點(diǎn)為中心的四個(gè)同心圓上，選取等間隔的取樣點(diǎn)。為了避免取樣點(diǎn)之間的混疊效應(yīng)，對(duì)取樣區(qū)域應(yīng)用高斯平滑。同時(shí)根據(jù)取樣點(diǎn)之間的距離差異，設(shè)定不同閾值定義長(zhǎng)距離取樣點(diǎn)對(duì)集合L和短距離取樣點(diǎn)對(duì)集合S，通過短距離集合S中所有元素計(jì)算關(guān)鍵點(diǎn)方向，長(zhǎng)距離集合L中選取512 個(gè)取樣點(diǎn)對(duì)(pi,pj)描述特征，如下所示：

式中I(p)表示取樣點(diǎn)的強(qiáng)度。由取樣點(diǎn)強(qiáng)度的比較結(jié)果（0/1）構(gòu)成512 維特征向量，所以BRISK 特征為二值特征，兼具精度和效率，保證了旋轉(zhuǎn)和尺度不變性以及出色的魯棒性。

2.4 Kaze特征

基于SIFT 特征的改進(jìn)算法大多采用線性尺度空間檢測(cè)極值點(diǎn)，而Alcantarilla 等人于2012 年ECCV 會(huì)議上發(fā)表的Kaze 特征通過非線性擴(kuò)散濾波法構(gòu)造非線性的尺度空間。式（4）為經(jīng)典的非線性擴(kuò)散公式，其中div 為散度算子，?為梯度算子，L表示圖像強(qiáng)度，t為尺度參數(shù)，c(·)表示導(dǎo)函數(shù)，擅長(zhǎng)處理模糊圖像，降低噪聲同時(shí)保留圖像的邊界信息。

Kaze 算法借助尺度歸一化的海森矩陣HHession尋找局部極值點(diǎn)，如式（5）所示，并采用文獻(xiàn)[7]中方法實(shí)現(xiàn)關(guān)鍵點(diǎn)的亞像素精確定位。另外，其確定主方向和構(gòu)造特征向量的方法與SURF 算法類似，具有尺度和旋轉(zhuǎn)不變性，適度增加計(jì)算量可提供尺度上的更高辨識(shí)力。

3 特征匹配

通過特征檢測(cè)方法獲得關(guān)鍵點(diǎn)的尺度、方向以及特征向量等信息，接下來進(jìn)行參考圖像和浮動(dòng)圖像關(guān)鍵點(diǎn)之間匹配。特征匹配可依次分為兩個(gè)階段：粗篩選和精篩選。

粗篩選階段通常采用傳統(tǒng)度量方法計(jì)算關(guān)鍵點(diǎn)特征向量之間的相似度，如歐氏距離、漢明距離、余弦距離及互相關(guān)系數(shù)等，每種度量也適用于不同的特征提取算法。根據(jù)相似度結(jié)果，具體的匹配策略也可分為三種：一是選擇相似度最大的關(guān)鍵點(diǎn)，即最近鄰作為匹配點(diǎn)；二是選取滿足設(shè)定閾值要求的關(guān)鍵點(diǎn)作為匹配點(diǎn)；三是根據(jù)最近鄰和第二近鄰之間的比值確定匹配點(diǎn)。以上三種策略通常互相結(jié)合作為篩選方法，各有優(yōu)缺點(diǎn)及適用場(chǎng)景。

精篩選階段位于粗篩選之后，主要作用是剔除匹配點(diǎn)中的外點(diǎn)，即錯(cuò)誤匹配點(diǎn)，進(jìn)一步提高匹配質(zhì)量。隨機(jī)抽樣一致性（RANSAC）算法[8]及其相關(guān)改進(jìn)[9]以不錯(cuò)的魯棒性和速度表現(xiàn)，主要用于移除外點(diǎn)以及迭代逼近最優(yōu)的轉(zhuǎn)換模型。該類算法的主要思路是通過大量的循環(huán)隨機(jī)選擇數(shù)據(jù)集中的一組匹配點(diǎn)，并假設(shè)為成功匹配點(diǎn)來計(jì)算參考和浮動(dòng)圖像之間映射矩陣，然后統(tǒng)計(jì)所有匹配點(diǎn)中滿足該映射條件的內(nèi)點(diǎn)數(shù)，不滿足條件即判定為外點(diǎn)并剔除，最后選擇內(nèi)點(diǎn)數(shù)目最多的映射矩陣，定義為最終的轉(zhuǎn)換模型。其優(yōu)點(diǎn)在于可從數(shù)據(jù)集中準(zhǔn)確提取出兩幅圖像之間的變換參數(shù)，而缺點(diǎn)就在于一方面保證結(jié)果的魯棒性，需要較大的數(shù)據(jù)集輸入；另一方面為盡可能尋找最優(yōu)模型，直接在整個(gè)數(shù)據(jù)集中以完全隨機(jī)方式選擇匹配點(diǎn)，造成循環(huán)迭代的次數(shù)較大，耗時(shí)增加。

4 實(shí)驗(yàn)結(jié)果與分析

為對(duì)比和分析特征算法的配準(zhǔn)表現(xiàn)，實(shí)驗(yàn)環(huán)節(jié)選取SIFT、SURF、Kaze 及BRISK 特征用于關(guān)鍵點(diǎn)檢測(cè)及特征描述，粗篩選通過歐氏距離作為度量，精篩選采用RANSAC 算法作為匹配方法，迭代次數(shù)設(shè)置為500次。實(shí)驗(yàn)環(huán)境以Win10，MATLAB2018 為平臺(tái)，PC 配置為AMD R5 1500X，8GB 內(nèi)存。如圖2 所示，實(shí)驗(yàn)選取2 組圖片測(cè)試，其中圖2a 主要包含平移變換，圖2b主要為旋轉(zhuǎn)變換。

圖2 測(cè)試圖片

實(shí)驗(yàn)首先統(tǒng)計(jì)了SIFT、SURF、BRISK 及Kaze 算法在mountain 和bernau 測(cè)試圖片組上檢測(cè)及匹配篩選過程中的關(guān)鍵點(diǎn)數(shù)目變化情況，如表1 所示。相同測(cè)試圖下，Kaze 算法檢測(cè)出最多的關(guān)鍵點(diǎn)，SURF 算法最少。在關(guān)鍵點(diǎn)匹配步驟中，BRISK 算法通過粗篩選獲得匹配點(diǎn)數(shù)量占關(guān)鍵點(diǎn)總數(shù)較少，而Kaze 算法占比較多；由精篩選階段輸出成功匹配點(diǎn)的數(shù)量顯示，Kaze 和SIFT 算法檢測(cè)的大量關(guān)鍵點(diǎn)在匹配階段被舍棄，說明檢測(cè)結(jié)果混入較多無用點(diǎn)；而SURF 算法精篩選中剔除最多比例外點(diǎn)，反映其所提取關(guān)鍵點(diǎn)的質(zhì)量相對(duì)較差。

表1 關(guān)鍵點(diǎn)檢測(cè)匹配的數(shù)量統(tǒng)計(jì)對(duì)比

為具體對(duì)比不同特征算法的匹配性能，實(shí)驗(yàn)選取圖像配準(zhǔn)實(shí)驗(yàn)中常用的均方根誤差e作為評(píng)價(jià)標(biāo)準(zhǔn)[10]，如式（6）所示，其中為一組成功匹配的關(guān)鍵點(diǎn)坐標(biāo)，T(·) 表示轉(zhuǎn)換函數(shù)，T()和T()為經(jīng)過轉(zhuǎn)換函數(shù)計(jì)算得到映射坐標(biāo)，N為成功匹配關(guān)鍵點(diǎn)數(shù)。匹配誤差e反映了關(guān)鍵點(diǎn)匹配的精度，其值越小，配準(zhǔn)精度越高。

表2 列出SIFT、SURF、BRISK 及Kaze 算法的匹配誤差和消耗時(shí)間，其中mountain 測(cè)試中BRISK 算法誤差最小，精度最高；在bernau 測(cè)試結(jié)果中，Kaze、BRISK和SIFT 算法匹配精度相近。整體表現(xiàn)而言，SURF 算法速度最快，但匹配誤差最大；Kaze 和SIFT 算法匹配精度相近，但耗時(shí)較長(zhǎng)；BRISK 算法匹配誤差平均最小，速度僅慢于SURF 算法，兼具精準(zhǔn)度和高效率，圖3則展示了BRISK 算法的匹配融合結(jié)果。

表2 匹配誤差和耗時(shí)對(duì)比

圖3 BRISK算法匹配圖像融合結(jié)果

5 結(jié)語

基于特征的圖像配準(zhǔn)算法以高效、精準(zhǔn)的特征點(diǎn)匹配實(shí)現(xiàn)圖像融合，得益于計(jì)算機(jī)設(shè)備性能提升，運(yùn)算速度加快，越來越多出現(xiàn)在實(shí)際工程應(yīng)用。本文在總結(jié)基于特征的圖像配準(zhǔn)方法流程基礎(chǔ)上，選取四種具有代表性的特征算法，通過實(shí)驗(yàn)分析和對(duì)比每種方法的特點(diǎn)優(yōu)劣，目的是對(duì)該領(lǐng)域算法予以總結(jié)，并對(duì)以后研究工作提高參考和幫助。隨著圖像配準(zhǔn)技術(shù)的深入研究，未來主要的改進(jìn)方向集中在算法的精準(zhǔn)度、適用性以及實(shí)時(shí)性。