楊 陽,王 瑞,宋 偉
(1.黃河水利委員會信息中心,河南 鄭州 454000;2.贛南科技學院,江西 贛州 341000)
影像匹配是圖像處理和計算機視覺研究領域的熱點問題,是攝影測量自動化的關鍵技術,其在計算機視覺、3D重構、目標識別、圖像拼接領域有著廣泛的應用[1-4]。根據(jù)匹配算法實現(xiàn)過程中利用圖像信息的不同,現(xiàn)有影像匹配算法多以灰度信息和特征信息為基礎。其中,基于灰度的影像匹配算法實現(xiàn)簡單、匹配精度高,不足之處在于匹配速度慢、結果易受噪聲影響。而以特征信息為基礎的算法,因穩(wěn)定性好、效率高而得到了廣泛應用。以特征信息為基礎的匹配算法的關鍵是如何實現(xiàn)影像局部不變特征信息的提取,如邊緣點、線特征、矩特征等,進而采用相似性度量準則進行特征點匹配。點特征因具有不隨光照、投影、平移、縮放的變化而變化的優(yōu)良性質(zhì)而被廣泛采用。目前,以點信息為基礎的特征提取算法主要有Forstner算子、Moravec算子、SUSAN算子和Harris算子等。
基于點特征的影像匹配主要由3個步驟組成:特征點檢測、特征描述以及特征匹配。具有代表性的算法主要有SIFT算法、SURF算法、ORB算法[5]以及BRISK(Binary Robust Invariant Scalable Key-Points)算法[6]等。
SIFT(Scale Invariant Feature Transform)算法[7]是由David Lowe提出的,該算法穩(wěn)定性好,信息量豐富,能夠較好地克服由光照和影像幾何形變導致的影像縮放和旋轉(zhuǎn)變化,但算法時間復雜度高。針對該算法,不少學者提出了改進算法,如ASIFT[8]、PCA-SIFT[9]以及線特征與SIFT點特征相結合的算法[10]等。
BAY等[11]提出了SURF(Speed Up Robust Feature)算法,其對SIFT算法進行了改進,匹配速度得到了明顯提升,但是算法精確度卻降低了。
受光照、尺度和旋轉(zhuǎn)等因素的影響,基于特征的影像匹配算法效率較低。針對上述問題,本文采用SIFT與FREAK(Fast Retina Key-Point)[12]特征描述相結合的算法研究了具有不同旋轉(zhuǎn)角度的影像匹配,并將該算法與其他算法進行對比。
特征點信息提取主要包括以下幾個步驟:
a.建立尺度空間。目的是檢測在尺度變化時仍然穩(wěn)定的特征。
b.檢測極值點。在三維尺度空間中,將采樣點與同尺度、相鄰尺度的26個點進行比較,若該點是局部極值點,則將其作為候選關鍵點。
c.獲取關鍵點位置、尺度信息?;谌S二次函數(shù),對采樣點進行擬合,得到關鍵點的精確位置信息與尺度信息。通過該函數(shù)擬合可較好地去除邊緣點和對比度較低的候選點。
d.確定主方向信息?;谙噜徬袼靥荻确较?獲取梯度直方圖。峰值所在的方向表示關鍵點所在主方向信息。
1.2.1 特征點信息描述
FREAK描述符采用與視網(wǎng)膜感受域相似的分布結構,其中心點即為特征點位置。對應的采樣點在同心圓上均勻分布。以σ作為特征點尺度信息,則可得到同心圓半徑:M1σ,M2σ,…,Mkσ,其中k代表采樣點層級數(shù)。圖1為視網(wǎng)膜結構示意圖和FREAK算子采樣點結構圖。
圖1 采樣點結構圖與視網(wǎng)膜結構示意圖比較
圖1(b)所示黑色點位即為采樣點,首先通過高斯平滑處理來消除采樣點噪聲,高斯核大小取決于采樣點所在同心圓的半徑。同時,采用重疊結構構建采樣點的感受域,通過感受域的重疊來獲取更多信息。
以采樣點對強度信息為基礎進行比較,同時將比較結果進行級聯(lián)形成對應的FREAK特征描述符,其屬于二進制描述符。以M作為特征點描述符,則有
(1)
(2)
a.首先構建一個矩陣A,矩陣的每一行構成對應的FREAK描述子。
b.計算矩陣A每一列的方差值,矩陣每一列信息的多少與方差值成正比。篩選出方差值最大的列,計算其與其他列的協(xié)方差,并將協(xié)方差最小的添加到新的描述向量。
c.當達到設定的維數(shù)上限Nmax時結束運算,反之則返回步驟b。
基于以上的篩選、排序處理,描述符外層的采樣區(qū)構成其低維度信息,位于中心的采樣區(qū)構成其高維度信息。由此可知,外層采樣區(qū)域表達了對象的基本特征信息,中心的采樣區(qū)域則與細節(jié)信息有關。
1.2.2 方向分配
FREAK算法獲取特征點方向的計算過程與BRISK算法相近。在BRISK算法的長距離采樣點對基礎上,FREAK算法篩選得到45個對稱點對,計算梯度信息。圖2為對比點對集合。
圖2 特征點方向的對比點對集合
特征點對集合計算公式為
(3)
FREAK描述符的采樣結構為圓形對稱,因而具有旋轉(zhuǎn)不變性。同時通過高斯平滑處理,較好地降低了噪聲干擾。故而,針對旋轉(zhuǎn)、尺度變換和噪聲等,FREAK特征具有穩(wěn)定的局部不變性。因此,基于FREAK特征描述的算法可以實現(xiàn)影像的快速配準[13]。
對于不同旋轉(zhuǎn)角度影像的匹配,本文采用比值提純法(NNDR)進行粗配準,然后采用RANSAC算法[14]進行精確配準,具體步驟如下:
a.采用K近鄰算法(KNN)搜索特征點,然后根據(jù)特征點之間的距離閾值判斷特征點是否符合要求。若小于設定的閾值,則是對應的匹配點。
b.由步驟a中K的取值為2,可檢測到與樣本點對應的兩個特征點,分別為最近鄰和次近鄰點。然后根據(jù)最近鄰和次近鄰特征點之間的距離比值關系來進行粗配準。
c.利用RANSAC算法對步驟b中的粗配準結果進行篩選,得到精確配準結果。
基于兩組無人機影像數(shù)據(jù),利用本文算法對其進行配準實驗,并分別統(tǒng)計匹配到的特征點數(shù)及算法耗時。為了驗證本文算法的有效性與準確性,將結果與SURF算法、SURF-FREAK算法的實驗結果進行對比。
對于影像的匹配效果,采用正確率和兩幅圖像所有匹配特征點對之間坐標的均方根誤差ERMS作為評價標準,其中匹配正確率的定義為
(4)
式中,Mmatched為匹配到的點對數(shù),Mrightmatch為正確匹配到的點對數(shù)。
ERMS的計算式為
(5)
圖3、圖4分別為將待配準影像旋轉(zhuǎn)30°、60°、90°、145°時的匹配效果圖。
圖3 Image 1不同旋轉(zhuǎn)角度的配準結果
圖4 Image 2不同旋轉(zhuǎn)角度的配準結果
算法的運行結果分別見表1、表2。
表1 Image 1不同角度下SIFT-FREAK算法與SURF、SURF-FREAK算法的結果
表2 Image 2不同角度下SIFT-FREAK算法與SURF、SURF-FREAK算法的結果
根據(jù)圖4、圖5以及表1、表2可知,對于不同角度的影像匹配,SIFT-FREAK算法匹配效果較好,其結果準確率高,且影像間旋轉(zhuǎn)角度差異大時該算法的準確率能保持在90%以上,匹配得到的同名點精度高,能夠達到亞像素級的匹配精度。另外,在利用上面2組影像數(shù)據(jù)進行配準實驗的同時還統(tǒng)計了該算法的時間效率(見表3)。
表3 各算法不同角度的時間效率
綜上可知,該算法具有以下優(yōu)點:
a.具有較高的準確率;
b.匹配到的特征點具有較高的精度;
c.對不同旋轉(zhuǎn)角的匹配結果具有較好的穩(wěn)定性。
針對不同旋轉(zhuǎn)角度影響影像匹配效果的問題,提出了基于FREAK特征的多視角影像匹配算法,得到以下主要結論:
a.該算法有效解決了不同旋轉(zhuǎn)角度影像配準的問題,對于多視角的影像匹配具有較好的效果。
b.采用分階段匹配的方法,有效提高了匹配結果的準確率和精度。
c.通過采用FREAK描述符,較好地提升了匹配算法的時間效率,可以更好地應用于實踐。