多尺度自卷積變換與MSER組合的影像匹配方法研究

吉長東,沈曉剛

(遼寧工程技術大學 測繪與地理科學學院，遼寧 阜新 123000)

影像特征提取與匹配技術作為計算機視覺研究的核心技術之一，一直以來就是相關行業(yè)的重點研究方向。在數(shù)字圖像的處理中，許多關鍵問題例如圖像的分類、檢索、目標跟蹤、恢復、重建等都可以歸結為影像的本質特征提取問題，在特征提取完畢之后，則是進行同名影像的匹配，影像匹配技術是攝影測量中自動空中三角測量的基礎，數(shù)字表面模型(DSM)、數(shù)字高程模型(DEM)、數(shù)字正射影像(DOM)，影像的拼接等也需要影像匹配技術的支持;乃至后續(xù)的空間數(shù)據產品的生產都是與影像匹配技術息息相關的。而影像匹配技術的大力發(fā)展，也使得以影像數(shù)據為基礎的各類技術手段能夠在應急指揮、國土安全、智慧城市、數(shù)字城市等方面均有廣泛應用[1-3]。

最大穩(wěn)定極值區(qū)域(Maximally Stable Extremal Regions,MSER)，在局部特征提取中，常常用來檢測影像中的斑點區(qū)域，由J.Matas等學者于2002年提出[4]。該算法思想原理簡單，提取出的特征區(qū)域具有很強的穩(wěn)定性，并且不需要提前對影像進行任何處理就可以同時檢測出具有不同尺度的特征區(qū)域。周鵬飛等人利用卷積神經網絡提取文本影像中的多特征，與MSER算法進行融合，使得文本定位的準確率大大提高[5]。針對有些特征區(qū)域顯著性不強的問題，T.Tuytelaars等研究人員對MSER提取的橢圓擬合局部特征區(qū)域做出一定程度的擴增，這使得極值區(qū)域的特征顯著性明顯增強，有效提升匹配的精準度[6-7]。但當影像仿射變化加劇時，該算法的匹配性能也會急劇下降。

多尺度自卷積變換(Multi-Scale Auto-convolution，MSA)是一種基于不變矩的特征提取算法[9]，它以多尺度理論為基礎，將概率統(tǒng)計學的思想與仿射變換相結合，可以實現(xiàn)多尺度的特征提取，這些特征向量均具有一定的仿射不變性。黃波[10-11]等人在研究全局的仿射不變特征研究中利用MSA算法構建出的關于多尺度自卷積的歸一化直方圖的特征提取方法，并在計算運行方面利用最小基準變換減少算法中關于傅里葉變換的計算次數(shù)，有效的提升了MSA算法的效率。張潔玉[12]則構造出多尺度自卷積熵(MSAE)，與MSA變換進行特征向量融合，作用于局部特征區(qū)域，描述符的辨識率有極大的提高。但該類方法的不足在于一個尺度變化只能提取相對應的一個特征，這容易導致特征尺度集過于龐大且計算量巨大。基于此，提出一種將改進的MSA算法作為特征描述符，與MSER特征區(qū)域相融合的影像局部匹配算法，并選用兩組影像進行算法的可行性驗證與分析。

1 MSER局部特征區(qū)域檢測與篩選

1.1 MSER基本原理與組合算法流程

受分水嶺概念思想的啟發(fā)，即在自然地形中有高低不平的地勢地貌，而影像也因每個像元的灰度值的不同類似于地勢不一樣的地形，當有水注入的時候地勢較低的地方就會形成水洼，當水繼續(xù)注入而水洼的水面大小不再變化時，這個水洼被認為是一個區(qū)域不變的地方，算法原理如圖1所示。

圖1 MSER算法示意圖

MSER算法將其運用到影像特征檢測上，將原影像進行二值化，影像灰度值在0～255內連續(xù)增加或者減少時，在定義的閾值范圍內如果連通區(qū)域的面積不再有明顯的變化，則認為該區(qū)域是局部特征不變區(qū)域。但MSER算法與分水嶺的分割思想還是有所區(qū)別的，分水嶺算法在做影像分割時其閾值是在不斷改變的，這將導致它得出的連通域面積會實時變化，變化也是明顯的；而MSER算法所要求的是極大穩(wěn)定極值區(qū)域，因此在做特征區(qū)域檢測時追求的是局部閾值發(fā)生改變時能夠使連通域面積的變化率達到極小的狀態(tài)，即可以認為連通域的面積變化率不再隨閾值的改變而有明顯變化[13]。

組合算法流程如圖2所示。

圖2 組合算法流程

先對影像進行MSER局部特征區(qū)域檢測，將檢測到的區(qū)域以影像單元格網信息熵為權重進行特征區(qū)域數(shù)額的分配優(yōu)化；然后，以MSA的概率密度直方圖熵為特征描述向量，對局部特征區(qū)域進行描述，利用次鄰近匹配算法進行影像的粗配準。最后利用隨機抽樣一致算法進行誤匹配的剔除，以得到正確的同名點匹配。

1.2 MSER局部特征區(qū)域篩選

以信息熵作為篩選條件，對影像的MSER局部特征區(qū)域進行特征篩選工作，在特征描述之前先剔除部分可能無法被辨識的局部特征區(qū)域。

假設影像的MSER檢測的特征區(qū)域總數(shù)為X，并且每一個特征區(qū)域都進行了橢圓擬合。將影像平均劃分成3×3共9個單元格網影像，根據特征區(qū)域中心位置坐標確定特征屬于哪一個單元格網影像，并且以每個格網影像的信息對整幅影像做出的貢獻量確定各格網影像的特征區(qū)域分配數(shù)量；影像信息熵的計算方法為：

(1)

式中:H表示影像信息熵；M和N表示的是需要計算信息熵影像區(qū)域的高度和寬度，即影像矩陣的行和列；pij是影像中像素點(i,j)的灰度值概率。利用式(1)計算出每個格網影像的信息熵Hk,k∈[1,9]，k為每個單元影像的標號，將9個格網的信息熵相加為HS，那么每個格網影像應該分配的特征數(shù)為：

(2)

在每個單元格網內按照特征區(qū)域信息熵從大到小的順序進行排列，單元格網內的特征區(qū)域數(shù)L小于等于分配額tk，那么該單元格網內的特征數(shù)量就為L個；若L大于分配額tk，那么該單元格網內的特征數(shù)按照排列順序取前tk個，即剔除后L-tk個。具體流程如圖3所示。

圖3 MSER局部特征優(yōu)化流程

至此，基于信息的特征區(qū)域篩選工作結束，此方法可有效去除影像中一些信息量不足特征區(qū)域，且對于特征區(qū)域的空間分布均衡性更有利，亦能有效提高影像匹配效率。

2 改進的MSA局部特征描述向量

2.1 MSA仿射不變特征提取原理

Tuα,β+t.

(3)

(4)

2.2 MSA灰度概率密度直方圖熵

根據MSA特征構造過程分析得出，要獲得更多的特征描述需要不斷改變尺度(α,β)，且MSA變換對更細微的特征提取能力有限，因此，基于MSA變換構建灰度概率密度直方圖熵特征向量。

定義uα,β的概率密度函數(shù)：

pUα,β(u)=(pα×pβ×pγ)(u).

(5)

式中:γ=1-α-β；對x，y，u進行仿射變換得到x′=Tx+αt，y′=Ty+βt，u′=Tu+(α+β+γ)t，當α，β，γ均不為0時，將仿射變換前后的概率密度函數(shù)引入式(5)，并轉化為積分形式：

(6)

由式(6)可以發(fā)現(xiàn)，p(x)=|det(T)|p′(Tx+t)，對此進行替代與化簡得出仿射變換前后概率密度函數(shù)的關系：

(7)

仿射變換中T是未知的，需構造歸一化直方圖，以此來削弱仿射變換帶來的干擾。定義仿射變換前后特征區(qū)域的概率密度函數(shù)為：

(8)

(9)

顯而易見，特征區(qū)域歸一化灰度概率密度也是仿射不變的，由于影像中的灰度概率密度函數(shù)是離散型的，在計算pα,β,γ(u)時要注意將卷積形式改為離散的傅里葉乘積形式即可；為構建直方圖仿射不變向量，將灰度區(qū)間等分成N份，即(B1,B2,…,BN)，定義在任意一個區(qū)間內，有：

(10)

根據式(10)即可構造出在一個尺度(α，β)上的特征區(qū)域的歸一化仿射不變直方圖描述向量：

(pB1,pB2,…,pBN).

(11)

從上述的直方圖構造原理可知，特征區(qū)域的灰度分布是不變的，那么基于歸一化直方圖的熵也是不變的，對此，可以根據直方圖構造基于直方圖的熵仿射不變向量：

(12)

表1 尺度集

該向量主要從局部區(qū)域灰度直方圖特征分布的不確定性來對影像進行描述，此特征提取方法不僅具有仿射不變性，而且相對于MSA算法具有更好的魯棒性以及更高的描述精度。

3 實驗結果與分析

為驗證所闡述的方法在影像發(fā)生不同程度的仿射變換時的有效性，設置兩組對比實驗，將本文算法與MSER算法進行實驗對比和性能比較分析。數(shù)據來源為著名學者Krystian Mikolajczyk提供的具有仿射變換的近景影像，共有兩組數(shù)據：wall影像組(見圖4)和graf影像組(見圖5)，每組影像集中含有6張仿射變換影像。

為篩選出含有高信息量的局部特征區(qū)域，提高匹配效率，增加局部特征區(qū)域向量描述的質量與可區(qū)分性，首先進行MSER局部區(qū)域的特征篩選實驗，部分影像實驗結果如圖6所示。

圖7為對兩組影像數(shù)據的篩選情況做出比對情況，橫坐標為影像名，縱坐標為每幅影像中的特征區(qū)域數(shù)量，藍色線表示篩選前，紅色線表示篩選后，關于影像匹配實驗，影像匹配的效果一般需要對其進行定量分析和評價，論文采用推定匹配率和誤匹配率對上述局部特征提取算法進行性能評價。定義影像檢測特征數(shù)量為nF，總匹配對數(shù)為nall，正確匹配數(shù)為ncor，則：

推定匹配率：

(13)

準確率：

(14)

式中：nF1和nF2為參考影像和帶配準影像的特征檢測數(shù)量。

圖4 wall影像組數(shù)據

圖5 graf影像組數(shù)據

首先對各組實驗數(shù)據做影像粗匹配處理，由于篇幅有限，下面關于影像的匹配效果僅展示本文算法匹配的一部分，對MSER算法匹配效果不再展示。圖8和圖9為部分實驗結果圖，視圖左半部分為每組影像的參考影像，視圖右半部分為待配準影像。

為得到正確的同名點匹配，實驗以隨機抽樣一致性算法(Random Sample Consensus,RANSAC)作為誤匹配剔除算法，剔除粗匹配中含有的錯誤同名點對。

圖10和圖11為部分實驗結果圖，視圖左半部分為每組影像的參考影像，視圖右半部分為待配準影像。

圖6 影像特征區(qū)域篩選前后效果對比

圖7 影像特征區(qū)域篩選前后對比

圖8 wall(a)和(e)粗匹配(組合算法)

特征粗匹配詳細的實驗結果由圖12的影像粗匹配數(shù)量統(tǒng)計直方圖給出，藍色表示為組合算法結果，紅色為MSER算法實驗結果。

去除誤匹配詳細的實驗結果由圖13的影像精匹配數(shù)量統(tǒng)計直方圖給出，藍色表示為組合算法結果，紅色為MSER算法實驗結果。

圖9 graf(a)和(e)粗匹配(組合算法)

圖11 graf(a)和(e)精匹配(組合算法)

圖12 graf影像兩種算法特征粗匹配

對于本文提出的組合算法評價，采用影像推定匹配率和準確率來進行定量分析，藍色表示本文提出的組合算法，紅色表示MESR算法，圖14計算的是3組影像本文算法與MSER算法的推定匹配率，圖15所表達的是組合算法與MSER算法的匹配正確率。

圖14 影像推定匹配率

圖15 影像組匹配準確率

4 結 論

為了提高影像的幾何仿射變換而導致的特征檢測與匹配效果不理想的問題，從影像全局特征提取與局部特征檢測方面進行研究，提出一種將MSA灰度概率密度直方圖熵提取方法與MSER優(yōu)化特征區(qū)域檢測方法組合的算法。根據實驗驗證得出如下結論：

1)針對局部特征區(qū)域數(shù)量較多而造成匹配效率低的問題，采用信息熵原理對局部區(qū)域進行優(yōu)化篩選，綜合兩組實驗數(shù)據來看，在本文實驗中特征區(qū)域平均有11%左右被認為是不合格的，不僅提升特征描述的效率，也使特征描述向量的可區(qū)分性更強。

2)針對常用局部特征匹配算法仿射不變特征提取能力不強的問題，提出將MSA灰度概率密度直方圖熵作為仿射不變特征描述符，對優(yōu)化后的MSER局部區(qū)域進行特征描述，通過匹配實驗發(fā)現(xiàn)，在大多數(shù)情況下，無論是推定匹配率還是匹配準確率，本文提出的組合算法要優(yōu)于MSER算法，在wall組影像試驗中，兩種算法的差異性體現(xiàn)的不是很明顯，但在graf影像組實驗中，兩種算法的差異性是顯然的。這也證明提出方法的仿射不變性也更強，匹配效率更高。