特征點(diǎn)匹配和互信息融合下連續(xù)形變圖像配準(zhǔn)

陸 楊,楊茂云

(1. 徐州工程學(xué)院信息工程學(xué)院,江蘇 徐州 221018;2. 江蘇師范大學(xué)智慧教育學(xué)院,江蘇 徐州 221116)

1 引言

圖像是人們生活中十分重要的信息傳播介質(zhì),但圖像中摻雜大量無用信息,所以在實(shí)際應(yīng)用過程中,需要對(duì)圖像進(jìn)行挖掘[1-2],但因?yàn)槊繌垐D像在采集過程中受到光照、角度以及其它噪聲等因素干擾,采集到的圖像之間存在較大的差異,所以在對(duì)圖像處理的過程中,需要進(jìn)行統(tǒng)籌以此保證同一環(huán)境下多張圖像可以放置在同一個(gè)坐標(biāo)系內(nèi)。坐標(biāo)系不是絕對(duì)的,在實(shí)際計(jì)算過程中可將其中一幅圖像視為基準(zhǔn)圖像[3],并將另一張圖像轉(zhuǎn)換到基準(zhǔn)圖像的對(duì)應(yīng)坐標(biāo)下,即圖像配準(zhǔn)處理,這種技術(shù)被廣泛地應(yīng)用于計(jì)算機(jī)視覺等鄰域[4]。在實(shí)際操作中,因目標(biāo)的移動(dòng)以及對(duì)焦等問題會(huì)導(dǎo)致圖像中有連續(xù)的形變,這為圖像配準(zhǔn)帶來了較大的困難,為此在圖像配準(zhǔn)的過程中,提前對(duì)圖像的特征點(diǎn)進(jìn)行匹配處理,以此保證最終的圖像配準(zhǔn)精度。

目前,相關(guān)學(xué)者已經(jīng)提出一些方法用于提升圖像配置效果。例如:保文星[5]等人首先利用滑動(dòng)窗口對(duì)圖像進(jìn)行分割,得到窗口的對(duì)應(yīng)信息熵,其次依據(jù)信息熵構(gòu)建直方圖,通過適當(dāng)閾值獲取高信熵,利用高信熵完成圖像特征提取,最后利用RANSAC算法將配準(zhǔn)錯(cuò)誤的情況排除,得到配準(zhǔn)圖像,實(shí)現(xiàn)圖像配準(zhǔn)。李培華[6]等人首先根據(jù)CSS算法得到圖像的全部特征點(diǎn),其次利用SIFT算法計(jì)算出降維后的圖像特征描述子,最終結(jié)合歐式距離和曼哈頓距離完成圖像的配準(zhǔn),實(shí)現(xiàn)圖像配準(zhǔn)。以上兩種方法沒有對(duì)圖像提前進(jìn)行特征匹配預(yù)處理,導(dǎo)致圖像信息不完整,存在特征點(diǎn)匹配所需時(shí)間長(zhǎng)以及配準(zhǔn)效果差的問題,為了解決以上問題,本文提出融合特征點(diǎn)匹配和互信息的連續(xù)形變圖像配準(zhǔn)方法。

2 連續(xù)形變圖像預(yù)處理

2.1 連續(xù)形變圖像特征提取

為了降低配準(zhǔn)難度[7],需要先提取圖像的特征[8],特征點(diǎn)提取對(duì)圖像配準(zhǔn)效果起到了至關(guān)重要的作用。圖像的基本特征包含點(diǎn)特征,圖像配準(zhǔn)即圖像特征點(diǎn)匹配,其中角點(diǎn)屬于重要特征點(diǎn),角點(diǎn)泛指圖像像素點(diǎn)在其它方向上灰度變化后的點(diǎn)[9],角點(diǎn)中帶有大量的圖像二維結(jié)構(gòu)信息,因此可利用Harris角點(diǎn)檢測(cè)算法,提取圖像的特征[10],得出自相關(guān)函數(shù)矩陣N,其表達(dá)式為:

(1)

(2)

假設(shè)圖像角點(diǎn)的響應(yīng)函數(shù)為M,其表達(dá)式如下所示:

M=det[N]-k·tr2(N)

(3)

式中,det 代表矩陣N的行列式,k代表常數(shù),tr代表矩陣N對(duì)角線函數(shù)的匯總結(jié)果。

根據(jù)函數(shù)M可直接得出角點(diǎn)特征,由于角點(diǎn)帶有大量且豐富的紋理信息,因此十分適合圖像配準(zhǔn)。

2.2 特征點(diǎn)匹配

假設(shè)樣本圖像以及待配準(zhǔn)圖像的特征點(diǎn)分別為(xi,yi)和(x′i,y′i),將兩幅圖像的特征點(diǎn)視為圓心,樣本圖像的半徑為rR,需要配準(zhǔn)的圖像半徑為rD,則兩幅圖像特征點(diǎn)所在的圓形區(qū)域內(nèi)混合不變量表達(dá)式為:

(4)

式中,φ代表兩幅圖像混合不變量的矢量集合,ηm代表不變量的子集。

半徑rR和rD之間的關(guān)系是rD是rR根據(jù)實(shí)際的縮放尺度因子得出的,由于樣本圖像與配準(zhǔn)圖像來自不同的設(shè)備,因此兩者之間的尺度以及方向等均不一致,所以使用常規(guī)的ROM尺度因子計(jì)算方法不再適合本文,這會(huì)直接影響最終的圖像配準(zhǔn)效果。為了避免這種情況發(fā)生,改用自動(dòng)尺度選擇方法(ASS)對(duì)縮放尺度因子進(jìn)行計(jì)算,ASS首先對(duì)特征尺度進(jìn)行全局搜索,得出圖像在連續(xù)尺度空間LoG(Laplacian-of-Gaussian)上的極值,進(jìn)而生成樣本圖像與配準(zhǔn)圖像之間最合適的尺度因子,則實(shí)際縮放尺度因子s的計(jì)算公式為:

(5)

式中,δD代表樣本圖像的LoG響應(yīng)值的極值,δR代表配準(zhǔn)圖像的LoG響應(yīng)值的極值。

將樣本圖像的矢量組φR以及配準(zhǔn)圖像的矢量組φD之間的歐幾里德距離,視為樣本圖像特征點(diǎn)匹配的匹配度量,其中歐幾里德距離d(i,j)的計(jì)算公式為:

(6)

假設(shè)需要匹配的兩幅圖像的特征點(diǎn)分別(xv,yv)和(x′k,y′k),若這兩個(gè)特征點(diǎn)之間的距離d(v,k)是所有匹配特征點(diǎn)路線中最小的距離,則這兩個(gè)特征點(diǎn)就是相互匹配的,同理完成圖像中所有特征點(diǎn)的匹配。

3 連續(xù)形變圖像配準(zhǔn)實(shí)現(xiàn)

互信息測(cè)度是檢測(cè)兩幅具有共同結(jié)構(gòu)的圖像是否滿足最佳配準(zhǔn)指標(biāo),即像素灰度值為最大[11]。運(yùn)用互信息算法對(duì)連續(xù)圖像進(jìn)行相似度計(jì)算的過程中,需要提前計(jì)算出信息熵,信息熵是一個(gè)不確定的度量,即若圖像配準(zhǔn)共有n種可能,則每種可能發(fā)生的概率分別為p1,p2,…,pn,進(jìn)而得出信息熵的定義表達(dá)式為:

(7)

式中,H代表信息熵,pi代表第i種配準(zhǔn)方案可能發(fā)生的概率。

信息熵可以描述圖像中信息量的大小[12-13],根據(jù)式(7)可知信息熵得出的信息量是根據(jù)配準(zhǔn)方案可能發(fā)生概率以及加權(quán)計(jì)算方法獲取的,因此事件的信息量與時(shí)間發(fā)生的概率之間成反比。因?yàn)樾畔㈧卮淼氖且粋€(gè)系統(tǒng)的不確定性,因此若將連續(xù)形變圖像的像素點(diǎn)灰度值視為隨機(jī)變量,設(shè)灰度值共出現(xiàn)hi次,圖像像素點(diǎn)為N′,則灰度值概率Pi的計(jì)算公式為:

(8)

連續(xù)形變圖像內(nèi)灰度級(jí)別越多,其中的灰度值出現(xiàn)的概率會(huì)越來越低,則圖像的信息熵越大,否則反之。

假設(shè)圖像內(nèi)有兩個(gè)隨機(jī)變量A和B,根據(jù)以上分析,可得出A和B條件熵表達(dá)式分別為:

(9)

式中,pAB(a,b)代表隨機(jī)變量聯(lián)合概率分布函數(shù)。

根據(jù)函數(shù)pAB即可得出隨機(jī)變量A和B之間的聯(lián)合熵H(A,B)的計(jì)算公式為:

(10)

聯(lián)合熵實(shí)際上是對(duì)隨機(jī)變量A和B相關(guān)性的一個(gè)統(tǒng)計(jì)量[14]。圖像在配準(zhǔn)的過程中,若已知需要配準(zhǔn)的圖像為C和D,通過圖像的直方圖以及聯(lián)合直方圖計(jì)算出C的邊緣概率密度分布函數(shù)pC(c)以及D的邊緣概率密度分布函數(shù)pD(d),若C和D之間是互不依賴的,則可以得出:

H(C,D)=H(C)+H(D)

(11)

根據(jù)以上分析總結(jié)出C和D之間的相關(guān)性與廣義距離,可以視為變量之間的相似度測(cè)量標(biāo)準(zhǔn),也稱之為互信息,即可得出互信息量I(C,D)的表達(dá)式為:

I(C,D)=H(C)-H(C|D)=H(D)-H(D|C)

=H(C)+H(D)-H(C,D)

(12)

式中,H(C)代表圖像C的熵,H(D)代表圖像D的熵,H(C,D)代表圖像C和D之間的聯(lián)合熵。

則根據(jù)邊緣概率密度函數(shù)PC(c)以及PD(d)即可得出圖像C和D對(duì)應(yīng)的條件熵分別為:

(13)

連續(xù)形變圖像在配準(zhǔn)過程中,兩幅圖像常常來自不同的成像設(shè)備[15],但通常情況下兩幅圖像的空間位置基本一致,根據(jù)式(12)計(jì)算得出這兩幅圖像對(duì)應(yīng)的灰度互信息均到達(dá)極值,依據(jù)兩幅圖像之間的聯(lián)合熵得出互信息量的剛性配準(zhǔn)T0計(jì)算公式為:

T0=arg maxI(C,D)

(14)

利用式(14)即可完成連續(xù)形變圖像的配準(zhǔn)。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證融合特征點(diǎn)匹配和互信息的連續(xù)形變圖像配準(zhǔn)方法的整體有效性,現(xiàn)針對(duì)本文方法、特征提取的遙感圖像配準(zhǔn)方法以及復(fù)合圖像配準(zhǔn)方法,進(jìn)行關(guān)于圖像配準(zhǔn)的相關(guān)測(cè)試,實(shí)驗(yàn)分別從兩個(gè)方面入手,分別是特征點(diǎn)匹配所需時(shí)間以及配準(zhǔn)效果,根據(jù)實(shí)驗(yàn)結(jié)果詳細(xì)說明本文方法的圖像配準(zhǔn)能力。實(shí)驗(yàn)圖像來自Places數(shù)據(jù)集,該數(shù)據(jù)集是以場(chǎng)景為中心的數(shù)據(jù)庫(kù),其中包含205個(gè)場(chǎng)景類別和250萬個(gè)帶有類別標(biāo)簽的圖像。

4.1 特征點(diǎn)匹配所需時(shí)間

特征點(diǎn)匹配是保證圖像配準(zhǔn)效果的前提條件,特征點(diǎn)匹配所需的時(shí)間直接影響圖像配準(zhǔn)的最終效果,為了驗(yàn)證三種圖像配準(zhǔn)方法的實(shí)際配準(zhǔn)能力,將圖像特征點(diǎn)匹配所需時(shí)間視為判定三種方法的優(yōu)劣指標(biāo),即隨機(jī)選取10組不同數(shù)量的特征點(diǎn)個(gè)數(shù),在同一環(huán)境下利用三種方法對(duì)10組特征點(diǎn)進(jìn)行匹配,分別計(jì)算出三種方法在每組實(shí)驗(yàn)中所需的時(shí)間,并將結(jié)果進(jìn)行比較,得出用時(shí)最短的方法,即可得出最優(yōu)圖像配準(zhǔn)方法,實(shí)驗(yàn)結(jié)果如表1所示。

表1 三種方法特征點(diǎn)匹配所需時(shí)間(秒)

根據(jù)表1中的實(shí)驗(yàn)結(jié)果可知,本文方法的特征匹配所需時(shí)間遠(yuǎn)遠(yuǎn)低于其余兩種方法所需的時(shí)間,說明其能夠提高圖像配準(zhǔn)的效率。因?yàn)楸疚姆椒▽⒔屈c(diǎn)視為特征點(diǎn)進(jìn)行提取,降低特征點(diǎn)提取以及特征匹配所需的計(jì)算量,進(jìn)而降低特征匹配錯(cuò)誤發(fā)生的概率,降低運(yùn)算時(shí)間,從而證明本文方法的配準(zhǔn)效果好。

4.2 配準(zhǔn)效果

利用兩種不同的設(shè)備對(duì)同一區(qū)域進(jìn)行連續(xù)圖像采集,將連續(xù)圖像視為實(shí)驗(yàn)對(duì)象,分別對(duì)三種方法的性能進(jìn)行實(shí)驗(yàn)比較。由于樣本圖像以及待配準(zhǔn)圖像是由兩個(gè)設(shè)備獲取的,所以這兩張圖像之間的分辨率是不同的。

為了降低特征點(diǎn)匹配的干擾,選用隨機(jī)抽樣一致法對(duì)三種配準(zhǔn)圖像進(jìn)行實(shí)驗(yàn),因此可以將三種方法中出現(xiàn)匹配錯(cuò)誤的特征點(diǎn)排除,忽略特征點(diǎn)匹配的干擾。已知樣本圖像以及待匹配圖像均是發(fā)生形變的,首先對(duì)比三種方法對(duì)該實(shí)驗(yàn)樣本的配準(zhǔn)情況,如圖1-圖3所示。

圖1 本文方法

圖2 特征提取的遙感圖像配準(zhǔn)方法

圖3 復(fù)合圖像配準(zhǔn)方法

根據(jù)信息點(diǎn)配準(zhǔn)情況可知,三種方法都匹配了10對(duì)特征點(diǎn),其中本文方法的配準(zhǔn)結(jié)果完全正確,其余兩種方法均有部分信息點(diǎn)配準(zhǔn)不正確,這會(huì)直接影響最終的圖像配準(zhǔn)效果以及信息提取完整性,根據(jù)實(shí)驗(yàn)結(jié)果即可證明本文方法的有效性。

圖像配準(zhǔn)不僅是將兩張不同來源圖像進(jìn)行信息點(diǎn)的配準(zhǔn),也需要綜合兩種圖像的優(yōu)點(diǎn)得出像素值最高的配準(zhǔn)圖像,同時(shí)將形變圖像進(jìn)行校正處理,得出最合理的圖像,根據(jù)這一特性可再次驗(yàn)證三種配準(zhǔn)方法的優(yōu)劣程度,實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 三種方法的最終校正結(jié)果

根據(jù)實(shí)驗(yàn)結(jié)果可知,本文方法通過配準(zhǔn)基本可以恢復(fù)出發(fā)生形變的圖像,但其余兩種方法因配準(zhǔn)精度不高的原因,導(dǎo)致其中部分信息無法恢復(fù),因此三種方法中圖像配準(zhǔn)結(jié)果最好的是本文方法。這是因?yàn)楸疚姆椒ㄔ趯?duì)連續(xù)形變圖像進(jìn)行配準(zhǔn)的過程中引入互信息算法,互信息可統(tǒng)計(jì)出樣本圖像與待配準(zhǔn)圖像之間的相似程度,從而得出兩幅圖像可以互補(bǔ)的像素點(diǎn),保證信息量的完整,確保圖像校正結(jié)果,也加強(qiáng)了配準(zhǔn)效果。

5 結(jié)束語

圖像在采集過程中因目標(biāo)對(duì)象面積等原因無法一次性獲取完整,只能利用不同設(shè)備同時(shí)對(duì)同一目標(biāo)進(jìn)行拍攝或是利用同一設(shè)備多次拍攝目標(biāo)對(duì)象,圖像在采集過程中不可避免受到外界干擾,因此會(huì)對(duì)部分信息產(chǎn)生影響,所以需要利用圖像配準(zhǔn)方法進(jìn)行處理,完善目標(biāo)圖像信息量,而目前圖像配準(zhǔn)方法效果不佳,為了進(jìn)一步加強(qiáng)圖像配準(zhǔn)效果,本文提出融合特征點(diǎn)匹配和互信息的連續(xù)形變圖像配準(zhǔn)方法,提取連續(xù)形變圖像特征點(diǎn),同時(shí)根據(jù)互信息算法計(jì)算出樣本圖像與匹配圖像的相似度,進(jìn)而得到配準(zhǔn)剛性指標(biāo),實(shí)現(xiàn)連續(xù)形變圖像配準(zhǔn),解決了特征點(diǎn)匹配所需時(shí)間長(zhǎng)以及配準(zhǔn)效果差的問題,保證信息量的完整性。