鄰域灰度與空間特征相結(jié)合的互信息配準(zhǔn)方法研究

魏玉蘭 顏云輝 李 兵 張 堯 李 駿

東北大學(xué),沈陽,110004

0 引言

圖像配準(zhǔn)就是對(duì)取自不同時(shí)間、不同傳感器或者不同視角、同一場(chǎng)景的兩幅或者多幅圖像匹配的過程,它被廣泛地應(yīng)用于遙感圖像、醫(yī)學(xué)影像、三維重構(gòu)、機(jī)器視覺等諸多領(lǐng)域中[1]。圖像配準(zhǔn)按照配準(zhǔn)過程可分為基于特征的圖像配準(zhǔn)和基于灰度的圖像配準(zhǔn)。一般說來,基于特征的方法具有需要人工干預(yù)、特征點(diǎn)獲取比較困難等缺點(diǎn)。除此之外,通過圖像分割等技術(shù)來確定圖像的特征也存在較大的問題。因?yàn)閳D像分割的精確度和評(píng)價(jià)標(biāo)準(zhǔn)還沒有得到很好的解決,加上操作者的水平和主觀因素的影響,給配準(zhǔn)結(jié)果帶來很大的不確定性。基于灰度的配準(zhǔn)方法是直接利用整幅圖像的灰度度量?jī)煞鶊D像之間的相似性,然后,采用搜索方法尋找相似性度量的最大值點(diǎn)或最小值點(diǎn),從而確定兩幅圖像之間的變換模型參數(shù)的方法。常見的算法有最大互信息法、相關(guān)法、條件熵法、聯(lián)合熵法等。基于灰度的配準(zhǔn)方法只對(duì)圖像的灰度進(jìn)行處理,可以避免主觀因素的影響,配準(zhǔn)結(jié)果只信賴于配準(zhǔn)方法本身,同時(shí)可以避免因圖像分割給配準(zhǔn)帶來的額外誤差,并能實(shí)現(xiàn)完全自動(dòng)的配準(zhǔn)。最大互信息法幾乎可以用于任何不同模態(tài)圖像的配準(zhǔn),它是一種自動(dòng)的、基于像素灰度的方法,不需要選擇標(biāo)志點(diǎn)或提取圖像特征,不需要假設(shè)圖像中各像素的灰度值之間存在某種線性關(guān)系,因而得到了廣泛應(yīng)用,成為當(dāng)前圖像配準(zhǔn)領(lǐng)域的研究熱點(diǎn)。但基于灰度的配準(zhǔn)方法也存在一些缺點(diǎn),如計(jì)算量大、配準(zhǔn)時(shí)間長(zhǎng)、對(duì)噪聲敏感、忽略了圖像的空間相關(guān)信息等。

本文提出的方法旨在解決互信息對(duì)噪聲敏感及忽略了圖像的空間信息會(huì)引起配準(zhǔn)誤差兩方面的問題。因?yàn)榛バ畔⒘繉?duì)噪聲、采樣點(diǎn)個(gè)數(shù)比較敏感,當(dāng)圖像空間分辨率比較低,有噪聲影響和圖像部分缺損時(shí)容易出現(xiàn)誤配,所以很多學(xué)者提出了改進(jìn)方法。Studholme等[2]提出的歸一化的互信息方法解決了對(duì)圖像間覆蓋程度較敏感的問題,但該方法仍然忽略了圖像的空間與方向信息。Pluim等[3]提出了將互信息量與圖像梯度相結(jié)合的方法,在一般情況下能夠達(dá)到較好的效果,但由于圖像梯度本身對(duì)噪聲十分敏感,當(dāng)圖像中存在一定的噪聲時(shí),該方法的配準(zhǔn)成功率就變得比較低。Rueckert等[4]提出了一種擴(kuò)展的互信息框架,將二階熵形式的互信息成功地應(yīng)用到了非剛體的配準(zhǔn)中,由于計(jì)算二階聯(lián)合熵時(shí)要用到四維聯(lián)合直方圖,因此運(yùn)算量非常大。本文考慮到像素點(diǎn)與其鄰域內(nèi)不同方向上的點(diǎn)的關(guān)系,將空間信息引入到配準(zhǔn)的過程中,從而克服了前面提到的問題,消除了噪聲對(duì)圖像配準(zhǔn)效果的影響,達(dá)到了較好的配準(zhǔn)效果。

1 基于互信息的圖像配準(zhǔn)方法

互信息技術(shù)是最近幾年提出的解決多模態(tài)圖像配準(zhǔn)的一種有效方法[5-7]?；バ畔⑹切畔⒔y(tǒng)計(jì)學(xué)中的一個(gè)重要概念,用來描述兩個(gè)系統(tǒng)之間的統(tǒng)計(jì)相關(guān)性?；バ畔⒗碚撝械囊粋€(gè)重要概念是熵[8-9],是由Shannon最早提出的。熵是一個(gè)統(tǒng)計(jì)量,它衡量了變量的任意性。一個(gè)隨機(jī)變量,它的任意性越大,熵就越大。兩個(gè)隨機(jī)變量之間的相關(guān)熵就稱為互信息。互信息I(U,V)是對(duì)隨機(jī)變量U和V之間統(tǒng)計(jì)依存程度的信息度量,主要描述兩組圖像信息間相關(guān)的程度。對(duì)同一位置處的兩組圖像而言,對(duì)應(yīng)的像素對(duì)之間的灰度在統(tǒng)計(jì)學(xué)上并非獨(dú)立,而是相關(guān)的,這是互信息匹配的基礎(chǔ)?；バ畔⒕哂袑?duì)稱性和非負(fù)性,當(dāng)且僅當(dāng)U和V獨(dú)立時(shí),互信息為零,也就是說：U和V獨(dú)立,互信息為零,同時(shí)U和V是不相關(guān)的,相關(guān)系數(shù)也為零;但U 和V不相關(guān),相關(guān)系數(shù)為零時(shí),并不代表U和V是獨(dú)立的,可能兩者的灰度存在非線性聯(lián)系,這時(shí)互信息不會(huì)是零,這就是互信息相對(duì)于其他測(cè)度的優(yōu)勢(shì)。對(duì)于兩幅待配準(zhǔn)的圖像,如圖1所示,圓代表了圖像的熵,兩圓合并區(qū)域?yàn)槁?lián)合熵,重疊部分就為互信息。圖中明確地給出了三者之間的關(guān)系,互信息綜合了圖像的熵、聯(lián)合熵,其形式為兩者的差,即

式中,H(A)和H(B)分別為圖像A和圖像B的熵;H(A,B)為圖像 A、B的聯(lián)合熵。

圖1 互信息示意圖

互信息隨著兩幅圖像相匹配區(qū)域的大小而變化。相匹配的區(qū)域越大,則它們的聯(lián)合熵越小、互信息越大。當(dāng)兩幅圖像達(dá)到最佳匹配時(shí),它們對(duì)應(yīng)像素的灰度互信息達(dá)到最大。也就是說,可以通過尋找兩幅圖像的最大互信息值來判斷兩幅圖像是否配準(zhǔn)。

圖像A的熵可表示為

式中,a為圖像A像素的灰度值;PA(a)為灰度值出現(xiàn)的概率。

由熵的定義可知,熵的大小并不依賴于灰度本身,而只依賴于這些灰度出現(xiàn)的概率。顯然平移、旋轉(zhuǎn)等剛性變換只是改變了像素點(diǎn)的空間位置,并沒有改變像素點(diǎn)灰度值的大小,也就沒有改變灰度值出現(xiàn)的概率,從而對(duì)熵并沒有影響。

圖像A、B的聯(lián)合熵可由下式計(jì)算得出：

式中,b為圖像B像素的灰度值;PA,B(a,b)為圖像 A、B的聯(lián)合概率密度。

將式(2)和式(3)代入到式(1)中可得圖像A、B的互信息為

基于互信息的配準(zhǔn)方法可視為一個(gè)尋優(yōu)過程,其基本思想是通過尋找一組空間變換參數(shù),使得其中一幅圖像經(jīng)過空間變換后與另一幅圖像達(dá)到空間一致,此時(shí)互信息值達(dá)到最大,數(shù)學(xué)表達(dá)式為

式(5)表示首先對(duì)浮動(dòng)圖像B按T進(jìn)行空間變換,得到變換后圖像T(B),然后計(jì)算參考圖像A與變換后圖像T(B)之間的互信息值I,通過優(yōu)化算法尋找變換矩陣T′使得此時(shí)的互信息值I(A,T(B))達(dá)到最大,即實(shí)現(xiàn)配準(zhǔn)圖像A和B的目的。

2 鄰域灰度與空間特征相結(jié)合的互信息配準(zhǔn)方法

目前己有不少文獻(xiàn)表明互信息配準(zhǔn)法存在配準(zhǔn)魯棒性問題,容易導(dǎo)致誤配,其原因主要是：①待配準(zhǔn)圖像由于部分圖像缺失或發(fā)生形變,導(dǎo)致包含的有效信息大大減少;②算法運(yùn)行中往往通過少采樣來減小數(shù)據(jù)量,這樣必然降低圖像空間分辨率和減少圖像所包含的信息量;③當(dāng)圖像噪聲較大時(shí),圖像間的相關(guān)性較弱,尋優(yōu)過程落入局部最優(yōu)而非全局最優(yōu)[10]。

利用本文提出的方法計(jì)算互信息時(shí),參與運(yùn)算的不再是圖像中每個(gè)像素的灰度值,而是運(yùn)用鄰域內(nèi)像素之間的幾何距離關(guān)系及灰度變化關(guān)系來修正原中心像素的灰度值。采用離中心像素幾何距離近且灰度值相似的像素的加權(quán)平均值代替原中心像素灰度值,這樣既利用了像素的灰度變化信息又利用了圖像像素之間的空間信息,可有效避免噪聲對(duì)配準(zhǔn)結(jié)果的影響。

結(jié)合鄰域灰度與空間特征的各信息熵計(jì)算公式如下：

根據(jù)式(6)～式(8)可得出結(jié)合鄰域灰度與空間特征的互信息(region intensity and spatial mutual information,RISMI)為

式中,a′和b′為圖像A、B結(jié)合了鄰域信息以后的灰度值;PA′(a′)與 PB′(b′)是圖像 A、B 中結(jié)合鄰域信息后灰度值為a′、b′的像素出現(xiàn)的頻數(shù);wa、wb分別為圖像A和B在鄰域內(nèi)各像素的權(quán)值,PA′B′(a′,b′)為圖像 A′、B′的聯(lián)合概率密度。

wa、wb分別由兩部分組成,一部分為鄰域內(nèi)像素與中心點(diǎn)像素距離關(guān)系權(quán)值w[7]d,另一部分為鄰域內(nèi)像素與中心點(diǎn)像素間灰度差值所決定的權(quán)值 wa r 和 wb r。wa r、wb r、wd、wa、wb 的計(jì)算方程分別為

式中,i、j分別為中心像素與鄰域像素之間的水平距離及垂直距離;d為鄰域內(nèi)像素與中心像素之間的距離,且為d=1時(shí)的像素總個(gè)數(shù);n2為時(shí)的像素總個(gè)數(shù)。

在式(14)中,如果d選取過大將導(dǎo)致在計(jì)算a′和b′時(shí)過多地引入灰度值和與其無聯(lián)系的像素,不僅影響了配準(zhǔn)精度,增加了計(jì)算量,還影響了配準(zhǔn)速度。由于相鄰像素灰度值之間存在著聯(lián)系,離中心像素越近的像素其灰度值與中心像素的聯(lián)系越緊密,因此在計(jì)算時(shí)將鄰域內(nèi)各像素與中心像素之間的距離大小作為權(quán)系數(shù)w d的設(shè)定依據(jù),離中心像素距離越近權(quán)值越大。

權(quán)值war和wbr分別表達(dá)圖像A和B在鄰域內(nèi)各像素與中心像素的灰度變化關(guān)系。當(dāng)中心像素位于背景區(qū)域時(shí),中心像素與鄰域內(nèi)各像素灰度接近,權(quán)值較大,此時(shí)wa r和wb r對(duì)原中心像素灰度值影響較小;當(dāng)中心像素位于背景與目標(biāo)之間的邊緣上時(shí),和值的變化直接反應(yīng)了圖像A和B的邊緣灰度變化。

鄰域內(nèi)像素之間的空間距離權(quán)值wd和灰度變化權(quán)值w a r和w b r的引入,使得在配準(zhǔn)過程中,不僅考慮了兩副圖像之間的灰度關(guān)系,同時(shí)兼顧了空間位置關(guān)系及灰度變化特征對(duì)互信息的影響,從而克服了因噪聲及圖像缺失對(duì)配準(zhǔn)結(jié)果的影響,大大提高了互信息配準(zhǔn)的魯棒性。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 配準(zhǔn)結(jié)果分析

為了驗(yàn)證本文方法的有效性,對(duì)采集到的帶鋼表面明暗域缺陷圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn),配準(zhǔn)圖片如圖2所示。其中,圖2a為采用面陣CCD,光源與CCD成35°時(shí)采集到的明域缺陷圖像,圖2b為光源與CCD成10°時(shí)采集到的暗域缺陷圖像。兩副圖像來源于同一個(gè)CCD,采集同一位置處的帶鋼表面缺陷,唯一不同的是光源與CCD的角度不同,因此,此時(shí)的兩副圖像是完全配準(zhǔn)的。為了證明本文提出方法有優(yōu)越性,將明域圖像作為參考圖像,即空間位置不變,首先對(duì)暗域圖像進(jìn)行某一參數(shù)的變換(旋轉(zhuǎn)10°,水平和垂直方向各平移5個(gè)像素),然后將其與明域圖像進(jìn)行配準(zhǔn)。

圖2 配準(zhǔn)圖像

分別采用文獻(xiàn)[3]中提出的歸一化互信息(normal mutual information,NMI)及文獻(xiàn)[8]中提出的互信息與梯度相結(jié)合的梯度互信息(gradient mutual information,GMI)和文中的RISMI測(cè)度進(jìn)行配準(zhǔn),配準(zhǔn)后的結(jié)果如表1所示。

表1 NMI、GMI與 RISMI配準(zhǔn)結(jié)果對(duì)比

參考值是指明域缺陷圖像的空間變換參數(shù),從表1可以看出,三者的配準(zhǔn)結(jié)果都非常接近于精確值,但以RISMI和GMI為相似性測(cè)度的配準(zhǔn)方法要更加精確一些,這是因?yàn)镽ISMI包含了鄰域內(nèi)各像素的空間位置信息與灰度變化信息的作用,GMI充分考慮了梯度對(duì)配準(zhǔn)結(jié)果的影響。

3.2 對(duì)高斯噪聲魯棒性分析

為了驗(yàn)證本文提出方法對(duì)高斯噪聲的魯棒性,在圖2原始圖像的基礎(chǔ)上,分別加上均值為0、方差為0.01的高斯噪聲,如圖3所示。

圖3 加高斯噪聲配準(zhǔn)圖像

分別采用 NMI、GMI和 RISMI方法進(jìn)行配準(zhǔn),配準(zhǔn)數(shù)據(jù)如表2所示。

表2 NMI、GMI與RISMI配準(zhǔn)結(jié)果對(duì)比(加噪聲后)

從表2中的數(shù)據(jù)我們可以看出,當(dāng)圖像中含有高斯噪聲時(shí),經(jīng)過改進(jìn)的結(jié)合鄰域灰度與空間特征的互信息配準(zhǔn)方法配準(zhǔn)的結(jié)果更接近最優(yōu)值。GMI的配準(zhǔn)結(jié)果精度明顯下降,這主要是因?yàn)樘荻葘?duì)噪聲比較敏感,噪聲越大配準(zhǔn)結(jié)果越不準(zhǔn)確,因此該方法對(duì)噪聲的魯棒性較低。傳統(tǒng)的NMI方法,由于噪聲的存在,使得配準(zhǔn)結(jié)果陷入局部最優(yōu),造成誤配準(zhǔn)。實(shí)驗(yàn)結(jié)果充分證明,改進(jìn)的RISMI測(cè)試具有更高的抗高斯噪聲干擾性,且配準(zhǔn)精度更高。

4 結(jié)束語

基于歸一化互信息的配準(zhǔn)方法適應(yīng)多模態(tài)圖像之間的自動(dòng)配準(zhǔn),具有無需先驗(yàn)知識(shí)、配準(zhǔn)精度高等優(yōu)點(diǎn);但其主要問題是當(dāng)配準(zhǔn)圖像存在高斯噪聲時(shí),容易陷入局部最優(yōu),造成誤配準(zhǔn)。通過將互信息與空間鄰域內(nèi)各像素的空間位置信息與灰度變化信息相結(jié)合,不僅利用了圖像的灰度信息,還充分利用了圖像的空間信息。實(shí)驗(yàn)結(jié)果表明該方法比傳統(tǒng)的互信息方法具有更好的魯棒性,在圖像含有高斯噪聲的情況下,仍可得到比較理想的配準(zhǔn)效果。

[1] 陳顯毅.圖像配準(zhǔn)技術(shù)及其MATLAB編程實(shí)現(xiàn)[M].北京：電子工業(yè)出版社,2009.

[2] Studholme C,Hill D L G,Hawkes D J.An Overlap Invariant Entropy Measure of 3D Medical Image A-lignment[J].Pattern Recognition,1999,32(1)：71-86.

[3] Pluim J PW,Maintz JB A,Viergever M A.Mutual Information Matching in Mult-iresolution Contexts[J].Image and Vision Computing,2001,19(1/2)：45-50.

[4] Rueckert D,Clarkson M J,Hill D L G,et al.Nonrigid Registration Using Higher-order Mutual Information[C]//Proc.SPIE Medical Imaging 2000：Image Processing.San Diego,2000：438-447.

[5] Wachowiakm P,Smolikova R,Peters T M.Multiresolution Biomedical Image Registration Using Generalized Information Measures[C]//Proc.MICCAI 2003.New York,2003：846-853.

[6] Maes F,Vandermeulen D,Suetens P.Medical ImageRegistration Using Mutual Information[J].Proceedings of the IEEE,2003,91(10)：1699-1721.

[7] Josien P,Antoine J,Max V.Image Registration by Maximization of Combined Mutual Information and Gradient Information[J].IEEE Trans.on M edical Image,2000,19(8)：809-814.

[8] 葉中行.信息論[M].北京：高等教育出版社,2003.

[9] 毛璐璐,徐剛鋒,陳顯波.基于互信息與梯度融合的多源圖像匹配技術(shù)研究[J].紅外技術(shù),2009,31(9)：532-536.

[10] 劉青芳,李月娥.基于改進(jìn)的互信息結(jié)合邊緣互方差的醫(yī)學(xué)圖像配準(zhǔn)方法研究[J].測(cè)試技術(shù)學(xué)報(bào),2009,23(6)：535-539.