多聚焦圖像融合的最佳小波分解層數(shù)

管　飚

?

多聚焦圖像融合的最佳小波分解層數(shù)

管飚

摘要:多聚焦圖像融合的最佳小波分解層數(shù)的確定是圖像融合研究中的一個(gè)熱點(diǎn)，本文提出了一種確定多聚焦圖像融合的最佳小波分解層數(shù)的方法。本文采用四種經(jīng)典的圖像相似性度量指標(biāo)計(jì)算不同小波分解層的低頻子帶信號的相似度，根據(jù)相似性度量的計(jì)算結(jié)果來確定最佳的小波分解層數(shù)。然后比較不同分解層的融合后的圖像與原始圖像，來驗(yàn)證最佳小波分解層數(shù)的選擇的合理性。實(shí)驗(yàn)結(jié)果表明了該方法是可行的、有效的。

關(guān)鍵詞:圖像融合；相似性度量；平均絕對差；平均平方差；歸一化積相關(guān)

人們在用具有光學(xué)鏡頭的數(shù)碼相機(jī)等設(shè)備照像時(shí)，由于光學(xué)鏡頭的物理特性，取景范圍內(nèi)的不同目標(biāo)不能同時(shí)得到很好的聚焦，聚焦良好的目標(biāo)成像清晰，而聚焦不好的目標(biāo)成像模糊。因此，這樣的成像效果往往不能令人滿意。為了能夠在一幅圖像中呈現(xiàn)更多的信息，人們通常是用同一鏡頭分別對同一場景內(nèi)的不同目標(biāo)分別進(jìn)行聚焦成像，然后對得到的圖像進(jìn)行融合處理，從而得到令人滿意的圖像，這個(gè)過程，就是所謂的多聚焦圖像融合，它屬于像素級圖像融合。

根據(jù)融合方法，像素級圖像融合算法可以分為基于空間域的圖像融合算法和基于變換域的圖像融合算法。基于空間域的圖像融合算法主要有加權(quán)平均圖像融合算法、主成份分析(PCA)圖像融合算法、IHS空間圖像融合算法、偽彩色圖像融合算法和基于統(tǒng)計(jì)估計(jì)的圖像融合算法，等等，這些算法都是直接在圖像的空間域上進(jìn)行融合處理；而基于變換域的圖像融合是先對源圖像進(jìn)行變換處理，得到一系列的變換系數(shù)矩陣，再根據(jù)所采用的不同的融合規(guī)則，對變換系數(shù)矩陣作融合處理，最后把融合處理后的系數(shù)矩陣進(jìn)行反變換，得到最終的融合圖像。常用的變換算法包括傅里葉變換、金字塔變換、小波變換、Bandelet變換、Ridgelet變換和Curvelet變換，等等。

與其它的多尺度變換相比，小波變換具有一些優(yōu)良的性質(zhì)，比如正交性、方向選擇性、可變的時(shí)頻域分辨率、可調(diào)整的局部支持，以及分析數(shù)據(jù)量小等特性，而且，小波變換的多尺度特性，也符合人類的視覺機(jī)制，與計(jì)算機(jī)視覺中由粗到細(xì)的認(rèn)識(shí)過程相似，適合于圖像融合[1]。目前，基于小波變換的圖像融合的研究領(lǐng)域中，存在許多研究的熱點(diǎn)。例如，小波分解后的高頻和低頻部分的融合規(guī)則，小波分解層數(shù)對圖像融合質(zhì)量的影響，圖像的清晰度度量方法等。在最佳的小波分解層數(shù)的研究中，有人提出使用小波分解的子圖像面積比和低頻帶均方根誤差兩個(gè)標(biāo)準(zhǔn)來確定最佳小波分解層數(shù)[2]。還有人使用峰值信噪比，偏差度和熵等指標(biāo)對融合后的圖像進(jìn)行評估，從而確定最佳小波分解層數(shù)[3]。這種方法的優(yōu)點(diǎn)是計(jì)算量較小，缺點(diǎn)是對不同的原始圖像都采用同樣的分解層數(shù)，不夠準(zhǔn)確。我們的方法是對待融合圖像進(jìn)行小波分解，然后計(jì)算各層低頻子帶的相似度，當(dāng)相似度足夠高時(shí)，停止小波分解，從而能確定最佳小波分解層數(shù)。全文第一節(jié)簡單介紹小波的分解與重構(gòu)算法，以及基于小波分解的圖像融合過程，第二節(jié)介紹四種經(jīng)典的圖像相似性度量指標(biāo)，第三節(jié)用一個(gè)實(shí)驗(yàn)來驗(yàn)證本文的觀點(diǎn)，最后一部分是總結(jié)與展望。

1小波分解的圖像融合過程

1.1圖像的小波分解與重構(gòu)

小波的重構(gòu)算法如下式所示：

1.2小波分解的圖像融合過程

由上小節(jié)可知，對圖像做小波分解運(yùn)算后，分別得到一個(gè)低頻子帶圖像和三個(gè)高頻子帶圖像。同樣地，我們可以繼續(xù)在得到的低頻子帶圖像上再做小波分解運(yùn)算，可以得到下一層的一個(gè)低頻子帶圖像和三個(gè)高頻子帶圖像。如圖1，表示的是一幅圖像經(jīng)過二層小波分解后的塔形結(jié)構(gòu)。

圖1　圖像二層小波分解的塔形結(jié)構(gòu)

小波分解的圖像融合過程是先對兩個(gè)配準(zhǔn)后的待融合圖像進(jìn)行小波分解，即用一組低通和高通濾波器對信號進(jìn)行濾波處理，從每個(gè)圖像可以得到一個(gè)低頻子帶和三個(gè)水平方向、垂直方向和對角線方向的高頻子帶，這樣，就完成一次小波分解。同樣，可以對分解后得到的低頻部分采用同樣的過程，再次進(jìn)行小波分解。然后，對相應(yīng)層的低頻和高頻子帶以不同的規(guī)則進(jìn)行融合，再進(jìn)行小波反變換，得到融合后的圖像。如圖2所示，LL是圖像經(jīng)小波分解后的低頻子帶，HL、LH和HH是圖像經(jīng)小波分解后的三個(gè)高頻子帶。

圖2　基于小波變換的圖像融合過程

圖像經(jīng)過小波分解后，可以得到一個(gè)低頻子帶和三個(gè)高頻子帶，低頻子帶描述的是圖像的輪廓信息，而高頻部分描述的是圖像在水平、垂直和對角線三個(gè)方向上的細(xì)節(jié)信息，計(jì)算圖像經(jīng)小波分解后的低頻子帶的相似性，當(dāng)它們的相似性較高時(shí)，表明圖像融合所需要的細(xì)節(jié)信息已基本提取完成，就可以停止小波分解。

2圖像相似性度量指標(biāo)

為了能夠客觀地評估兩幅圖像的相似程度，人們使用了多種不同的計(jì)算方法，根據(jù)計(jì)算的結(jié)果，可以判斷圖像的相似程度。比較常用的有下面四種：

2.1平均絕對差(MAD)

這是一種基于距離的相似性度量，當(dāng)圖像的相似性較高時(shí)，它的值越小。它的定義為：

這個(gè)公式表明，將兩圖像坐標(biāo)位置對應(yīng)點(diǎn)的灰度值進(jìn)行減法運(yùn)算，由于在運(yùn)算過程中，對差值取絕對值，這樣就會(huì)丟失大量的信息，計(jì)算結(jié)果不能完全反映真實(shí)性。

2.2平均平方差(MSD)

這也是一種基于距離的相似性度量指標(biāo)，當(dāng)圖像的相似性較高時(shí)，它的值越小。它的定義為：

這種方法同平均絕對差一樣，計(jì)算結(jié)果也不能反應(yīng)真實(shí)性。

2.3互信息(MI)

互信息通常用于表示兩個(gè)系統(tǒng)之間的相關(guān)性，是來源于信息論中的一個(gè)概念，表示一個(gè)系統(tǒng)中所包含的另一個(gè)系統(tǒng)信息量的多少。在用于圖像處理時(shí)，當(dāng)兩幅圖像的相似度越大時(shí)，互信息值越大。反之，這個(gè)值越小。

I(A,B)=H(A)+H(B)-H(A,B)

=H(A)-H(A|B)

=H(B)-H(B|A)

式中H(A)和H(B)表示圖像A和圖像B的信息熵，H(A,B)表示圖像A和B的聯(lián)合熵，H(A|B)和H(B|A)表示條件熵。

在計(jì)算過程中，我們用圖像像素灰度值的概率分布來計(jì)算信息熵，它只能反映某一灰度值在圖像中出現(xiàn)的概率，不能反映這一灰度值的像素在圖像中出現(xiàn)的位置。也就是說，在計(jì)算過程中，將像素的位置信息丟失了。

2.4歸一化積相關(guān)度量指標(biāo)(Normalized Product，Nprod)

歸一化積相關(guān)度量指標(biāo)可以表示兩幅圖像的相似程度，計(jì)算結(jié)果越大表示兩幅圖像越相似，最大值為1。這種算法對圖像的亮度等級的變化不敏感，具有較強(qiáng)的魯棒性和精確性，但是，這種算法的計(jì)算復(fù)雜性較高。它的公式為：

Nprod=

其中，A(j,k)和B(j,k)表示圖像A和B在坐標(biāo)(j,k)處的灰度值。

3圖像融合實(shí)驗(yàn)結(jié)果與分析

在圖3中，包含有四幅圖像，其中，時(shí)鐘圖像的原始圖像，圖像中的景物都聚焦完美，圖像的各部分都很清晰，右聚焦圖像中右面的時(shí)鐘得到很好的聚焦，左面的時(shí)鐘成像模糊，左聚焦圖像中左面的時(shí)鐘得到很好的聚焦，右面的時(shí)鐘成像模糊。實(shí)驗(yàn)的過程是將右聚焦圖像和左聚焦圖像進(jìn)行融合，并將融合后的圖與原始圖像進(jìn)行比較，從而確定最佳的小波分解的層數(shù)。四幅圖像的尺寸都是480×480像素。

圖3　時(shí)鐘圖像

實(shí)驗(yàn)的第一步是分別對右聚焦圖像和左聚焦圖像進(jìn)行7層小波分解。采用的小波基函數(shù)是bior3.7。然后，使用上一節(jié)中的四種圖像相似度度量指標(biāo)，分別計(jì)算兩幅待融合圖像各對應(yīng)層的低頻子帶的相似性。計(jì)算結(jié)果如下表所示：

表1　兩幅圖像的低頻子帶的相似性度量結(jié)果

圖4　小波分解低頻子帶的相似性曲線

圖4顯示的是這四種圖像相似度度量指標(biāo)的結(jié)果曲線，從圖中，我們可以看到，用平均平方差和歸一化積相關(guān)兩種指標(biāo)度量時(shí)，有很好的收斂性。也就是說，在小波分解到5層時(shí)，使用歸一化積相關(guān)指標(biāo)來計(jì)算的相似性為1，用平均平方差計(jì)算的相似性為0.4804，從圖3中可以看到，再繼續(xù)進(jìn)行小波分解，兩幅圖像的低頻子帶的相似性趨于一致。

最后，進(jìn)行小波反變換，并使用上述四個(gè)相似性度量指標(biāo)計(jì)算各層融合圖像與原始圖像的相似性。計(jì)算結(jié)果如下表所示：

表2　融合圖像與原始圖像的相似性計(jì)算結(jié)果

圖5　融合圖像與原始圖像的相似性曲線

從圖5中可以看到，小波分解到第5層后進(jìn)行融合處理，融合后的圖像與原始圖像的相似性達(dá)到最大，再進(jìn)行小波分解就沒有必要。

通過實(shí)驗(yàn)結(jié)果，我們發(fā)現(xiàn)，在確定多聚焦圖像融合的小波分解層數(shù)時(shí)，可以使用歸一化積相關(guān)指標(biāo)和平均平方差指標(biāo)來計(jì)算小波分解的低頻子帶的相似性。當(dāng)?shù)皖l子帶的相似性達(dá)到要求后，就可以確定小波分解的層數(shù)。這時(shí)，融合后的圖像質(zhì)量也是最佳的。同時(shí)，由于待融合圖像的尺度特性的不同，所需要的最佳的小波分解的層數(shù)是不同的，采用本文提出的方法可以方便地確定最佳的小波分解的層數(shù)。

3結(jié)束語

本文提出了一種通過比較小波分解后的低頻子帶信號相似性來確定最佳的小波分解層數(shù)的方法。小波分解最佳層數(shù)的影響因素還包括選擇合適的小波基函數(shù)，以及如何選擇圖像相似度度量指標(biāo)，還包括圖像質(zhì)量的評價(jià)標(biāo)準(zhǔn)等。全面而準(zhǔn)確地對這些影響因素的研究超出了本文的范圍，有待于將來進(jìn)一步的研究。

[參考文獻(xiàn)]

[1]黃偉.像素級圖像融合研究[D]. 上海：上海交通大學(xué)，2008.

[2]李樹濤，王耀南，龔理專.多聚焦圖像融合中最佳小波分解層數(shù)的選取[J]. 系統(tǒng)工程與電子技術(shù)，2006，24(6)：45-48.

[3]陳木生，狄紅衛(wèi).多聚焦圖像融合的最佳小波分解層研究[J].光電工程，2004，31(3)：64-67.

[4]劉寶生，閆莉萍，周東華.幾種經(jīng)典相似性度量的比較研究[J].計(jì)算機(jī)應(yīng)用研究，2006(11)：1-3.

[5]陳衛(wèi)兵.幾種圖像相似性度量的匹配性能比較[J].計(jì)算機(jī)應(yīng)用，2010，30(1)：98-101.

[6]王軻，歐陽寧.小波分析在多聚焦圖像融合中的應(yīng)用[J]. 2008,15(3)：64-67.

[7]Kanagaraj Kannan, Subramonian Arumuga Perumal, Kandasamy Arulmozhi: Optimal Decomposition Level of Discrete, Stationary and Dual Tree Comples Wavalet Transform for Pixel based Fusion of Multi-focused Images[J].SERBIAN JOURNAL OF ELECTRICAL ENGINEERING, 2010, 7(1)： 81-93.

責(zé)任編輯：劉海濤

[8]Z. Wang, A.C. Bovik: A Universal Image Quality Index[J].IEEE Signal Processing Letters, 2002，9(3)： 81 - 84.

Optimal Decomposition Level of Wavelet for Multifocus Images Fusion

Guan Biao

Abstract:Selecting optimal decomposition level of wavelet for multifocus fusion is a research focus in the field of images fusion. In this paper, a method to selecting optimal wavelet decomposition level of multi focus image fusion is proposed. The similarity of the low frequency signal of different wavelet decomposition level is calculated by using four classic image similarity measures, and the optimal decomposition level is selected according to the calculation results of the similarity measure. And then, by comparing of the fused image of different decomposition level and the original image, the selecting of optimal decomposition level of wavelet is reasonable. The experimental results indicate that the proposed method is feasible and effective.

Key words:images fusion; similarity measure; MAD; MSD; Nprod

收稿日期：2015-04-11

作者簡介：管飚，阜陽師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院講師，研究方向：軟件工程，圖像處理(安徽 阜陽 236032))。

中圖分類號:TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號：1673-1794(2015)05-0065-04