基于小波變換的圖像融合增強(qiáng)算法

高 林，趙建輝

（1.西安航天動(dòng)力試驗(yàn)技術(shù)研究所，陜西西安710100；2.空軍西安飛行學(xué)院，陜西西安710306）

基于小波變換的圖像融合增強(qiáng)算法

高 林1，趙建輝2

（1.西安航天動(dòng)力試驗(yàn)技術(shù)研究所，陜西西安710100；2.空軍西安飛行學(xué)院，陜西西安710306）

針對(duì)當(dāng)前高速攝影系統(tǒng)不能保證采集的高幀頻圖像中所有目標(biāo)物體聚焦清晰的特點(diǎn)，提出了一種基于小波變換的圖像融合算法，對(duì)快速小波變換后得到的低頻系數(shù)與高頻系數(shù)采用一種改進(jìn)型的融合規(guī)則進(jìn)行算法仿真實(shí)驗(yàn)，并與傳統(tǒng)的圖像融合規(guī)則對(duì)比分析。

多聚焦圖像；圖像融合算法；小波變換；仿真實(shí)驗(yàn)

0 引言

圖像融合技術(shù)作為信息融合技術(shù)的一個(gè)重要領(lǐng)域，是將來自不同源、不同時(shí)間、不同媒介的圖像數(shù)據(jù)按一定的規(guī)則綜合，以形成對(duì)同一場景下目標(biāo)更為完整、清晰、準(zhǔn)確的圖像描述的圖像處理技術(shù)。圖像融合技術(shù)在衛(wèi)星遙感、醫(yī)學(xué)成像、計(jì)算機(jī)視覺、目標(biāo)識(shí)別及軍事等領(lǐng)域有著廣泛的應(yīng)用前景。尤其近幾年隨著圖像傳感器的迅猛發(fā)展，圖像融合技術(shù)的應(yīng)用也越來越廣泛。當(dāng)前液體火箭發(fā)動(dòng)機(jī)試驗(yàn)中高速攝影系統(tǒng)用來獲取發(fā)動(dòng)機(jī)關(guān)鍵部位的高幀圖像，但是普遍存在的現(xiàn)象是同一光學(xué)傳感器對(duì)同一場景中物體進(jìn)行成像時(shí)，要使場景中的所有目標(biāo)都聚焦清晰是很困難的。因此，將同一場景中的所有目標(biāo)進(jìn)行融合，使融合后的圖像中的所有目標(biāo)都清晰，已成為一個(gè)值得研究的課題[1-3]。

圖像融合是將不同傳感器得到的多個(gè)圖像根據(jù)某個(gè)算法進(jìn)行綜合處理，以得到一個(gè)新的、滿足某種需求的新圖像，它可將同一對(duì)象的2個(gè)或更多的圖像合成在一幅圖像中，以便它比原來的任何一幅圖像更容易被人們所理解。高效的圖像融合算法可以根據(jù)需要綜合處理多源通道的信息，從而有效地提高圖像信息的利用率和系統(tǒng)對(duì)目標(biāo)探測(cè)識(shí)別的可靠性。小波變換的多分辨率分析是當(dāng)前信號(hào)與圖像處理領(lǐng)域的研究熱點(diǎn)。圖像融合根據(jù)融合處理所處的階段不同，通常在3個(gè)不同層次上進(jìn)行，即像素級(jí)融合、特征級(jí)融合以及決策級(jí)融合。在像素級(jí)融合層次融合算法主要有簡單圖像融合算法、基于金字塔分解的圖像融合算法以及基于小波變換的圖像融合算法[4]。本文選擇在對(duì)小波變換理論的基礎(chǔ)上，提出了一種基于融合規(guī)則改進(jìn)型的圖像融合算法，最后對(duì)算法進(jìn)行了仿真實(shí)驗(yàn)，并對(duì)結(jié)果進(jìn)行了分析。

1 圖像融合算法簡介

1.1 基于小波變換的圖像融合算法原理

應(yīng)用小波變換進(jìn)行圖像融合的原理是將融合規(guī)則應(yīng)用到原始圖像的小波變換的低頻分量和高頻分量中。在一幅圖像的小波變換中，絕對(duì)值較大的小波系數(shù)對(duì)應(yīng)于邊緣這些較為顯著的特征，所以絕大部分基于小波變換的圖像融合算法主要研究如何選擇合成圖像中的小波系數(shù)，也就是小波變換空間矩陣3個(gè)方向上的高頻系數(shù)，從而達(dá)到保留圖像邊緣的目的。高頻系數(shù)的選擇對(duì)于保留圖像的邊緣特征具有非常主要的作用，但低頻系數(shù)決定了圖像的輪廓，正確選擇低頻系數(shù)對(duì)提高合成圖像的視覺效果具有舉足輕重的作用[5]。

1.2 融合圖像的評(píng)價(jià)指標(biāo)

圖像融合的評(píng)價(jià)指標(biāo)如表1所示。

表1 圖像融合的評(píng)價(jià)指標(biāo)Tab.1 Evaluation indexes for image fusion performance

2 一種基于小波變換的改進(jìn)型融合算法

2.1 基于小波變換的圖像融合

小波變換的固有特性使其在圖像處理中有如下優(yōu)點(diǎn)：即完善的重構(gòu)能力，保證信號(hào)在分解過程中沒有信息損失和冗余信息；把圖像分解成平均圖像和細(xì)節(jié)圖像的組合，分別代表了圖像的不同結(jié)構(gòu)，因此容易提取原始圖像的結(jié)構(gòu)信息和細(xì)節(jié)信息。小波分析提供了與人類視覺系統(tǒng)方向相吻合的選擇性圖像。

基于小波變換的融合算法是對(duì)圖像進(jìn)行小波分解，以得到圖像的高低頻信息，作為后期目標(biāo)判決的依據(jù)，小波變換應(yīng)用于圖像融合的優(yōu)勢(shì)在于它可以將圖像分解到不同的頻率域，在不同的頻率域應(yīng)用不同的選擇規(guī)則，得到合成圖像的多分辨小波分解，從而在合成圖像中保留原圖像在不同頻率域的顯著特征[6-7]。基于小波變換的圖像融合算法流程圖如圖1所示，主要步驟為：

1）對(duì)2張同分辨率的多聚焦灰度圖像Image A，Image B進(jìn)行幾何精確配準(zhǔn)；

2） 選取合適的小波基以及分解層數(shù)，對(duì)圖像Image A，Image B進(jìn)行多層小波分解，獲取各自的小波分解系數(shù)；

3）根據(jù)低頻分量和高頻分量的特點(diǎn)，設(shè)計(jì)小波系數(shù)的融合規(guī)則，比如可以對(duì)小波系數(shù)進(jìn)行取最大值或者求方差或是結(jié)合各種規(guī)則的改進(jìn)型等；

4）對(duì)融合后的小波分解系數(shù)經(jīng)過小波逆變換，重構(gòu)得到融合圖像Image F。

根據(jù)上述步驟可以對(duì)多焦距圖像進(jìn)行融合。在融合算法中，對(duì)原始多焦距灰度圖像進(jìn)行小波分解，這里就存在選取合適小波基以及分解層數(shù)。不同的小波基的選擇對(duì)最后分解的結(jié)果有很大影響，并且小波變換的分解層次并不是越多越好，本文選擇Matlab函數(shù)庫中的DWT2小波基函數(shù)并對(duì)小波基進(jìn)行4層分解。

2.2 一種改進(jìn)型圖像融合規(guī)則

圖像的融合規(guī)則是圖像融合的核心，方法與規(guī)則的優(yōu)劣直接影響融合的速度與質(zhì)量。在建立融合圖像的每個(gè)小波系數(shù)時(shí)，必須確定哪幅源圖的小波系數(shù)對(duì)融合有利，這個(gè)信息將保留在融合決策圖中。由上述圖1可知，融合規(guī)則在融合處理中扮演了一個(gè)重要角色，在融合過程中融合規(guī)則精確地控制著融合算子并生成新的小波分解系數(shù)。

規(guī)則一：局部方差法準(zhǔn)則

在領(lǐng)域W中，圖像I以為中心點(diǎn)的局部方差

式中：μ為圖像I的均值；M，N分別為局部區(qū)域的行數(shù)和列數(shù)，這里取局部區(qū)域?yàn)?×3。

基于局部方差法的融合方式常用的方法是選擇法，即通常說的局部方差取大法。方差選擇法的融合規(guī)則：

如果圖1中Image A,Image B直接使用局部方差法進(jìn)行融合，局部方差相差較大時(shí)，采用局部方差取大法能夠比較完整的存儲(chǔ)圖像的微小細(xì)節(jié)。一旦局部方差相差很小時(shí)，局部方差取大法會(huì)使圖像細(xì)節(jié)失真[8]。

規(guī)則二：系數(shù)絕對(duì)值取最大法準(zhǔn)則

該融合規(guī)則適合亮度與對(duì)比度比較高的源圖像且高頻成分比較豐富，否則在融合圖像中只保留一幅源圖像的特征，其他的特征被覆蓋。小波變換的實(shí)際作用是對(duì)信號(hào)解相關(guān)，并將信號(hào)的全部信息集中到一部分具有大幅值的小波系數(shù)中。這些大的小波系數(shù)含有的能量遠(yuǎn)比小系數(shù)含有的能量大，從而在信號(hào)的重構(gòu)中，大的系數(shù)比小的系數(shù)所占的權(quán)重更大[9]。本文算法提出的規(guī)則：最大系數(shù)法與方差法準(zhǔn)則。

使用規(guī)則一對(duì)源圖像小波分解后高頻成分不豐富的情況存在重構(gòu)后圖像信息熵值較低，針對(duì)這一問題，本文結(jié)合規(guī)則二解決了高低頻成分分布不均衡帶來的圖像融合效果欠佳的問題，從而提出了一種最大系數(shù)法與方差法結(jié)合的圖像融合算法。

由于圖像的像素特征往往不是由單一的低頻成分或是高頻成分所能表征的，而是由某一平均范圍的低頻成分疊加高頻成分共同來更為精確地表達(dá)圖像的真實(shí)面貌，同時(shí)，通常圖像待融合區(qū)域內(nèi)的各像素之間有較強(qiáng)的相關(guān)性，因此，基于像素的融合規(guī)則帶有片面性，而基于最大系數(shù)法與方差法的融合方式可以克服這一缺點(diǎn)，獲得更好的視覺特性和融合效果。最大系數(shù)法與方差法準(zhǔn)則融合規(guī)則可將全部圖像的最大系數(shù)、方差、梯度等作為特征算子。

設(shè)參與融合的源圖像A，B，融合后的結(jié)果為F。首先分別計(jì)算源圖像A，B的區(qū)域梯度，區(qū)域M的大小為3×3的小窗口。假設(shè)AAN(i,j)，BAN(i,j)分別代表A，B的點(diǎn)p(i,j)低頻系數(shù)；FAN(i,j)表示融合圖像F的點(diǎn)p(i,j)的低頻系數(shù)

綜合式（7） 和式（8），得到源圖像A和源圖像B在點(diǎn)p i,（）j方差平均后的高頻系數(shù)，以及得到圖像A和圖像B在點(diǎn)p i,（）j取最大系數(shù)的低頻系數(shù)。

這樣就完成了多分辨率下的圖像融合，小波分解系數(shù)在有限的算法運(yùn)行時(shí)間范圍內(nèi)擬合程度越高，圖像平滑的程度越高，視覺效果越好，融合整體效果得到改善越大，當(dāng)然圖像融合的各項(xiàng)評(píng)價(jià)指標(biāo)表現(xiàn)的越好，最后對(duì)融合后的子帶系數(shù)進(jìn)行反變換得到融合后的圖像質(zhì)量越好。

3 基于小波變換的圖像融合算法仿真與分析

3.1 算法原理與設(shè)計(jì)

本文所討論的融合算法是針對(duì)靜態(tài)圖像的，以相同物體在相同距離上用不同焦距進(jìn)行拍攝的情況，融合目的是去除焦點(diǎn)不同對(duì)圖像的影響，提高圖像的清晰度。同一場景的不同傳感器得到的圖像，其低頻系數(shù)大小差不多，但高頻細(xì)節(jié)部分卻存在顯著差異[10]。因此，基于小波變換的圖像融合算法的研究重點(diǎn)多集中在高頻域部分。對(duì)實(shí)驗(yàn)用的圖像作以下假設(shè)：所用圖像均是經(jīng)過預(yù)處理（濾波、對(duì)準(zhǔn)）的、大小一致的灰度圖像。

為了驗(yàn)證基于最大系數(shù)法與方差法準(zhǔn)則的圖像融合算法的有效性，使用高速攝像機(jī)的不同焦距拍攝圖像Image A，Image B及Image A使用f/4.0光圈，70 mm焦距，對(duì)焦focus值為1900拍攝，Image B使用f/4.0光圈，70 mm焦距，對(duì)焦focus值為1 600拍攝，分別得到多聚焦灰度圖像，然后截取662×662大小的灰度圖像進(jìn)行嚴(yán)格配準(zhǔn)得到實(shí)驗(yàn)待融合圖像，通過使用Matlab R2016a對(duì)提出的最大系數(shù)法與方差法準(zhǔn)則進(jìn)行算法仿真實(shí)驗(yàn)，讀取待融合圖像Image A，Image B，得到4層小波分解圖像和融合后的圖像，算法流程圖如圖2所示。其中詳細(xì)算法步驟如下：

1)采用Mallat快速算法對(duì)兩幅多聚焦圖像分別進(jìn)行4層小波分解，由上面討論可知可得到(3×3+1)個(gè)圖像分量，包括3×3個(gè)高頻分量和1個(gè)低頻分量[11-12]；

2)在對(duì)多聚焦圖像進(jìn)行小波變換后，將2幅圖像對(duì)應(yīng)的低頻分量和高頻分量選用上面介紹的融合規(guī)則進(jìn)行融合，得到各個(gè)對(duì)應(yīng)分量的融合結(jié)果；

3)將各個(gè)對(duì)應(yīng)分量的融合結(jié)果進(jìn)行小波逆變換得到最后的融合圖像。

3.2 仿真結(jié)果分析

為了對(duì)使用每種融合規(guī)則的融合圖像質(zhì)量進(jìn)行客觀評(píng)價(jià)，采用信息熵、平均梯度、方差性能指標(biāo)來進(jìn)行對(duì)比分析，此外，還綜合每種融合規(guī)則的算法效率來分析本文提出的融合規(guī)則的有效性[13]。

圖3為待融合多聚焦圖像，其中圖3（a） 為背景清晰，目標(biāo)物體（右側(cè)鋼架） 不清晰的圖像，圖3（b）為背景不清晰，目標(biāo)物體清晰的圖像。圖4為基于規(guī)則一的融合后圖像，圖5為基于規(guī)則二的融合后圖像，圖6為使用本文算法提出規(guī)則的融合后圖像。

觀察圖4、圖5及圖6，并與原始圖像進(jìn)行比較，可以看出：各融合結(jié)果圖在整體分辨率上比融合前的原始圖像均有明顯的提高，3種融合規(guī)則的融合結(jié)果均對(duì)原始圖像信息有較好的保留和增強(qiáng)，目標(biāo)物體的右側(cè)鋼腿邊界區(qū)分清楚，鋼腿上面圓孔清晰可見，和原始圖像中目標(biāo)物體的信息基本保持一致，融合后使圖像整體更加明確和豐富。

為進(jìn)一步客觀評(píng)價(jià)各融合規(guī)則的融合性能，采用基于統(tǒng)計(jì)學(xué)方法的評(píng)價(jià)方式對(duì)融合性能進(jìn)行分析與評(píng)價(jià)[14-15]。采用常用的信息熵、平均梯度、方差3項(xiàng)指標(biāo)來客觀評(píng)價(jià)融合圖像，而且該3項(xiàng)指標(biāo)越大越好，具體統(tǒng)計(jì)結(jié)果見表2。

表2 融合效果客觀評(píng)價(jià)Tab.2 Objective evaluation of fusion effect

由表2可見，在反映圖像灰度離散程度的方差指標(biāo)中，采用規(guī)則二的融合圖像的方差差最大，但是規(guī)則一明顯較??；本文融合規(guī)則的方差大小非常接近規(guī)則二，說明采用本文融合規(guī)則融合后圖像信息較為豐富；3種規(guī)則的平均梯度差異顯著，其中規(guī)則一的平均梯度明顯偏小，而本文融合規(guī)則的平均梯度最大，說明本文融合規(guī)則的融合圖像反映微小細(xì)節(jié)的能力較強(qiáng)，圖像質(zhì)量最好；在反映圖像信息量的指標(biāo)信息熵中，規(guī)則一明顯偏小，本文融合規(guī)則最佳。由此可見，盡管都采用了基于小波變換的融合算法，但采用的融合規(guī)則和融合算子不同，其融合性能也大不相同，規(guī)則一各項(xiàng)指標(biāo)均較低。因?yàn)橐?guī)則一算法復(fù)雜度較低，算法運(yùn)行平均時(shí)間雖然僅為0.438 313 s，但是圖像融合效果各項(xiàng)指標(biāo)達(dá)不到最優(yōu)，尤其是針對(duì)圖像小波分解后高頻成分較多時(shí)得到的圖像融合效果各項(xiàng)指標(biāo)表現(xiàn)會(huì)更差。

4 結(jié)論

基于小波分析理論，結(jié)合多聚焦圖像的特點(diǎn)，提出了一種最大系數(shù)法與方差法的圖像融合算法。對(duì)本文算法與已有的傳統(tǒng)算法進(jìn)行實(shí)驗(yàn)與分析，實(shí)驗(yàn)結(jié)果表明：本算法不管是視覺效果，還是融合效果指標(biāo)上都獲得了滿意的效果，具有較好的適用性和應(yīng)用價(jià)值。

[1]WANG Z J,ZIOU D.A comparative analysis of image fusion methods[J].IEEE transactions on geosciences and remote sensing,2005,43(6):1391-1400.

[2]王智均,李德仁.利用小波變換對(duì)影像進(jìn)行融合的研究[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào),2000,25(2):137-141.

[3]林卉,杜培軍,肖劍平.利用小波變換進(jìn)行遙感多光譜圖像融合的算法及實(shí)現(xiàn)[J].地球科學(xué)與環(huán)境學(xué)報(bào),2006,2(1):75-78.

[4]曾梅蘭,金升平.基于小波框架的多傳感器圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(25):59-61.

[5]POLO A,CATTANI F,VAVASSORI A,et al.MR and CT image fusion for postimplant analysis in permanent prostate seed implants[J].International journal of radiation oncology biology physics,2004,60(5):1572-1579.

[6]王焮,吳國平.小波分析在遙感圖像融合中的模型研究[J].中國圖像圖形網(wǎng),2004,11(1):67-70.

[7]鄭永安,陳玉春,宋建社,等.基于提升機(jī)制小波變換的SAR與多光譜圖像融合算法 [J].計(jì)算機(jī)工程,2006,32(6):195-197.

[8]LI H,MANJUNATH B S,MITRA S K.Multisensor image fusion using the wavelet transform[J].Graphical models and image processing,1993,57(3):235-245.

[9]JIANG X Y,ZHOU L W,GAO Z Y.Multispectral image fusion using wavelet transform[J].Proceedings of SPIE,1996,2898:35-42.

[10]SANTOS M,PAJARES G.A new wavelets image fusion strategy[J].Lecture notes in computer science 2652,2003:919-926.

[11]CHIBANI Y,HOUACINE A,BARBIER C.Fusion of multispectral and radar images in the redundant wavelet domain[C]//Proceedings of the EUROPTO Conference on Image and Signal Processing for Remote Sensing.Barcelona,Spain:SPIE,1998:330-338.

[12]周偉,周林,張家祥.Matlab7.0小波分析高級(jí)技術(shù)[M].西安:西安電子科技大學(xué)出版社,2005.

[13]王海暉,彭嘉雄,吳巍,等.多源遙感圖像融合效果評(píng)價(jià)方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2003,39(25):33-37.

[14]曾梅蘭,金升平.基于小波框架的多傳感器圖像融合[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(25):59-61.

[15]楊俊,趙忠明.基于Curvelet變換的多聚焦圖像融合方法[J].光電工程,2007,34(6):67-70.

（編輯：馬 杰）

Image fusion enhancement algorithm based on wavelet transform

GAO Lin1,ZHAO Jianhui2
（1.Xi’an Aerospace Propulsion Test Technology Institute,Xi’an 710100,China;2.PLA Air Force Xi’an Flight Academy,Xi’an 710306,China）

In this paper,an image fusion algorithm based on wavelet transform is proposed to solve the problem that all the target objects in the high frame rate images taken by the current high-speed photography system can not be guaranteed to be clear enough.An improved fusion rule is adopted to perform the simulation experiment for the low-frequency coefficients and high-frequency coefficients obtained by fast wavelet transform,and compared with the traditional image fusion rules.The experiment results show that the improved fusion role has better applicability and application value.

multi-focus image;image fusion algorithm;wavelet transform;simulation experiment

V416-34

A

1672-9374(2017)04-0057-06

2017-03-29；

2017-04-25

高林（1988—），男，碩士，研究領(lǐng)域?yàn)橐后w火箭發(fā)動(dòng)機(jī)試驗(yàn)測(cè)量技術(shù)