基于小波變換的圖像融合算法研究

劉娜 田大為

摘 要： 圖像融合是改善圖像質(zhì)量的一個(gè)重要途徑，傳統(tǒng)算法難以正確地對(duì)圖像進(jìn)行有效融合。為了提高圖像融合的質(zhì)量，提出一種基于小波變換的圖像融合算法。首先對(duì)2幅原始圖像進(jìn)行小波變換，提取它們的小波系數(shù)，然后采用不同的規(guī)則對(duì)不同層次的小波系數(shù)進(jìn)行融合，并采用小波變換對(duì)融合的系數(shù)進(jìn)行融合，最后采用不同類型對(duì)圖像融合結(jié)果進(jìn)行測(cè)試和分析。結(jié)果表明，小波變換融合后的圖像更加自然、清晰，提高了圖像的信噪比，并且圖像融合速度明顯加快，獲得了比對(duì)比算法更加理想的圖像融合效果。

關(guān)鍵詞： 圖像質(zhì)量； 小波變換； 神經(jīng)網(wǎng)絡(luò)； 加權(quán)融合； 信噪比； 圖像融合

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）07?0071?04

Research on image fusion algorithm based on wavelet transform

LIU Na1， TIAN Dawei2

（1. Center of Health Administration and Development Studies， Hubei University of Medicine， Shiyan 442000， China；

2. Dongfeng Affiliated Hospital of Hubei University of Medicine， Shiyan 442000， China）

Abstract： The image fusion is an important way to improve the image quality， but the traditional algorithm is difficult to fuse the image effectively. In order to improve the quality of image fusion， an image fusion algorithm based on wavelet transform is proposed. Wavelet transform is performed for two original images to extract their wavelet coefficients. The different rules are used to fuse the wavelet coefficients at different levels， and then the wavelet transform is used to fuse the fused coefficients. The images with different types are adopted to test and analyze the image fusion results. The results show that the image after wavelet transform fusion is more natural and clearer， the proposed algorithm can improve the signal?to?noise ratio of the image， quicken the speed of image fusion， and can obtain more satisfactory image fusion effect than the comparing algorithms.

Keywords： image quality； wavelet transform； neural network； weighted fusion； signal?to?noise ratio； image fusion

0 引 言

當(dāng)圖像采集環(huán)境不理想時(shí)，采集單一的一幅圖像無(wú)法準(zhǔn)確地描述目標(biāo)信息，需要通過(guò)對(duì)目標(biāo)的多幅圖像進(jìn)行融合，以更加全面、準(zhǔn)確地描述目標(biāo)信息。圖像融合成為圖像處理的一個(gè)重要方面，在遙感、氣象等領(lǐng)域具有十分重要的實(shí)際應(yīng)用價(jià)值。為此，圖像融合算法的研究引起了人們的高度關(guān)注[1?3]。

針對(duì)圖像融合問(wèn)題，國(guó)內(nèi)外專家進(jìn)行了深入的分析。通常情況下，傳感器對(duì)同一個(gè)目標(biāo)的圖像信息進(jìn)行采集，并進(jìn)行去噪、歸一化等預(yù)處理操作，最后通過(guò)圖像融合算法實(shí)現(xiàn)信息互補(bǔ)，得到一幅比原圖像質(zhì)量更高的圖像[4?5]。最初采用單一傳感器進(jìn)行信息采集，但是單一傳感器的缺陷十分明顯，如分辨率、光譜等方面的不足。為了克服單一傳感器的局限性，當(dāng)前主要采用多個(gè)傳感器同時(shí)對(duì)目標(biāo)信息進(jìn)行采集，可以更加全面地反映目標(biāo)狀態(tài)，改善圖像質(zhì)量[6]。當(dāng)前圖像融合分為三個(gè)層次：第一個(gè)層次為像素級(jí)融合，也是最低層次的圖像融合，可以最大可能地保留原始信息，是當(dāng)前主要的研究方向；第二個(gè)層次為特征級(jí)融合，首先提取圖像的相關(guān)特征，如邊緣特征、紋理特征、顏色特征等，然后進(jìn)行融合，該類方法易丟失圖像中的重要信息，融合后的圖像失真比較嚴(yán)重[7?9]；第三個(gè)層次為決策級(jí)融合，是最高層次的圖像融合，也要提取圖像的特征，然后通過(guò)決策模塊進(jìn)行圖像融合，但工作過(guò)程復(fù)雜，不易實(shí)現(xiàn)。在圖像融合過(guò)程中，圖像融合算法的選擇最為關(guān)鍵，當(dāng)前圖像融合算法有很多，如金字塔分解、傅里葉變換等，它們對(duì)圖像進(jìn)行多尺度分解，然后根據(jù)不同尺度進(jìn)行相應(yīng)的圖像融合，但是它們也存在一定的不足，如分解尺度有限，無(wú)法使圖像融合達(dá)到最佳[10?11]。

針對(duì)傳統(tǒng)圖像融合算法存在的缺陷，為了改善融合后的圖像質(zhì)量，本文提出基于小波變換的圖像融合算法。測(cè)試結(jié)果表明，小波變換可以明顯改善圖像的信噪比，而且圖像融合的速度快，比采用其他方法得到的圖像融合效果更佳。

1 小波變換

相對(duì)于傅里葉變換，小波變換更加靈活，具有更強(qiáng)的自適應(yīng)能力，可以對(duì)圖像進(jìn)行不同分辨率的分解，便于對(duì)圖像進(jìn)行后期處理。

1.1 連續(xù)小波變換

小波變換通過(guò)一個(gè)母小波[ψ（t）]產(chǎn)生相應(yīng)尺度和位移函數(shù)，其定義如下：

[ψa，b（t）=1aψt-ba] （1）

式中[a]和[b]分別表示尺度因子和位移因子。

信號(hào)[f（t）]的小波變換可以定義如下：

[W（a，b）=Rψa，b（t）f（t）dt] （2）

[f（t）]的小波逆變換可以定義如下：

[f（t）=a=0+∞b=-∞+∞1CψW（a，b）ψa，b（t）dadb] （3）

式中：[Cψ=Rψ（ω）ωdω；][ψ（ω）]是[ψ（t）]的傅里葉變換。

連續(xù)小波變換要求a和b是連續(xù)變量，[f（t）]也是連續(xù)函數(shù)，而圖像是一種數(shù)字信號(hào)，難以滿足該條件，為此出現(xiàn)離散小波變換，導(dǎo)致小波系數(shù)的冗余度比較高。

1.2 離散小波變換

為了解決連續(xù)小波變換的不足，將a和b限制在一定的范圍，對(duì)它們進(jìn)行離散處理，具體為：

1） [a]的離散化，具體為：對(duì)[a]進(jìn)行冪級(jí)數(shù)化處理，即[a=am0，][a>0，]相應(yīng)的小波函數(shù)為[a-j20ψa-j0（t-b），][j=0，1，2，…]。

2） [b]的均勻離散，這樣[ψa，b（t）]變?yōu)椋?/p>

[a-j20ψa0-j（t-kaj0b0）=a-j20ψa0-jt-kb0] （4）

離散小波變換定義為：

[W（aj0，kb0）=ψaj0，kb0（t）f（t）dt，j=0，1，2，…，k] （5）

2 小波變換的圖像融合算法

2.1 圖像的小波分解

在小波變換中，Mallat算法是一種最常用的分解算法，圖像經(jīng)過(guò)Mallat算法分解后，可以表示為：

[Cj+1（m，n）=r∈Z c∈ZHr-2mHc-2nCjDHj+1（m，n）=r∈Z c∈ZGr-2mHc-2nCjDVj+1（m，n）=r∈Z c∈ZHr-2mGc-2nCjDDj+1（m，n）=r∈Z c∈ZGr-2mGc-2nCj] （6）

式中：[Hr]和[Hc]表示高通濾波器；[Gr]和[Gc]表示低通濾波器；r和c表示圖像的行和別；[Cj+1]表示圖像的低頻部分，也可以采用LL表示；[DHj+1，][DVj+1，][DDj+1]分別表示圖像在[x，][y，xy]方向的邊緣細(xì)節(jié)，即高頻部分，它們可以分別采用LH，HL，HH表示。

小波變換的三層分解原理可以采用圖1表示，第一次分解，可以得到4個(gè)子帶，其中3個(gè)為高頻子帶，1個(gè)為低頻子帶，下次分解只對(duì)低頻子帶進(jìn)行分解。

圖像重構(gòu)的二維Mallat算法為：

2.2 小波變換的圖像融合步驟

設(shè)原始待融合的2幅圖像為A和B，融合的圖像為F，圖像融合的步驟具體如下：

綜上可知，基于小波變換的圖像融合流程如圖2所示。

2.3 圖像融合的規(guī)則設(shè)計(jì)

在小波變換的圖像融合過(guò)程中，融合規(guī)則設(shè)計(jì)扮演著重要的角色，因?yàn)樾〔ㄏ禂?shù)對(duì)圖像融合結(jié)果越有利，那么為該小波系數(shù)提供的信息就越多。當(dāng)前圖像融合規(guī)則包括兩種：像素融合規(guī)則；窗口融合規(guī)則。其中，像素融合規(guī)則十分簡(jiǎn)單，但是融合結(jié)果不理想；窗口融合規(guī)則考慮了相鄰像素的相關(guān)性，可以得到豐富的細(xì)節(jié)信息，圖像視覺(jué)更佳，為此本文選擇窗口融合規(guī)則實(shí)現(xiàn)圖像融合。

設(shè)圖像A和B經(jīng)過(guò)[N]層的小波變換分解后，它們的最低頻子帶系數(shù)為[LAN（x，y）]和[LBN（x，y），][HAN（x，y）]和[HBN（x，y）]分別表示它們的最高頻子帶系數(shù)，[（x，y）]為系數(shù)的坐標(biāo)，[LFN（x，y）]和[HFi（x，y）]分別表示圖像融合的系數(shù)，那么對(duì)于最低頻子帶系數(shù)[LAN（x，y）]和[LBN（x，y），]其融合規(guī)則具體如下：

對(duì)于最高頻子帶系數(shù)[HAN（x，y）]和[HBN（x，y）]，可以得到：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)

為了分析小波變換的圖像融合算法的性能，選擇Matlab 2014作為仿真工具箱，編程實(shí)現(xiàn)圖像融合算法。實(shí)驗(yàn)平臺(tái)為： AMD 4核3.0 GHz CPU，隨機(jī)存儲(chǔ)器（RAM）的大小為16 GB，采用Unix作為軟件運(yùn)行系統(tǒng)。選擇待融合圖像如圖3，圖4所示。選擇文獻(xiàn)[12]的圖像融合算法在相同實(shí)驗(yàn)平臺(tái)下進(jìn)行對(duì)比測(cè)試，以驗(yàn)證小波變換的優(yōu)越性。

當(dāng)前判斷圖像融合結(jié)果的標(biāo)準(zhǔn)有很多，如基于人視覺(jué)效果的主觀指標(biāo)評(píng)價(jià)、客觀指標(biāo)評(píng)價(jià)。但單一的主觀評(píng)價(jià)結(jié)果或客觀評(píng)價(jià)結(jié)果都難以對(duì)圖像融合結(jié)果進(jìn)行全面、有效的評(píng)價(jià)，因此本文綜合考慮主觀和客觀兩個(gè)方面對(duì)圖像融合結(jié)果進(jìn)行描述?？陀^評(píng)價(jià)指標(biāo)為互信息、均方根誤差、相關(guān)系數(shù)，其中互信息用于描述原圖像和融合圖像之間信息的量，具體為：

式中：[PA（a）]表示圖像A的直方圖；[PB（b）]表示圖像B的直方圖。

均方根誤差主要反映融合圖像（F）和最理想圖像（R）之間的誤差，其定義如下：

式中[M]和[N]分別表示圖像的行和列。

相關(guān)系數(shù)主要用于刻畫(huà)融合后圖像和理想圖像之間的相關(guān)程度，具體定義為：

式中[I（x，y）]和[If（x，y）]分別表示融合后的圖像和理想圖像的灰度值。

3.2 結(jié)果與分析

小波變換對(duì)原始紅外圖像和原始Clock圖像進(jìn)行分解，然后分別對(duì)低頻子帶系數(shù)和高頻子帶系數(shù)進(jìn)行融合，得到的實(shí)驗(yàn)結(jié)果如圖5，圖6所示。從圖5，圖6可知，利用小波變換得到的融合后圖像視覺(jué)效果好，可以清楚地看到圖像中的目標(biāo)，而且相對(duì)于原始圖像，圖像邊緣細(xì)節(jié)信息得到增強(qiáng)，圖像對(duì)比度明顯改善。這是因?yàn)橥ㄟ^(guò)小波變換對(duì)圖像進(jìn)行細(xì)分，對(duì)不同層次的低頻子帶系數(shù)和高頻子帶系數(shù)采用不同規(guī)則進(jìn)行融合。而對(duì)比方法得到的融合圖像的對(duì)比度低，圖像模糊不清，圖像細(xì)節(jié)信息丟失十分嚴(yán)重，圖像清晰度難以滿足實(shí)際應(yīng)用要求，給圖像后續(xù)處理帶來(lái)不利影響。

統(tǒng)計(jì)融合圖像和理想圖像的均方根誤差和相關(guān)系數(shù)，同時(shí)計(jì)算原圖像和融合圖像之間的互信息，結(jié)果見(jiàn)表1。從表1可知，小波變換的均方根誤差較小，說(shuō)明圖像質(zhì)量、互信息值較高，表示在融合過(guò)程中，圖像丟失的細(xì)節(jié)信息較少，相關(guān)系數(shù)也得到了一定的提高，表示融合圖像和理想圖像之間的偏差很小；而對(duì)比方法的均方根誤差較大，相關(guān)系數(shù)和互信息值較小。對(duì)比結(jié)果表明，小波變換的圖像融合綜合性能要明顯優(yōu)于對(duì)比方法。

4 結(jié) 語(yǔ)

為了降低圖像融合的錯(cuò)誤，改善圖像質(zhì)量，以便于對(duì)圖像進(jìn)行后期處理，根據(jù)圖像融合的特點(diǎn)，本文提出基于小波變換的圖像融合算法，并對(duì)不同層次的小波系數(shù)采用不同的融合規(guī)則。結(jié)果表明，小波變換獲得了高質(zhì)量的圖像融合結(jié)果，與理想圖像之間的錯(cuò)誤相當(dāng)小，可以保留原始圖像中的一些重要信息，圖像過(guò)渡十分自然，為圖像效果增強(qiáng)提供了一種重要工具。

注：本文通訊作者為田大為。

參考文獻(xiàn)

[1] ALPARONE L， BARONTI S， GARZELLI A. Landsat ETM+ and SAR image fusion based on generalized intensity modulation [J]. IEEE transactions on geosciences and remote sensing， 2004， 42（12）： 2832?2842.

[2] 周浦城，韓裕生，薛模根，等.基于非負(fù)矩陣分解和IHS顏色模型的偏振圖像融合方法[J].光子學(xué)報(bào)，2010，39（9）：1682?1686.

ZHOU Pucheng， HAN Yusheng， XUE Mogen， et al. The method of polarization image fusion based on nonnegative matrix decomposition and IHS color model [J]. Acta photonica sinica， 2010， 39（9）： 1682?1686.

[3] 王宏，敬忠良，李建勛.一種基于圖像塊分割的多聚焦圖像融合方法[J].上海交通大學(xué)學(xué)報(bào)，2003，37（11）：1743?1750.

WANG Hong， JING Zhongliang， LI Jianxun. Multi focus image fusion using image black segment [J]. Journal of Shanghai Jiao Tong University， 2003， 37（11）： 1743?1750.

[4] CHEN Shaohui， ZHANG Renhua， SU Hongbo， et al. SAR and multispectral image fusion using generalized IHS transform based on atrous wavelet and EMD decompositions [J]. IEEE journals and magazines， 2010， 10（3）： 737?745.

[5] 張華，黃輝，劉邦明.結(jié)合Contourlet變換和區(qū)域特征的圖像融合算法[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（22）：160?162.

ZHANG Hua， HUANG Hui， LIU Bangming. Image fusion algorithm based on Contourlet transform and region features [J]. Computer engineering and applications， 2013， 49（22）： 160?162.

[6] 劉濤，張登福，何宜寶.基于區(qū)域分割和非下采樣輪廓波變換的多聚焦圖像融合算法[J].計(jì)算機(jī)應(yīng)用，2010，30（10）：2805?2807.

LIU Tao， ZHANG Dengfu， HE Yibao. Multi?focus image fusion algorithm based on region segmentation and nonsubsampled contourlet transform [J]. Journal of computer applications， 2010， 30（10）： 2805?2807.

[7] 牛佳.基于CVX和非負(fù)矩陣分解的圖像融合研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（20）：5311?5313.

NIU Jia. Study for image fusion based on CVX and non?negative matrix factorization [J]. Computer engineering and design， 2008， 29（20）： 5311?5313.

[8] 吳川，楊冬.改進(jìn)的多光譜雙邊濾波圖像融合[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（9）：1170?1175.

WU Chuan， YANG Dong. Improved multispectral bilateral filter video fusion algorithm [J]. Journal of image and graphics， 2013， 18（9）： 1170?1175.

[9] 張強(qiáng)，郭寶龍.基于非采樣Contourlet變換的遙感圖像融合算法[J].光學(xué)學(xué)報(bào)，2008，28（1）：74?80.

ZHANG Qiang， GUO Baolong. Remote sensing image fusion based on the nonsubsampled Contourlet transform [J]. Acta optica sinica， 2008， 28（1）： 74?80.

[10] 陳煥平，何明一，李旭.基于SWT區(qū)域?qū)Ρ榷认袼靥崛〉亩嗑劢箞D像融合[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（5）：865?870.

CHEN Huanping， HE Mingyi， LI Xu. Multi?focus image fusion using pixel extraction based on SWT regional contrast [J]. Journal of image and graphics， 2011， 16（5）： 865?870.

[11] 閆莉萍，劉寶生，周東華.一種新的圖像融合及性能的評(píng)價(jià)方法[J].系統(tǒng)工程與電子技術(shù)，2007，29（4）：509?513.

YAN Liping， LIU Baosheng， ZHOU Donghua. Novel image fusion algorithm with novel performance evaluation method [J]. Systems engineering and electronics， 2007， 29（4）： 509?513.

[12] 孫偉，郭寶龍，陳龍.非降采樣Contourlet域方向區(qū)域多聚焦圖像融合算法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2009，39（5）：1384?1389.

SUN Wei， GUO Baolong， CHEN Long. Multifocus image fusion algorithm based on directional window statistics in nonsubsampled Contourlet domain [J]. Journal of Jilin University （engineering and technology edition）， 2009， 39（5）： 1384?1389.