基于IE和AG 的小波圖像融合方法

王 勇，劉 雯

(吉林大學a.通信工程學院;b.數(shù)學學院，長春130012)

基于IE和AG 的小波圖像融合方法

王 勇a，劉 雯b

(吉林大學a.通信工程學院;b.數(shù)學學院，長春130012)

為客觀評價幾種小波融合圖像算法的優(yōu)劣，采用了基于信息熵(IE:Information Entropy)和平均梯度(AG:Average Grads)的融合圖像質(zhì)量評價方法。首先選取了兩組不同的源圖像，其中一組為曝光度不同的兩幅圖像，另一組是焦距不同的兩幅圖像。然后對圖像進行4層小波分解，低頻系數(shù)全部采用像素點平均值法進行融合，高頻系數(shù)分別運用區(qū)域絕對值最大法、像素點絕對值最大法、區(qū)域最大梯度法以及像素點平均值法4種小波系數(shù)融合規(guī)則進行小波圖像融合，最后分別比較了4種融合圖像的IE和AG值。實驗結(jié)果表明，將4種小波融合方法進行比較，基于像素點的最大絕對值法IE和AG值最大。對于曝光度不同的兩幅圖像，其IE為7.206 5 bit，AG為5.983 7×10-5，對于焦距不同的兩幅圖像，其IE為7.130 8 bit，AG為4.794 3×10-5?？梢?，4種融合規(guī)則相比較，基于像素點的最大絕對值法融合效果最好，從而驗證了該方法的有效性。

小波變換;圖像融合;信息熵;平均梯度

0 引 言

圖像融合技術(shù)是將多源信道得到的對于同一個對象的源圖像，利用一定的方法將其融合成一幅圖片?；谙袼攸c的算術(shù)平均的數(shù)字圖像融合方法是最原始的融合方式，其對比度很差，達不到要求。針對上述問題，部分專家使用了基于金字塔的方法，但效果仍不明顯。而小波變換屬于應用數(shù)學領(lǐng)域，它以傅立葉變換為基礎，繼承了傅氏變換的優(yōu)點，可將時域空域的問題轉(zhuǎn)化到頻域進行分析，同時克服了傅氏變換只能在宏觀上分析信號頻譜的缺點。小波變換卻像一個顯微鏡，有針對性地關(guān)注細節(jié)，因此，小波變換在圖像處理領(lǐng)域得到很好的應用。在圖像融合領(lǐng)域，小波變換憑借其具有良好的“顯微鏡”特性被廣泛應用。文獻［1-4］分別將小波變換應用于多聚焦圖像、壓縮感知、地震圖像的融合以及鎂溶液的弱小目標檢測中，均取得了良好的效果。目前，國內(nèi)外學者多聚焦于研究小波系數(shù)融合規(guī)則［5-9］。在文獻［10］的方法中，圖像的低頻部分采用基于區(qū)域平均能量加權(quán)算法的規(guī)則進行融合，高頻部分采用絕對值取大的規(guī)則進行融合。文獻［11］在低頻部分的處理中考慮了人眼的識別特性，人眼對不同的部分有不同的關(guān)注程度，給關(guān)注度高的部分較大的權(quán)值，關(guān)注度低的部分較小的權(quán)值。高頻部分則采用了局部最大方差法，很大程度上保留了圖像的邊緣。

筆者選取了兩組不同的圖像，一組為兩幅曝光度不同的圖像，另一組為兩幅焦距不同的圖像，低頻部分的系數(shù)矩陣由求像素點的平均值得到，高頻系數(shù)分別運用區(qū)域絕對值最大法、像素點絕對值最大法、區(qū)域最大梯度法以及像素點平均值法4種小波系數(shù)融合規(guī)則對兩幅源圖像進行了小波圖像融合，然后運用IE(Information Entropy，I)和平均梯度(AG:Average Grads，A)作為衡量標準，比較了4種融合圖像的質(zhì)量。

1 小波圖像融合基本原理

1.1 小波圖像融合

小波圖像融合方法是一種屬于像素級層次的融合方法。對于二維圖像，小波圖像融合的流程可概括為:首先進行源圖像的預處理，包括濾波和圖像配準。濾波的目的是為了去除源圖像的噪聲，以免對之后的融合產(chǎn)生干擾。圖像配準是為了圖像融合能準確地將有關(guān)信息得到更好的利用。再將經(jīng)過預處理的源圖像進行小波變換。把所有的源圖像進行若干層小波分解。每進行一層分解就能將圖像分解成一幅在低頻域內(nèi)的子圖像和3幅在高頻率域內(nèi)的子圖像，分別屬于水平，垂直與對角線3個方向。下一層的分解是在低頻子圖像的基礎上進行的。之后對變換后的各層圖像分別進行融合，每層可以使用相同或不同的融合方法。這也是小波變換的優(yōu)點之一。最后由逆變換得到融合后的圖像。

在圖像融合領(lǐng)域的應用中，主要會用到小波的二維Mallat算法。算法公式如下

其中c1(k，j)代表低頻子圖像，d1(k，j)代表高頻水平分量，d2(k，j)代表高頻垂直分量，d3(k，j)代表高頻對角線分量，下一層分解在低頻分量

基礎上進行。式(2)表明了小波分解的一般過程。

1．2 小波系數(shù)融合規(guī)則

1．2．1 低頻小波系數(shù)融合規(guī)則

在圖像中，低頻代表了灰度值沒有突變的部分，這部分信息包含的能量如下。

1)基于像素點的平均值法。基于像素點的平均值法是將多幅源圖像小波變換后獲得的低頻小波系數(shù)進行平均，將獲得的平均值作為融合后的低頻小波系數(shù)。

2)加權(quán)平均法。加權(quán)平均法是將每個低頻小波系數(shù)都乘以一個權(quán)值后再進行平均。該方法在抑制噪聲的同時降低了圖像的對比度。

1．2．2 高頻小波系數(shù)融合規(guī)則

高頻部分代表圖像中灰度變化較大的部分。經(jīng)過小波變換后，圖像的高頻分量是一些在0附近波動的值。值較大的點是亮度變化較大的點，這樣的點具有較顯著的特征。

1)基于區(qū)域的絕對值最大法?；趨^(qū)域的絕對值最大法是選擇某像素點和周圍3×3鄰域像素點小波系數(shù)絕對值最大的值作為該點的融合值。

2)像素點絕對值最大法。像素點絕對值最大值法是對小波系數(shù)的絕對值進行比較，選取最大的絕對值當作新的高頻系數(shù)

該方法能很好地反映圖像的細節(jié)信息，但可能會出現(xiàn)條紋，給人一種拼接的感覺，適用于源圖像所含有的高頻很豐富且比度非常高的情況，否則融合效果會顯得不真實。

3)基于區(qū)域的最大梯度法。以兩幅圖像的融合為例，基于區(qū)域的最大梯度法是先用源圖像小波分解后的系數(shù)矩陣在3×3鄰域內(nèi)的梯度最大值所對應像素的值代替中心值，得到新的系數(shù)矩陣▽A(x，y)和▽B(x，y)，然后每個位置都用二者的最大值作為融合后的系數(shù)矩陣值

4)像素點平均值法。像素點平均值法是對高頻系數(shù)矩陣中對應位置的系數(shù)進行平均

其中K表示源圖像數(shù)目，ck表示k個圖像的加權(quán)系數(shù)，(x，y)是第k幅的第J層小波分解系數(shù)，(x，y)是融合圖像第J層小波分解系數(shù)。

1．3 圖像融合的評價方法

圖像融合的方法有很多，對于同一個目標，使用不同的圖像融合算法得到的融合圖像的效果不同，往往需要對融合后的圖像效果進行評價，這就需要選擇圖像質(zhì)量評價的方法。

主觀評價是以定性的角度對圖像獲得的融合效果選擇評價標準的方法。主觀評價方法是將人肉眼的直接感覺作為標準。但由于人們對同一場景的關(guān)注點不同，也會隨著圖像的應用場景、用途不同而產(chǎn)生不同的評價結(jié)果。雖然主觀評價比較簡單，直觀，有效，但要得到較準確的評價結(jié)果需要大量的觀察人員，主觀性較強，會受到多種因素影響。因此，主觀評價方法只能在特定的應用場合予以采用。

客觀評價是以定量的角度對圖像獲得的融合效果選取評價標準的方法。主觀評價通常是采用下列指標的融合圖像評價，如IE，AG等。人們通常希望使用一種客觀并準確的方法進行評價，因此客觀評價方法得到廣泛的應用。

筆者采用的客觀評價指標為IE和AG。

1)IE。從所含信息量的角度看，融合后會有所增加，因此，可通過IE的變化評價融合圖像的效果。IE的值越高，融合效果越好。IE的定義如下

其中L為圖像總的灰度級，pi為不同的灰度值像素的概率分布。

2)AG。AG可以表示圖像的清晰度，還可用來表示圖像細節(jié)之間的差距。AG的定義如下

其中MN表示融合圖像的大小，Δxf(i，j)表示(i，j)位置像素在x方向的梯度，Δyf(i，j)表示(i，j)位置像素在y方向的梯度。

2 算法仿真

仿真程序使用Matlab R2013a版編寫。程序大致分為6個步驟。

第1步:設定參數(shù)。融合圖像數(shù)為2，小波分解的層數(shù)為4，彩色圖像的通道數(shù)為3。

第2步:作顏色空間變換，由RGB變?yōu)閅IQ。

第3步:對兩幅圖像在不同顏色上的分量實施小波分解。

第4步:在分解的各層分別處理得到的高頻和低頻小波系數(shù)。

第5步:選取系數(shù)。由于是在小波變換域上選取系數(shù)，雖然只是用亮度衡量，但也要對色度和飽和度分別進行小波分解，選取系數(shù)。

第6步:逆變換，評價融合結(jié)果。

其流程圖如圖1所示。

圖2是同一場景曝光度不同的兩幅源圖像，其不同高頻規(guī)則的處理結(jié)果如圖3所示。圖3中小波分解的層數(shù)設定為4層，融合圖像數(shù)設為2，顏色通道數(shù)為3，選取的小波基函數(shù)是4 dB，低頻分量的融合規(guī)則選取基于像素點的平均值法。圖3a高頻分量的融合規(guī)則選擇基于區(qū)域的絕對值最大法，圖3b高頻分量的融合規(guī)則選擇基于像素點的最大絕對值法，圖3c高頻分量的融合規(guī)則選擇基于區(qū)域的最大梯度值法，圖3d高頻分量的融合規(guī)則選擇基于像素點的平均值法。

圖1 算法流程Fig.1 Algorithm flow

圖2 曝光度不同的融合源圖像Fig.2 Underexposure sources images

圖3 圖2的不同高頻規(guī)則處理結(jié)果Fig.3 Resultswith different coefficients of fig.2

表1是圖3中不同高頻系數(shù)融合規(guī)則得到融合圖像的IE值和AG值。

圖4是同一場景焦距不同的兩幅源圖像，其不同高頻規(guī)則的處理結(jié)果如圖5所示。由圖4a可以看出，葉子比較清晰，花比較模糊;圖4b的花比較清晰，葉子比較模糊。圖5中小波分解的層數(shù)設定為4層，融合圖像數(shù)設為2，顏色通道數(shù)為3，選取的小波基函數(shù)是4 dB，低頻分量的融合規(guī)則選取基于像素點的平均值法。圖5a高頻分量的融合規(guī)則選擇基于區(qū)域的絕對值最大法，圖5b高頻分量的融合規(guī)則選擇基于像素點的最大絕對值法，圖5c高頻分量的融合規(guī)則選擇基于區(qū)域的最大梯度值法，圖5d高頻分量的融合規(guī)則選擇基于像素點的平均值法。

表1 圖3中不同高頻系數(shù)融合規(guī)則的評價參數(shù)Tab.1 Assessment result of fig.3

圖4 焦距不同的融合源圖像Fig.4 Out of focus sources images

圖5 圖4的不同高頻規(guī)則處理結(jié)果Fig.5 Resultswith different coefficients of fig.4

表2是圖5中不同高頻系數(shù)融合規(guī)則得到融合圖像的IE值和AG值。

表1和表2的實驗數(shù)據(jù)表明，4種小波融合方法比較，基于像素點的最大絕對值法IE和AG值最大。對于曝光度不同的兩幅圖像，其IE為7.206 5 bit，AG為5.983 7×10-5，對于焦距不同的兩幅圖像，其IE為7.130 8 bit，AG為4.794 3×10-5?？梢姡?種高頻小波系數(shù)融合規(guī)則相比較，基于像素點的最大絕對值法融合效果最好。

表2 圖5中不同高頻系數(shù)融合規(guī)則的評價參數(shù)Tab.2 Assessment result of fig.5

4 結(jié) 語

筆者針對不同曝光度和不同焦距的兩組圖片采用相同的算法流程做了小波圖像融合實驗，用IE和AG作為衡量圖和圖像質(zhì)量的指標，IE越大，圖像細節(jié)保留得越好;AG越大，圖像清晰度越高。通過對4種融合圖像的IE和AE值的比較驗證了該方法的有效性。

［1］李曉芬，金煒，安凱圣.基于小波變換和彩色變換的多聚焦圖像融合［J］.無線電通信技術(shù)，2015，41(2):85-88. LIXiaofen，JIN Wei，AN Kaisheng.Multi-Focus Image Fusion Based on Wavelet Transform and Color Transform［J］. Radio Communications Technology，2015，41(2):85-88.

［2］周四望，羅孟儒.順序小波包圖像壓縮感知方法［J］.湖南大學學報:自然科學版，2015，42(4):130-135. ZHOU Siwang，LUO Mengru.Sequential Image Compressed Sensing Based on Wavelet Packet［J］.Jounal of Hunan University:Natural Science，2015，42(4):130-135.

［3］王薇，薛笑容，單新建.多小波基的設計與地震圖像并行融合實現(xiàn)［J］.北京工業(yè)大學學報，2015，41(2):195-199. WANGWei，XUE Xiaorong，SHAN Xinjian.Design of a Multi-Wavelet and Research of Parallel Seismic Image Fusion［J］. Jounal of Beijing University of Technology，2015，41(2):195-199.

［4］張炳剛，許四祥，侍海東，等.基于小波變換圖像融合的鎂熔液弱小目標檢測［J］.安徽工業(yè)大學學報:自然科學版，2015，32(1):55-59. ZHANG Bingang，XU Sixiang，SHI Haidong，et al.Weak and Dim Target Detection Based on Image Fusion of Wavelet Transform in Magnesium Alloy Melt［J］.Journal of Anhui University of Technology:Natural Science，2015，32(1):55-59.

［5］ZHANG Peng，TANG Yingxun，LIANG Yanhua，et al.Multi-Focus Image Fusion Based on Wavelet Transformation［J］. Journal of Harbin Institute of Technology，2013(2):124-128.

［6］李亞春，武金崗，王凈，等.小波變換圖像融合規(guī)則性能的分析研究 ［J］.計算機工程與應用，2010，46 (8):180-182. LIYachun，WU Jingang，WANG Jing，et al.Analysis on Image Fusion Rules Based on Wavelet Transform［J］.Computer Engineering and Applications，2010，46(8):180-182.

［7］DU Jianhua，WANG Minghui，WU Zhenya.Multi-Focus Image Fusion Based on the Non-Subsampled Contourlet Transform［J］.Journal of Modern Optics，2012，59(15):1355-1362.

［8］LIU Kun，GUO Lei，CHEN Jingsong.Contourlet Transform for Image Fusion Using Cycle Spinning［J］.Systems Engineering and Electronics，2011，22(2):353-357.

［9］孔韋韋，雷英杰，雷陽.基于改進型NSCT變換的灰度可見光與紅外圖像的融合方法［J］.控制與決策，2010，25(11):1608-1612. KONGWeiwei，LEIYingjie，LEIYang.Fusion Method for Gray-Scale Visible Light and Infrared Images Based on Improved NSCT［J］.Control and Decision，2010，25(11):1608-1612.

［10］李新娥，班皓，任建岳，等.一種多傳感器圖像融合與數(shù)字水印技術(shù)［J］.液晶與顯示，2014，29(2):286-292. LIXin'e，BAN Hao，REN Jianyue，et al.Method of Multisensor Image Fusion and Digital Water Marking［J］.Chinese Journal of Liquid Crystals and Displays，2014，29(2):286-292.

［11］唐艷秋，張星祥，李新娥，等.基于人眼視覺灰度識別特性的圖像動態(tài)范圍小波變換處理方法［J］.液晶與顯示，2012，27(3):385-390. TANG Yanqiu，ZHANG Xingxiang，LI Xin'e，et al.Image Processing Method of Dynamic Range with Wavelet Transform Based on Human Visual Gray Recognition Characteristic［J］.Chinese Journalof Liquid Crystals and Displays，2012，27(3): 385-390.

(責任編輯:何桂華)

Wavelet Fusion Method Based on IE and AG

WANG Yonga，LIUWenb

(a.College of Communication Engineering;b.College of Mathematics，Jilin University，Changchun 130012，China)

In order tomeasure the performance of several wavelet-based image fusion methods，an image fusion assessmentmethod is used.Two types of source image are used to perform the experiments，four-level wavelet decomposition based method is used to assess the images.Low frequency coefficient of wavelet decomposition matrix is used to fuse images by pixel average valuemethod.Low frequency coefficient ofwavelet decomposition matrix is used to fuse images by pixel value method.Then the methods are studied by some experiments.The results show that the information entropy ofmaximum pixel value and average grads is greatest.The information entropy are 7.206 5 bit and 5.983 7×10-5bit for underexposure images，7.130 8 and 4.794 3×10-5bit for out of focus images.The proposed method gives the best performance in the experiments.

wavelet-let transform;image fusion;information entropy(IE);average grads(AG)

文獻標識碼:A

1671-5896(2015)04-0435-06

2015-05-26

國家自然科學青年基金資助項目(61201368)

王勇(1982— )，女，太原人，吉林大學講師，主要從事數(shù)字圖像處理研究，(Tel)86-13614409575(E-mail)Wang_yong8205 @163.com;通訊作者:劉雯(1958— )，女，長春人，吉林大學副教授，主要從事數(shù)學計算研究，(Tel)86-13756685571 (E-mail)liuwen@jlu.edu.cn。