基于DCT域紋理特征的多聚焦圖像融合

唐振華，梁聰，區(qū)騁，黃旭方，覃團發(fā)

1.廣西大學(xué)計算機與電子信息學(xué)院，南寧530004 2.廣西大學(xué)廣西高校多媒體通信與信息處理重點實驗室，南寧530004 3.中國鐵塔廣西區(qū)分公司，南寧530007

基于DCT域紋理特征的多聚焦圖像融合

唐振華1，2，梁聰1，區(qū)騁3，黃旭方1，覃團發(fā)1，2

1.廣西大學(xué)計算機與電子信息學(xué)院，南寧530004 2.廣西大學(xué)廣西高校多媒體通信與信息處理重點實驗室，南寧530004 3.中國鐵塔廣西區(qū)分公司，南寧530007

現(xiàn)有的基于離散余弦變換（discrete cosine transform，DCT）的多聚焦圖像融合算法容易使融合圖像出現(xiàn)塊效應(yīng)和偽影，為此提出一種基于DCT域紋理特征的圖像融合算法.該算法以8×8 DCT塊中反映能量方向性的紋理區(qū)域作為圖像融合單位，根據(jù)紋理區(qū)域的頻譜相似度，選擇能量較大的區(qū)域或以區(qū)域加權(quán)疊加的方式獲得融合區(qū)域.實驗結(jié)果表明，與現(xiàn)有基于DCT域的多聚焦圖像融合算法相比，該算法獲得的融合圖像主觀質(zhì)量較好，能有效避免明顯的塊效應(yīng)與偽影.

多聚焦；圖像融合；DCT域；紋理特征

在諸如無線視覺傳感器網(wǎng)絡(luò)（wireless visual sensor networks，WVSN）中，多個空間位置相鄰的傳感攝像頭監(jiān)測同一場景時將獲得多幅圖像或多個視頻序列，但這些圖像和視頻數(shù)據(jù)往往存在大量重疊和冗余.另外，由于傳感攝像頭聚焦的范圍有限，通常難以使場景中所有對象均清晰地成像.因此，將多個傳感攝像頭拍攝的圖像/視頻進行數(shù)據(jù)融合，不僅能夠產(chǎn)生清晰的圖像/視頻，而且能夠消除數(shù)據(jù)之間的冗余，提高信息的利用率，為圖像/視頻數(shù)據(jù)后期處理奠定基礎(chǔ).這種被稱為多聚焦圖像融合技術(shù)［1-5］已在醫(yī)學(xué)成像、目標(biāo)識別、衛(wèi)星遙感、氣象預(yù)測和交通等領(lǐng)域獲得應(yīng)用.

目前，絕大部分圖像和視頻內(nèi)容經(jīng)過JPEG、MPEG-X和H.26L等圖像和視頻壓縮標(biāo)準進行編碼后，以碼流的形式進行存儲和傳輸.這些圖像和視頻編碼標(biāo)準主要采用離散余弦變換（discrete cosine transform，DCT）技術(shù)，在DCT域進行量化和編碼操作.如果采用非DCT域的融合算法對壓縮圖像進行融合處理，必然涉及圖像的解碼、融合以及再編碼3個過程，計算復(fù)雜度較高，消耗和占用終端的資源較多.之前大部分多聚焦圖像融合算法主要集中在像素域［1-2］、小波域［3］、剪切波域［4］以及輪廓波域［5］，它們難以在實時要求較高的場合以及資源受限的無線終端上應(yīng)用.為了解決上述問題，文獻［6-9］考慮在DCT域上實現(xiàn)圖像融合，其過程不需要進行圖像的完全解碼和再編碼，不僅能大大降低處理的復(fù)雜度，減少終端資源的消耗，而且可以借助DCT域的特性獲得更好的融合效果.

現(xiàn)有的基于DCT域的多聚焦圖像融合算法可粗略地分為兩類：基于系數(shù)的融合［7］以及基于塊的融合［6，8-9］.第1類融合算法選擇DCT系數(shù)作為圖像的融合單位，其典型的工作主要有：文獻［7］提出了一種DCT域多聚焦圖像融合算法，選擇局部對比度較大的DCT系數(shù)作為融合圖像的系數(shù).與基于像素域和小波域的傳統(tǒng)算法相比，該算法能大大降低計算復(fù)雜度，但融合圖像容易出現(xiàn)對比度下降及偽影的情況.第2類融合算法則以8×8 DCT塊作為圖像融合的單位，其典型的工作有：文獻［6］選擇具有多數(shù)高頻系數(shù)的DCT塊進行融合，但在選擇DCT塊時容易出現(xiàn)誤判，繼而導(dǎo)致塊效應(yīng)的出現(xiàn).文獻［8］考慮到圖像的清晰區(qū)域具有較多的細節(jié)和較大的方差值，提出了一種基于DCT域方差的融合算法.該算法以8×8 DCT塊為單位，計算待融合源圖像的方差，并選擇方差較大的塊作為融合圖像的DCT塊，但融合圖像容易出現(xiàn)塊效應(yīng).文獻［9］提出了一種基于空間頻率的圖像融合算法，能獲得較好的客觀融合指標(biāo)，但因該算法以DCT塊為單位進行圖像融合，一旦出現(xiàn)誤判就容易出現(xiàn)塊效應(yīng)，影響融合圖像的主觀質(zhì)量.

為了解決上述問題，本文在分析待融合源圖像中DCT域紋理特征的基礎(chǔ)上，以8×8 DCT塊中反映能量方向性的紋理區(qū)域作為圖像融合單位，根據(jù)計算所得紋理區(qū)域頻譜相似度，選擇能量較大的紋理區(qū)域或以區(qū)域加權(quán)疊加的方式獲得最終的融合區(qū)域.實驗結(jié)果表明，本文提出的算法能有效地消除現(xiàn)有算法中存在的塊效應(yīng)和偽影，獲得較好的主觀融合質(zhì)量.

1　DCT域的紋理特征

文獻［10］在DCT域分別提取了清晰圖像與模糊圖像的紋理特征，得到的實驗結(jié)果表明：清晰圖像包含了較豐富的紋理信息，且紋理清晰；而模糊圖像僅包含較少的紋理信息，且紋理模糊.因此，可利用DCT域的紋理特征作為多聚焦圖像融合的依據(jù).

對圖像進行DCT變換后，不同區(qū)域的DCT系數(shù)往往代表特定方向的頻譜成分，即能量分布呈現(xiàn)方向性［11］.圖1是經(jīng)過8×8 DCT變換后不同區(qū)域系數(shù)的能量分布情況.其中，?0為DCT矩陣左上角系數(shù)，表示直流成分；?1表示圖像的垂直紋理區(qū)域，反映圖像水平方向上的頻率變化情況；?2表示圖像的對角紋理區(qū)域，反映了圖像對角方向上的頻率變化；?3表示圖像的水平紋理區(qū)域，反映圖像垂直方向上的頻率變化情況.注意，本文將?n（n=1，2，3）稱為DCT矩陣的紋理區(qū)域，簡稱紋理區(qū)域.

圖1　不同區(qū)域DCT系數(shù)的能量分布Figure 1 Energy distribution of DCT coefficients in different regions

2　算法描述

設(shè)d（k，l）表示8×8 DCT矩陣的系數(shù)，（k，l）為DCT系數(shù)所在的坐標(biāo)位置.為了降低DCT系數(shù)的變化對整個矩陣能量的影響，本文定義DCT矩陣中紋理區(qū)域?n的能量為

式中，M表示紋理區(qū)域?n中所包含的DCT系數(shù)的數(shù)目.

處理兩個多聚焦圖像融合時，可選擇能量較大的DCT紋理區(qū)域作為融合的結(jié)果.然而，當(dāng)兩個DCT紋理域能量相當(dāng)時，采用上述方法的效果并不理想.為了提高圖像融合的質(zhì)量，本文借鑒文獻［12］定義兩個窗口頻譜匹配程度的方法，給出了兩個DCT塊中紋理區(qū)域的頻譜相似度

綜上所述，本文提出的圖像融合算法的步驟如下：

步驟1對輸入的JPEG壓縮圖像I1和I2進行熵解碼和反量化，獲得DCT域的圖像數(shù)據(jù).

步驟2按順序分別取位置相同的8×8 DCT塊D1和D2作為圖像融合的輸入.

步驟3對于直流系數(shù)d（0，0），采用按比例加權(quán)的方式進行融合，即

式中，d1（0，0）和d2（0，0）分別表示D1和D2的直流系數(shù).

步驟4按式（3）分別計算兩個DCT塊中對應(yīng)紋理區(qū)域的頻譜相似度S，并執(zhí)行以下計算：

當(dāng)S≤T時

當(dāng)S＞T時

步驟5將獲得的直流系數(shù)d（0，0）和DCT紋理區(qū)域系數(shù)dn（k，l）組成融合后圖像的DCT系數(shù)矩陣.

步驟6返回步驟2，直至圖像中所有的8×8 DCT塊均處理完畢.

步驟7對融合后的DCT域圖像進行重新量化和熵編碼，獲得融合后的JPEG壓縮碼流.

需要注意的是，T是用于比較頻譜相似度S而設(shè)定的閾值.當(dāng)T趨向于0時，相當(dāng)于對融合圖像做平滑處理，即近似于均值融合.

3　實驗結(jié)果與分析

為了驗證算法的性能，本文利用MATLAB軟件對各種多聚焦圖像融合算法進行了實驗測試和性能比較，這些算法包括本文算法、Contrast算法［7］、Variance算法與加入一致性校驗的Variance算法（簡寫為Variance+CV）［8］、SF算法和加入一致性校驗的SF算法（簡寫為SF+CV）［9］.實驗采用兩類客觀標(biāo)準評價融合效果，第1類標(biāo)準不需要提供原始圖像，而第2類標(biāo)準則需要提供原始的參考圖像.在一些實際應(yīng)用中無法獲取參考的原始圖像，因而第1類評價標(biāo)準顯得尤其重要.本文采用此類的標(biāo)準包括：1）描述融合圖像F從輸入圖像A和B獲得的邊緣信息總量的QAB/F的指標(biāo)［13］；2）描述有多少圖像特征信息從輸入圖像轉(zhuǎn)入了融合圖像的特征互信息（feature mutual information，F(xiàn)MI）［14］.對于第2類評價標(biāo)準，本文主要采用衡量兩幅圖像結(jié)構(gòu)失真的結(jié)構(gòu)相似度（structural similarity，SSIM）［15］.經(jīng)過反復(fù)實驗發(fā)現(xiàn)，T取值為［0.85，0.95］時融合效果較好，因此以下實驗設(shè)定T=0.94.

表1比較了各種融合算法的QAB/F和FMI值.由表1可看出，本文算法的指標(biāo)均明顯優(yōu)于Contrast算法的指標(biāo)，但略低于使用塊融合的Variance和SF算法的指標(biāo).然而，從主觀視覺效果上看，本文方法明顯優(yōu)于上述其他算法.圖2和4分別為圖像Clock和Pepsi的待融合圖像以及采用各種算法處理后的融合圖像，圖3和5分別為圖像Clock和Pepsi融合后的局部放大圖.由圖2～5可看出，采用Contrast算法后的融合圖像會出現(xiàn)一些明顯的偽影，如圖3（a）和5（a）所示；采用Variance和SF算法會出現(xiàn)明顯的塊效應(yīng)，如圖2中的（b）～（e）以及圖4中的（b）～（e）所示.采用本文算法獲得的融合圖像沒有出現(xiàn)上述情況，這主要是因為本文算法沒有以系數(shù)或者以8×8塊為單位進行融合，而是以8×8塊中的紋理區(qū)域作為融合單位，有效避免了塊效應(yīng)和偽影的產(chǎn)生，因而獲得了更好的主觀質(zhì)量.此外，從反映算法復(fù)雜度的運行時間來看，本文算法明顯少于Contrast算法和SF算法，而略高于Variance算法.

表1　算法性能比較Table 1 Performance comparison of the proposed algorithm versus other methods

圖2　Clock待融合源圖像及融合圖像Figure 2 Source and fusion results for image Clock

圖3　Clock融合圖像的局部Figure 3 Some parts of fusion results for image Clock

圖4　Pepsi待融合源圖像及融合圖像Figure 4 Source and fusion results for image Pepsi

圖5　Pepsi融合圖像的局部Figure 5 Some parts of fusion results for image Pepsi

圖6是用于實驗測試的8個原始圖像，在實驗中對這8個圖像進行模糊處理以獲取相應(yīng)的多聚焦圖像組.表2比較了各算法獲得的8個對應(yīng)融合圖像的SSIM值.由表2可看出，本文算法的SSIM指標(biāo)均高于采用系數(shù)融合的Contrast算法的SSIM指標(biāo)，但略低于采用塊融合的Variance與SF算法的SSIM指標(biāo).其主要原因如下：在處理DCT的直流系數(shù)時，本文算法按比例取源圖像的加權(quán)值，塊融合方法在多數(shù)情況下取清晰圖像的系數(shù)值，直流系數(shù)包含了圖像的主要信息，因此本文算法的SSIM指標(biāo)會略低于Variance與SF算法的SSIM指標(biāo).

由于Variance與SF算法采用了以塊為單位的融合方式，得到的融合圖像明顯出現(xiàn)了塊效應(yīng).圖7和8比較了Airplane源圖像、融合圖像及局部放大區(qū)域，可以看出：采用Contrast算法獲得的融合圖像圖7（c）與8（a）出現(xiàn)了偽影；采用Variance與SF算法的融合圖像圖7（d）～7（g）以及圖8（b）～8（e）則出現(xiàn)了明顯的塊效應(yīng).上述情況表明，對于一些具有平緩背景或亮度變化不劇烈的圖像，Variance與SF算法的判定準則表現(xiàn)得不夠健壯，以致在選擇源圖像的清晰圖像塊和模糊圖像塊時容易出現(xiàn)誤判，從而使融合圖像出現(xiàn)較多塊效應(yīng).本文算法獲得的融合圖像圖7（h）與8（h）在整體比較光滑而清晰，獲得了較好的主觀融合效果.

圖6　測試圖像Figure 6 Images used for testing

表2　SSIM指標(biāo)比較Table 2 SSIM Comparison

圖7　Airplane待融合源圖像及融合圖像Figure 7 Source and fusion results for image Airplane

圖8　Airplane融合圖像的局部Figure 8 Some parts of fusion results for image Airplane

4　結(jié)語

本文在分析待融合源圖像中DCT域的紋理特征基礎(chǔ)上，提出了一種基于DCT域紋理特征的圖像融合算法.該算法以8×8 DCT塊中反映能量方向性的紋理區(qū)域作為圖像融合單位，計算出紋理區(qū)域的頻譜相似度，選擇能量較大的紋理區(qū)域或以區(qū)域加權(quán)疊加的形式獲得最終的融合區(qū)域.實驗結(jié)果表明，與現(xiàn)有的基于DCT域的多聚焦圖像融合算法相比，采用本文算法得到的融合圖像主觀質(zhì)量更好，能有效地避免明顯的塊效應(yīng)與偽影.

［1］LI S，YANG B.Multifocus image fusion using region segmentation and spatial frequency［J］. Image and Vision Computing，2008，26（7）：971-979.

［2］LI X J，WANG M H.Research of multi-focus image fusion algorithm based on Gabor filter bank［C］//Proceedings of 12th International Conference on Signal Processing，2014：693-697.

［3］TIAN J，CHEN L.Multi-focus image fusion using wavelet-domain statistics［C］//Proceedings of 17th IEEE International Conference on Image Processing，2010：1205-1208.

［4］GAO G R，XU L P，F(xiàn)ENG D Z.Multi-focus image fusion based on non-subsampled shearlet transform［J］.IET Image Processing，2013，7（6）：633-639.

［5］YANG Y，TONG S，HUANG S Y，LIN P.Multifocus image fusion based on NSCT and focused area detection［J］.IEEE Sensors Journal，2015，15（5）：2824-2838.

［6］PHAMILA Y A V，AMUTHA R.Discrete cosine transform based fusion of multi-focus images for visual sensor networks［J］.Signal Process，1995，95：161-170.

［7］TANG J.A contrast based image fusion technique in the DCT domain［J］.Digit Signal Process，2004，14（3）：218-226.

［8］HAGHIGHAT M B A，AGHAGOLZADEH A，SEYEDARABI H.Multi-focus image fusion for visual sensor networks in DCT domain［J］.Computers and Electrical Engineering，2011，37（5）：789-797.

［9］CAO L，JIN L，TAO H.Multi-focus image fusion based on spatial frequency in discrete cosine transform domain［J］.IEEE Signal Processing Letters，2015，22（2）：220-224.

［10］桑慶兵，齊會新，吳小俊，李朝鋒.基于DCT系數(shù)無參考模糊圖像質(zhì)量評價方法［J］.儀器儀表學(xué)報，2013，34（11）：2599-2604. SANG Q B，QI H X，WU X J，LI C F.No-reference image blur assessment method based on DCT coefficients［J］.Chinese Journal of Scientific Instrument，2013，34（11）：2599-2604.（in Chinese）

［11］黃祥林，沈蘭蓀.基于DCT壓縮域的紋理圖像分類［J］.電子與信息學(xué)報，2002，24（2）：216-221. HUANG X L，SHEN L S.Texture image classification based on DCT domain［J］.Journal of Electronics and Information Technology，2002，24（2）：216-221.（in Chinese）

［12］玉振明，毛士藝，高飛.用局部傅里葉變換進行圖像融合［J］.信號處理，2004，20（3）：227-230. YU Z M，MAO S Y，GAO F.Image fusion via localized Fourier transform［J］.Signal Processing，2004，20（3）：227-230.（in Chinese）

［13］XYDEAS C S，PETROVIC V.Objective image fusion performance measure［J］.Electronics Letter，2000，36（4）：308-309.

［14］HAGHIGHAT M，RAZIAN M A.Fast-FMI：non-reference image fusion metric［C］//IEEE 8th International Conference on Application of Information and Communication Technologies，2014：1-3.

［15］WANG Z，BOVIK A C，SHEIKH H R，SIMONCELLI E P.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13（4）：600-612.

（編輯：管玉娟）

Multi-focus Image Fusion Based on Texture Features in DCT Domain

TANG Zhen-hua1，2，LIANG Cong1，OU Cheng3，HUANG Xu-fang1，QIN Tuan-fa1，2
1.School of Computer and Electronics Information，Guangxi University，Nanning 530004，China 2.Guangxi Colleges and Universities Key Laboratory of Multimedia Communications and Information Processing，Guangxi University，Nanning 530004，China 3.China Tower Guangxi Branch Company，Nanning 530007，China

Exiting multi-focus image fusion methods based on discrete cosine transform（DCT）domain cause blocking effects and artifacts in the fused images.To address this problem，an image fusion algorithm concentrated on texture features in the DCT domain is proposed.The proposed method separates each 8×8 DCT block into several texture regions having various directivity of energy distribution in the source images.Similarity of the frequency spectra for the two texture regions are calculated.The part of the fused image is obtained by selecting the one with more energy，or using the weighted result. Experimental results show that the proposed algorithm can effectively reduce blocking effects and artifacts.Compared with exiting approaches in DCT domain，the proposed algorithm can provide fused images with better subjective quality.

multi-focus，image fusion，DCT domain，texture features

TP391

0255-8297（2015）06-0628-09

10.3969/j.issn.0255-8297.2015.06.006

2015-09-16；

2015-11-10

國家自然科學(xué)基金（No.61461006，No.61261023）；廣西省自然科學(xué)基金（No.2013GXNSFBA019271）資助

唐振華，博士，副教授，研究方向：圖像/視頻處理與編碼，E-mail：tangedward@126.com