基于非下采樣Contourlet 變換和稀疏表示的紅外與可見光圖像融合方法

王珺，彭進業(yè)，何貴青，馮曉毅，閻昆

(1.西北工業(yè)大學 電子信息學院，陜西 西安710072;2.中國空間電子信息技術研究院，陜西 西安710000)

0 引言

紅外圖像是根據(jù)目標場景散發(fā)或反射的熱輻射信息成像，圖像整體反映目標場景的輪廓特征，細節(jié)信息不豐富，基本不受照明條件的影響?？梢姽鈭D像根據(jù)目標場景光譜反射特性成像，包含了場景的邊緣、紋理等豐富的細節(jié)信息，但是受場景照明的影響較大。將紅外與可見光圖像進行融合，可以充分利用其信息的互補性，更加全面、準確地描述場景信息，在國防、航空、遙感等領域有著重要的應用[1－2]。

近年來，基于非下采樣Contourlet 變換(NSCT)以其具有平移不變、多分辨率、多方向和各向異性的圖像表示能力[3]，并且能有效克服傳統(tǒng)小波變換不能處理2D 或更高維奇異性的問題，成功用于圖像融合領域并取得較優(yōu)的融合效果[4]。然而，在圖像融合問題中，研究人員希望提取的圖像表示系數(shù)具有優(yōu)秀的稀疏性與特征保持性，從而只需融合少量的系數(shù)就能獲得較優(yōu)的融合結果[5－6]。但是，經(jīng)NSCT 變換得到圖像低頻子帶系數(shù)近似為零項十分有限，即不能稀疏地表示圖像的低頻信息。若直接對其融合，不利于提取源圖像的特征。考慮到低頻子帶包含了圖像的主要能量，在很大程度上決定了融合結果的質(zhì)量，所以希望通過提高低頻子帶系數(shù)的稀疏度，以得到更優(yōu)的融合結果。

本文提出一種基于NSCT 和稀疏表示的紅外與可見光圖像融合方法。利用NSCT 有效捕捉源圖像低頻子帶與高頻方向子帶的信息。根據(jù)稀疏表示理論對低頻子帶系數(shù)稀疏地表示，再在其基礎上提取共有和特有系數(shù)，加以融合，以顯著提高融合效果。經(jīng)仿真驗證，該方法在主觀視覺效果和客觀評價方面均具有顯著優(yōu)勢。

1 NSCT 變化與稀疏表示

1.1 NSCT 及其構造

NSCT 是一種具有平移不變性和靈活的多尺度、多方向的圖像分解方法。NSCT 是將多尺度分解與方向分解分開進行:首先采用非下采樣金字塔(NSP)對圖像進行多尺度分解，得到不同尺度的子帶系數(shù);然后采用非下采樣方向濾波器組(NSDFB)對各尺度子帶系數(shù)進行方向分解，從而得到不同尺度、方向的子帶圖像(系數(shù))。圖1 為NSCT 示意圖。

圖1 NSCT 示意圖Fig.1 Schematic diagram of NSCT

NSCT 與Coutourlet 變換的區(qū)別在于NSCT 采用的是非子采樣金字塔和非子采樣DFB，NSCT 利用Z變換的等效移位性質(zhì)，去掉了LP 分解和DFB 分解中信號經(jīng)分析濾波后的下采樣以及綜合濾波前的上采樣，而改為對相應的濾波器進行上采樣，再對信號進行分析濾波和綜合濾波[7]。NSCT 所采用的二通道非子采樣濾波器組結構如圖2 所示。

圖2 NSCT 采用的雙通道非下采樣濾波器組結構Fig.2 Two－channel non－subsampled filter banks in NSCT

由圖3 可看出，圖像低頻子帶系數(shù)是非稀疏的，而高頻各個方向子帶系數(shù)都在零值附近波動，是近似稀疏的，并且能明顯觀察到高頻方向子帶的多方向性特點。

圖3 NSCT 對紅外圖像分解的示例Fig.3 Infrared image decomposition by NSCT

1.2 NSCT 域的稀疏表示

稀疏表示理論基于以下假設:自然信號可以由字典中少量原子的線性組合表示或近似表示。對給定的信號Y，可以用如下近似的方法找出其稀疏表示:

式中:Y∈Rn×m;D∈Rn×k為由紅外和可見光圖像的低頻子帶系數(shù)采用k－SVD 方法[8]共同學習得到字典，其中每一列稱作一個原子;α∈Rk×m為向量，‖α‖0表示向量α 中非零元素的個數(shù);ε 為允許偏差的精度，解決這個優(yōu)化問題的過程通常稱作稀疏編碼。

根據(jù)文獻[9]多尺度字典學習的思想，不僅可以在圖像域中訓練字典，也可以在變換的域中訓練字典。即(1)式可以等價地寫為

式中:WA為變換分析算子。(2)式說明，可以對NSCT 后的低頻子帶系數(shù)通過訓練字典的方式求解其稀疏表示，從而使其具有更優(yōu)秀的稀疏性與特征保持性。

2 圖像融合方法

2.1 基于聯(lián)合稀疏表示的低頻子帶系數(shù)融合

聯(lián)合稀疏表示是指所有來自同一個字典的信號，由他們共同的稀疏表示和各自特有特征的稀疏表示組成[10]。由于來自同一場景的紅外圖像與可見光圖像之間存在相關性，經(jīng)NSCT 后的系數(shù)也存在相關性，可以由統(tǒng)一的字典表示。因此每幅源圖像的系數(shù)Vi可以看做由兩部分組成:共有系數(shù)Vc，它包含于所有源圖像中;特有系數(shù)Vui，它只包含于相應一幅源圖像中。根據(jù)聯(lián)合稀疏表示理論，這兩部分可以分別用共有稀疏表示系數(shù)ac和特有稀疏表示系數(shù)aui表示，則有

所有源圖像NSCT 域系數(shù)的聯(lián)合稀疏表示為

為了求解最稀疏解，即使得a 最稀疏，估計(6)式:

式中:代價函數(shù)l0范數(shù)非凸且高度不可微，該優(yōu)化問題是一個NP 難問題，通?？紤]用近似解代替，本文采用較為常用的正交匹配追蹤(OMP)算法求解。

圖4 為提取共有和特有特征圖例。將源圖像非稀疏的低頻子帶系數(shù)，通過上述方法提取其稀疏表示形式，并用共有系數(shù)和特有系數(shù)表示。圖4(e)～圖4(g)分別為提取源圖像低頻子帶系數(shù)的特有和共有特征后再重構的圖像?？梢钥闯?，有效地提取出紅外低頻子帶中特有的人物和樹木輪廓與可見光低頻子帶中房頂?shù)缆返忍赜刑卣鳎约八麄児灿械慕ㄖΡ诤偷缆返忍卣鳌?/p>

圖4 提取共有和特有特征圖例Fig.4 Extraction the common and innovation features

融合的圖像應該集合各個源圖像的共有與特有特征，因此，為了考慮到所有源圖像對融合圖像的貢獻，融合圖像的低頻子帶系數(shù)應為共有特征與線性疊加的特有特征之和

式中:ni表示系數(shù)的活動因子，其反映了特征的能量大小，即重要程度

融合圖像低頻系數(shù)可以重構為

2.2 高頻方向子帶系數(shù)的融合

NSCT 不僅對圖像提供了多尺度分析，它的基還具有豐富的方向和形狀，能夠在高頻方向子帶上捕獲紅外與可見光圖像中的顯著特征，如邊緣、線性特征和區(qū)域邊界。由于高頻方向子帶的稀疏性，這些顯著特征在同一尺度所有方向子帶上都表現(xiàn)出較大的模值，而其他非顯著特征系數(shù)模值幾乎為0.所以根據(jù)每個像素同一尺度上的方向子帶信息足以區(qū)分并提取該像素上的細節(jié)信息。此外，由于紅外與可見光圖像在圖像細節(jié)上往往存在互補關系，如紅外圖像輪廓更加明顯而可見光圖像的紋理更加清晰。綜合上述因素，對高頻方向子帶系數(shù)采用如下融合策略。

將源圖像在尺度為2－l上的方向子帶信息定義為

如果源圖像A，如圖4(a)所示，在尺度2－l上像素位置(n，m)的方向子帶信息和大于等于源圖像B，如圖4(b)所示，即，那么選取源圖像A 在尺度2－l上(n，m)像素位置方向子帶系數(shù)作為融合圖像F，如圖4(f)所示，在相應位置上的NSCT 分解系數(shù)，所以高頻方向子帶的融合規(guī)則為

式中:0≤l≤L－1，1≤i≤2kl.

2.3 融合步驟

1)輸入紅外與可見光圖像，并分別對其進行NSCT 變化，分解成低頻子帶與高頻方向子帶。

2)對低頻子帶采用k－SVD 方法學習字典，再采用基于聯(lián)合稀疏表示的方法提取紅外與可見光圖像的特有特征(系數(shù))和共有特征(系數(shù))，并按照特有特征的權重對低頻子帶的稀疏表示系數(shù)進行融合;最后結合學習的字典與融合的稀疏表示系數(shù)，重構出融合圖像的低頻子帶系數(shù)。

3)對各個方向上的高頻子帶，按照(11)式對其進行融合。

4)對融合圖像F 的低頻子帶和各個尺度上的高頻方向子帶作NSCT 逆變換，得到最終的融合圖像F.

3 實驗結果與分析

將本文提出的方法與傳統(tǒng)基于DWT 的圖像融合方法、目前性能較為優(yōu)越的基于NSCT 圖像融合方法[4]、基于稀疏表示的圖像融合方法SOMP[5]及JSR 方法[6]進行比較。前2 種方法是基于變換域的方法，后2 種是基于圖像域稀疏表示的融合方法。實驗中采用圖像大小為240 像素×320 像素且經(jīng)過對準的紅外與可見光圖像，其中DWT 分解的小波類型為3 級db4 小波，NSCT 參數(shù)設置與文獻[4]相同，即“9 －7”塔形分解和“c－d”方向濾波器組，高頻層所取的方向數(shù)依次為24、23、22、21.稀疏表示的字典大小均為64 ×256，ε=0.01.

融合結果如圖5 所示，可看出，DWT 融合結果的房屋與周圍景物對比度減弱;NSCT 融合結果中樹木道路層次感較強，但是紋理不清晰，人物和房屋也不夠突出;SOMP 和JSR 人物較為突出，但對樹葉等紋理特征明顯的區(qū)域融合得過于平滑;本文方法則將欄桿、房屋、樹葉和道路等地物融合得更為清晰，人物也較為明顯，連貫性好，視覺效果最佳。

圖5 5 種方法的融合結果Fig.5 Fusion results by five methods

為了定量評價不同融合方法用于紅外和可見光圖像融合的性能，本文采用比較方法中指標均方根交叉熵(RCE)、QW、QE和Qabf進行評價[11－13]。其中，指標RCE 用來評價融合圖像與源圖像間的綜合差異，越小越好;QW為源圖像與融合圖像窗口加權的融合質(zhì)量評價;QE和Qabf分別從局部和整體反映了融合圖像融合源圖像邊緣的情況;Q0、QW、Qabf的值均在[0，1]之間，越接近1 表明融合質(zhì)量越好。

表1 為5 種融合方法的性能指標。從表1 可看出，相對于在變化域直接融合的方法DWT、NSCT 與在圖像域單尺度基于稀疏表示的方法SOMP、JSR，本文提出的方法既能對源圖像進行多尺度分析，又能進一步提高圖像表示系數(shù)的稀疏度，增強了融合圖像的細節(jié)表現(xiàn)能力，從源圖像提取更多的有用信息并加以融合，所以具有更優(yōu)的融合效果。

表1 5 種融合方法的性能指標Tab.1 Performance indices of the different fusion methods

4 結論

本文提出了一種基于NSCT 和稀疏表示的紅外與可見光圖像融合算法，針對NSCT 變化后包含圖像主要能量的低頻子帶稀疏度較差，不利于提取有用信息進行融合的問題，對低頻子帶系數(shù)學習字典，并提取紅外與可見光圖像的特有和共有特征，再按照特有特征系數(shù)活動水平賦予各個源圖像融合的權重進行融合。對稀疏度較好的高頻方向子帶系數(shù)采用同一尺度下方向子帶系數(shù)活動水平最大的策略融合。實驗結果表明，該方法同時具有NSCT 多尺度、多方向的特點和稀疏表示有效提取特征的特性，在主觀視覺效果與客觀評價指標上均取得了更優(yōu)的融合效果，是一種有效可行的融合方法。

References)

[1]Mahyari A G，Yazdi M.Panchromatic and multispectral image fusion based on maximization of both spectral and spatial similarities[J].IEEE Transactions on Geoscience and Remote Sensing，2011，49(6):1 －10.

[2]趙誠，付夢印，王立平.基于粒子群優(yōu)化的多分辨率圖像融合[J].兵工學報，2010，31(2):171 －176.ZHAO Cheng，F(xiàn)U Meng－yin，WANG Li－ping.Multi－resolution image fusion using particle swarm optimization[J].Acta Armamentarii，2010，31(2):171 － 176.(in Chinese)

[3]Do M N，Vetterli M.The coutourlet transform:an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing，2005，14(12):2091 － 2106.

[4]常霞，焦李成，賈建華.基于非下采樣Contourlet 的多傳感器圖像自適應融合[J].計算機學報，2009，32(11):2229 －2237.CHANG Xia，JIAO Li－cheng，JIA Jian－h(huán)ua，Multisensor image adaptive fusion based on nonsubsampled contourlet[J].Chinese Journal of Computers，2009，32 (11):2229 －2237.(in Chinese)

[5]Yang B，Li S T，Pixel－level image fusion with simultaneous orthogonal matching pursuit[J].Information Fusion，2012，1(13):10 －19.

[6]Yu N N，Qiu T S，Bi F.Image features extraction and fusion based on joint sparse representation[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1074 －1082.

[7]Cunha A L，Zhou J，Do M N.The nonsubsampled contourlet transform:theory，design，and applications[J].IEEE Transactions on Image Processing，2006，15(10):3089 －3101.

[8]Aharon M，Elad M，Bruckstein A.K－SVD:an algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54(11):4311 －4322.

[9]Ophir B，Lustig M，Elad M.Multi－scale dictionary learning using wavelets[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1014 －1024.

[10]Duarte M F，Sarvotham S，Baron D，et al.Distributed compressed sensing of jointly sparse signals[C]∥Computer Society.Conference Record of The Thirty－Ninth Asilomar Conference on Signals，Systems and Computers.US:Institute of Electrical and Electronics Engineers Computer Society，2005:1537 －1541.

[11]Piella G，Heijmans H，A new quality metric for image fusion[C]∥Proceedings of IEEE International Conference on Image Processing.Barcelona:IEEE，2003:173 －176.

[12]Petrovic V.Subjective tests for image fusion evaluation and objective metric validation[J].Information Fusion，2007，8(2):208 －216.

[13]Xydeas C S，Petrovic V.Objective image fusion performance measure[J].Electronics Letters，2003，6(4):308 －309.