基于NSCT的自適應多聚焦圖像融合算法

施文娟

（鹽城師范學院 物理科學與電子技術學院，江蘇 鹽城 224002）

圖像融合是指將兩幅或多幅包含不同信息的圖像融合成一幅信息量最大化的圖像，以獲得更多信息。傳統(tǒng)的圖像融合算法大體可以分成兩類[1-2]：一類在空間域上，對匹配后的源圖像直接進行加權平均處理，從而得到一幅新的融合圖像。這種方法簡單易行，但容易使得到的融合圖像產(chǎn)生明顯的人工拼接痕跡。另一類是基于變換的方法，該方法將多尺度變換作為抽取圖像顯著特征的工具，包括圖像金字塔分解的算法[3-4]、基于小波的方法[5-6]和基于非降采樣輪廓波變換NSCT（Nonsubsampled Contourlet Transform）[7]。隨著小波理 論的發(fā)展，小波分析逐漸成為圖像融合領域的研究熱點。但由于小波融合算法具有有限個方向，在水平、垂直、對角方向的缺乏使得小波變換不能充分利用圖像本身的幾何正則性，容易丟失圖像中的細節(jié)信息。

NSCT具有多尺度、方向性和平移不變性等特點，可以有效提取待融合圖像中的方向信息，使得融合后的圖像更好地滿足人眼的視覺要求。

本文主要研究多聚焦圖像的融合，將具有平移不變性的NSCT引入圖像融合，根據(jù)NSCT分解方向子帶特點[7]，提出一種新的基于局部區(qū)域特性的NSCT自適應多聚焦圖像融合算法。該算法基于局部均值和局部方差選擇低頻子帶系數(shù)，并在帶通方向子帶信息中引用局部方向?qū)Ρ榷茸鳛闇y量算子來選擇帶通方向子帶系數(shù)，改善融合后圖像模糊現(xiàn)象。實驗結果也驗證了該算法的有效性。

1 非降采樣輪廓波變換基本理論

4小波變換因其良好的時域和頻域局域性，被廣泛用作圖像多尺度幾何分析工具。但是小波變換難以表達二維圖像中邊緣的奇異性。針對小波變換在圖像處理中的缺陷，DO M N和VETTERLI M于2002年提出了一種新的圖像多尺度幾何分析工具——Contourlet變換[8]。Contourlet變換是在離散域中直接給出圖像的Contourlet變換定義，采用濾波器組實現(xiàn)圖像的多尺度、多方向分解。Contourlet變換將多尺度分析和多方向分析分開進行，首先使用拉普拉斯金字塔LP（Laplacian Pyramid）變換對圖像進行多方向分解，以捕獲圖像中的奇異點，然后對每一級LP分解所獲得的高頻分量采用方向濾波器組DFB（Directional Filer Bank）進行多方向分解，將同方向上的奇異點連接成輪廓段，從而實現(xiàn)對圖像的多尺度、多方向分解。但是，采用Contourlet變換對圖像進行分解和重構的過程中需要對圖像進行降采樣和上采樣操作，使得Contourlet變換缺少平移不變性。為此，CUNHA A L等人提出了一種具有平移不變特性的Contourlet變換——NSCT變換。

NSCT采用非降采樣塔式濾波器組 NSPB（Nonsubsampled Pyramid FilterBank）和非降采樣方向濾波器組 NSFB（Nonsubsampled Directional FilterBank）對圖像進行迭代分解。其結構如圖1所示，其理想頻域劃分示意圖如圖2所示。與Contourlet變換不同，NSCT去掉了LP分解和DFB分解中信號經(jīng)分析濾波后的下采樣抽取和綜合濾波前的上采樣插值，而是對對應的濾波器進行上采樣，再對信號進行分析濾波和綜合濾波。因此，所有的分解后的低頻和高頻子帶與輸入圖像大小相同，NSCT的完全平移不變性、多尺度和多方向擴展的特性應用到圖像融合中恰到好處，能夠更加有效地提取源圖像的輪廓特征，使融合過程中特征提取和處理更加方便，并可以在融合圖像中保留更多有效的原始特征，從而得到更優(yōu)的融合效果。

圖1 NSCT的結構圖

圖2 NSCT的理想頻域劃分示意圖

2 融合方法

多聚焦圖像的特點是每幅圖像的某一部分清晰，一部分模糊。本文針對這個特點，提出了一種基于NSCT的區(qū)域自適應多聚焦圖像融合算法，根據(jù)離焦光學系統(tǒng)成像原理以及人眼視覺特性，給出了各子帶圖像的融合規(guī)則。

2.1 融合步驟

（1）對配準好的圖像A、B分別進行NSCT分解，得到尺度系數(shù)和一系列帶通方向子帶系數(shù)；

（2）對A、B的低頻子帶系數(shù)和各帶通方向子帶系數(shù)應用不同的融合規(guī)則進行融合，得到融合后的系數(shù)；

（3）進行 NSCT反變換，得到融合圖像 F。

2.2 融合規(guī)則

由于NSCT變換分解后的低頻子帶信息和各帶通方向子帶信息具有不同的物理意義，因此在融合過程中，需要對圖像的低頻子帶信息和各帶通子帶信息加以區(qū)分，采用不同的融合算子和融合規(guī)則。融合規(guī)則如下：

2.2.1 低頻子帶信息融合規(guī)則

低頻子帶系數(shù)決定圖像的輪廓，因此，選擇低頻子帶系數(shù)在圖像融合中是非常重要的。一個合適的低頻子帶系數(shù)選取原則可以提高融合圖像的質(zhì)量。但是，在許多文獻中，低頻子帶系數(shù)的加權平均法是常用的選取原則[9-10]。這可能會降低圖像的對比度，并且會丟失一些有用的圖像信息源。本節(jié)提出基于局部均值和局部方差的低頻系數(shù)融合策略，局部方差反映了該局部區(qū)域內(nèi)圖像灰度變化的劇烈程度，在一定程度上反映了該局部區(qū)域內(nèi)圖像的清晰程度。

具體算法如下：

（1）把圖像A、B均分為若干 r×r的小區(qū)域。計算圖像A、B 的局部均值（x，y）和局部區(qū)域（u，v）中的像素點的標準方差σ（x，y），局部方差[11]是一個反映局部區(qū)域?qū)Ρ榷鹊臏y度信息，它不僅能消除背景的分布不均，同時能得到目標所在的大體位置。（x，y）和 σ（x，y）定義如下：

其中，式（1）中 f（i，j）為點（i，j）的灰度值，式（2）中 m、n為窗口的半徑。

（2）設定門限值 T，若 C（x，y）＞T，說明該區(qū)域中源圖像A比源圖像B清晰，低頻系數(shù)選取源圖像A的低頻系數(shù)；若 C（x，y）的值在-T～T之間，用加權平均的方法；若 C（x，y）＜-T，則選取源圖像 B 的低頻系數(shù)。

低頻子帶系數(shù)融合規(guī)則如下：

2.2.2 帶通方向子帶信息融合規(guī)則

帶通方向子帶信息的目的是盡最大可能來提取圖像中的細節(jié)信息。根據(jù)人眼對局部對比度比較敏感，結合NSCT的多方向和良好的頻域局部特性，在NSCT域中加入局部方向?qū)Ρ榷茸鳛闇y量算子，進行帶通方向子帶系數(shù)的選擇。

在尺度 j、方向 r（r=1，2，…，2lj，lj為尺度 j下的方向分解級數(shù)）、位置（x，y）處，圖像的局部方向?qū)Ρ榷榷x為：

其 中 ，dj，r（x，y）為 尺 度 j、方 向 r、 點 （x，y）處 的 帶 通 方 向子帶系數(shù)；cˉj（x，y）為相對于尺度 j的低頻子帶圖像 cj在點（x，y）處局部區(qū)域的均值。相應可得帶通方向子帶系數(shù)融合規(guī)則如下：

3 實驗結果及性能分析

為了驗證算法的性能，在NSCT TOOLBOX上進行了有效驗證，并與加權平均方法、小波融合方法和NSCT的融合算法進行了對比。

為了對實驗結果進行客觀的評價，實驗選取了一些結合標準圖像的評價方法對實驗結果進行評價。選取的客觀評價標準有信息熵（H）、均方根誤差（RMSE）、相似性度量（S）和峰值信噪比（PSNR）。

將多種不同的融合方法進行了對比，如圖3所示。從人眼視覺來看，加權平均算法損失了圖像的清晰度，比較模糊；小波算法和NSCT算法的細節(jié)雖然保留地比較完整，但是清晰度也有一定的損失，本文算法的結果的清晰度比其他算法的結果稍好。各項性能參數(shù)比較如表1所示。

表1 不同融合算法的性能比較

從表1可以看出，本算法獲得了更小的均方根誤差、更高的相似度和峰值信噪比，都優(yōu)于其他算法。從實驗結果可以看出，本算法有效保證了圖像的清晰程度（熵值較高），并有效地減少了圖像的失真。實驗結果表明，本算法是一種有效可行的融合方法。

本文在NSCT的基礎上，提出了一種基于區(qū)域特性的自適應多聚焦圖像融合算法，討論了各子帶系數(shù)的融合規(guī)則。從表1中可以看出，本算法能夠從源圖像中提取更多的有用信息。實驗結果從主觀和客觀方面與其他圖像融合方法進行了比較，證明了該方法的有效性。

圖3 各種方法的融合結果

[1]常霞，焦李成.基于非降采樣 Contourlet的多傳感器圖像自適應融合[J].計算機學報，2009，32（11）：1-15.

[2]Yang Xiaohui，Jiao Licheng.Fusion algorithm for remote sensing images based on nonsubsampled contourlet transform[J].Acta Automatica Sinica， 2008，34（3）：274-281.

[3]BURT P，ADELSON E H.The Laplacian pyramid as a compace image code[J].IEEE Transaction on communication，1983，31：532-540.

[4]TOET A， VAN RUYVEN L J， VELATON M.Merging thermaland visualimage by a constrastpyramid[J].Optional Engineering， 1989， 28：789-792.

[5]王麗，盧迪，呂劍飛.一種基于小波方向?qū)Ρ榷鹊亩嗑劢箞D像融合方法 [J].中國圖像圖形學報，2008，13（1）：145-150.

[6]孫巍，王柯，袁國良，等.基于復數(shù)小波域的多聚焦圖像融合[J].中國圖像圖形學報，2008，13（5）：951-957.

[7]CUNHA A L， ZHOU J P， DOM N.The nonsubsampled contourlet transform： theory， design， and applications[J].IEEE Transactions on Image Processing，2006，15 （10）：3089-3101.

[8]DO M N， VETTERLI M.The contourlet transform： an efficient directional multiresolution image representation[J].IEEE Trans Image Proc， 2005， 14（12）：2091-2106.

[9]Zhang Qiang，Guo Baolong.Fusion of multifocus images based on the nonsubsampled contourlet transform[J].Acta Photonica Sinica，2008， 37（4）：838-843.

[10]劉濤，張登福，何宜寶.基于區(qū)域分割和非降采樣輪廓波變換的多聚焦圖像融合算法 [J].計算機應用，2010，30（10）：2805-2807.

[11]劉曉紅，姜吉濤，周雪芹.基于局部方差的安全玻璃碎片自動檢測算法[J].測繪科學技術學報，2007，24（5）：374-376.