基于NSCT與DWT的壓縮感知圖像融合

袁金樓，吳 謹(jǐn)，劉 勁

?

基于NSCT與DWT的壓縮感知圖像融合

袁金樓，吳 謹(jǐn)，劉 勁

（武漢科技大學(xué) 信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

針對(duì)基于非下采樣輪廓波變換（NSCT）的壓縮感知圖像融合算法，存在融合圖像局部細(xì)節(jié)信息表達(dá)不足的問題，提出一種基于NSCT與離散小波變換（DWT）的壓縮感知圖像融合算法。首先，對(duì)圖像進(jìn)行NSCT變換，得到低頻系數(shù)和高頻系數(shù)；然后，對(duì)高頻系數(shù)進(jìn)行壓縮融合，并通過重構(gòu)算法恢復(fù)融合的高頻系數(shù)；而對(duì)低頻系數(shù)，采取基于小波變換的融合方法；最后，對(duì)融合的高頻系數(shù)和低頻系數(shù)進(jìn)行NSCT逆變換，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明：本文算法使融合圖像的質(zhì)量，在主觀和客觀方面都得到了明顯改善，最終的融合圖像具有更多的細(xì)節(jié)特征和更清晰的邊緣輪廓。

非下采樣輪廓波變換；小波變換；壓縮感知；圖像融合

0 引言

圖像融合（Image Fusion）[1-2]是指將多個(gè)傳感器獲取的同一場景的圖像進(jìn)行融合，使融合后圖像有更加豐富的信息。該技術(shù)廣泛應(yīng)用于識(shí)別、軍事、醫(yī)學(xué)等領(lǐng)域。

通常在將圖像進(jìn)行融合之前，需要先對(duì)圖像進(jìn)行多分辨率分析。其中，DWT[3-4]和NSCT[5]是常用的兩種多分辨率圖像分析法。DWT是對(duì)基本小波的尺度和平移進(jìn)行離散化，具有多尺度性和局部性，能較好地捕捉到圖像的局部細(xì)節(jié)信息。但DWT只能將圖像進(jìn)行有限方向的分解，無法有效地提取圖像的邊緣輪廓信息。Cunha等人在輪廓波變換（CT）[6]的基礎(chǔ)上，去掉采樣操作，提出了NSCT。相對(duì)于小波變換，NSCT增添了各向異性和平移不變性，能夠分解出更多的方向信息。然而，NSCT捕捉細(xì)節(jié)的能力較弱，容易遺漏圖像的局部細(xì)節(jié)信息。

本文結(jié)合NSCT能將圖像進(jìn)行多方向分解，以及DWT能有效提取圖像局部細(xì)節(jié)信息的優(yōu)點(diǎn)，對(duì)基于NSCT的壓縮感知圖像融合算法進(jìn)行了改進(jìn)，提出了一種基于NSCT與DWT的壓縮感知圖像融合算法，使融合后的圖像既能較好地保留原圖像的邊緣輪廓信息，又能較好地保留原圖像的局部細(xì)節(jié)信息。

1 圖像的NSCT變換

圖1 圖像NSCT分解

2 CS理論

壓縮感知（CS）[8]是由Donoho等人提出。該理論指出，對(duì)可壓縮信號(hào)，以遠(yuǎn)小于Nyquist采樣率的標(biāo)準(zhǔn)來采集數(shù)據(jù)，然后通過非線性重構(gòu)算法，能夠恢復(fù)原信號(hào)。

假設(shè)一個(gè)實(shí)值有限長離散信號(hào)?R，可看作是一個(gè)×1維列向量，其中元素為[],＝1, 2, 3,…,。如果該信號(hào)是稀疏[9]的，那么就可以表示為公式(1)：

＝(1)

式中：是一個(gè)×的正交基，是一個(gè)僅含有個(gè)非零系數(shù)的×1維列向量，其中?。和是等價(jià)的，但屬于空間域或時(shí)間域，而屬于域。在CS理論中，沒有直接對(duì)進(jìn)行度量和編碼，而是采取了壓縮測量，即下式：

＝＝＝(2)

式中：?R；是×的測量矩陣；＝是×的投影矩陣?？梢钥醋飨∈栊盘?hào)；在投影矩陣下的測量值。

當(dāng)＜時(shí)，原信號(hào)的重構(gòu)成為一個(gè)求解欠定性方程組的問題。但當(dāng)投影矩陣滿足約束等距性（RIP）條件時(shí)，可將其轉(zhuǎn)化為1范數(shù)的最優(yōu)化求解問題，即下式：

CS的理論框架如圖2所示。

3 基于NSCT與DWT的壓縮感知圖像融合

基于NSCT與DWT的壓縮感知圖像融合算法流程圖如圖3所示。其主要思路是：首先，對(duì)原圖像進(jìn)行NSCT變換。然后，對(duì)高頻系數(shù)進(jìn)行壓縮融合，并通過重構(gòu)算法恢復(fù)融合的高頻系數(shù)。而對(duì)低頻系數(shù)，采取基于小波變換的融合方法。最后，對(duì)融合好的高低頻系數(shù)進(jìn)行NSCT逆變換，得到最終的融合圖像。

圖3 基于NSCT與DWT的壓縮感知圖像融合算法流程圖

基于NSCT與DWT的壓縮感知圖像融合算法的具體步驟如下：

Step 1：對(duì)經(jīng)過配準(zhǔn)的尺寸為×的圖像1和圖像2分別進(jìn)行NSCT變換，得到圖像1、2的低頻系數(shù)1(,)、2(,)以及高頻系數(shù)1(,)、2(,)，其中＝1, 2, …,，表示圖像進(jìn)行NSCT分解的級(jí)數(shù)。

Step 2：生成大小為×的測量矩陣。

Step 3：用測量矩陣，對(duì)圖像1、2的高頻系數(shù)1(,)、2(,)分別進(jìn)行采樣壓縮，結(jié)果如下式：

Step 4：對(duì)測量值1(,)和2(,)進(jìn)行融合，得到融合后的測量值M(,)。

Step 5：對(duì)融合后的測量值M(,)進(jìn)行重構(gòu)，得到融合的高頻系數(shù)D(,)。

Step 6：對(duì)低頻系數(shù)1(,)、2(,)，進(jìn)行基于小波變換的融合，即：首先對(duì)低頻系數(shù)進(jìn)行多層小波分解，得到高頻部分和低頻部分。然后按照一定的融合準(zhǔn)則，分別對(duì)高頻部分和低頻部分進(jìn)行融合。最后對(duì)融合后的高頻部分和低頻部分進(jìn)行小波逆變換，從而得到最終的融合低頻系數(shù)A(,)。

Step 7：對(duì)D(,)和A(,)進(jìn)行NSCT逆變換，從而得到最終的融合圖像。

4 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)分別采用基于DWT的壓縮感知圖像融合算法、基于NSCT的壓縮感知圖像融合算法和本文算法，對(duì)3類圖像進(jìn)行融合，并將結(jié)果對(duì)比分析。

實(shí)驗(yàn)中，基于DWT的壓縮感知圖像融合算法采用的小波基是“haar”，進(jìn)行的是單層分解。NSCT采用的金字塔濾波器是“9-7”，方向?yàn)V波器是“pkva”，多尺度分解級(jí)數(shù)為1，方向分解級(jí)數(shù)為2。3種算法的高頻系數(shù)融合采用的都是絕對(duì)值最大法。對(duì)于基于DWT的壓縮感知圖像融合算法和基于NSCT的壓縮感知圖像融合算法，低頻系數(shù)融合采用的都是取平均法。對(duì)于本文算法，低頻系數(shù)融合采用的是基于小波變換的融合方法。其中小波變換采用的小波基是“db6”，進(jìn)行的是3層分解。分解后的高頻部分融合采用的是絕對(duì)值最大法，低頻部分融合采用的是取平均法。本實(shí)驗(yàn)采用的測量矩陣是部分哈達(dá)瑪測量矩陣[10]，采樣率是0.5，恢復(fù)重構(gòu)算法是OMP[11]算法。

融合圖像的質(zhì)量是從主觀和客觀兩方面來進(jìn)行對(duì)比。主觀方面是看融合圖像的紋理、對(duì)比度、清晰度等?？陀^方面是通過圖像的客觀評(píng)價(jià)指標(biāo)來衡量融合圖像的質(zhì)量。本文采用的指標(biāo)包括信息熵（IE）、標(biāo)準(zhǔn)差（SD）、空間頻率（SF）和平均梯度（AG）[12-13]。

4.1 多聚焦圖像融合對(duì)比實(shí)驗(yàn)

多聚焦圖像融合是對(duì)同一場景不同聚焦圖像融合，使融合后圖像更加清晰。實(shí)驗(yàn)中右聚焦圖像和左聚焦圖像融合的結(jié)果如圖4所示。

圖4 多聚焦圖像融合

從主觀上分析，NSCT-DWT融合圖像相對(duì)于DWT融合圖像和NSCT融合圖像，時(shí)鐘的邊緣輪廓更加突顯，時(shí)鐘的刻度也更加清晰。

客觀評(píng)價(jià)指標(biāo)結(jié)果如表1所示。從表中可以看出，NSCT-DWT融合圖像在信息熵、標(biāo)準(zhǔn)差、空間頻率和平均梯度上，均優(yōu)于DWT融合圖像和NSCT融合圖像。相對(duì)于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了0.7%，標(biāo)準(zhǔn)差約提高了2.5%，空間頻率約提高了25.1%，平均梯度約提高了22.6%。

表1 多聚焦圖像融合的評(píng)價(jià)結(jié)果

4.2 紅外和可見光圖像融合對(duì)比實(shí)驗(yàn)

紅外和可見光圖像融合是將紅外圖像與可見光圖像融合，使融合后圖像包含更多有效信息。實(shí)驗(yàn)中將紅外圖像和可見光圖像進(jìn)行融合的結(jié)果如圖5所示。

從主觀上分析，NSCT-DWT融合圖像相對(duì)于DWT融合圖像和NSCT融合圖像，熱感人物更突出，背景信息更豐富，融合圖像的整體清晰度更好。

客觀評(píng)價(jià)指標(biāo)結(jié)果如表2所示。從表中可以看出，相對(duì)于DWT融合圖像和NSCT融合圖像，NSCT-DWT融合圖像在四項(xiàng)客觀評(píng)價(jià)指標(biāo)上都是最好的。相對(duì)于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了3.0%，標(biāo)準(zhǔn)差約提高了10.1%，空間頻率約提高了31.6%，平均梯度約提高了29.8%。

圖5 紅外和可見光圖像融合

表2 紅外和可見光圖像融合的評(píng)價(jià)結(jié)果

4.3 醫(yī)學(xué)圖像融合對(duì)比實(shí)驗(yàn)

在醫(yī)學(xué)上，常常需要將不同成像模式的醫(yī)學(xué)圖像進(jìn)行融合，以提供更加全面的病人信息，便于醫(yī)生準(zhǔn)確地進(jìn)行醫(yī)學(xué)診斷。實(shí)驗(yàn)中將CT圖像和MR圖像進(jìn)行融合的結(jié)果如圖6所示。

圖6 醫(yī)學(xué)圖像融合

從主觀上分析，NSCT-DWT融合圖像相對(duì)于DWT融合圖像和NSCT融合圖像，邊緣輪廓更加清晰，輪廓內(nèi)的細(xì)節(jié)信息得到了更好的保存。

客觀評(píng)價(jià)指標(biāo)結(jié)果如表3所示。從表中可以看出，NSCT-DWT融合圖像，在4項(xiàng)客觀評(píng)價(jià)指標(biāo)上，比DWT融合圖像和NSCT融合圖像都要好。相對(duì)于NSCT融合圖像，NSCT-DWT融合圖像的信息熵約提高了5.0%，標(biāo)準(zhǔn)差約提高了14.9%，空間頻率約提高了53.1%，平均梯度約提高了55.0%。

表3 醫(yī)學(xué)圖像融合的評(píng)價(jià)結(jié)果

4.4 實(shí)驗(yàn)分析

在上述實(shí)驗(yàn)中，本文算法在主觀和客觀方面，均優(yōu)于基于DWT的壓縮感知圖像融合算法和基于NSCT的壓縮感知圖像融合算法。其主要原因在于，DWT變換雖具有良好的局部化特性，但其無法將圖像進(jìn)行多方向分解；NSCT雖能夠有效地提取圖像的邊緣輪廓信息，但其對(duì)圖像局部細(xì)節(jié)信息表達(dá)不足。而本文算法結(jié)合了NSCT能夠分解出更多的方向信息，以及DWT能夠較好地捕捉局部細(xì)節(jié)信息的優(yōu)點(diǎn)，所以融合后圖像的質(zhì)量得到了明顯改善。

5 結(jié)論

NSCT雖具有良好的各向異性，但其對(duì)細(xì)節(jié)信息捕捉能力較差，而DWT具有較強(qiáng)的多分辨率和局部化特性，能較好地分解出圖像的細(xì)節(jié)信息，本文對(duì)基于NSCT的壓縮感知圖像融合算法進(jìn)行改進(jìn)，提出了基于NSCT與DWT的壓縮感知圖像融合算法。實(shí)驗(yàn)結(jié)果表明，本文算法使融合圖像具有更多的細(xì)節(jié)特征和更清晰的邊緣輪廓。該算法的不足之處在于耗時(shí)較長，如何降低其時(shí)間復(fù)雜度有待進(jìn)一步研究。

[1] 范文濤. 基于小波變換的圖像融合技術(shù)研究[D]. 鄭州: 河南大學(xué), 2010.

[2] Smith M I, Heather J P. Review of image fusion technology in 2005[C]//, 2005, 5782: 29-45.

[3] 楊文采, 施志群, 侯遵澤, 等. 離散小波變換與重力異常多重分解[J]. 地球物理學(xué)報(bào), 2001, 44(4): 534-541.

[4] Burrus C S, Gopinath R A, Guo H.[M]. New Jersey: Prentice hall, 1998.

[5] 邢雅瓊, 王曉丹, 畢凱, 等. 基于非下采樣輪廓波變換和壓縮感知的圖像融合方法[J]. 控制與決策, 2014, 29(4): 585-592.

[6] 練秋生, 陳書貞. 基于解析輪廓波變換的圖像稀疏表示及其在壓縮傳感中的應(yīng)用[J]. 電子學(xué)報(bào), 2010, 38(6): 1293-1298

[7] 吳巧玲, 倪林, 何德龍. 基于非下采樣 contourlet 變換的壓縮感知圖像重建[J]. 中國科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2012, 42(2): 87-91.

[8] Donoho D L. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[9] 薛模根, 劉存超, 徐國明, 等. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術(shù), 2013, 35(11): 696-701．

[10] 吳赟. 壓縮感知測量矩陣的研究[D]. 西安: 西安電子科技大學(xué), 2012.

[11] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[12] 王海暉, 彭嘉雄, 吳巍, 等. 多源遙感圖像融合效果評(píng)價(jià)方法研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2003, 25(7): 33-37.

[13] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評(píng)價(jià)[J]. 中國光學(xué), 2014, 7(3): 396-401.

Image Fusion Based on Compressed Sensing of NSCT and DWT

YUAN Jin-lou，WU Jin，LIU Jin

(,,438001,)

For lacking of details of image fusion based on compressed sensing of non-subsampled contourlet transform（NSCT）, an algorithm of image fusion based on compressed sensing of NSCT and discrete wavelet transform（DWT）is presented. First, the images are decomposed into high frequency coefficients and low frequency coefficients by NSCT. Then, the high frequency coefficients are compressed and fused. And the high frequency coefficients which are compressed and fused are reconstructed by a reconstructed algorithm. At the same time, the low frequency coefficients are fused based on DWT. Finally, the inverse transform of NSCT is used to recompose the high frequency coefficients and the low frequency coefficients to gain the final fusion image. Experimental results indicate that the proposed algorithm improves the fused images in terms of subjective and objective, and thefused images have more detail features and sharper edges.

NSCT，DWT，compressed sensing，image fusion

TP391.9

A

1001-8891(2015)11-0957-05

2015-04-11；

2015-06-15.

袁金樓（1990-），男，湖北省鄂州，碩士研究生，從事圖像融合研究工作。E-mail：245267263@qq.com。

高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金，編號(hào)：20124219120002；湖北省自然科學(xué)基金，編號(hào)：2014CFB815；湖北省教育廳科研計(jì)劃，編號(hào)：Q20131110。