基于NSCT 和卷積稀疏表示的紅外與可見光圖像融合*

魏亞南 曲懷敬 王紀(jì)委 徐 佳 張志升 謝 明 張漢元

（山東建筑大學(xué)信息與電氣工程學(xué)院 濟(jì)南 250101）

1 引言

紅外與可見光圖像融合是多傳感器圖像融合領(lǐng)域重要的研究內(nèi)容。紅外圖像具有全天候工作，抗干擾能力強(qiáng)的優(yōu)點(diǎn)，但同時存在對比度低、可視性差、等缺點(diǎn)。可見光圖像傳感器利用光的反射來獲取圖像，可見光圖像具有光譜信息和細(xì)節(jié)信息豐富、可視性好等特點(diǎn)，但是其抗干擾能力比較差，在光線模糊或霧霾天氣等情況下，可見光圖像的效果會比較差。由此可見，僅使用一種圖像傳感器不能完整的展現(xiàn)出現(xiàn)實(shí)場景中的全部內(nèi)容，因此需要將兩種圖像進(jìn)行融合，綜合兩者的的優(yōu)點(diǎn)，來獲取一幅圖像信息量豐富、視覺效果好的融合圖像。通常，對于同一場景，紅外與可見光圖像具有互補(bǔ)性，它們的融合結(jié)果能夠可靠和較好地保持源場景的顯著特性。目前，紅外與可見光圖像融合廣泛應(yīng)用于檢測、目標(biāo)識別、安全監(jiān)控、遙感等領(lǐng)域，而且在公安敏感目標(biāo)跟蹤識別、周界防護(hù)、事故鑒定取證等方面也發(fā)揮著重要的作用［1］。

近年來，在各類圖像融合領(lǐng)域提出了多種融合方法。一般來說，這些方法可分為兩大類：空域方法和變換域方法［6～7］。空域方法通常利用圖像塊或像素梯度信息來解決融合問題。這類方法通常更適用于源圖像來自同一類型傳感器的融合任務(wù)，例如，Aslantas［5］等提出一種通過使用差分進(jìn)化算法尋找最優(yōu)塊大小的多聚焦圖像融合方法，它有效地提升了融合圖像的質(zhì)量。在此類的紅外與可見光圖像融合方法中，基于像素加權(quán)平均的融合方法是比較常用的方法［2］。其基本思想就是將源圖像各個位置的像素值進(jìn)行加權(quán)平均，得到的值作為融合圖像的相應(yīng)位置的像素值。但是，由于這些方法直接對各個像素進(jìn)行處理，沒有充分考慮紅外圖像和可見光圖像的成像差異，因此在融合過程中丟失一些細(xì)節(jié)信息，從而造成最終的融合圖像對比度降低、融合效果不佳。對于這些不足之處，在本文研究中將得到改進(jìn)。

變換域方法是各類圖像融合中最常用的方法。變換域方法主要包括以下兩類：一是基于多尺度變換（MST）的方法，這些變換包括Contourlet 變換［7］、非下采樣輪廓波變換（NSCT）［3］、拉普拉斯金字塔（LP）［13］、Curvelet變換（CVT）［10］、離散小波變換（DWT）［14］和雙樹復(fù)小波變換（DTCWT）［15］等；二是基于稀疏表示的方法，包括卷積稀疏表示（CSR）［11］和自適應(yīng)稀疏表示（ASR）［12］等。然而，在基于多尺度變換的圖像融合方法中，通過拉普拉斯金字塔變換融合的圖像在某些區(qū)域容易模糊，從而丟失細(xì)節(jié)和邊緣信息；小波變換雖然在捕獲圖像的局部特征方面是有效的，但是由于其所刻畫的方向信息不足，因此融合圖像的邊緣容易模糊和出現(xiàn)偽影；Curvelet變換在保留圖像邊緣和輪廓信息方面是有效的，但在表示融合圖像某些局部信息方面存在不足；NSCT 變換雖然在描述方向性信息方面優(yōu)于小波變換，且解決了Contourlet 變換缺乏平移不變性的問題、以及基本消除了偽吉布斯偽影，但是在細(xì)節(jié)信息捕獲方面表現(xiàn)不佳，并容易導(dǎo)致融合圖像中對比度信息的損失。在基于稀疏表示的圖像融合方法中，普遍存在細(xì)節(jié)保留能力有限的問題。雖然基于CSR 的融合方法解決了圖像融合中的細(xì)節(jié)模糊問題，但通過CSR進(jìn)行紅外與可見光圖像的融合會導(dǎo)致低對比度和低亮度區(qū)域出現(xiàn)［17］。而且，這種方法通常只應(yīng)用“平均規(guī)則”和“方差規(guī)則”來融合基本層或細(xì)節(jié)層，因此容易造成融合圖像模糊、對比度降低。對于上述方法的主要不足，本文研究將進(jìn)行改進(jìn)。

為了解決上述圖像融合方法中存在的細(xì)節(jié)信息丟失的不足，特別是紅外與可見光圖像融合時所出現(xiàn)的細(xì)節(jié)模糊、對比度低等問題，本文提出了一種基于NSCT、CSR 和導(dǎo)向?yàn)V波（GF）的紅外與可見光圖像融合方法。首先，源圖像通過采用NSCT 分解為高頻子帶和低頻子帶。然后，低頻子帶采用CSR 來表示，以更好地保持細(xì)節(jié)，并按照choosemax 規(guī)則對低頻子帶系數(shù)進(jìn)行融合。同時，通過導(dǎo)向?yàn)V波對高頻子帶進(jìn)行結(jié)構(gòu)信息優(yōu)化，以更好地保留高頻子帶的細(xì)節(jié)信息，并通過選擇最大值策略進(jìn)行高頻子帶系數(shù)的融合。最后，通過逆NSCT 變換得到融合圖像。本研究針對三組典型的紅外與可見光源圖像進(jìn)行融合實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了本研究可以較好地克服基于NSCT融合方法存在的細(xì)節(jié)捕捉能力不足、以及基于SR 融合方法存在的細(xì)節(jié)保留能力有限和對誤配準(zhǔn)的敏感性高的缺點(diǎn)，并驗(yàn)證了本文方法的有效性和可行性。

2 相關(guān)工作

2.1 NSCT變換

非下采樣Contourlet 變換（NSCT）是在Contourlet 變換的基礎(chǔ)上提出的［2］。它不僅具有Contourlet變換的多尺度和多方向特性，而且還具有平移不變性。通常，在基于多尺度變換域進(jìn)行圖像融合時，NSCT 能夠有效地克服Contourlet 變換所引起的偽吉布斯效應(yīng)，因而廣泛應(yīng)用于紅外與可見光圖像融合領(lǐng)域。具體地，NSCT 的分解結(jié)構(gòu)示意圖如圖1所示。

圖1 非下采樣Contourlet變換的組成框圖

NSCT 的基本結(jié)構(gòu)分為非下采樣金字塔（Non-subsampled Pyramid，NSP）分解和非下采樣方向?yàn)V波器組（Non-subsampled Directional Filter Bank，NSDFB）兩部分。首先，源圖像采用NSP進(jìn)行多尺度分解，在第一層得到低通子帶圖像L1 和高通子帶圖像H1。然后，將高通子帶圖像H1 通過NSDFB 分解為多個方向的帶通子帶圖像，這樣源圖像就實(shí)現(xiàn)了多方向的分解。最后，對每層的低通子帶圖像重復(fù)上述操作，從而實(shí)現(xiàn)源圖像的多尺度、多方向子帶分解［19］。另一方面，NSCT的重建過程與分解過程可逆，在此不再贅述。由圖1 可見，在NSCT 對源圖像進(jìn)行分解的過程中，由于沒有經(jīng)過采樣操作，因此它具有平移不變性，并能較好地避免吉布斯偽影的出現(xiàn)；同時，所有方向子帶圖像的大小與源圖像相同。

2.2 卷積稀疏表示

卷積稀疏表示可以看作是傳統(tǒng)稀疏表示的卷積形式，卷積稀疏表示可實(shí)現(xiàn)對整幅圖像的優(yōu)化處理，這樣就可以得到整幅圖像，而不是部分稀疏表示的圖像塊。其基本思想是把圖像看作一組系數(shù)映射和一組字典濾波器之間的卷積和。卷積稀疏表示模型通?？擅枋鰹椋?］

式中，*表示卷積算子；S表示整幅圖像；λ為此模型的正則化參數(shù)，{dm}為M 個字典濾波器的集合，m∈{1,2…,M} ；{Xm}為稀疏系數(shù)集合。由于CSR是一種有效的全局圖像表示形式，因此相比于SR，它可以使紅外與可見光圖像在融合的過程中保留更多的邊緣和紋理細(xì)節(jié)信息。

2.3 導(dǎo)向?yàn)V波

導(dǎo)向?yàn)V波器（GF）［16］是近期提出的一種非常有效的邊緣保持濾波器，且其計(jì)算時間對濾波器的大小不敏感。導(dǎo)向?yàn)V波器的工作原理可用式（2）的局部線性模型表示。

式中，I 表示引導(dǎo)圖像；Q 表示濾波器輸出；wk為以像素k 為中心的局部窗口，其半徑用r 表示；ak和bk為模型的待定線性系數(shù)。通常，系數(shù)ak和bk可根據(jù)最小化式（3）所定義的準(zhǔn)則函數(shù)，由線性嶺回歸方法計(jì)算得到，如式（4）和（5）所示。

式中，Pi表示輸入圖像；Pˉk為局域窗口wk中Pi的平均值；μk和δk表示引導(dǎo)圖像I 在局域窗口wk中的平均值和方差；ε為正則化參數(shù)，用來描述導(dǎo)向?yàn)V波后圖像的模糊度；|w|為窗口wk中的像素?cái)?shù)。

與其他保邊緣濾波器相比較，導(dǎo)向?yàn)V波器是一種快速的線性濾波模型。由于它具有保真的幾何結(jié)構(gòu)遷移和平滑的邊緣保持等顯著特點(diǎn)，因此在圖像融合等領(lǐng)域得到了廣泛的應(yīng)用［18］。

3 提出的融合方法

通常，基于NSCT 變換的圖像融合策略為采用最大絕對值準(zhǔn)則對高頻NSCT 分量進(jìn)行融合，采用“平均”準(zhǔn)則對低頻NSCT 分量進(jìn)行融合。然而，由于可見光圖像和紅外圖像具有不同的成像機(jī)制，低頻分量的平均可能導(dǎo)致部分能量信息損失，從而降低融合圖像的對比度。而基于SR 的圖像融合方法細(xì)節(jié)保留能力有限，容易導(dǎo)致融合圖像模糊和出現(xiàn)較多的偽影。雖然基于CSR 的圖像融合方法解決了融合圖像中的細(xì)節(jié)模糊問題，但其用于紅外與可見光圖像融合時會導(dǎo)致對比度和區(qū)域亮度降低。為了很好地解決上述問題，并結(jié)合NSCT 變換和CSR 互補(bǔ)的優(yōu)點(diǎn)，本文首先運(yùn)用NSCT 變換對圖像進(jìn)行多尺度、多方向分解，即把每個源圖像都分解成低頻子帶部分和高頻子帶部分；然后，結(jié)合GF和CSR 模型，針對不同的子帶部分運(yùn)用不同的融合規(guī)則進(jìn)行融合；最后，融合后的低頻子帶部分和高頻子帶部分通過逆NSCT 變換進(jìn)行重構(gòu)，最終得到融合圖像。本文提出的具體融合方案如圖2所示。

根據(jù)圖2 所示的圖像融合方案，本文采取的詳細(xì)融合步驟如下。

圖2 本文提出的融合方案

1）采用NSCT 變換分解源圖像，分別得到低頻和高頻子帶。

2）高頻子帶系數(shù)的融合結(jié)合導(dǎo)向?yàn)V波GF，采用選擇最大值法。首先，對高頻子帶進(jìn)行導(dǎo)向?yàn)V波處理，即將高頻子帶作為導(dǎo)向?yàn)V波的輸入而獲得濾波圖像；然后，采用“choose-max”策略得到融合后的高頻子帶系數(shù)。

3）低頻子帶系數(shù)的融合選用CSR 融合方法。首先，將兩個源圖像的低頻子帶分別用CSR 表示。其中，稀疏系數(shù)圖Ck,m可以通過最優(yōu)化計(jì)算式（6）的CSR模型得到。

4）通過選用適當(dāng)?shù)哪鍺SCT 變換，對融合后的高頻和低頻子帶部分進(jìn)行重構(gòu)，以便得到最終的融合圖像。

4 實(shí)驗(yàn)與討論

4.1 融合性能的評價指標(biāo)

為了綜合評價不同圖像融合方法的性能，采用定性和定量比較機(jī)制是非常必要的。在本文中，定性分析采用融合圖像的主觀效果比較。而定量分析采用公認(rèn)的信息熵、平均梯度、均方差、標(biāo)準(zhǔn)差、峰值信噪比和結(jié)構(gòu)相似度（SSIM）等六個客觀評價指標(biāo)進(jìn)行比較。其中：

1）信息熵（E）用來描述圖像所包含平均信息量的大小。其值越大，表明信息量越豐富。信息熵的定義為

式中，f（x，y）為圖像在（x，y）處的像素的灰度值，M×N為圖像尺寸。μF為圖像的平均灰度值。

4）峰值信噪比（PSNR）反映圖像的失真情況。其值越大，代表圖像失真越小，圖像融合的效果越好。峰值信噪比的定義為

式中，μ為圖像的平均灰度值，σ為圖像的標(biāo)準(zhǔn)偏差，C1，C2為常數(shù)。

4.2 定性的融合性能比較

本文將選用三組典型的紅外與可見光圖像數(shù)據(jù)進(jìn)行融合實(shí)驗(yàn)，以驗(yàn)證所提出的融合方法的有效性和可行性。通常，融合性能優(yōu)劣的定性分析是根據(jù)融合圖像的主觀效果進(jìn)行評價。因此，為了更好地對本文方法的融合效果進(jìn)行定性評價，對三組源圖像分別采用導(dǎo)向?yàn)V波的方法（GF）［18］、卷積稀疏表示的方法（CSR）［11］、雙樹復(fù)小波與卷積稀疏表示相結(jié)合的方法（DTCWT-CSR）［17］、基于NSCT 變換與稀疏表示通用融合框架的方法（NSCT-SR）［16］、基于離散小波變換與稀疏表示通用融合框架的方法（DWT-SR）［16］和本文提出的方法實(shí)施融合實(shí)驗(yàn)，并進(jìn)行對應(yīng)的融合圖像主觀效果比較。

第一組實(shí)驗(yàn)采用的紅外與可見光源圖像如圖3（a）和（b）所示。具體的融合實(shí)驗(yàn)結(jié)果如圖3（c）～（h）所示。

圖3 針對第一組實(shí)驗(yàn)的融合圖像效果比較

在本組實(shí)驗(yàn)中，圖3（a）、（b）分別為紅外與可見光源圖像“樹葉”。由圖3（a）、（b）可見，在“樹葉”圖像的矩形塊區(qū)域中，可見光圖像保留了樹葉的圖像信息，但導(dǎo)致低目標(biāo)對比度，這使得難以區(qū)分圖中矩形目標(biāo)；而紅外圖像高亮顯示目標(biāo)，但目標(biāo)左側(cè)的一些葉子沒有呈現(xiàn)清楚。圖3（c）～（h）是由上述各種方法分別得到的融合圖像。由圖可見，本文方法所得到的融合圖像可以清楚地看到融合了兩幅源圖像的細(xì)節(jié)信息及陰影部分，尤其是在左上方的樹葉輪廓及信息呈現(xiàn)的結(jié)果比其他幾種方法融合的圖像更加清晰。因此，從視覺效果來看，由本文方法得到的融合圖像比源圖像更具有可視性，也比其他方法得到的融合圖像具有優(yōu)越性。

第二組實(shí)驗(yàn)采用的可見光與紅外源圖像如圖4（a）、（b）所示。具體的融合實(shí)驗(yàn)結(jié)果如圖4（c）～（h）所示。

圖4 針對第二組實(shí)驗(yàn)的融合圖像效果比較

在本組實(shí)驗(yàn)中，圖4（a）、（b）分別為可見光與紅外源圖像“樹林”。由圖4（a）、（b）可見，在“樹林”圖像的矩形塊區(qū)域中，紅外圖像保留了樹林的圖像信息，但導(dǎo)致目標(biāo)對比度低，這使得難以區(qū)分圖像中白色板與后方的樹林；而可見光圖像中白色板的信息比較明顯，但在圖像中后面的一些樹木的信息呈現(xiàn)得比較模糊。圖4（c）～（h）是幾種不同融合方法針對這兩種源圖像而得到的融合圖像。由圖可見，GF 和DTCWT-CSR 方法融合的圖像僅強(qiáng)調(diào)目標(biāo)周圍的紅外信息，導(dǎo)致圖中的矩形塊區(qū)域與后方的樹林有些難以區(qū)分；CSR和DWT-SR方法產(chǎn)生的融合圖像在圖像上方天空顯示一些“補(bǔ)丁”，而NSCT-SR 方法保留了兩幅源圖像白色板的信息，但其在融合圖像中的呈現(xiàn)卻是扭曲的。相比較地，本文方法得到的融合圖像既保留了可見光圖像中白色板的信息和紅外圖像中樹林的信息，又提高了對比度，從而可以清楚地區(qū)分出白色板和樹林。因此，本文提出的方法在融合圖像的視覺效果上比其他幾種方法更具有優(yōu)越性。

第三組實(shí)驗(yàn)采用的可見光與紅外源圖像如圖5（a），（b）所示。具體的融合實(shí)驗(yàn)結(jié)果如圖5（c）～（h）所示。

圖5 針對第三組實(shí)驗(yàn)的融合圖像效果比較

在本組實(shí)驗(yàn)中，圖5（a）、（b）分別為可見光與紅外源圖像“Kayak”。由圖5（a）、（b）可見，在“Kayak”圖像的中，可見光圖像保留了馬路、馬路邊欄桿及遠(yuǎn)處佛塔的細(xì)節(jié)信息，而紅外圖像房屋的信息比較清楚，但是遠(yuǎn)處的佛塔及馬路邊欄桿比較模糊。圖5（c）～（h）是幾種不同融合方法針對這兩種源圖像而得到的融合圖像。由圖可見，GF 和DWT-SR 融合方法僅強(qiáng)調(diào)了紅外信息，遠(yuǎn)處佛塔的信息比較模糊，特別是DWT-SR方法呈現(xiàn)佛塔信息的地方顯示出了一些“補(bǔ)丁”；而CSR 和NSCT-SR 融合方法產(chǎn)生的融合圖像在佛塔及欄桿處的細(xì)節(jié)信息比較模糊，而且也出現(xiàn)了一些“補(bǔ)丁”。相比較地，由本文方法得到的融合圖像既保留了可見光圖像的細(xì)節(jié)信息，即可以清楚地看到佛塔，又保留了紅外信息，即可以清楚地看到房屋及汽車的細(xì)節(jié)信息。因此，本文提出的方法比其他幾種方法取得了較好的圖像融合效果。

4.3 定量的融合性能比較

為了進(jìn)一步驗(yàn)證本文提出的融合方法的有效性，與上述其他圖像融合方法進(jìn)行客觀性能的比較。即，將信息熵、平均梯度、均方差、峰值信噪比和結(jié)構(gòu)相似度等五個客觀評價指標(biāo)作為比較依據(jù)。

第一組實(shí)驗(yàn)的客觀指標(biāo)如表1所示。由表1的數(shù)據(jù)可見，相比于其他的融合方法，本文的融合算法在均方差、平均梯度和峰值信噪比三個指標(biāo)上有明顯的改善。其中，相較于DTCWT-CSR 方法均方差降低了86.09%，峰值信噪比提高了31.92%，平均梯度提高了10.11%；相較于NSCT-SR 方法均方差降低了84.19%，峰值信噪比提高了25.60%，平均梯度提高了7.01%；相較于CSR 方法均方差降低了84.70%，峰值信噪比提高了29.92%，平均梯度提高了14.67%；相較于GF 方法均方差降低了84.69%，峰值信噪比提高了26.24%，平均梯度提高了15.55%；相較于DWT-SR 方法均方差降低了83.64%，峰值信噪比提高了24.92%，平均梯度提高了2.79%。在表1 的實(shí)驗(yàn)數(shù)據(jù)中，本文方法在信息熵和結(jié)構(gòu)相似度指標(biāo)上較差一些，這主要是由所采用的稀疏字典引起的。然而，圖3 和表1 的結(jié)論是一致的，說明本文的融合方法是有效的。

表1 針對第一組實(shí)驗(yàn)不同融合方法客觀性能指標(biāo)的比較

第二組實(shí)驗(yàn)的客觀指標(biāo)如表2所示。由表2的數(shù)據(jù)可見，相比于其他的融合方法，本文的融合方法在均方差、峰值信噪比和平均梯度三個指標(biāo)上有明顯改善。其中，相較于其它方法，本文的方法在均方差指標(biāo)上均降低了90%以上，峰值信噪比指標(biāo)也均提高了50%以上，平均梯度提高了10%以下。在表2 的實(shí)驗(yàn)數(shù)據(jù)中，本文方法在信息熵和結(jié)構(gòu)相似度指標(biāo)上較差一些，這也主要是由所采用稀疏字典以及NSCT 變換所采用的濾波器的性能引起的。然而，圖4和表2的結(jié)論同樣是一致的，說明本文的融合方法是可行的。

表2 針對第二組實(shí)驗(yàn)不同融合方法客觀性能指標(biāo)的比較

第三組實(shí)驗(yàn)的客觀指標(biāo)如表3所示。由表3的數(shù)據(jù)可見，相比于其他的融合方法，本文的融合方法在平均梯度、均方差和峰值信噪比等三個指標(biāo)上有著明顯的改善。相較于DTCWT-CSR 方法平均梯度提高了11.01%，均方差降低了91.56%，峰值信噪比提高了42%；相較于NSCT-SR 方法平均梯度提高了3.71%，均方差降低了74.71%，峰值信噪比提高了19.68%；相較于CSR 方法平均梯度提高了1.02%，均方差降低了12.78%，峰值信噪比提高了1.66%；相較于GF 方法平均梯度提高了16.57%，均方差降低了77.22%，峰值信噪比提高了21.5%；相較于DWT-SR 方法平均梯度提高了4.59%，均方差降低了7.63%，峰值信噪比提高了0.96%。在表3實(shí)驗(yàn)數(shù)據(jù)中，本文方法在信息熵和結(jié)構(gòu)相似度指標(biāo)上較差一些。這同樣是由所采用的稀疏字典以及所采用的方向?yàn)V波器所引起的。然而，本文方法具有平移不變性，這有利于消除融合時的偽吉布斯現(xiàn)象，改善融合效果。同時，圖5和表3的結(jié)論是一致的，說明本文的融合方法是有效的和可行的。

表3 針對第三組實(shí)驗(yàn)不同融合方法客觀性能指標(biāo)的比較

4.4 運(yùn)行時間的比較

在進(jìn)行了主觀融合效果和客觀性能指標(biāo)的綜合比較后，本文又通過對各個融合方法融合圖像時所需的時間進(jìn)行了比較，所得的實(shí)驗(yàn)結(jié)果如圖6 所示。

圖6 不同融合方法運(yùn)行時間的比較

由圖6 的數(shù)據(jù)可見，GF 方法、CSR 方法和NSCT-SR 方法用于圖像融合的時間遠(yuǎn)大于其他幾種融合方法的時間，而本文方法在這幾種方法中所用的時間是相對較少的。造成這種結(jié)果的原因是CSR 方法是從SR 中派生出來的。雖然CSR 方法的結(jié)果是全局性和唯一的，并可以用它來優(yōu)化低頻分量，但CSR 在整幅圖像處理過程中還是相對耗時的。此外，單一基于窗口的導(dǎo)向?yàn)V波用于圖像融合時的計(jì)算效率也不佳。因此，為了提高計(jì)算效率，本文提出了將NSCT 和CSR、GF 有機(jī)結(jié)合的方法用于圖像融合。由圖中數(shù)據(jù)可見，本文方法采用NSCT變換具有平移不變性，并能較好地避免吉布斯偽影的出現(xiàn)；同時，所有方向子帶圖像的大小與源圖像相同，從而使圖像處理更加方便。此外，它還具有方向選擇性，從而保留了更多的紋理細(xì)節(jié)。特別地，它將NSCT 和CSR、GF 相結(jié)合可以很好地降低CSR 在低頻段造成的低計(jì)算效率的影響?？傊?，本文方法所用的的融合時間較少，計(jì)算效率較高。

綜合以上的定性和定量實(shí)驗(yàn)結(jié)果可見，本文方法通過將NSCT 和CSR、GF 有機(jī)結(jié)合，既提高了融合速度，又有效地保留了更多的細(xì)節(jié)信息，因此它是一種可行的和有效的紅外與可見光圖像融合方法。

5 結(jié)語

在本文中，提出了一種基于非下采樣輪廓波變換（NSCT）和卷積稀疏表示（CSR）的紅外與可見光圖像融合方法。它既充分地利用了NSCT變換靈活的多尺度、多方向性以及局域性和平移不變性，又有機(jī)地與CSR 的全局性和導(dǎo)向?yàn)V波（GF）的結(jié)構(gòu)信息增強(qiáng)性相結(jié)合，從而更好地改善了融合圖像的視覺效果和保真質(zhì)量、提高了融合過程的計(jì)算速度。特別地，紅外與可見光源圖像經(jīng)過NSCT 多尺度分解成高頻子帶和低頻子帶后，對低頻子帶采用了基于CSR的融合方法，有效地減少了圖像結(jié)構(gòu)信息丟失、對比度和區(qū)域亮度降低等問題；對高頻子帶進(jìn)行了GF 優(yōu)化，更好地保留了高頻子帶的細(xì)節(jié)信息和減少了邊緣偽影；而將NSCT、CSR 和GF 有機(jī)結(jié)合，更好地保真了圖像的顯著信息以及提高了融合計(jì)算的速度。實(shí)驗(yàn)結(jié)果表明，本文提出的方法是一種比較有效的紅外與可見光圖像融合的新方法。