基于NSST和聯(lián)合稀疏表示的紅外與可見光圖像融合算法

武警工程大學(xué)信息工程系　羅　杰　孔韋韋

基于NSST和聯(lián)合稀疏表示的紅外與可見光圖像融合算法

武警工程大學(xué)信息工程系羅杰孔韋韋

針對(duì)當(dāng)前采用NSST變換的紅外與可見光圖像融合算法中低通子帶系數(shù)過小導(dǎo)致的融合質(zhì)量不高的問題，提出一種基于稀疏表示的改進(jìn)融合算法。首先對(duì)源圖像做NSST變換分別得到低頻和高頻兩個(gè)子帶系數(shù)，然后低頻部分根據(jù)稀疏表示算法得到的特有系數(shù)確定融合權(quán)重，高頻部分采用尺度分層表示與平均梯度相結(jié)合的方案，最后對(duì)兩部分的融合結(jié)果做NSST逆變換得到最終融合圖像。仿真實(shí)驗(yàn)結(jié)果表明，相較與傳統(tǒng)的基于NSCT、NSST以及采用單尺度稀疏表示的融合方法，本方法在紅外與可見光圖像的融合質(zhì)量更好，效果更明顯。

數(shù)字圖像融合；紅外與可見光；非下采樣剪切波變換；聯(lián)合稀疏表示

1　引言

數(shù)字圖像融合技術(shù)是通過圖像處理工具和計(jì)算機(jī)技術(shù)，對(duì)多源傳感器獲得的圖像運(yùn)用相應(yīng)的融合算法和規(guī)則，將源圖像的光譜信息和典型特征盡可能地傳遞到融合圖像中加以整合，從而獲得對(duì)目標(biāo)場景的更為直觀和準(zhǔn)確的描述的綜合性技術(shù)［1］。由于數(shù)字圖像融合得到的圖像具有冗余小、實(shí)時(shí)性高和互補(bǔ)性強(qiáng)等特點(diǎn)，能夠更好地適應(yīng)人眼的視覺特性和滿足計(jì)算機(jī)處理的需要，因此在遙感探測、導(dǎo)彈制導(dǎo)、醫(yī)學(xué)診斷和安全監(jiān)控等諸多方面有著較為廣泛的應(yīng)用。

近年來，圖像融合技術(shù)的發(fā)展日新月異。基于多分辨率多尺度的幾何分析工具給圖像融合領(lǐng)域的發(fā)展帶來了新的思路，作為其中典型的代表，非下采樣剪切波變換（NSST）以其良好的時(shí)頻特性、穩(wěn)定的平移不變性和各向異性受到了廣大學(xué)者的青睞。然而，研究人員發(fā)現(xiàn)經(jīng)過NSST變換得到的圖像低通子帶系數(shù)較小，其稀疏度不足以滿足對(duì)低通子帶系數(shù)融合的要求。

本文結(jié)合聯(lián)合稀疏表示的分析工具提出了一種基于NSST的圖像融合方法。利用NSST的多尺度性和多方向性將源圖像從頻域和空間域兩個(gè)方面劃分為低通子帶圖像和若干個(gè)帶通方向子帶圖像。通過聯(lián)合稀疏表示理論提取低頻子帶系數(shù)的特有系數(shù)和冗余系數(shù)，根據(jù)特有系數(shù)的活躍程度加以統(tǒng)計(jì)處理，得到融合結(jié)果。仿真實(shí)驗(yàn)結(jié)果表明，針對(duì)紅外與可見光圖像和多聚焦圖像，該方法無論是主觀視覺評(píng)價(jià)還是客觀指標(biāo)分析上都具有明顯的優(yōu)勢。

2　NSST變換

NSST是目前數(shù)字圖像融合領(lǐng)域較為新穎的多分辨率處理方法，該方法通過利用非下采樣金字塔濾波器組［2］（non-subsample pyramid filter bands，NSPFB）和非下采樣Shear濾波器組（nonsubsample shearlet filter bands，NSSFB）完成對(duì)源圖像的多尺度多方向分解。首先采用NSPFB將原始圖像在頻率上層層剝離，有效保證了分解的層次性和融合的質(zhì)量［3］。然后采用NSSFB對(duì)帶通子帶圖像進(jìn)行方向分解，得到各個(gè)尺度層上不同方向的子帶圖像。

NSST在多方向分解中創(chuàng)新性地使用了NSSFB，它通過靈活運(yùn)用一維子帶濾波器進(jìn)行濾波處理，從而在圖像的多方向分解過程中避免了金字塔分解和分析濾波中的臨界采樣操作，進(jìn)而有效確保了圖像的平移不變性［4］。所以NSST的優(yōu)越性體現(xiàn)在圖像失真較少，Gibbs現(xiàn)象得到有效遏制等方面。K級(jí)NSST分解總共經(jīng)歷了K次尺度分解和K次方向分解，每次所得帶通子帶圖像做shear方向?yàn)V波，而低通子帶圖像都作為下一級(jí)的源圖像輸入。當(dāng)分解層數(shù)為K時(shí)，最終將得到1個(gè)低通子帶圖像和個(gè)帶通子帶圖像，其中n為方向分解的維度。

3　低通子帶系數(shù)融合規(guī)則

聯(lián)合稀疏表示是由信號(hào)之間的相關(guān)性和學(xué)習(xí)得到的統(tǒng)一字典實(shí)現(xiàn)的，所有輸入信號(hào)都可以借助聯(lián)合稀疏表示由特有部分和冗余部分組成［5］。由于源圖像都是關(guān)于同一場景同一目標(biāo)的描述，因此在NSST變換后，所得的低通子帶圖像也存在相關(guān)性，也可以利用聯(lián)合稀疏表示理論實(shí)現(xiàn)系數(shù)的最稀疏性，對(duì)輸入信號(hào)L存在一組由其中元素構(gòu)成的線性組合能對(duì)該信號(hào)做出近似的表示，則有：

其最優(yōu)稀疏值ac和aui的求解可采用OMP算法得到。定義低頻子帶系數(shù)中特有系數(shù)的活躍度x和特有系數(shù)aui所占總體系數(shù)a的權(quán)重i如下：

因此，低頻子帶系數(shù)可由稀疏系數(shù)表示為：

4　帶通子帶系數(shù)融合規(guī)則

帶通子帶圖像是源圖像的高頻部分，反映了原始信號(hào)的邊緣紋理信息和線性特征。平均梯度反映圖像邊緣紋理處灰度的變化程度，常被用作圖像清晰程度的衡量指標(biāo)，其定義如下：

式中，F(xiàn)（i，j）表示圖像區(qū)域中第i行j列的灰度值，M，N分別為圖像區(qū)域的總行數(shù)和總列數(shù)。定義融合權(quán)重

CH（x，y）、CA（x，y）和CB（x，y）分別代表融合后圖像、紅外及可見光圖像的高頻子帶系數(shù)。

圖3　仿真實(shí)驗(yàn)結(jié)果對(duì)比圖

5　實(shí)驗(yàn)結(jié)果與分析

將本文提出的方法與傳統(tǒng)的基于NSCT的圖像融合方法、基于NSST的圖像融合方法以及基于稀疏表示的SOMP圖像融合方法進(jìn)行比較。從變換域到稀疏表示多個(gè)方面比較了本文方法的優(yōu)劣，實(shí)驗(yàn)采用的均為經(jīng)過配準(zhǔn)的圖像。實(shí)驗(yàn)結(jié)果如圖3所示。

從圖3中可以看出，相比與其他幾種方法，NSCT融合結(jié)果中人物目標(biāo)與周圍建筑物對(duì)比度較小，邊緣紋理特征不夠明顯?；贜SST方法的融合結(jié)果中各物體與背景的對(duì)比度得到加強(qiáng)，單是在欄桿和道路等地物的清晰度上還有所欠缺；基于稀疏表示SOMP算法的融合實(shí)驗(yàn)中人物較為突出，但是對(duì)于建筑物和樹葉等細(xì)小細(xì)節(jié)處邊緣輪廓的平滑現(xiàn)象過于明顯；本文方法則將圖中亮度差別較大的特征物體融合到了最終圖像中，人物的輪廓清晰明顯，樹木和道路等地物紋理清楚層次感強(qiáng)，具有良好的視覺特性。

表1　客觀指標(biāo)評(píng)價(jià)表

為了能夠更客觀地評(píng)價(jià)融合方法的性能優(yōu)劣，本文選取了幾種較為常用的衡量圖像質(zhì)量的指標(biāo)信息熵（IE）、標(biāo)準(zhǔn)差（SD）、平均梯度（AG）和邊緣強(qiáng)度（EI）對(duì)融合結(jié)果進(jìn)行分析。表1為各個(gè)方法的客觀評(píng)價(jià)指標(biāo)。從表中可以看出，相較于變換域的融合方法NSCT和NSST以及在圖像尺度上直接采用稀疏表示的方法SOMP相比，本文提出的方法既能提升圖像的對(duì)比度，增強(qiáng)圖像的細(xì)節(jié)表現(xiàn)力，又能夠?qū)υ磮D像進(jìn)行多尺度多方向的分析，提升子帶系數(shù)的稀疏度，加強(qiáng)對(duì)于特有信息的提取，具有更加良好的融合效果。

6　結(jié)論

本文提出了一種基于NSST和聯(lián)合稀疏表示的圖像融合算法，針對(duì)多尺度分解后低通子帶系數(shù)稀疏度低，不利用特有信息提取這一問題，采用聯(lián)合稀疏表示方法獲取學(xué)習(xí)字典，并對(duì)得到的特有系數(shù)和冗余系數(shù)依據(jù)活躍程度賦予融合的權(quán)重。紅外與可見光的仿真實(shí)驗(yàn)結(jié)果表明，該方法同時(shí)具有NSST分解特性、平移不變性和稀疏表示的特征保留性，在主、客觀評(píng)價(jià)中均取得了明顯優(yōu)勢，具有可行性和實(shí)用性，是一種行之有效的方法。

［1］趙飛翔，陶忠祥.基于NSCT的紅外與可見光圖像融合［J］.電光與控制，2013，09：29-33.

［2］王躍華，陶忠祥.一種基于NSCT變換的紅外與可見光圖像融合算法［J］.光學(xué)與光電技術(shù)，2012，04：81-84.

［3］張蕾，金龍旭，韓雙麗，呂增明，李新娥.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合［J］.光學(xué)精密工程，2015，03：810-818.

［4］邢雅瓊，王曉丹，雷蕾，宋亞飛.基于NSST域灰度關(guān)聯(lián)分析的多聚焦圖像融合方法［J］.系統(tǒng)工程理論與實(shí)踐，2015，09：2380-2386.

［5］王珺，彭進(jìn)業(yè)，何貴青等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法［J］.兵工學(xué)報(bào)，2013（07）：815-820.

羅杰（1992—），湖北襄陽人，碩士，現(xiàn)就讀于武警工程大學(xué)。

孔韋韋（1983—），講師，碩士生導(dǎo)師。