基于NSCT的自適應(yīng)可見光與紅外圖像融合方法

高永光，宋志娜，蔡肖芋

（1.61683部隊，北京 100094；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079；3.武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

基于NSCT的自適應(yīng)可見光與紅外圖像融合方法

高永光1，宋志娜2，蔡肖芋3

（1.61683部隊，北京 100094；2.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079；3.武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

針對可見光與紅外圖像的融合問題，基于 NSCT 多方向、多尺度分解和平移不變性等優(yōu)點，提出了一種基于NSCT的自適應(yīng)可見光與紅外圖像的融合方法。通過 NSCT 對可見光與紅外圖像進(jìn)行分解，在各分解層上根據(jù)圖像質(zhì)量評價指標(biāo)來選取融合規(guī)則，并通過評價指標(biāo)的自適應(yīng)控制 NSCT 分解層數(shù)使最終融合圖像具有最優(yōu)的效果。實驗結(jié)果表明，與傳統(tǒng)融合算法相比，該方法在主觀和客觀評價方面均優(yōu)于其他融合方法。

紅外圖像；圖像融合；NSCT；質(zhì)量評價

圖像融合是將多個圖像傳感器或同一圖像傳感器以不同工作模式獲取的關(guān)于同一場景的圖像信息加以綜合，以獲得更準(zhǔn)確的場景描述[1]?？梢姽庥跋袷怯蓚鞲衅鹘邮盏匚锓瓷涞目梢姽獠ǘ喂庾V來成像，具有空間分辨率高、細(xì)節(jié)豐富的特點，但可見光影像受云層狀況、成像時間等天氣條件影響。 與可見光影像的成像機理不同，紅外影像是將紅外傳感器接收到的紅外輻射映射成灰度值并轉(zhuǎn)化為紅外影像。紅外傳感器是被動工作方式，具有抗干擾性強、目標(biāo)識別能力強、能全天候工作的特點。但紅外影像也有對比度低、邊緣模糊、信噪比低、成分復(fù)雜等缺點，受大氣熱輻射、作用距離遠(yuǎn)、探測器噪聲等因素影響。因此通過圖像融合使得融合圖像中既包含可見光圖像中的豐富細(xì)節(jié)信息，又包含了紅外圖像中的目標(biāo)信息，從而便于識別和后續(xù)分析處理，具有很重要的現(xiàn)實意義[2-4]。

近些年來出現(xiàn)了多尺度分析工具——非下采樣Contourlet變換NSCT（nonsubsampled contourlet trasnform），該工具來源于Contourlet變換，具有多方向、多尺度分解和平移不變性，能夠很好地捕捉圖像中潛在的幾何結(jié)構(gòu)信息，應(yīng)用在可見光與紅外圖像融合中具有較強優(yōu)勢[5-7]。但現(xiàn)有基于NSCT的多源圖像融合方法多數(shù)是將NSCT分解后的子帶圖像劃分為低頻部分和高頻部分，忽略了高頻部分包含的細(xì)節(jié)信息；另一方面，現(xiàn)有圖像融合的一般流程為圖像融合完成后再對圖像進(jìn)行質(zhì)量評價，很少將圖像效果評價的信息加入到融合規(guī)則的選取和參數(shù)的選擇過程中。考慮到上述兩個方面，本文將質(zhì)量評價指標(biāo)應(yīng)用在低頻、次高頻和高頻部分的融合規(guī)則選取中，提出了一種基于 NSCT變換的自適應(yīng)可見光與紅外圖像融合算法，將圖像質(zhì)量評價指標(biāo)應(yīng)用到NSCT變換的規(guī)則選取中，通過自適應(yīng)的方式得到最優(yōu)表示的融合圖像。

1 NSCT變換理論

NSCT變換由非下采樣金字塔濾波器組（nonsubsample pyramid filter banks，NSPFB）和非下采樣方向濾波器組（non-subsample pyramid directional banks，NSDFB）組成，是借鑒Atrous算法實現(xiàn)的一種多尺度變換方法[8]。NSCT變換首先由NSPFB進(jìn)行多尺度、多分辨率變換，再由NSDFB進(jìn)行多方向變換，且兩組濾波器都可以重構(gòu)。NSCT變換能完成對圖像多尺度、多方向的分解和重構(gòu)，適合于多尺度圖像處理。

圖1 NSCT分解結(jié)構(gòu)圖

NSCT變換過程中對分解濾波器先作上采樣操作，再將信號輸入分解濾波器；在NSCT變換的重構(gòu)過程中對合成濾波器先作上采樣操作，再將信號輸入合成濾波器。由于NSCT變換的分解和重構(gòu)是對相應(yīng)的分解濾波器和合成濾波器作上采樣操作，所以使NSCT變換具有平移不變的特性，并且經(jīng)過NSCT變換后的子帶信號與原始輸入信號大小是相同的。

2 基于NSCT的自適應(yīng)可見光與紅外圖像融合

2.1 NSCT分解層數(shù)對融合結(jié)果的影響

在基于NSCT變換的多源圖像融合中，如果分解級數(shù)K取值過小，NSCT變換相對于其他多尺度分析工具的優(yōu)勢就得不到體現(xiàn)；如果K取值過大，NSCT算法在程序運行過程就會占用較大內(nèi)存，從而導(dǎo)致運算效率低，因此正確選取分解級數(shù)K對圖像融合有著直接的影響?？偨Y(jié)其他研究成果，分解級數(shù)K的取值范圍一般為 2＜K＜7。本文采用循環(huán)迭代自適應(yīng)的方法來確定K的取值，當(dāng)K的取值滿足以下三個條件其中一個時停止迭代，并得到最終的融合圖像。

1）NSCT變換分解級數(shù)K達(dá)到某一上限，即當(dāng)K=7。

2）當(dāng)K=n和K=n+1時的二次圖像融合效果質(zhì)量評價指標(biāo)

3）E（K）取值達(dá)到最優(yōu)。E（K）計算公式如下：

其中，SSIM為基于結(jié)構(gòu)相似度的融合圖像評價指標(biāo)[9]，該指標(biāo)反映的是圖像的亮度、對比度和結(jié)構(gòu)3個方面的信息；Q為基于邊緣信息傳遞量的因子[10]，反映的是圖像中的邊緣信息。

2.2 融合規(guī)則的選取

源圖像經(jīng)過NSCT變換分解的低通子帶部分包含了圖像的大部分信息，為了使融合的圖像更清晰，并且保留兩幅圖像中的細(xì)節(jié)信息，低頻子帶部分采用平均梯度加權(quán)方法來作為融合規(guī)則。如果直接采用兩幅圖像的平均梯度作為選取規(guī)則，難免會將高頻部分的信息當(dāng)作低頻選取的依據(jù)，故在此構(gòu)建平均梯度矩陣并對該矩陣進(jìn)行NSCT分解，取其低頻部分系數(shù)作為源圖像低頻部分融合規(guī)則選取的依據(jù)。平均梯度矩陣的構(gòu)成規(guī)則如下：

式中，f (x, y)位于邊框位置。

源圖像經(jīng)過NSCT分解后的次高頻部分既包含了圖像中的邊緣信息，又包含了一部分的細(xì)節(jié)信息。本文次高頻部分的融合規(guī)則選取對NSCT分解后的次高頻子帶系數(shù)采用局部方差取大的方法，能最大限度地保留源圖像中的邊緣信息和細(xì)節(jié)信息，計算方法為：

式中，M1（x，y）和 M2（x，y）分別為可見光與紅外圖像經(jīng)過 NSCT 分解后的次高頻子帶系數(shù)，局部方差范圍選擇5×5的窗口。

質(zhì)量評價指標(biāo)因子Q反映了融合圖像中保留源圖像邊緣信息量的多少，因此為了使融合圖像保留更多的源圖像邊緣信息并方便后續(xù)目標(biāo)信息的提取，源圖像經(jīng)NSCT分解后的高頻子帶系數(shù)融合采用Q因子作為選取依據(jù)。在融合過程中，為了確定是從源圖像X還是Y中提取的信息以及提取了多少，構(gòu)建了非歸一化的Qxy/y和Qyy/x矩陣。該矩陣反映了源圖像X相對Y和源圖像Y相對X所包含的邊緣信息量的大小。矩陣經(jīng)NSCT分解后的高頻子帶系數(shù)記作C1（x，y）和 C2（x，y），圖像經(jīng)NSCT分解后的高頻系數(shù)融合計算方法為：

其中，H1（x，y）和H2（x，y）分別為可見光圖像和紅外圖像經(jīng) NSCT 分解后的高頻子帶系數(shù)。

2.3 自適應(yīng)可見光與紅外圖像融合

基于NSCT變換的自適應(yīng)可見光與紅外圖像融合算法的步驟為：

1）對源圖像可見光圖像和紅外圖像進(jìn)行N層NSCT變換，并構(gòu)建平均梯度和Q因子矩陣，分別得到源圖像分解的低頻子帶部分、次高頻子帶部分和高頻子帶部分。

2）對第一步構(gòu)建的平均梯度矩陣和Q因子矩陣同樣進(jìn)行NSCT變換，并對各個子帶部分采取不同的融合規(guī)則重構(gòu)圖像，然后以圖像質(zhì)量評價指標(biāo)SSIM和Q因子構(gòu)建一個新的質(zhì)量評價指標(biāo)Evaluation，并以此作為NSCT變換分解層數(shù)的控制參數(shù)。

3）當(dāng)新的質(zhì)量評價指標(biāo)E（K）達(dá)到最優(yōu)時停止迭代，并得到最終的融合圖像。

3 實驗與分析

本次實驗選取了兩組實驗數(shù)據(jù)，第一組為Landsat7衛(wèi)星ETM+傳感器獲取的全色波段0．4～0．9 μm影像，空間分辨率為30 m；紅外影像為熱紅外波段10～14 μm影像，空間分辨率為60 m。第二組數(shù)據(jù)為西安閻良機場地區(qū)的可見光與機載紅外圖像數(shù)據(jù)，其中可見光圖像為全色波段8 bit的灰度圖像（波段范圍為0．4～0．9 μm），紅外圖像為單波段16 bit的灰度圖像（波段范圍為3～5 μm），兩幅圖像空間分辨率均為1 m。將本文提出的方法與簡單加權(quán)平均（WA）[11]、小波變換融合（WT）、NSCT 變換融合方法進(jìn)行對比[6,12]，并進(jìn)行客觀質(zhì)量評價來驗證本文方法的優(yōu)越性。融合圖像的質(zhì)量采用均值、信息熵、標(biāo)準(zhǔn)差、SSIM和Q因子作為評價指標(biāo)。融合結(jié)果如圖2、圖3所示。

圖2 實驗一融合結(jié)果

圖3 實驗二融合結(jié)果

從融合結(jié)果圖可以看出，本文的算法結(jié)果不僅包含了可見光影像中豐富的細(xì)節(jié)信息，也使得紅外圖像的熱目標(biāo)信息得以凸顯。相比加權(quán)平均法，本文方法更能捕捉圖像的細(xì)節(jié)信息，驗證了多尺度分析工具用于圖像融合的優(yōu)越性；與小波變換法、NSCT 變換融合相比較，NSCT 變換融合方法有著更好的視覺效果，而本文的融合算法主觀上比 NSCT 變換融合算法更優(yōu)。

本文從均值、信息熵、標(biāo)準(zhǔn)差、SSIM和Q因子共5個圖像質(zhì)量評價指標(biāo)對上述實驗結(jié)果進(jìn)行客觀評價，表1、表2為質(zhì)量評價結(jié)果。圖像均值反映了對圖像在平均亮度上的要求，信息熵反映了對圖像細(xì)節(jié)表現(xiàn)能力的要求，標(biāo)準(zhǔn)差反映了對圖像灰度分布上的要求，SSIM反映了圖像結(jié)構(gòu)相似程度，Q因子為圖像質(zhì)量因子。從表中結(jié)果可以看出，本文算法在信息熵、標(biāo)準(zhǔn)差、SSIM、Q因子指標(biāo)上均優(yōu)于其他算法，取得了最佳的融合效果，統(tǒng)計數(shù)據(jù)得到的評價結(jié)果與理論分析、視覺效果一致，驗證了本文算法的有效性。

表1 實驗1圖像質(zhì)量評價

表2 實驗2圖像質(zhì)量評價

4 結(jié) 語

本文針對可見光與紅外圖像的融合問題，充分利用了NSCT變換的優(yōu)勢并采用圖像質(zhì)量評價體系作為指導(dǎo)，提出了一種基于NSCT的自適應(yīng)可見光與紅外圖像的融合方法，該方法將圖像質(zhì)量評價指標(biāo)應(yīng)用于圖像融合規(guī)則的選取過程中，并通過最終的圖像質(zhì)量評價指標(biāo)控制NSCT變換的分解層數(shù)，使得融合圖像達(dá)到最佳的效果。在實際圖像融合過程中，隨著傳感器種類的增多，多源圖像、多種融合方法相結(jié)合得到更好的融合效果將是今后重要的研究方向。

[1] 敬忠良,肖剛,李振華．圖像融合:理論與應(yīng)用[M]．北京:高等教育出版社,2007

[2] TOWNSEND D W, BEYER T． A Combined PET/CT Scanner: the Path to True Image Fusion [J]．British Journal of Radiology, 2002, 75(9): 24-30

[3] 田思．微光與紅外圖像實時融合關(guān)鍵技術(shù)研究[D]．南京：南京理工大學(xué),2010

[4] 李俊山,楊威,張雄美．紅外圖像處理、分析與融合[M]．北京：科學(xué)出版社,2009

[5] 向靜波,蘇秀琴,陸陶．基于Contourlet變換和形態(tài)學(xué)的圖像增強方法[J]．光子學(xué)報,2009,38(1):224-227

[6] 張強,郭寶龍．一種基于非采樣 Contourlet 變換紅外圖像與可見光圖像融合算法[J]．紅外與毫米波學(xué)報,2007,26(6):476-480

[7] 劉興淼,王仕成,趙靜．結(jié)合統(tǒng)計分布和非下采樣Contourlet變換的紅外小目標(biāo)檢測[J]．光學(xué)精密工程,2011,19(4):908-915

[8] DO M N, VETTERLI M． The Finite Ridgelet Transform for Image Representation [J]． IEEE Transactions on Image Processing, 2003, 12(1):16-28

[9] STARCK J L,MURTAGH F, CANDèS E J,et al． Gray and Color Image Contrast Enhancement by the CurveletTransform [J]．IEEE Transactions on Image Processing, 2003, 12(6): 706-717

[10] BURT P J, ADELSON E H． The Laplacian Pyramid as a Compact Image Vode [J]．IEEE Transactions on Communications, 1983, 31(4): 532-540

[11] 李偉．像素級圖像融合方法及應(yīng)用研究[D]．廣州：華南理工大學(xué),2006

[12] 劉倩,杜宏．一種基于小波變換的可見光與紅外圖像融合算法研究[J]． 車輛與動力技術(shù),2011(3): 73-80

P237

B

1672-4623（2016）12-0030-03

10.3969/j.issn.1672-4623.2016.12.011

高永光，博士，工程師，研究方向為遙感應(yīng)用。

2015-06-29。

項目來源：國家重點基礎(chǔ)研究發(fā)展規(guī)劃項目（2012CB719906）；國家高技術(shù)研究發(fā)展計劃資助項目（SS2013AA122301）。