基于局部能量與NSCT的紅外與可見光圖像融合

路黎明

(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽淮南 232000)

0 引言

圖像融合是一種圖像增強(qiáng)技術(shù),它是將多個(gè)不同傳感器所獲取的同一場景圖像融合成一幅新的圖像,融合后的圖像結(jié)合了源圖像中的優(yōu)勢,得到了一張更清晰的圖像,消除了源圖像中的冗余信息,使源圖像中的細(xì)節(jié)更加豐富[1]。目前圖像融合技術(shù)的應(yīng)用日益廣泛,該領(lǐng)域已成為當(dāng)今研究熱點(diǎn)之一。圖像融合技術(shù)已經(jīng)滲透到各個(gè)領(lǐng)域中,例如遙感、軍事、醫(yī)學(xué)等方面。

紅外與可見光圖像的融合是圖像融合領(lǐng)域研究熱點(diǎn)之一,紅外傳感器可以對(duì)物體進(jìn)行熱輻射成像,并且能夠探測出場景中熱目標(biāo),紅外傳感器可以全天工作。但是紅外傳感器捕獲的圖像比較模糊,圖像分辨率不夠高;而可見光傳感器所捕獲的圖像比紅外傳感器所捕獲的圖像擁有較更高的分辨率與對(duì)比度,圖像中的信息比較豐富。因此,紅外與可見光圖像的融合比單傳感器所捕獲的圖像細(xì)節(jié)信息更加豐富,并且存在幾乎所有對(duì)象的固有特征。紅外與可見光圖像融合所得到的圖像具有高空間分辨率和豐富的細(xì)節(jié),更適合人類視覺感知。

1 圖像融合的三個(gè)層次

圖像融合可分為三個(gè)層次:像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。三個(gè)融合層次中最低的是像素級(jí)融合,像素級(jí)融合是直接對(duì)源圖像的灰度數(shù)據(jù)進(jìn)行處理操作。對(duì)源圖像處理后,會(huì)得到比源圖像擁有更多細(xì)節(jié)信息,如邊緣和紋理信息,方便對(duì)圖像后續(xù)的處理和分析,像素級(jí)融合方法可以最大程度上保留源圖像的細(xì)節(jié)信息,因此,經(jīng)過像素級(jí)融合處理后所得到的圖片會(huì)擁有比源圖像更多的細(xì)節(jié)信息和內(nèi)容。由于需要對(duì)源圖像的灰度數(shù)據(jù)進(jìn)行直接處理,像素級(jí)融合對(duì)計(jì)算機(jī)的計(jì)算性能要求較高,且需要較長的處理時(shí)間,這也是像素級(jí)融合的局限性。像素級(jí)融合可劃分為基于空間域的融合和基于變換域的融合,主要算法包括:主成分分析法、拉普拉斯金字塔變換法、小波變換法、Contourlet變換法、非下采樣輪廓波變換法等。

特征級(jí)融合為三個(gè)融合層次的中間層次,特征級(jí)融合需要先從源圖像提取邊緣、紋理等重要特征信息,然后再對(duì)所提取到的特征信息進(jìn)行分析和處理,最終根據(jù)對(duì)這些特征信息的處理就可以得到融合圖像所需的特征信息。相對(duì)于像素級(jí)融合,特征及融合僅需處理少量的數(shù)據(jù),所需要的處理時(shí)間會(huì)大大縮短,得到融合圖像的速度也有提升;但特征級(jí)融合依靠的是提取的特征信息,信息提取的質(zhì)量會(huì)影響融合圖像,因此融合后的圖像相比較源圖像細(xì)節(jié)往往信息不夠豐富,丟失信息較多。

三個(gè)融合層次中的最高層次是決策級(jí)融合,它是對(duì)特征級(jí)融合所提取的特征信息進(jìn)行進(jìn)一步的處理,處理過程需要一系列的判定準(zhǔn)則和決策分類,基于這些準(zhǔn)則和決策輸出一個(gè)效果最優(yōu)的結(jié)果。決策級(jí)圖像融合的計(jì)算量相比決策級(jí)融合進(jìn)一步的減少, 是三個(gè)層次中計(jì)算量最小的融合方法;但是細(xì)節(jié)信息丟失也較嚴(yán)重。

2 基于多尺度變換的圖像融合算法

多尺度變換由于具有良好的時(shí)域與頻域局域性,已被國內(nèi)外許多專家廣泛應(yīng)用于圖像融合領(lǐng)域。多尺度變換可以將原始圖像分解為不同尺度的分量,其中每個(gè)分量代表每個(gè)尺度的子圖像;多項(xiàng)研究表明多尺度變換具有與人類的視覺特征一致的特性,而且這種特性可以使融合圖像擁有優(yōu)秀的視覺效果?；诙喑叨茸儞Q的圖像融合方法通常包括三個(gè)步驟,首先將每個(gè)源圖像進(jìn)行多尺度分解,然后根據(jù)給定的融合規(guī)則對(duì)分解得到的子帶進(jìn)行融合,最后使用相應(yīng)的逆多尺度變換獲取融合圖像[2]?；诙喑叨茸儞Q的融合方法關(guān)鍵在于融合規(guī)則的選擇。經(jīng)典的多尺度變換方法有金字塔變換、小波變換、Contourlet變換、NSCT等。但金字塔變換容易造成局部模糊現(xiàn)象,小波變換空間細(xì)節(jié)信息增強(qiáng)能力稍顯不足,Contourlet變換缺乏平移不變性且有明顯的偽G i b b s效應(yīng),N S C T繼承了Contourlet變換的優(yōu)點(diǎn),并且具有平移不變性,是圖像融合較為有效的分析工具[3]。

2.1 離散小波變換

小波變換是由傅里葉變換改進(jìn)而來的,克服了傅里葉變換不具有時(shí)間頻率的局部化分析能力的缺點(diǎn)。小波變換現(xiàn)在已經(jīng)被廣泛應(yīng)用于圖像融合領(lǐng)域,它將源圖像在各種方向上進(jìn)行分解,并進(jìn)行時(shí)域和頻域分析。小波變換可分為連續(xù)小波變換(CWT)和離散小波變換(DWT),由于連續(xù)小波變換只適用于處理連續(xù)的信號(hào),在處理離散的信號(hào)時(shí),就需要使用離散小波變換,相對(duì)于連續(xù)小波變換,離散小波變換可以減少數(shù)據(jù)信息量,更利于數(shù)據(jù)壓縮的實(shí)現(xiàn),提高了應(yīng)用效率。

2.2 Contourlet變換

Contourlet變換是由M.N.Do等人于2002年提出的一種能夠更好表示二維信號(hào)的方法,相對(duì)于小波變換,它不僅具有小波變換的多分辨率和時(shí)頻局部的特性,還具有多方向性和各向異性,可以很好的表示圖像邊緣輪廓曲線信息。Contourlet是用金字塔方向?yàn)V波器(PDFB)將源圖像分解為不同尺度下的方向子帶,PDFB是由一個(gè)拉普拉斯金字塔濾波器和一個(gè)方向?yàn)V波器組組成的,首先將源圖像使用拉普拉斯金字塔變換進(jìn)行多尺度金字塔分解,以捕獲點(diǎn)奇異性,然后再由方向?yàn)V波器組將分布不同方向上的奇異點(diǎn)合成不同的系數(shù)。實(shí)驗(yàn)證明,Contourlet變換在圖像降噪、紋理、形狀的特征提取方面的性能比小波變換有了明顯的提高。

2.3 非下采樣輪廓波變換(NSCT)

由于Contourlet變換過程中需要進(jìn)行下采樣和上采樣,令其缺乏平移不變性,且有明顯的Gibbs效應(yīng)。為了克服Contourlet變換這些缺點(diǎn),Arthur L.Cunhua提出了NSCT,與Contourlet變換相比,NSCT不僅繼承了多分辨率、時(shí)頻局部化、良好的方向選擇性和各向異性的特點(diǎn),由于取消了對(duì)圖像的下采樣,NSCT還具備平移不變性。NSCT由非下采樣塔式濾波器組(Nonsubsampled pyramid filter bank,NSPFB)和非下采樣方向?yàn)V波器組(Nonsubsampled directional filter bank,NSDFB)組成。NSPFB用于對(duì)源圖像進(jìn)行多分辨率分解,NSDFB用于對(duì)源圖像進(jìn)行多方向的分解。圖像經(jīng)過M層分解可得到個(gè)高頻子帶和1個(gè)低頻子帶,得到的子帶大小與源圖像大小一致[4]。NSCT分解過程如圖1所示。

圖1 NSCT分解過程Fig.1 NSCT decomposition process

3 本文融合方法

首先對(duì)源圖像進(jìn)行NSCT分解,得到低頻子帶和高頻子帶,低頻子帶采用基于局部能量的方法進(jìn)行融合,高頻子帶采用絕對(duì)最大值的方法進(jìn)行融合。

3.1 高頻融合

高頻子帶表示圖像的細(xì)節(jié)信息,如輪廓、和邊緣細(xì)節(jié)等,由于圖像細(xì)節(jié)特征比較顯著,所以本文高頻部分采取絕對(duì)最大值的方法進(jìn)行融合。

其中H F(x,y)、H A(x,y)與H B(x,y)分別表示融合后的圖像、源圖像A、源圖像B在(,)x y處的高頻分解系數(shù)。

3.2 低頻融合

低頻子帶中包含著圖像的輪廓信息,為了使融合后的圖像的清晰度和對(duì)比度都有良好的表現(xiàn),對(duì)低頻子帶采用局部能量方法進(jìn)行融合,局部能量按照公式(1)計(jì)算。

其中LF(x,y)、L A(x,y)與L B(x,y)分別表示融合后的圖像、源圖像A、源圖像B在(,)x y處的低頻分解系數(shù)。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的方法有效性,選取了如圖2所示的一組紅外與可見光圖像進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)環(huán)境為Matlab 2016,實(shí)驗(yàn)結(jié)果如下圖所示。從視覺效果來看,DWT方法融合效果最差,出現(xiàn)了明顯的塊效應(yīng);而Contourlet方法和本文所提出的方法的視覺效果明顯優(yōu)于DWT方法。

圖2 紅外與可見光圖像實(shí)驗(yàn)圖Fig.2 Experimental picture of infrared and visible images

本文的客觀指標(biāo)采用信息熵(Information Entropy,IE)、標(biāo)準(zhǔn)差(Standard Deviation,SD)和互信息(Mutual Information,MI)來衡量融合圖像的質(zhì)量,IE反映的是圖像的信息量,圖像的IE越大,表示圖像中包含的信息量越豐富;SD反映圖像的對(duì)比度,SD越大,意味著圖像的對(duì)比度越大;MI表示融合圖像中包含源圖像的信息量,MI值越大,表示融合圖像繼承了源圖像信息越多[5]。從客觀指標(biāo)來看,本文算法在信息熵、標(biāo)準(zhǔn)差、互信息都比所對(duì)比的算法要好,因此融合圖像在信息量、對(duì)比度等方面都優(yōu)于對(duì)比算法,融合圖像質(zhì)量更好。如表1所示。

表1 幾種方法融合結(jié)果的比較Tab.1 Comparison of fusion results of several methods

5 結(jié)論

本文提出了一種基于NSCT的紅外與可見光圖像融合方法,高頻采用,低頻采用局部能量的規(guī)則進(jìn)行融合。對(duì)紅外與可見光圖像進(jìn)行融合實(shí)驗(yàn),并與方法進(jìn)行主觀與客觀分析。實(shí)驗(yàn)結(jié)果表明,本文提出的算法更好的保留源圖像的細(xì)節(jié)信息,融合效果優(yōu)于方法。