一種基于NSCT和對(duì)比度拉伸的紅外與可見(jiàn)光圖像融合算法

姜寒雪, 郭立強(qiáng)

(淮陰師范學(xué)院 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 江蘇 淮安 223300)

0 引言

圖像融合是指將多幅圖像通過(guò)一定的數(shù)學(xué)方法處理融合為一幅圖像的過(guò)程,而紅外與可見(jiàn)光圖像融合是圖像融合領(lǐng)域的一大研究熱點(diǎn),在醫(yī)學(xué)、軍事、遙感以及計(jì)算機(jī)視覺(jué)、目標(biāo)識(shí)別和情報(bào)獲取等方面應(yīng)用廣泛[1]．由于單傳感器采集信息時(shí)具有一定的局限性,在實(shí)際應(yīng)用中通常采用多傳感器在同一時(shí)間、同一場(chǎng)景獲取多個(gè)圖像信息,對(duì)獲取到的圖像采用合適的方法進(jìn)行融合得到完整清晰的圖像．紅外傳感器環(huán)境適應(yīng)性強(qiáng),能夠識(shí)別出隱藏的熱目標(biāo),并且能夠適應(yīng)惡劣環(huán)境,全天無(wú)休地工作[2]．但是紅外圖像存在信噪比低、對(duì)比度低、分辨率差、圖像模糊等問(wèn)題．而可見(jiàn)光圖像紋理特征明顯且具有較高的分辨率與對(duì)比度,將二者融合可以得到細(xì)節(jié)豐富、目標(biāo)顯著、更適合人類感知的圖像[3]．

近年來(lái),紅外與可見(jiàn)光圖像融合研究取得了長(zhǎng)足的進(jìn)步．典型的融合方法有:多尺度變換分析方法、稀疏表示方法、顯著性特征提取方法、深度學(xué)習(xí)方法、模糊理論方法等．其中,多尺度變換分析方法在紅外與可見(jiàn)光領(lǐng)域應(yīng)用廣泛．多尺度變換方法是將原始的圖像分解為不同尺度的分量,每個(gè)分量代表每個(gè)尺度的子圖像．一般來(lái)說(shuō),基于多尺度分解的紅外可見(jiàn)光融合圖像有三個(gè)步驟,首先將源圖像分解為多個(gè)尺度圖像,采用合適的融合規(guī)則對(duì)源圖像各個(gè)尺度的圖像進(jìn)行融合． 最后,采用相應(yīng)的逆變換獲取融合圖像．常見(jiàn)的多尺度變換分析方法有金字塔變換[4](PT)、小波變換[5](WT)、contourlet變換[6]、非下采樣輪廓波變換[7](NSCT)等算法．金字塔分解冗余度較大,小波變換細(xì)節(jié)信息不足,contourlet變換缺乏平移不變性．NSCT不但保留了contourlet變換多尺度、多方向的優(yōu)點(diǎn),還能有效避免圖像的分解和重構(gòu)造成的頻譜混疊問(wèn)題．

為了獲取更好的圖像融合效果,本文提出了基于NSCT和對(duì)比度拉伸的紅外與可見(jiàn)光圖像融合方法．首先對(duì)源圖像進(jìn)行NSCT分解得到高低頻子帶,然后采用絕對(duì)值取大和窗口系數(shù)絕對(duì)值取大的高頻融合規(guī)則[8]以及基于局部拉普拉斯能量的低頻融合規(guī)則處理高低頻子帶系數(shù)[9]．通過(guò)NSCT算法得到初步融合圖像．為了更好的保留融合圖像中的邊緣信息,采用SUSAN算子對(duì)源圖像進(jìn)行邊緣檢測(cè),再將邊緣信息進(jìn)行對(duì)比度拉伸,然后進(jìn)行NSCT變換來(lái)獲取邊緣融合圖像．接下來(lái)重復(fù)執(zhí)行對(duì)比度拉伸和NSCT,將初步融合圖像和邊緣融合圖像進(jìn)行整合得到最終的融合圖像．實(shí)驗(yàn)結(jié)果表明,本文提出的算法融合所得的圖像邊緣清晰,細(xì)節(jié)信息更為豐富．

1 相關(guān)背景

1.1 NSCT方法

NSCT由非下采樣塔式濾波器組(NSPFB)和非下采樣方向?yàn)V波器(NSDFB)組成,用于對(duì)圖像進(jìn)行不同方向上的多尺度分解[10]．使用非下采樣輪廓波對(duì)圖像進(jìn)行分解所得的子帶與源圖像尺寸相同,具有平移不變性．NSPFB是雙通道濾波器,分解得到一個(gè)高頻子帶和多個(gè)低頻子帶,這一分解過(guò)程減少了傳統(tǒng)采樣形式濾波器組所帶來(lái)的失真問(wèn)題,同時(shí)獲得了平移不變性．利用NSDFB對(duì)經(jīng)過(guò)NSPFB分解的各級(jí)高頻子帶進(jìn)行分解可以得到2l個(gè)方向各不相同的子帶．NSCT的突出優(yōu)點(diǎn)是能夠較好地保留圖像中的細(xì)節(jié)信息．

1.2 SUSAN邊緣檢測(cè)

SUSAN(Smallest Univalue Segment Assimilating Nucleus)是一種基于窗口的檢測(cè)方法,針對(duì)邊緣和角點(diǎn)進(jìn)行檢測(cè),檢測(cè)時(shí)不需要計(jì)算微分,因此噪聲的魯棒性更大[11-14]．SUSAN選用一個(gè)近似圓形的窗口在圖像上進(jìn)行移動(dòng),如果窗口內(nèi)像素灰度及核灰度值小于一定的閾值,則判定該點(diǎn)為邊緣點(diǎn)．

2 基于NSCT和對(duì)比度拉伸的圖像融合方法

本文選用非下采樣輪廓波(NSCT)對(duì)紅外與可見(jiàn)光源圖像進(jìn)行分解得到高頻分量和低頻分量,選取合適的融合規(guī)則處理高低頻分量[15-18]．低頻分量包含圖像的輪廓信息及源圖像的大部分能量,為了更好地去除高頻信息,保留源圖像的能量及輪廓信息,采用加權(quán)局部能量及WSEML作為融合規(guī)則．高頻分量包含噪聲和細(xì)節(jié),故采用絕對(duì)值取大和窗口系數(shù)絕對(duì)值取大的方法作為高頻分量的融合規(guī)則．SUSAN算子簡(jiǎn)單高效并且能去除噪聲,應(yīng)用SUSAN算子提取特征再使用上述NSCT方法融合特征和初步處理圖像可以獲得信息更為豐富的圖像．

本文算法的具體實(shí)施步驟如下．

1) 使用非下采樣輪廓波分解紅外與可見(jiàn)光圖像得到低頻系數(shù)和高頻系數(shù)；

2) 對(duì)低頻系數(shù)采用加權(quán)局部能量和WSEML相結(jié)合的融合規(guī)則進(jìn)行融合；

3) 對(duì)高頻系數(shù)運(yùn)用絕對(duì)值取大和窗口系數(shù)絕對(duì)值取大的融合規(guī)則進(jìn)行融合；

4) 對(duì)步驟2和步驟3得到的高低頻子帶進(jìn)行NSCT逆變換得到初步融合圖像；

5) 使用SUSAN算子對(duì)源圖像進(jìn)行邊緣檢測(cè)得到邊緣圖像,對(duì)邊緣圖像進(jìn)行整體的對(duì)比度拉伸,拉伸因子取值為1.1;然后使用上述NSCT算法對(duì)拉伸后的邊緣信息進(jìn)行融合,得到邊緣融合圖像;

6) 針對(duì)步驟4得到的初步融合圖像和步驟5得到的邊緣融合圖像,再重復(fù)使用對(duì)比度拉伸和NSCT算法來(lái)得到最終的融合圖像．

2.1 高頻子帶

高頻子帶包含圖像的邊緣及紋理信息,本文采用絕對(duì)值取大和窗口系數(shù)絕對(duì)值取大的融合規(guī)則[16],絕對(duì)值取大,按式(1)計(jì)算

(1)

式中IA(a,b)、IB(a,b)是圖像的高頻系數(shù)．

窗口系數(shù)絕對(duì)值取大選取大小為5×5的窗口,選取窗口中最大值最為該像素點(diǎn)的值．

2.2 低頻子帶

圖像的能量主要集中在低頻子帶,對(duì)融合效果有著重大的影響．為了充分過(guò)濾圖像的高頻信息,保留圖像的近似信息．本文選取加權(quán)局部能量和WSEML作為判準(zhǔn)準(zhǔn)則,充分保留了圖像的結(jié)構(gòu)和細(xì)節(jié)信息．加權(quán)局部能量E(X,Y)的計(jì)算公式如下

(2)

其中W(a,b)是加權(quán)系數(shù)矩陣,I(X,Y)是圖像的低頻系數(shù)矩陣,本算法中矩陣的大小為3×3．

WSEML的計(jì)算公式為[18]

(3)

式中W(a,b)和式(1)具有相同定義的加權(quán)系數(shù)矩陣．

EML按照式(4)計(jì)算

EML(x,y)=|2S(a,b)-S(a-1,b)-S(a+1,b)|+

|2S(a,b)-S(a,b-1)-S(a,b-1)|+

(4)

式中S∈{A,B}．

低頻系數(shù)，通過(guò)如下規(guī)則進(jìn)行計(jì)算

(5)

其中LA(a,b)，LB(a,b)是紅外與可見(jiàn)光源圖像的低頻系數(shù).EA,EB是加權(quán)局部能量歸一化后的系數(shù)矩陣,WSEMLA,WSEMLB是WSEML歸一化后的矩陣[18]．

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)價(jià)方法

圖像融合的評(píng)價(jià)方法主要分為主觀評(píng)價(jià)和客觀評(píng)價(jià)．本文使用的客觀評(píng)價(jià)指標(biāo)如下：

1) 基于視覺(jué)信息保真度的指標(biāo)(VIFF)

VIFF是基于視覺(jué)信息保真度的評(píng)價(jià)指標(biāo),復(fù)雜度低且更接近人類視覺(jué)感知[19]．值越大,圖像的視覺(jué)效果越好．

2)信息熵(EN)

信息熵用來(lái)衡量圖像包含信息的多少.值越大,圖像所包含的信息越豐富[20],表達(dá)式為

(6)

3)平均梯度(AG)

平均梯度用來(lái)衡量融合圖像的清晰度.值越大,圖像細(xì)節(jié)信息越豐富[21],表達(dá)式為

(7)

4) 邊緣強(qiáng)度(EI)

邊緣信息對(duì)于人眼感知圖像起著重要作用.值越大,圖像邊緣信息越豐富,圖像質(zhì)量越高．

5) 清晰度(FD)

清晰度采用基于Sobel算子的Tenengrad梯度函數(shù)提取圖像水平與豎直方向的梯度,值越大,圖像越清晰,表達(dá)式為

(8)

3.2 融合結(jié)果分析

為驗(yàn)證本文提出的基于NSCT和對(duì)比度拉伸的圖像融合算法的有效性,選取了四組紅外與可見(jiàn)光圖進(jìn)行測(cè)試,測(cè)試圖像來(lái)源于標(biāo)準(zhǔn)圖像數(shù)據(jù)庫(kù)．選取ADF[22]、TIF[23]、BGR[24]、CNN[25]這四種經(jīng)典圖像融合算法進(jìn)行對(duì)比．ADF算法是一種基于各向異性擴(kuò)散和PCA變換的圖像融合算法．利用各向異性擴(kuò)散將源圖像分解為基礎(chǔ)層和細(xì)節(jié)層,對(duì)細(xì)節(jié)層和基礎(chǔ)層采用PCA變換和加權(quán)線性疊加的方式生成融合圖像．TIF算法是一種基于視覺(jué)顯著性檢測(cè)和兩尺度分解的圖像融合方法,能夠較好地突出源圖像的視覺(jué)顯著性信息且快速高效．BGR算法利用四叉樹(shù)分解和貝塞爾插值來(lái)重建紅外背景,然后提取紅外圖像的特征信息并將其添加到可見(jiàn)光圖像中獲得融合圖像．CNN算法是一種深度學(xué)習(xí)算法,通過(guò)學(xué)習(xí)CNN模型實(shí)現(xiàn)源圖像和焦點(diǎn)圖像的直接映射得到融合圖像．實(shí)驗(yàn)結(jié)果如圖1—4所示．

圖1 第一組融合圖像

圖2 第二組融合圖像

圖3 第三組融合圖像

第一組圖像是戶外圖像,紅外圖像樹(shù)木模糊,可見(jiàn)光圖像人像模糊．本文算法融合后的圖像對(duì)比其他算法融合的圖像來(lái)看,圖像亮度較高,人像及房屋邊緣清晰,視覺(jué)效果優(yōu)越．第二組圖像是湖面的輪船,可見(jiàn)光圖像山體模糊,本文算法融合后的圖像山體紋理細(xì)節(jié)以及船體邊緣輪廓較其他算法更為清晰．第三組圖像是夜晚的街道,可見(jiàn)光圖像亮度較低,細(xì)節(jié)信息難以觀察,前幾種算法在亮度以及廣告牌的處理效果較差,而本文算法處理后的圖像亮度適中,廣告牌、行人和車(chē)輛等細(xì)節(jié)更為清晰．第四組圖像是林子中的人,紅外圖像樹(shù)葉不夠清晰,可見(jiàn)光圖像人像模糊,前幾種算法人像不夠清晰,尤其是ADF算法整體視覺(jué)效果不佳,本文提出的算法在亮度、圖像清晰度方面有較好的視覺(jué)效果．

為了進(jìn)一步評(píng)價(jià)所提出算法的有效性,本文還使用了VIFF、EN、AG、EI、FD這五種客觀評(píng)價(jià)指標(biāo)對(duì)圖像的融合效果進(jìn)行評(píng)判,具體數(shù)值結(jié)果如表1—4所示．

表1 第一組圖像客觀指標(biāo)評(píng)價(jià)

表2 第二組圖像客觀指標(biāo)評(píng)價(jià)

結(jié)合表1—4的客觀評(píng)價(jià)指標(biāo),表明本文算法的“EN” “AG” “EI”和“FD”這四個(gè)指標(biāo)均明顯好于經(jīng)典算法,也就是本文算法所獲取的融合圖像,其邊緣信息較其他算法而言更為豐富．此外,本文算法的“VIFF”指標(biāo)也具有一定的優(yōu)勢(shì),說(shuō)明本文提出的算法視覺(jué)效果優(yōu)異．綜合主客觀評(píng)價(jià)結(jié)果可以看出本文所提出融合算法的有效性,在邊緣細(xì)節(jié)以及視覺(jué)感知上均有較大的提升．

表3 第三組圖像客觀指標(biāo)評(píng)價(jià)

表4 第四組圖像客觀指標(biāo)評(píng)價(jià)

4 結(jié)語(yǔ)

提出了一種基于對(duì)比度拉伸和NSCT的圖像融合算法．使用NSCT分解得到高低頻系數(shù),采用絕對(duì)值取大和窗口絕對(duì)值取大規(guī)則處理高頻系數(shù)可以降低圖像噪聲,采用加權(quán)局部能量和WSEML規(guī)則處理低頻系數(shù)能夠更好地保留圖像的能量以及邊緣細(xì)節(jié)信息．對(duì)高低頻系數(shù)采用NSCT逆變換得到初步融合圖像．此外,SUSAN算子具有較好的邊緣提取特性,對(duì)得到的邊緣信息使用上述對(duì)比度拉伸和NSCT算法融合得到邊緣信息,并將該邊緣信息和初步融合圖像重復(fù)執(zhí)行上述操作得到最終的融合圖像．實(shí)驗(yàn)結(jié)果表明,本文所提出的算法無(wú)論是在主觀定性分析還是在客觀的定量計(jì)算上,均優(yōu)于現(xiàn)有經(jīng)典算法．后續(xù)工作將思考如何進(jìn)一步降低所提出算法的計(jì)算復(fù)雜度,便于實(shí)際的工程應(yīng)用．