基于NSCT結(jié)合顯著圖與區(qū)域能量的紅外與可見(jiàn)光圖像融合

牛振華，邢延超，林英超，王晨軒

基于NSCT結(jié)合顯著圖與區(qū)域能量的紅外與可見(jiàn)光圖像融合

牛振華，邢延超，林英超，王晨軒

（青島理工大學(xué) 信息與控制工程學(xué)院，山東 青島 266520）

針對(duì)傳統(tǒng)的紅外與可見(jiàn)光圖像融合出現(xiàn)的清晰度和對(duì)比度偏低，目標(biāo)不夠突出的問(wèn)題，本文提出了一種基于Non-subsampled Contourlet（NSCT）變換結(jié)合顯著圖與區(qū)域能量的融合方法。首先，使用改進(jìn)的頻率調(diào)諧（Frequency-tuned, FT）方法求出紅外圖像顯著圖并歸一化得到顯著圖權(quán)重，單尺度Retinex（Single-scale Retinex, SSR）處理可見(jiàn)光圖像。其次，使用NSCT分解紅外與可見(jiàn)光圖像，并基于歸一化顯著圖與區(qū)域能量設(shè)計(jì)新的融和權(quán)重來(lái)指導(dǎo)低頻系數(shù)融合，解決了區(qū)域能量自適應(yīng)加權(quán)容易引入噪聲的問(wèn)題；采用改進(jìn)的“加權(quán)拉普拉斯能量和”指導(dǎo)高頻系數(shù)融合。最后，通過(guò)逆NSCT變換求出融合圖像。本文方法與7種經(jīng)典方法在6組圖像中進(jìn)行對(duì)比實(shí)驗(yàn)，在信息熵、互信息、平均梯度和標(biāo)準(zhǔn)差指標(biāo)中最優(yōu)，在空間頻率中第一組圖像為次優(yōu)，其余圖像均為最優(yōu)結(jié)果。融合圖像信息量豐富、清晰度高、對(duì)比度高并且亮度適中易于人眼觀察，驗(yàn)證了本文方法的有效性。

圖像融合；Non-subsampled Contourlet變換；區(qū)域能量自適應(yīng)加權(quán)；拉普拉斯能量和

0 引言

為了應(yīng)對(duì)不同拍攝場(chǎng)景的需求，發(fā)展出了多種多樣的圖像傳感器。雖然傳感器種類(lèi)眾多，但是只能使用單一的圖像傳感器拍攝一種類(lèi)型的圖像，例如紅外圖像中不具備可見(jiàn)光圖像的特征。對(duì)于此種局限性科研工作者開(kāi)始研究多傳感器圖像融合技術(shù)，從而得到包含多種顯著特征信息的圖像，豐富了使用單一傳感器所成圖像的信息。近年來(lái)學(xué)者們對(duì)紅外圖像和可見(jiàn)光圖像融合技術(shù)的研究越來(lái)越多，特別是在環(huán)境感知和視頻監(jiān)控領(lǐng)域[1]。

紅外傳感器的成像原理是捕獲物體散發(fā)紅外線(xiàn)的輻射量，目標(biāo)物體輻射量越大所成的圖像就越明亮。由于環(huán)境背景的溫度較低，根據(jù)紅外傳感器的特性，背景圖像較暗存在分辨率低和信息丟失的問(wèn)題?？梢?jiàn)光傳感器的成像原理與光照強(qiáng)度有關(guān)，光線(xiàn)越強(qiáng)所成的圖像就越清晰，具有高分辨率、紋理信息和細(xì)節(jié)信息豐富的特點(diǎn)。缺點(diǎn)是照明條件不良時(shí)圖像質(zhì)量較差。所以迫切需要將兩種圖像的優(yōu)點(diǎn)進(jìn)行融合，得到信息豐富、特征顯著的融合圖像，利于人類(lèi)視覺(jué)感知與分析處理[2]。

目前圖像融合的方法可以分為：變換域方法[3]、空間域方法[4]、深度學(xué)習(xí)方法[5]和其他方法[6]。基于多尺度變換的方法是變換域中的經(jīng)典算法，如拉普拉斯金字塔（Laplacian pyramid, LP）[7]和離散小波變換（Discrete Wavelet Transform, DWT）[8]。近年來(lái)涌現(xiàn)了一些新的方法，如雙樹(shù)復(fù)小波變換（Dual-Tree Complex Wavelet Transform, DTCWT）[9]、曲波（Curvelet Transform, CVT）[10]、輪廓波變換（Contourlet Transform）[11]和非下采樣輪廓波變換（Non-subsampled Contourlet Transform, NSCT）[1,12-13]被引入圖像融合。

金字塔變換易模糊，而小波中存在的共同缺點(diǎn)是不能有效地表示曲線(xiàn)和邊緣。為了更準(zhǔn)確地表示圖像中的空間結(jié)構(gòu)，研究者提出了用曲波基來(lái)表示圖像[14]。除了曲波，輪廓波是另一種可以捕捉圖像內(nèi)在幾何結(jié)構(gòu)的變換，更適合處理二維信號(hào)[15]。Contourlet涉及下采樣過(guò)程，沒(méi)有移位不變性。NSCT解決了Contourlet的問(wèn)題，具有良好移位不變性和方向選擇性。

Zhai等[16]提出了一種以亮度為特征的全局對(duì)比度顯著性檢測(cè)算法（Luminance Contrast, LC），Achanta等人[17]提出了在頻率域基于全局對(duì)比度的顯著性檢測(cè)方法（Frequency-tuned, FT）方法。同時(shí)視覺(jué)顯著性檢測(cè)也被成功應(yīng)用在圖像融合領(lǐng)域，并取得了較好的結(jié)果[18-19]。LC算法容易將非顯著性區(qū)域判定為顯著區(qū)域，F(xiàn)T算法使用了高斯差分濾波器，提取出的顯著圖像邊緣保持能力下降，容易使融合圖像產(chǎn)生偽影。

針對(duì)上述小波出現(xiàn)的問(wèn)題，本文選擇NSCT作為分解方法，并且利用雙邊濾波器（Bilateral Filter , BF）[20]的平滑功能和保邊作用，對(duì)FT算法進(jìn)行了優(yōu)化。使用單尺度Retinex[21-23]（Single-Scale Retinex, SSR）算法對(duì)可見(jiàn)光圖像進(jìn)行增強(qiáng)，提高圖像的細(xì)節(jié)特征和亮度。針對(duì)區(qū)域能量權(quán)重易引入其他信息的問(wèn)題，提出了一種結(jié)合顯著圖與區(qū)域能量權(quán)重的融合規(guī)則。

1 改進(jìn)的FT算法與Retinex理論

1.1 Frequency-tuned算法

FT[17]顯著性檢測(cè)算法是一種基于頻率調(diào)諧的方法。FT算法采用高斯差分（Difference of Gaussian, DoG）帶通濾波的方法，高斯核大小選取為5×5，頻率范圍為(0,p/2.75]。獲取紅外圖像顯著圖公式定義為：

式中：m為(,)平均值；whc(,)是(,)的高斯模糊；||×||為歐氏距離。

1.2 雙邊濾波器

雙邊濾波是一種非線(xiàn)性濾波器[20]，由空間域?yàn)V波和值域?yàn)V波組成，同時(shí)考慮了像素間的空域信息和灰度相似性，達(dá)到了良好的平滑和保持邊緣的效果。其數(shù)學(xué)定義式為：

式中：(,)為雙邊濾波后的圖像；(,)為輸入圖像；(,)為以(,)為中心(2＋1)×(2＋1)的區(qū)域，為濾波半徑；(,,,)是權(quán)重系數(shù)。通常將(,,,)定義為：

(,,,)＝(,,,)(,,,) (3)

式中：(,,,)表示定義域核；(,,,)表示值域核：

式中：和為標(biāo)準(zhǔn)差，在灰度平坦區(qū)域進(jìn)行高斯濾波，在邊緣處值域核用來(lái)保持邊緣。

1.3 紅外顯著圖檢測(cè)

由于FT算法使用高斯濾波，邊緣信息會(huì)丟失，造成融合結(jié)果出現(xiàn)偽影和細(xì)節(jié)丟失的問(wèn)題。本文提出采用雙邊濾波器來(lái)代替FT算法中的高斯差分濾波器，雙邊濾波器不僅保留了高斯平滑的作用還增強(qiáng)了邊緣保持的能力，保留了原圖像更多的細(xì)節(jié)信息。改進(jìn)后的FT算法獲取的顯著圖為：

式中：BF(,)表示輸入圖像經(jīng)過(guò)雙邊濾波后在(,)處的灰度值；BF(,)表示紅外圖像的顯著圖。圖1為L(zhǎng)C算法[16]、FT算法[17]和本文算法得到的紅外顯著圖。通過(guò)觀察LC方法也會(huì)將很多背景信息判斷為顯著部分，F(xiàn)T方法要優(yōu)于LC方法，本文方法既提取出了圖1(a)中原圖像目標(biāo)人物的信息，又降低了背景的干擾保留了目標(biāo)的邊緣信息。并對(duì)顯著圖BF(,)進(jìn)行歸一化處理：

式中：BF|min是BF(,)最小值；BF|max是BF(,)最大值；norm(,)表示歸一化后的值。

(a) 原圖(a) Original image(b) LC方法(b) LC method (c) FT方法(c) FT method(d) 改進(jìn)FT方法(d) Improved FT method (e) 歸一化改進(jìn)FT(e) Normalization of improved FT method

1.4 單尺度Retinex算法

由于可見(jiàn)光圖像的質(zhì)量與光照有關(guān)，雨天、霧天和光線(xiàn)不足時(shí)造成分辨率較低、細(xì)節(jié)輪廓不明顯、圖像質(zhì)量較差。所以在圖像融合中為了能獲得質(zhì)量較高的融合圖像，需要對(duì)可見(jiàn)光圖像預(yù)處理達(dá)到增強(qiáng)的效果。Retinex算法是Land等人[21]提出的，圖像(,)由兩個(gè)分量組成：反射分量(,)和照度分量(,)。圖像(,)可以表示為：

(,)＝(,)×(,) (8)

式中：(,)表示了圖像的本質(zhì)屬性，可以通過(guò)(,)來(lái)估計(jì)(,)的值消除(,)對(duì)圖像的影響，從而實(shí)現(xiàn)圖像增強(qiáng)，通過(guò)兩邊取自然對(duì)數(shù)，單尺度Retinex可以表示為：

(,)＝ln[(,)]－ln[(,)] (9)

式中：(,)表示SSR后的圖像；(,)由(,)經(jīng)過(guò)高斯平滑得到：

(,)＝(,)*(,) (10)

式中：*表示卷積運(yùn)算；(,)表示高斯濾波函數(shù)：

式中：表示高斯環(huán)繞尺度；是一個(gè)尺度，必須滿(mǎn)足式(12)：

實(shí)驗(yàn)中設(shè)為85，設(shè)為1。圖2表示經(jīng)過(guò)SSR增強(qiáng)后的可見(jiàn)光圖像。

(a) 原圖(a) Original image(b) SSR增強(qiáng)后的圖像(b) SSR-enhanced image

從圖2可以清楚地觀察到經(jīng)過(guò)SSR增強(qiáng)后的圖像比原圖像更加清晰，并且不會(huì)產(chǎn)生過(guò)度明亮的區(qū)域影響人眼的觀察。

2 NSCT域圖像融合

2.1 非下采樣輪廓波變換

圖3 NSCT分解示意圖

2.2 算法流程和融合規(guī)則

2.2.1 算法流程

本文提出的基于NSCT變換結(jié)合顯著圖與區(qū)域能量自適應(yīng)加權(quán)的紅外圖像與Retinex增強(qiáng)的可見(jiàn)光圖像融合方法流程如圖4所示，輸入圖像為紅外圖像IR(,)和可見(jiàn)光圖像IV(,)，輸出為融合圖像IF(,)。具體可以分為6步：

1）使用SSR獲得增強(qiáng)的IVSSR(,)。

2）使用BF改進(jìn)的FT計(jì)算紅外圖像的BF(,)，對(duì)BF(,)歸一化得到顯著圖的權(quán)重系數(shù)norm(,)。

4）低頻系數(shù)融合：使用區(qū)域能量自適應(yīng)加權(quán)算法計(jì)算IR(,)和IV(,)的權(quán)重，與norm(,)構(gòu)建聯(lián)合權(quán)重，根據(jù)新的權(quán)重計(jì)算IFlow(,)。

2.2.2 低頻系數(shù)融合規(guī)則

低頻系數(shù)代表了圖像的整體輪廓，保留了大部分能量。因此，低頻圖像的融合結(jié)果對(duì)整幅圖像的融合效果起到?jīng)Q定性的作用，效果好的低頻圖像的融合策略既能夠保留圖像的近似信息又保留了其中的細(xì)節(jié)信息。

圖4 本文圖像融合方法流程框圖

基于低頻部分包含有大量能量信息，所以低頻融合規(guī)則選取區(qū)域能量自適應(yīng)加權(quán)方法。又因?yàn)橹恍枰崛〖t外圖像中顯著部分進(jìn)行圖像融合，盡可能多地去除背景信息的影響，能量高的地方可能是紅外圖像需要融合的地方，也有可能是某處背景信息，若引入到后面的融合過(guò)程，可能會(huì)造成最終的融合圖像出現(xiàn)偽影或噪聲，從而影響后續(xù)的觀察與圖像處理。因此，使用1.3節(jié)提出的改進(jìn)FT算法計(jì)算紅外圖像顯著圖，排除大部分背景噪聲的影響，并對(duì)紅外顯著圖進(jìn)行歸一化處理，從而計(jì)算出顯著部分占原始圖像的比例是多少。再結(jié)合區(qū)域能量自適應(yīng)加權(quán)方法計(jì)算出的紅外圖像與可見(jiàn)光圖像每部分的權(quán)重，組成聯(lián)合權(quán)重系數(shù)矩陣。

區(qū)域能量定義為：

式中：IR(,)和IV(,)代表IR和IV的能量；(,)為權(quán)重矩陣，窗口大小一般為3×3，(,)為：

定義1(,)和2(,)為區(qū)域能量自適應(yīng)權(quán)重：

定義聯(lián)合權(quán)重為IR(,)和IV(,)，其數(shù)學(xué)公式定義為：

式中：分別定義1￠(,)＝norm(,)＋1(,)和2￠(,)＝1－norm(,)＋2(,)。

低頻融合規(guī)則可以表示為：

IFlow(,)＝IR(,)IRlow(,)＋I(xiàn)V(,)IVlow(,) (18)

且IR(,)＋I(xiàn)V(,)＝1。本文提出的融合規(guī)則綜合考慮了紅外圖像和可見(jiàn)光圖像的顯著性和區(qū)域能量的差異性，通過(guò)歸一化紅外圖像的顯著圖得到顯著圖的概率分布，顯著圖的概率與紅外圖像的區(qū)域能量自適應(yīng)權(quán)重組成聯(lián)合權(quán)重，1－norm(,)則表示紅外圖像的非顯著部分。兩部分概率相互平衡，抑制了因單一融合規(guī)則引入的無(wú)效背景甚至噪聲信息。

2.2.3 高頻系數(shù)融合規(guī)則

高頻子帶圖像表示邊緣和紋理信息。高頻融合一般用絕對(duì)值取大的策略。這種方案對(duì)噪聲比較敏感，同時(shí)也有可能丟失一些重要信息。因?yàn)橄禂?shù)選擇是基于絕對(duì)值，只比較單個(gè)系數(shù)而不考慮相鄰系數(shù)。本文選擇拉普拉斯能量和（Sum Modified Laplacian, SML）作為活動(dòng)水平度量參數(shù)，SML是一種表征圖像邊緣特征的參數(shù)，能夠反映圖像的邊緣信息。傳統(tǒng)的修正拉普拉斯算子（Modified Laplacian, ML）只能計(jì)算鄰域內(nèi)水平和垂直方向上的系數(shù)，忽略了對(duì)角線(xiàn)上像素對(duì)圖像的影響，本文選擇ML算子局部窗口大小為3×3，由于對(duì)角線(xiàn)像素與中心點(diǎn)的距離之比為21/2，因此改進(jìn)后的ML算子數(shù)學(xué)公式定義為：

式中：(,)表示源圖像，改進(jìn)的加權(quán)拉普拉斯能量和的數(shù)學(xué)定義為：

手機(jī)用戶(hù)規(guī)模不斷擴(kuò)大。根據(jù)中國(guó)工商業(yè)研究所(China Business Industry Research Institute)2017-2022年發(fā)布的《中國(guó)第三方移動(dòng)支付產(chǎn)業(yè)市場(chǎng)前景和投資機(jī)會(huì)研究報(bào)告》(Research Report)顯示，截至2017年12月，中國(guó)移動(dòng)電話(huà)用戶(hù)總數(shù)已達(dá)到7.53億。與2016相比，人群的比例增加了2.4%。

式中：ML是窗口加權(quán)系數(shù)矩陣，因?yàn)榫植看翱谥行幕叶戎祵?duì)圖像邊緣起主要作用，定義ML為：

WSML計(jì)算每個(gè)高頻子帶的系數(shù)：

對(duì)(,)進(jìn)行一致性校驗(yàn)得到最終的融合決策圖F(,)，通過(guò)在3×3窗口中的一致性驗(yàn)證使用多數(shù)過(guò)濾操作。也就是說(shuō)，在每個(gè)3×3窗口，如果更多數(shù)量的系數(shù)來(lái)自圖像A，而中心系數(shù)來(lái)自B，那么中心系數(shù)也來(lái)自圖像A。否則它是保持原樣，反之亦然。融合的高頻子帶如下所示：

3 實(shí)驗(yàn)分析

為了驗(yàn)證本文提出方法有效性，本文將與7種較經(jīng)典的方法進(jìn)行比較，其中包括文獻(xiàn)[24]提到的5種方法：LP、RP（ratio of low-pass pyramid）、DTCWT（dual-tree complex wavelet）、CVT（curvelet transform）和NSCT，DCHWT[25]和Hybrid-MSD（hybrid multi-scale decomposition）[26]。選擇TNO數(shù)據(jù)集[27]中的6組圖像進(jìn)行實(shí)驗(yàn)，其中的圖像經(jīng)過(guò)嚴(yán)格配準(zhǔn)，6組圖像分別記為：Nato_camp、Tree、Duine、APC_4、Kaptein_1654和Movie_18。

實(shí)驗(yàn)平臺(tái)為：處理器是11th Gen Intel(R) Core(TM) i5-11400H @ 2.70GHz，16GB內(nèi)存，Windows11操作系統(tǒng)。軟件環(huán)境平臺(tái)為MATLAB R2021b。改進(jìn)FT算法中參數(shù)設(shè)為：窗口大小為5、d＝3和r＝0.2。SSR中設(shè)為85，設(shè)為1。NSCT分解層數(shù)設(shè)為4層，每一層的方向分解數(shù)為[2, 3, 3, 4]，NSP濾波器設(shè)置為“pyrexc”，NSDFB設(shè)置為“vk”。圖像全部調(diào)整為200×200像素。融合結(jié)果如圖5～10所示。

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

(a) IR(b) IV(c) LP(d) RP(e) DTCWT (f) CVT(g) NSCT(h) DCHWT(i) Hybrid_MSD(j) Proposed

3.1 主觀評(píng)價(jià)

從圖5～10中可以看出，7種對(duì)比方法和本文提出的方法都基本提取出了紅外目標(biāo)并完成了圖像融合的目標(biāo)。從6組融合圖像整體效果中，融合圖像的對(duì)比度、亮度和清晰度都有提升，其中，Tree、Duine、APC_4和Movie_18提升尤為明顯。

在Nato_camp中本文方法融合圖像紅外目標(biāo)比LP、RP、DTCWT、CVT和NSCT亮度更強(qiáng)，比DCHWT和Hybrid_MSD的分辨率更高，樹(shù)木草叢的紋理更加明顯。在Tree中樹(shù)木輪廓與地面差異明顯，能夠清楚分辨出樹(shù)與地面的位置關(guān)系，保留了可見(jiàn)光圖像的特征且增強(qiáng)了可見(jiàn)光圖像的亮度、對(duì)比度和清晰度。Duine的融合結(jié)果與Tree的結(jié)果類(lèi)似，都提高了融合圖像的亮度、對(duì)比度和清晰度。在APC_4中亮度和清晰度得到提升，較其他方法保留了更多可見(jiàn)光圖像的細(xì)節(jié)信息，土地和灌木比其他方法要清晰和明亮，提高了圖像的分辨率。在Kaptein_1654中本文方法比其他方法紅外目標(biāo)更明顯，左下角植物細(xì)節(jié)明顯好于其他方法的融合圖像。在Movie_18中房子側(cè)面和正面都要比其他方法的結(jié)果更清晰，對(duì)比度更高，車(chē)子更加明顯，雖然紅外目標(biāo)亮度低于Hybrid_MSD方法，但是本文方法的融合圖像整體的亮度、清晰度和對(duì)比度更高，地面輪廓分明。

綜上，本文方法的融合圖像清晰度和對(duì)比度更高，整體亮度適中，更加適合人眼的觀察。

3.2 客觀評(píng)價(jià)

本文選用文獻(xiàn)[28]中的5種客觀評(píng)價(jià)標(biāo)準(zhǔn)作為本文方法的綜合評(píng)價(jià)指標(biāo)，其中包括：信息熵（Information Entropy, IE）[28]、空間頻率（Spatial Frequency, SF）[28]、互信息（Mutual Information, MI）[28]、平均梯度（Average Gradient, AG）[28]和標(biāo)準(zhǔn)差（Standard Deviation, SD）[28]。文獻(xiàn)[28]指出信息熵、空間頻率和互信息值越大包含的信息量越多。平均梯度表征細(xì)節(jié)信息，值越大圖像邊緣和細(xì)節(jié)融合效果越好。標(biāo)準(zhǔn)差體現(xiàn)了某一點(diǎn)灰度值對(duì)于整體的分布性，值越大圖像容納的信息越豐富，圖像的質(zhì)量越好。

綜上，這5種評(píng)價(jià)指標(biāo)值越大融合效果越好。6組融合圖像的客觀評(píng)價(jià)結(jié)果如表1～6所示，并將最好的結(jié)果加粗顯示。由表1～6可知，相比于其他對(duì)比的方法，本文方法的結(jié)果均在所有評(píng)價(jià)結(jié)果中有所提升，其中，本文提出的方法在后5組圖像的評(píng)價(jià)結(jié)果均為最優(yōu)。在Tree、Duine、APC_4和Movie_18圖像中，5項(xiàng)指標(biāo)的提升尤為明顯，在Kaptein_1654圖像中，在SF指標(biāo)中較次優(yōu)值略有提升，對(duì)比其他方法提升幅度較大，在IE、MI、AG和SD中提升幅度較大。在Nato_camp圖像中本文方法的SF值低于Hybrid_MSD方法，但其他結(jié)果仍是最優(yōu)的。

通過(guò)主觀評(píng)價(jià)和分析表1～6中的評(píng)價(jià)結(jié)果，表明了本文方法得到的融合圖像紋理和細(xì)節(jié)信息量更豐富，清晰度和對(duì)比度更高，而且比單一的NSCT方法性能均有提升，驗(yàn)證了本文所提方法的有效性和正確性。

表1 Nato_camp客觀評(píng)價(jià)結(jié)果

表2 Tree評(píng)價(jià)結(jié)果

表3 Duine客觀評(píng)價(jià)結(jié)果

表4 APC_4客觀評(píng)價(jià)結(jié)果

表5 Kaptein_1654客觀評(píng)價(jià)結(jié)果

表6 Movie_18客觀評(píng)價(jià)結(jié)果

4 結(jié)語(yǔ)

本文提出了一種基于NSCT變換的圖像融合方法。首先使用SSR增強(qiáng)可見(jiàn)光圖像。在FT方法的基礎(chǔ)上，使用了邊緣保持效果更好的雙邊濾波器計(jì)算紅外圖像顯著圖，抑制了融合邊緣產(chǎn)生的偽影，并結(jié)合區(qū)域能量自適應(yīng)加權(quán)設(shè)計(jì)了新的低頻融合規(guī)則構(gòu)造新的融合權(quán)重，顯著圖的加入可以抑制由區(qū)域能量自適應(yīng)加權(quán)所引入的紅外圖像的背景和噪聲。高頻系數(shù)融合采用改進(jìn)的“加權(quán)拉普拉斯能量和”，該方法增加了水平與對(duì)角線(xiàn)像素的權(quán)重，而傳統(tǒng)的拉普拉斯能量和只有水平垂直方向，改進(jìn)的方法邊緣細(xì)節(jié)保持能力更強(qiáng)。實(shí)驗(yàn)結(jié)果表明，在主觀評(píng)價(jià)和客觀評(píng)價(jià)方面，本文提出的方法顯著優(yōu)于其他7種方法，融合圖像具有亮度適中、清晰度高和對(duì)比度高的特點(diǎn)，說(shuō)明了本文方法正確和有效。

[1] 楊孫運(yùn), 奚崢皓, 王漢東, 等. 基于NSCT和最小化-局部平均梯度的圖像融合[J]. 紅外技術(shù), 2021, 43(1): 13-20. YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on nsct and minimum-local mean gradient[J]., 2021, 43(1): 13-20.

[2] 肖中杰. 基于NSCT紅外與可見(jiàn)光圖像融合算法優(yōu)化研究[J].紅外技術(shù), 2017, 39(12): 1127-1130.

XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]., 2017, 39(12): 1127-1130.

[3] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]., 2015, 73: 286-297.

[4] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[5] MA J, YU W, LIANG P, et al. Fusion GAN: A generative adversarial network for infrared and visible image fusion[J]., 2019, 48: 11-26.

[6] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]., 2017, 83: 227-237.

[7] Mertens T, Kautz J, Reeth F V. Exposure fusion[C]//, 2007: 382-390.

[8] ZHANG Z, Blum R S. A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application[C]//, 1999, 87(8): 1315-1326.

[9] Lewis J J, Callaghan R J O, Nikolov S G, et al. Pixel- and region-based image fusion with complex wavelets[J]., 2007, 8(2): 119-130.

[10] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[11] YANG S, WANG M, JIAO L, et al. Image fusion based on a new contourlet packet[J]., 2010, 11(2): 78-84.

[12] Cunha A L, ZHOU J P, DO M N. The nonsubsampled Contourlet transform: theory, design, and applications [J]., 2006, 15(10): 3089-3101.

[13] 郭明, 符拯, 奚曉梁. 基于局部能量的NSCT域紅外與可見(jiàn)光圖像融合算法[J]. 紅外與激光工程, 2012, 41(8): 2229-2235.

GUO Ming, FU Zheng, XI Xiaoliang. Novel fusion algorithm for infrared and visible images based on local energy in NSCT domain[J]., 2012, 41(8): 2229-2235.

[14] Cands E J, Donoho D L. Curvelets and curvilinear integrals[J]., 2001, 113(1): 59-90.

[15] DO M N, Vetterli M. Contourlets: a directional multiresolution image representation[C]//, 2002, 1: I-357-I-360.

[16] ZHAI Y, SHAH M. Visual attention detection in video se-quencesusing spatiotemporal cues[C]//14, 2006: 815-824.

[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[18] 葉坤濤, 李文, 舒蕾蕾, 等. 結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見(jiàn)光圖像融合方法[J]. 紅外技術(shù), 2021, 43(12): 1212-1221.

YE Kuntao, LI Wen, SHU Leilei, LI Sheng. Infrared and visible image fusion method based on improved saliency detection and non-subsampled shearlet transform[J]., 2021, 43(12): 1212-1221.

[19] 唐中劍, 毛春. 基于顯著導(dǎo)向的可見(jiàn)光與紅外圖像融合算法[J]. 太赫茲科學(xué)與電子信息學(xué)報(bào), 2021, 19(1): 125-131

TANG Zhongjian, MAO Chun. Visible and infrared image fusion algorithm based on saliency guidance[J]., 2021, 19(1): 125-131.

[20] 王惠琴, 呂佳蕓, 張偉. 基于雙邊濾波-BM3D算法的GPR圖像去噪[J]. 蘭州理工大學(xué)學(xué)報(bào), 2022, 48(1): 91-97.

WANG Huiqin, LYU Jiayun, ZHANG Wei. GPR image denoising based on bilateral filtering BM3D algorithm[J]., 2022, 48(1): 91-97.

[21] Edwin H Land. The retinex theory of color vision [J]., 1977, 237(6): 108-129.

[22] 程鐵棟, 盧曉亮, 易其文, 等. 一種結(jié)合單尺度Retinex與引導(dǎo)濾波的紅外圖像增強(qiáng)方法[J]. 紅外技術(shù), 2021, 43(11): 1081-1088.

CHENG Tiedong, LU Xiaoliang, YI Qiwen, et al. Research on infrared image enhancement method combined with single-scale retinex and guided image filter[J]., 2021, 43(11): 1081-1088.

[23] 翟海祥, 何嘉奇, 王正家, 等. 改進(jìn)Retinex與多圖像融合算法用于低照度圖像增強(qiáng)[J]. 紅外技術(shù), 2021, 43(10): 987-993.

ZHAI Haixiang, HE Jiaqi, WANG Zhengjia, et al. Improved Retinex and multi-image fusion algorithm for low illumination image enhancemen[J]., 2021, 43(10): 987-993.

[24] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]., 2015, 24: 147-167.

[25] Kumar B. Multifocus and multispectral image fusion based on pixel significance using discrete cosine harmonic wavelet transform[J]., 2013, 7: 1125-1143.

[26] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]., 2016, 30: 15-26.

[27] Toet Alexander. TNO image fusion dataset[EB/OL]. 2014, https://doi.org/10.6084/m9.figshare.1008029.v1.

[28] 張小利, 李雄飛, 李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]., 2014, 40(2): 306-315.

Infrared and Visible Image Fusion Based on NSCT Combined with Saliency Map and Region Energy

NIU Zhenhua，XING Yanchao，LIN Yingchao，WANG Chenxuan

(School of Information and Control Engineering, Qingdao University of Technology, Qingdao 266520, China)

To address the problems of low clarity and contrast of indistinct targets in traditional infrared and visible image-fusion algorithms, this study proposes a fusion method based on non-subsampled contourlet transform (NSCT) combined with a saliency map and region energy. First, an improved frequency-tuning (FT) method is used to obtain the infrared image saliency map, which is subsequently normalized to obtain the saliency map weight. A single-scale retinex (SSR) algorithm is then used to enhance the visible image. Second, NSCT is used to decompose the infrared and visible images, and a new fusion weight is designed based on the normalized saliency map and region energy to guide low-frequency coefficient fusion. This solves the problem of region-energy adaptive weighting being prone to introducing noise, and the improved "weighted Laplace energy sum" is used to guide the fusion of high-frequency coefficients. Finally, the fused image is obtained by inverse NSCT. Six groups of images were used to compare the proposed method with seven classical methods. The proposed method outperformed others in terms of information entropy, mutual information, average gradient, and standard deviation. Regarding spatial frequency, the first group of images was second best, and the remaining images exhibited the best results. The fusion images displayed rich information, high resolution, high contrast, and moderate brightness, demonstrating suitability for human observation, which verifies the effectiveness of this method.

image fusion, Non-subsampled Contourlet Transform, adaptive weight of regional energy, sum modified Laplacian

V271.4；TP391

A

1001-8891(2024)01-0084-10

2022-03-22；

2022-05-11.

牛振華（1996-），男，碩士研究生，主要從事圖像處理方面的研究。E-mail: 2215176247@qq.com。

邢延超（1973-），男，博士，副教授，研究方向?yàn)閿?shù)字信號(hào)處理，水聲通信技術(shù)。E-mail：9609891@qq.com。

山東省自然科學(xué)基金（ZR2021MF101）。