結(jié)合改進顯著性檢測與NSST的紅外與可見光圖像融合方法

葉坤濤，李 文，舒蕾蕾，李 晟

〈圖像處理與仿真〉

結(jié)合改進顯著性檢測與NSST的紅外與可見光圖像融合方法

葉坤濤，李 文，舒蕾蕾，李 晟

（江西理工大學 理學院，江西 贛州 341000）

針對當前基于顯著性檢測的紅外與可見光圖像融合方法存在目標不夠突出、對比度低等問題，本文提出了一種結(jié)合改進顯著性檢測與非下采樣剪切波變換（non-subsampled shearlet transform, NSST）的融合方法。首先，使用改進最大對稱環(huán)繞（maximum symmetric surround, MSS）算法提取出紅外圖像的顯著性圖，并進一步通過改進伽馬校正進行增強，同時應(yīng)用同態(tài)濾波增強可見光圖像。然后，對紅外圖像與增強的可見光圖像進行NSST分解，利用顯著性圖指導低頻部分進行融合；同時設(shè)定區(qū)域能量取大規(guī)則指導高頻部分融合。最后，通過NSST逆變換重構(gòu)融合圖像。實驗結(jié)果表明，本文方法在平均梯度、信息熵、空間頻率和標準差上遠優(yōu)于其他7種融合方法，可以有效突出紅外目標，提高融合圖像的對比度和清晰度，并保留可見光圖像的豐富背景信息。

圖像融合；顯著性檢測；非下采樣剪切波變換；最大對稱環(huán)繞；同態(tài)濾波

0 引言

圖像融合技術(shù)可以表述為將同一場景下捕捉的兩幅或多幅傳感器圖像合成一幅組合了互補信息源、對場景信息描述更準確的圖像，紅外與可見光圖像融合則是多源傳感器信息融合領(lǐng)域中一個較為重要的分支[1]。它將紅外圖像的目標區(qū)域與可見光圖像的細節(jié)信息相結(jié)合，形成一幅描述場景信息更全面的融合圖像，能夠克服紅外傳感器與可見光傳感器各自成像時的缺陷，如紅外圖像的細節(jié)信息缺失、對比度和分辨率低，可見光圖像易受反射光等外界環(huán)境的干擾，目標信息難提取等。當前，紅外與可見光圖像融合技術(shù)已廣泛應(yīng)用于紅外夜視、資源勘探和生物醫(yī)學等領(lǐng)域[2]。

NSST（non-subsampled shearlet transform）為一種近期較流行的多尺度變換方法，它具備較優(yōu)的多分辨率性、各向異性及平移不變性等，能夠克服圖像邊緣處的偽吉布斯現(xiàn)象[3]?；贜SST的圖像融合方法表現(xiàn)良好，融合效果優(yōu)于先前提出的小波變換、輪廓波變換以及非下采樣輪廓波變換（non-subsampled contourlet transform, NSCT）等多尺度變換方法[4]。

近年來，隨著視覺顯著性檢測的興起，諸多顯著性檢測模型已被國內(nèi)外學者先后提出[5]，同時視覺顯著性檢測也被成功應(yīng)用在圖像融合領(lǐng)域，并取得了較好的融合效果[2,6-8]。文獻[6]利用引導濾波改進頻率調(diào)諧（frequency-tuned, FT）顯著性檢測算法[9]，獲取的融合圖像突出了紅外目標、保留了較多的可見光背景信息，但對比度提升不夠明顯且目標處可能存在偽影現(xiàn)象。文獻[7]中，首先利用L0范數(shù)改進FT算法，其次對紅外顯著性圖進行S型曲線拉伸變換，同時使用對比度受限的自適應(yīng)直方圖均衡化算法增強可見光圖像，獲取的融合圖像中可見光細節(jié)信息豐富、紅外目標區(qū)域突出，但該方法易使紅外目標偏暗，還丟失了部分可見光背景信息。文獻[8]提出暗抑制思想改進最大對稱環(huán)繞（maximum symmetric surround, MSS）顯著性檢測算法[10]，并利用顯著性圖構(gòu)成不同的規(guī)則來融合基礎(chǔ)層和細節(jié)層，獲取的融合圖像的效果較優(yōu)，紅外目標突出，沒有區(qū)域污染的現(xiàn)象，但其對比度與清晰度仍有待提高。文獻[2]提出二維經(jīng)驗模態(tài)分解改進FT算法，并用灰度因子增強紅外圖像，該方法的紅外目標亮度適用、融合圖像清晰度較高，但融合圖像對比度偏暗，還丟失了部分可見光背景細節(jié)。

針對上述問題，本文采用改進MSS算法提取出紅外圖像的顯著性圖并通過改進伽馬校正進一步增強，同時用同態(tài)濾波增強可見光圖像，結(jié)合NSST的各向異性、平移不變性等，提出了一種結(jié)合改進顯著性檢測與NSST的紅外與可見光圖像融合方法。實驗結(jié)果表明，相比于其他7種圖像融合方法，本文方法在主觀視覺分析和客觀指標評估上均取得最優(yōu)。

1 基于改進MSS和改進伽馬校正的紅外圖像顯著性檢測算法

1.1 MSS顯著性檢測算法

MSS算法屬于FT算法的改進版本，通過像素點與圖像邊緣之間的距離來改變圖像邊界附近中心環(huán)繞的濾波帶寬[8]。MSS算法不僅繼承了FT算法的優(yōu)勢，還具有準確性高、速度快等特點，但易使圖像背景處顯著性降低。

MSS算法采用高斯差分濾波方法，該過程中高斯核尺寸為5×5，高頻截止頻率為p/2.75。對于一幅輸入圖像，其顯著性圖獲取的公式表示為：

式中：表示輸入圖像中的某個區(qū)域，S表示區(qū)域的面積。的范圍由式(3)表示；S的大小由式(4)表示：

式中：0與0取值范圍可分別表示為0＝min(,－)，0＝min(,－)，其中與為輸入圖像的寬與高。

1.2 加權(quán)最小二乘濾波

加權(quán)最小二乘（weighted least squares, WLS）濾波為一種經(jīng)典的邊緣保持性算法，屬于非線性濾波[11]。通過WLS濾波，平滑的結(jié)果圖像與輸入圖像近似，并與邊緣部分信息保持著一致，結(jié)果圖像表示為：

式中：下標p表示像素位置，為正則化參數(shù)；a,p、a,p為平滑權(quán)重系數(shù)。(p－p)2的作用是使平滑圖像與輸入圖像更相似。

1.3 伽馬校正

伽馬校正又稱冪次變換，是一種灰度非線性增強方法，通過改變圖像對比度達到細節(jié)增強，從而改善輸出圖像的整體視覺效果[12]。通常的伽馬校正表示為：

式中：out(,)表示原始圖像伽馬校正后對應(yīng)像素；in(,)表示原始圖像的各處像素，像素范圍為[0,1]；為常數(shù)；為伽馬系數(shù)。

若＜1，高灰度值區(qū)域的動態(tài)范圍變小，低灰度值區(qū)域的動態(tài)范圍變大；＞1，與之相反。通過設(shè)定多個值，可以有效地調(diào)整圖像的對比度和清晰度。

1.4 紅外圖像的顯著性檢測

為了較好地解決經(jīng)典MSS算法在進行高斯模糊濾波時易引起圖像邊緣模糊、細節(jié)信息丟失等問題，同時提高顯著性圖的質(zhì)量，本文提出利用具有較強的邊緣保持、和細節(jié)增強能力的加權(quán)最小二乘法濾波器代替經(jīng)典MSS算法中的高斯模糊濾波器，形成改進MSS算法來獲取紅外圖像的顯著性圖，即：

式中：wls(,)表示輸入圖像經(jīng)過加權(quán)最小二乘濾波后在像素(,)處的灰度值；wls(,)表示相應(yīng)的顯著性圖。

獲取顯著性圖wls后，本文提出使用改進伽馬校正法來突出顯著性圖里的紅外目標，并弱化背景信息，從而提高顯著性圖的整體質(zhì)量。

首先，對wls進行歸一化處理，得到歸一化顯著性圖，表示為：

其次，對nom進行改進伽馬校正。以紅外圖像的整體像素均值m作為標準，若顯著性圖wls內(nèi)某點像素值wls(,)大于m的平方，可稱該點為高灰度區(qū)域點，否則稱為低灰度區(qū)域點。為了提高顯著性圖nom的整體對比度，更好地突出紅外目標，弱化背景細節(jié)?？梢詫︼@著性圖nom內(nèi)的低灰度區(qū)域進行壓縮，同時對其高灰度區(qū)域進行擴展，增強低高灰度區(qū)域之間的差異性，從而獲取對比度增強的顯著性圖，表示為：

式中：gam(,)為進行改進伽馬校正后的顯著性圖；0為較小常數(shù)，避免式(11)出現(xiàn)0值的情況，本文取0＝0.00001，1、2為自適應(yīng)的伽馬因子，為了有效地提高紅外圖像顯著性圖的對比度，需保證1＞1、2＜1。經(jīng)過多次實驗運算，當1、2可自適應(yīng)地取為式(12)和式(13)時，本文方法的融合性能較優(yōu)，即：

1＝1.4＋0.5×nom(12)

2＝0.6－0.5×nom(13)

最后，將3種經(jīng)典的顯著性檢測算法，即LC（luminance contrast）算法[13]、FT算法、MSS算法提取的紅外顯著性圖以及本文方法中顯著性圖wls、gam進行對比實驗，并對顯著性檢測的結(jié)果進行主觀評價，本文以紅外圖像“Camp”為例，5種顯著性圖的結(jié)果對比如圖1所示。

圖1 紅外圖像的顯著性圖

從人眼的主觀視覺效果上觀察圖1，發(fā)現(xiàn)本文方法提取出的顯著性圖wls和gam的人物目標更清晰且突出，同時顯著性圖gam的背景信息最少，人物目標的寬度更接近于原始的紅外圖像，其邊緣輪廓最清晰、亮度效果最佳。表明了顯著性圖gam在wls的基礎(chǔ)上，進一步地抑制了紅外圖像的山坡、灌木等背景信息。通過前面的主觀視覺分析可知，本文方法提取出的紅外顯著性圖優(yōu)于LC算法、FT算法和MSS算法所提取的紅外顯著性圖。

2 結(jié)合改進顯著性檢測與NSST指導的圖像融合

2.1 同態(tài)濾波

由于可見光圖像常存在著因光照不足或清晨、夜間拍攝等原因造成圖像整體偏暗，背景細節(jié)的清晰度不夠高。本文決定對NSST分解前的原可見光圖像進行預處理，適當?shù)靥岣邎D像的整體亮度，同時增強背景細節(jié)的清晰度。圖像預處理的常見方法有直方圖均衡化法、中值濾波以及同態(tài)濾波等。

直方圖均衡化法簡單有效，對圖像進行均勻變換，但對于圖像中過亮或過暗區(qū)域無法實現(xiàn)有效的增強。中值濾波能夠有效地抑制圖像中的噪聲，強調(diào)出圖像細節(jié)部分，但易造成圖像模糊。同態(tài)濾波是一種基于傅里葉變換的頻域增強算法，它將圖像空域特征與頻域特征相結(jié)合，通過動態(tài)壓縮圖像的灰度值范圍來調(diào)整圖像的照射和反射強度，能在不丟失圖像亮區(qū)細節(jié)的同時增強圖像暗區(qū)細節(jié)，提升圖像的整體對比度，從而提高非均勻光照條件下的圖像質(zhì)量[14]。本文綜合考慮多種可見光圖像的預處理方法后，決定采用優(yōu)勢較為明顯的同態(tài)濾波，并對增強后的可見光圖像進行歸一化處理。

圖2為分別應(yīng)用直方圖均衡化法、中值濾波法以及同態(tài)濾波法對可見光圖像“Camp”進行增強的結(jié)果對比。

圖2 可見光圖像的增強結(jié)果

觀察圖2，發(fā)現(xiàn)圖2(b)中的圖像整體過亮，對比度過高，背景細節(jié)偏模糊，增強過度；圖2(c)中的圖像整體對比度較低，背景細節(jié)不清晰，邊緣輪廓較模糊，增強效果一般；圖2(d)中的圖像整體視覺效果最佳，其對比度適中，邊緣輪廓和背景細節(jié)清晰度最高，符合人眼的視覺特性，這表明經(jīng)過同態(tài)濾波后的可見光圖像有更優(yōu)的增強效果。

2.2 非下采樣剪切波變換

NSST分解后的子帶圖像與源圖像尺寸相同，且具有高稀疏性、準確表征融合信息的性能。源圖像經(jīng)過3級NSST分解過程如圖3所示。

圖3 源圖像的3級NSST分解過程

2.3 融合流程及融合規(guī)則

2.3.1 融合流程

本文提出的結(jié)合改進顯著性檢測與NSST的紅外與可見光圖像融合方法的流程框圖如圖4所示，具體融合步驟分為以下5步：

步驟1），輸入已配準的紅外圖像IR和可見光圖像VIS；

步驟2），利用改進MSS算法提取出紅外圖像IR的顯著性圖，再使用改進伽馬校正進行增強，同時利用同態(tài)濾波法對可見光圖像VIS進行增強；

步驟3），將紅外圖像IR和增強后的可見光圖像VIS進行NSST分解，獲取相應(yīng)的低頻子帶IR(,)、VIS(,)和高頻子帶D,lIR(,)、D,lVIS(,)，其中為分解尺度，為尺度上的方向數(shù)；

步驟4），利用增強的紅外顯著性圖指導低頻子帶融合，采用區(qū)域能量取大規(guī)則指導高頻子帶融合，獲取融合后的低頻子帶F(,)和高頻子帶D,lF(,)；

步驟5），對F(,)、D,lF(,)進行NSST逆變換，獲取融合圖像F并輸出。

2.3.2 融合規(guī)則

低頻子帶為源圖像的近似成分，為了充分突出紅外目標特征，并保留可見光圖像的細節(jié)信息，本文利用基于改進MSS算法提取出的紅外圖像顯著性圖指導低頻部分系數(shù)進行融合，融合規(guī)則為：

高頻子帶代表源圖像的細節(jié)成分，常見的絕對值取大規(guī)則易使融合圖像混雜許多無效信息，因此本文使用區(qū)域能量取大的規(guī)則來融合高頻部分系數(shù)，表示為：

式中：E,l(,)表示某像素處的高頻部分區(qū)域能量大小，表示為：

式中：M和N為區(qū)域窗口測度，表示區(qū)域窗口大小為(2M＋1)×(2N＋1)，本文取為3×3；w為窗口掩膜矩陣，越靠近中心點表明其權(quán)值相對越大，本文取。

3 實驗分析

為了檢驗本文方法的有效性，將本文方法與LP[16]、CVT[17]、NSCT[18]、NSST-PCNN[4]、NSST- PAPCNN[19]、NSST-FT（低頻采用FT算法獲取的顯著性圖指導融合、高頻采用區(qū)域能量取大規(guī)則指導融合的NSST方法）和文獻[6]方法進行圖像融合實驗對比，實驗中采用6組經(jīng)典的紅外與可見光圖像，其中前5組來源于TNO數(shù)據(jù)集[20]，第6組為常規(guī)的輪船圖像。6組圖像已經(jīng)過嚴格地圖像配準，分別記為“Camp”、“Kaptein”、“Tree”、“APC”、“Marne”和“Steamboat”圖像。

實驗相關(guān)環(huán)境設(shè)置為：Intel Core i7-9750H，CPU主頻為2.60GHz，內(nèi)存為16GB，選用Windows10操作系統(tǒng)和Matlab2019a軟件仿真平臺。本文方法的實驗中相關(guān)參數(shù)設(shè)置：NSST分解中，選擇“maxflat”為NSST分解濾波器，分解方向數(shù)為{8,8,16,16}；加權(quán)最小二乘濾波中，＝0.7，＝0.6；同態(tài)濾波中，銳化參數(shù)＝2.0，高頻增益為H＝3.2，低頻增益為L＝0.75，截止頻率為0＝80。則6組經(jīng)典紅外與可見光圖像在8種融合方法下的融合結(jié)果如圖5～10所示。

圖5 “Camp”圖像的融合結(jié)果

圖6 “Kaptein”圖像的融合結(jié)果

圖7 “Tree”圖像的融合結(jié)果

圖8 “APC”圖像的融合結(jié)果

圖9 “Marne”圖像的融合結(jié)果

圖10 “Steamboat”圖像的融合結(jié)果

首先，本文對6組圖像融合結(jié)果進行主觀視覺評價。觀察上圖5～10，發(fā)現(xiàn)8種融合方法都基本實現(xiàn)了紅外目標和可見光細節(jié)的提取，但LP、CVT及NSCT三種傳統(tǒng)方法的融合圖像對比度和清晰度較低、邊緣輪廓模糊，同時紅外目標過暗，存在著明顯的偽影現(xiàn)象。NSST-PCNN和NSST-PAPCNN方法的融合圖像整體過亮，存在著紅外目標與邊緣輪廓模糊現(xiàn)象，NSST-PCNN方法丟失了較多的可見光背景細節(jié)，僅在“APC”圖像上獲取較好地融合效果，而NSST-PAPCNN方法在“Tree”、“Marne”和“Steamboat”圖像上存在著嚴重的區(qū)域污染，直接降低了融合圖像的質(zhì)量。NSST-FT、文獻[6]及本文方法的融合圖像整體較清晰，對比度適中，優(yōu)于3種傳統(tǒng)方法、NSST-PCNN及NSST-PAPCNN方法獲取的融合圖像，但NSST-FT和文獻[6]方法在“Camp”圖像上存在偽影現(xiàn)象，樹木、塵土等背景信息偏暗，使得融合圖的對比度和清晰度弱于本文方法，在“Marne”圖像的天空上方區(qū)域存在全黑的污染現(xiàn)象，同時“Steamboat”圖像上的紅外目標較暗。

本文方法的6組融合圖像對比度適中，清晰度高，具有豐富的背景細節(jié)信息，例如林木、塵土和煙霧信息，這些背景信息邊緣輪廓清晰且亮度適中，更符合人眼視覺系統(tǒng)對灰度圖像信息的認知特性，紅外目標突出；“Camp”圖像中的人物目標清晰且周圍無偽影，灌木、圍欄等背景細節(jié)信息十分豐富；“Kaptein”圖像中的人物目標特征突出，樹木信息豐富；“Tree”圖像中的視野信息保真度最高，整幅圖像有明顯地“去霧”效果，有效突顯了林木圖像的原始特征；“APC”圖像中的紋理細節(jié)豐富，邊緣輪廓清晰；“Marne”圖像中，無任何天空區(qū)域污染現(xiàn)象，樹木細節(jié)清晰；“Steamboat”圖像中的人物目標亮度最佳，輪船和水面細節(jié)清晰。綜上分析，本文方法的融合結(jié)果在主觀視覺評價上表現(xiàn)最佳。

其次，本文選用互信息（mutual information, MI）、平均梯度（average gradient, AG）、信息熵（information entropy, IE）、空間頻率（spatial frequency, SF）以及標準差（standard deviation, SD）共5項指標對6組圖像的融合結(jié)果進行客觀評價[7]。5項客觀指標均為正項指標，其值越大表明融合效果相對更好。表1～2為選用5項客觀指標的評價結(jié)果。

由表1～2可知，相比于其他7種融合方法，本文方法在5項客觀指標值上有明顯提升，這與主觀視覺評價的結(jié)果相一致。對于前4組圖像，本文方法在5項指標上均為最佳值，并在“Kaptein”、“Tree”圖像上，本文方法的5項指標值與其他7種方法之間差距尤為明顯。在“Marne”圖像上，本文方法的MI低于NSST-PAPCNN方法；在“Steamboat”圖像上，本文方法的MI低于NSST-PCNN方法，而其余4項指標均仍為最佳值。通過利用上述5項指標融合結(jié)果的客觀評價，表明了本文方法的所獲取融合圖像所含信息量更豐富，同時融合圖像的反差更大、清晰度和對比度更高。

表1 前三組融合圖像的客觀評價結(jié)果

表2 后三組融合圖像的客觀評價結(jié)果

通過主觀視覺評價以及客觀指標評價，充分證實了本文提出的改進方法融合性能優(yōu)異，勝于另外7種傳統(tǒng)、流行及基于顯著性檢測的融合方法。

4 結(jié)語

本文在經(jīng)典的MSS算法基礎(chǔ)上進行改進，同時考慮到可見光圖像因成像機制存在偏暗的問題，提出了一種結(jié)合改進顯著性檢測與NSST的紅外與可見光圖像融合方法。在經(jīng)典的MSS算法中混入加權(quán)最小二乘法濾波，提取出紅外圖像的顯著性圖，并進一步通過改進伽馬校正增強顯著性圖，可以有效突出顯著性圖中的紅外目標，同時抑制紅外背景信息；利用同態(tài)濾波對可見光圖像進行預處理，提高可見光圖像的整體亮度，增強其背景細節(jié)清晰度；然后依據(jù)NSST分解原理，使用增強后的顯著性圖指導低頻部分融合，同時使用區(qū)域能量取大規(guī)則指導高頻部分融合。實驗結(jié)果表明本文方法能夠有效地應(yīng)用于紅外與可見光圖像融合領(lǐng)域，屬于一種實用性高、可行性強的紅外與可見光圖像融合方法。

[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508(1): 64-78.

[2] 崔曉榮, 沈濤, 黃建魯, 等. 基于BEMD改進的視覺顯著性紅外和可見光圖像融合[J]. 紅外技術(shù), 2020, 42(11): 1061-1071.

CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]., 2020, 42(11): 1061-1071.

[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310(10): 135-147.

[4] 鄭偉, 趙成晨, 郝冬梅. NSST和改進PCNN相結(jié)合的甲狀腺圖像融合[J]. 光電工程, 2016, 43(10): 42-48,55.

ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]., 2016, 43(10): 42-48, 55.

[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.

[6] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學學報, 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-363.

[7] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術(shù), 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]., 2019, 41(7): 640-645.

[8] 安影, 范訓禮, 陳莉, 等. 結(jié)合FABEMD和改進的顯著性檢測的圖像融合[J]. 系統(tǒng)工程與電子技術(shù), 2020, 42(2): 292-300.

AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.

[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//, 2010: 2653-2656.

[11] 馮維, 吳貴銘, 趙大興, 等. 多圖像融合Retinex用于弱光圖像增強[J]. 光學精密工程, 2020, 28(3): 736-744.

FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]., 2020, 28(3): 736-744.

[12] 吳京輝, 唐林波, 趙保軍. 局部特征與全局信息聯(lián)合的自適應(yīng)圖像增強算法[J]. 北京理工大學學報, 2014, 34(9): 955-960.

WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]., 2014, 34(9): 955-960.

[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.

[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]., 2021, 170(1): 108700.

[15] 焦姣, 吳玲達, 于少波, 等. 混合多尺度分析和改進PCNN相結(jié)合的圖像融合方法[J]. 計算機輔助設(shè)計與圖形學學報, 2019, 31(6): 988-996.

JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]., 2019, 31(6): 988-996.

[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.

[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https:// figshare. com/articles/TNO_Image_Fusion_Dataset/1008029.

Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform

YE Kuntao，LI Wen，SHU Leilei，LI Sheng

(,,341000,)

To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.

image fusion，saliency detection，non-subsampled shearlet transform，maximum symmetric surround，homomorphicfiltering

TP391.41

A

1001-8891(2021)12-1212-10

2021-04-02；

2021-04-13.

葉坤濤（1972-），男，博士，副教授，碩士生導師，目前研究方向有MEMS、信號處理等。E-mail：mems_123@126.com。

江西省教育廳科學技術(shù)研究項目（GJJ170526）。