基于改進(jìn)FT 顯著性檢測的NSCT 紅外和可見光圖像融合

王賢濤，趙金宇

（1. 中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2. 中國科學(xué)院大學(xué)，北京 100049）

1 引 言

圖像融合技術(shù)可以充分利用兩幅或多幅源圖像的優(yōu)勢，按照合理的規(guī)則將其在時間或空間上的互補(bǔ)信息融合，獲得一個能更豐富、更全面、更精確地對場景進(jìn)行一致性解釋和描述的綜合圖像［1］。圖像融合技術(shù)在現(xiàn)代應(yīng)用和計(jì)算機(jī)視覺中發(fā)揮著越來越重要的作用，已廣泛應(yīng)用于多聚焦圖像、醫(yī)學(xué)圖像、紅外可見光圖像和遙感圖像等圖像領(lǐng)域［2］。在眾多應(yīng)用領(lǐng)域中，紅外和可見圖像由于具有非常好的普遍性和互補(bǔ)性，因此已成為行業(yè)主流研究熱點(diǎn)，其中目標(biāo)識別、檢測、圖像增強(qiáng)、視頻監(jiān)視和遙感等都是紅外和可見光圖像融合的典型應(yīng)用［3-4］。

針對紅外和可見光圖像融合，目前已經(jīng)衍生出了很多種方法，其中基于像素級的多尺度分解（MST）是目前公認(rèn)的最有效且實(shí)用的方法［5］。常用的多尺度變換工具主要有拉普拉斯金字塔變換（LP）、小波變換（WT）、輪廓波變換（CT）、非下采樣輪廓波變換（NSCT）、非下采樣剪切波變換（NSST）等［6-7］。文獻(xiàn)［8］對多尺度分解工具在圖像融合領(lǐng)域的應(yīng)用進(jìn)行了對比分析，結(jié)果顯示，NSCT 具有多尺度、多方向的性質(zhì)，還具有平移不變性，變換后能量更加集中，其融合效果最好，應(yīng)用最廣泛。除了多尺度變換工具的選擇，融合規(guī)則的設(shè)定也是影響融合圖像質(zhì)量的關(guān)鍵因素。傳統(tǒng)的融合方法主要采用“像素平均法”或者“絕對值取大法”來處理或者利用修正拉普拉斯算子和（SML）、空間頻率（SF）、熵、區(qū)域能量、區(qū)域方差、對比度、梯度等這些常用的單一活動水平度量獲得的度量值來獲得融合子帶系數(shù)［9］。由于沒有充分考慮像素之間的聯(lián)系，簡單的處理導(dǎo)致最終的結(jié)果不是很理想。

基于視覺顯著性檢測的方法根據(jù)人眼視覺特性提取人眼感興趣的部分同時對背景進(jìn)行抑制，融合后的圖像具有目標(biāo)突出保留更多背景信息的優(yōu)勢。該方法已被成功應(yīng)用在圖像融合領(lǐng)域并取得了較好的融合效果。目前針對紅外可見光圖像的顯著性檢測方法主要分為兩類，一類是只針對紅外圖像的顯著性區(qū)域提取算法。文獻(xiàn)［10］提出一種基于改進(jìn)基于全局對比度（LC）圖像顯著性檢測灰度能量差異性的顯著目標(biāo)提取算法，對顯著圖進(jìn)行sin 函數(shù)拉伸變換。文獻(xiàn)［11］利用L0 范數(shù)改進(jìn)FT 顯著性檢測算法，對紅外顯著圖進(jìn)行S 型曲線拉伸變換。文獻(xiàn)［12］采用WLS 濾波改進(jìn)最大對稱環(huán)繞（MSS）顯著性檢測算法，對得到的顯著圖進(jìn)行改進(jìn)伽馬校正。另一類是對紅外和可見光圖像都做顯著圖提取。文獻(xiàn)［13］采用改進(jìn)LC 算法有效實(shí)現(xiàn)了對可見和紅外圖像顯著圖提取。文獻(xiàn)［14］提出一種基于視覺顯著性的閾值優(yōu)化融合規(guī)則。文獻(xiàn)［15］通過平均濾波輸出和中值濾波輸出的差異來獲得顯著圖。文獻(xiàn)［16］根據(jù)相位一致性計(jì)算IR 和VIS 圖像的顯著圖，隨后采用引導(dǎo)過濾生成加權(quán)圖。兩類方法都存在局限性，第一類方法雖然可以減少無用的紅外背景信息提取，但只能針對少數(shù)圖像有很好的紅外目標(biāo)提??；第二類方法雖然提取快且不受圖像復(fù)雜度影響，但是顯著圖中除了提取的紅外目標(biāo)外還包含了太多無用的紅外背景信息。

為了克服上述問題，進(jìn)一步提高目標(biāo)和背景之間的對比度，保留更多的目標(biāo)信息和細(xì)節(jié)信息，本文提出了一種基于改進(jìn)的FT 顯著性檢測的NSCT 紅外與可見光融合方法。首先為了提取較好的紅外顯著圖，進(jìn)行了限制灰度范圍、高斯濾波換為引導(dǎo)濾波、灰度能量和對比度拉伸函數(shù)增強(qiáng)處理來瞄準(zhǔn)紅外圖像，用于從背景中區(qū)分目標(biāo)。然后使用NSCT 對紅外圖像和可見光圖像進(jìn)行高低頻子帶的分解，利用計(jì)算得到的紅外顯著權(quán)重圖對低頻子帶系數(shù)進(jìn)行指導(dǎo)融合，可以很好地保留目標(biāo)和背景之間的對比度；對于高頻部分，采用局部加權(quán)能量的規(guī)則進(jìn)行融合然后再通過WLS 優(yōu)化，可以獲得更多的細(xì)節(jié)信息和減小噪聲影響。最后對融合后的高頻系數(shù)和低頻系數(shù)進(jìn)行NSCT 逆變換得到最終的融合圖像。

2 相關(guān)工作

2.1 非下采樣輪廓波變換

NSCT 由非下采樣金字塔濾波器組（NSPFB）和非下采樣方向?yàn)V波器組（NSDFB）構(gòu)成。簡單來說，NSCT 過程首先使用NSPFB 分解源圖像得到低頻和高頻系數(shù)，完成多尺度分解過程，接著采用NSDFB 分解NSPFB 每個階段的高頻子帶，完成多方向性分析過程。與Contourlet 變換不同，NSCT 通過在多尺度分解濾波器和方向?yàn)V波器中執(zhí)行上采樣，而不是對圖像信號執(zhí)行采樣操作，因此具備平移不變性，消除了Contourlet 變換存在的偽吉布斯現(xiàn)象。經(jīng)過N級NSCT 分解后的原圖像最終可以得到與輸入的源圖像大小一致的子帶圖像（lj是尺度j下的方向分解級數(shù)）。圖1 展示了NSCT 分解結(jié)構(gòu)框圖。

圖1 NSCT 分解框架圖Fig.1 NSCT decomposition frame diagram

2.2 Frequency-tuned 顯著性檢測

FT 算法采用頻域?yàn)V波進(jìn)行顯著性檢測。它有4 點(diǎn)要求：（1）強(qiáng)調(diào)突出大的顯著目標(biāo)而不是小的顯著區(qū)域；（2）突出整體的顯著性區(qū)域；（3）突出顯著性區(qū)域的邊界；（4）忽略紋理或噪聲偽影成分。

為實(shí)現(xiàn)上述要求，F(xiàn)T 算法濾波選擇采用高斯差分濾波方法，該過程中的高斯核尺寸為5×5，頻率范圍為（0，π/2.75］。對于一幅輸入圖像I，其顯著性圖獲取的公式如式（1）所示：

式中：Iμ為輸入圖像I的灰度平均值，Iwhc(x，y)為輸入圖像在經(jīng)過高斯濾波后對應(yīng)位置的灰度值。||·||為L2 范式。

2.3 引導(dǎo)濾波器

高斯模糊由于對任意圖像都是采用相同的操作，因此在平滑圖像細(xì)節(jié)的同時也使得圖像邊緣變得模糊。而引導(dǎo)濾波器（GF）是一種經(jīng)典的邊緣保持濾波器，既能平滑圖像細(xì)節(jié)又能較好地保持圖像邊緣，可以滿足FT 算法中突出顯著性區(qū)域邊界的要求。GF 是一個局部線性移變?yōu)V波器。設(shè)輸入圖像為p，引導(dǎo)圖像為I，濾波器輸出圖像為q，其中引導(dǎo)圖像I可以是其他圖像也可以是待濾波圖像本身。圖像引導(dǎo)濾波的計(jì)算公式如式（2）所示：

通過線性回歸，令最小二乘法擬合函數(shù)的輸出值與真實(shí)值之間的差距最小，得到線性函數(shù)的系數(shù)值如式（3）、式（4）所示：

其中：μk、σ2k分別是I在窗口w中的平均值和方差，N是窗口w中像素的數(shù)量，pˉk是待濾波圖像p在窗口w中的均值。

2.4 改進(jìn)FT 算法的紅外圖像顯著圖提取

由于在灰度圖像中像素點(diǎn)的值只表示亮度，因此不用將圖像轉(zhuǎn)換到Lab 色彩空間。改進(jìn)FT算法主要包括以下4 個方面：（1）將FT 算法中的高斯差分濾波器換為引導(dǎo)濾波器；（2）對FT 顯著性檢測算法做暗抑制處理，增強(qiáng)明亮區(qū)域；（3）采用基于灰度能量的方式計(jì)算灰度距離，突出顯著目標(biāo)；（4）對得到的紅外顯著圖利用對比度拉伸函數(shù)進(jìn)行拉伸處理。

圖像I在（x，y）處的DSFT 顯著性值為：

式中：count(i)表示圖像灰度值為i的個數(shù)，dis(Iμ)為灰度值為Iμ的灰度距離總和表示歸一化處理，IGF(x，y)為圖像I經(jīng)過引導(dǎo)濾波后在像素（x，y）處的灰度值。SGF(x，y)表示相應(yīng)的紅外顯著性圖。獲取顯著性圖SGF(x，y)后，首先進(jìn)行歸一化處理得到Snom(x，y)：

其 中：SGF|min、SGF|max分 別 為SGF的最小和最大 灰度值；Snom(x，y)表示歸一化顯著圖，灰度范圍為［0，1］。接著，使用S 型曲線對比度拉伸變換函數(shù)對Snom(x，y)進(jìn)行增強(qiáng)處理，突出顯著性圖里的紅外目標(biāo)并弱化背景信息，從而提高顯著性圖的整體質(zhì)量。得到的對比度增強(qiáng)的顯著性圖Sehance(x，y)如式（7）所示：

式中：Senhance為進(jìn)行改進(jìn)伽馬校正后的顯著性圖；w為≥1的常數(shù)，經(jīng)過多次實(shí)驗(yàn)運(yùn)算，w=2 融合性能較優(yōu)。最后對Senhance在做一次歸一化處理得到Smap。

最后，選擇4 組數(shù)據(jù)庫圖像，5 種經(jīng)典的顯著性檢測算法，分別是LC 算法、改進(jìn)LC 算法［13］、文獻(xiàn)［10］方法、FT 算法、文獻(xiàn)［11］算法提取的紅外顯著圖與本文方法提取的顯著圖進(jìn)行對比實(shí)驗(yàn)，并對顯著性檢測的結(jié)果進(jìn)行主觀評價，實(shí)驗(yàn)結(jié)果如圖2 所示。

圖2 不同算法紅外顯著圖的提取結(jié)果對比Fig.2 Comparison of infrared saliency map extraction results by different algorithms

從4 幅紅外圖像的顯著圖提取對比結(jié)果可以發(fā)現(xiàn)：其他方法可能只是針對某幾個圖像有很好的顯著提取，而本文的顯著性提取算法的目標(biāo)在顯著性圖像中獲得了良好的對比度，將人眼感興趣的目標(biāo)提取出來并且非目標(biāo)區(qū)域保持清潔，有效抑制了背景信息。

3 本文融合策略

本文提出的基于改進(jìn)FT 顯著性檢測算法的NSCT 紅外和可見圖像融合方法的總體框架示意圖如圖3 所示。首先通過改進(jìn)的FT 的目標(biāo)檢測算法突出表征紅外圖像的目標(biāo)特征。然后采用NSCT 將紅外和可見光圖像分解為基礎(chǔ)層和細(xì)節(jié)層。接著將紅外顯著性圖指導(dǎo)低頻子帶融合，得到融合后的低頻子帶。對于高頻部分，采用加權(quán)局部能量取大和最小二乘優(yōu)化處理得到融合后的低頻子帶系數(shù)。最后對融合后的低頻、高頻子帶系數(shù)進(jìn)行合并，然后通過NSCT 逆變換處理。

圖3 紅外、可見圖像融合總體框架圖。Fig.3 Overall frame diagram of infrared and visible image fusion

3.1 低頻子帶融合規(guī)則

低頻子帶為源圖像的近似成分。為了充分突出紅外目標(biāo)的特征同時保留可見光圖像的細(xì)節(jié)信息，給出了低頻融合框架圖，如圖4 所示。

圖4 低頻子帶融合框架圖Fig.4 Low frequency subbands fusion frame diagram

3.2 高頻子帶融合規(guī)則

高頻子帶代表源圖像的細(xì)節(jié)成分。采用簡單的絕對值取大規(guī)則易使融合圖像混雜許多無效信息，因此本文使用加權(quán)局部能量取大和WLS 優(yōu)化相結(jié)合的規(guī)則來融合高頻部分系數(shù)，如式（10）所示，融合框架圖如圖5 所示。

圖5 高頻子帶融合框架圖Fig.5 High frequency subbands fusion frame diagram

式中，WLE(x，y)表示某像素處的高頻部分區(qū)域能量大小，如式（11）所示：

其中：W是大 小 為(2s+1)×(2s+1)的權(quán)重矩陣，s為半徑，W內(nèi)的元素值為22s-d，d為中心4 鄰域距離。本文選擇半徑s=1，則W的大小為3×3，對應(yīng)數(shù)值為：

對得到的權(quán)重圖加權(quán)求和獲得第j級近似融合細(xì)節(jié)層Mj，如式（13）所示：

為了進(jìn)一步提取更多紅外和可見的細(xì)節(jié)信息，可以通過WLS 以下代價函數(shù)來獲得第j級的理想融合細(xì)節(jié)層Dj：

將可見和紅外細(xì)節(jié)層分別表示為d1j和d2j、d2j和做兩次WLS 得到對應(yīng)理想融合細(xì)節(jié)層和，接著通過絕對值最大規(guī)則，得到最終細(xì)節(jié) 圖 像：

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提方法的有效性和準(zhǔn)確性，本文主要從兩方面進(jìn)行驗(yàn)證實(shí)驗(yàn)：第一是顯著性檢測算法之間的對比，通過客觀評價指標(biāo)平均梯度（AG）、信息熵（IE）、空間頻率（SF）、互信息（MI）進(jìn)一步驗(yàn)證本文顯著性算法提取的有效性；第二是驗(yàn)證本文最終方法具有更好的融合效果，包括算法組合參數(shù)的尋優(yōu)、測試圖像的選擇、MSD 具有代表性的融合算法之間的比較。實(shí)驗(yàn)結(jié)果的評價選擇基于人眼視覺的主觀評價和客觀評價兩種方式。所有圖像來自http：//www.imagefusion. org/和TNO 數(shù)據(jù)庫中的配準(zhǔn)圖像，所有實(shí)驗(yàn)都建立在matlab2016a 平臺上。

(4) 為保障施工質(zhì)量和優(yōu)化支護(hù)設(shè)計(jì)，確保鋼拱架受壓變形可控，還需進(jìn)行圍巖變形監(jiān)測，施工監(jiān)測每天不得少于1次，在拱架變形嚴(yán)重、圍巖過渡段、注漿前后等特殊時期每日檢測不得少于2次。

4.1 顯著性檢測算法的有效性驗(yàn)證

本文的顯著性提取算法在主觀上的視覺效果更好。為了進(jìn)一步驗(yàn)證本文顯著性方法的優(yōu)劣，本節(jié)主要通過對比一些顯著性檢測方法得到的客觀評價指標(biāo)來進(jìn)一步驗(yàn)證算法的有效性。

測試數(shù)據(jù)集如表1 所示。采用NSCT 分解，NSCT 選擇“v k”濾波器組，塔式濾波器選擇“9-7”，分解層數(shù)為4 層，方向分解數(shù)分別為4，4，8，8，高頻采用局部能量最大方法，低頻子帶融合選擇對應(yīng)文章的顯著性檢測方法。實(shí)驗(yàn)圖像采用表1 中9 幅測試圖像，數(shù)據(jù)采用9 幅圖像的4 個指標(biāo)AG、IE、SF 和MI 的平均值來快速判斷，如圖6所示。

表1 實(shí)驗(yàn)所用數(shù)據(jù)集Tab.1 Source image used for experimental verification

圖6 9 幅圖像的客觀評價結(jié)果Fig.6 Objective evaluation results of 9 image

因?yàn)榍懊娴囊恍└倪M(jìn)方法對有些圖的融合結(jié)果有嚴(yán)重失真，所以刪除了一些方法，選擇了5 種顯著性檢測方法來對比，分別是基于LC 的方法［17］、文獻(xiàn)［13］的方法、文獻(xiàn)［14］方法、文獻(xiàn)［10］方法和本文方法。從圖6 可以看出，本文方法的4 個指標(biāo)的平均值最大，說明本文方法的綜合性能最好。

4.2 組合參數(shù)的選擇

本文融合算法中存在3 個自由參數(shù)，分別是引導(dǎo)濾波器窗口半徑r、模糊度參數(shù)τ以及WLS優(yōu)化中的參數(shù)λ。為了確定這3 個自由度參數(shù)的影響，利用AG、IE、SF、MI 對測試數(shù)據(jù)集在不同參數(shù)組合下進(jìn)行客觀評價。依然采用4 個指標(biāo)的平均值這種簡單快速方式作為評價結(jié)果，采用控制變量的方法進(jìn)行擇優(yōu)選擇，由于數(shù)據(jù)量太大，只展示最終數(shù)據(jù)處理結(jié)果，如圖7 所示。從圖7 可見，在τ=0.01 以及λ=0.01 時轉(zhuǎn)折點(diǎn)都有最好結(jié)果。此外通過計(jì)算，由于窗口大小對數(shù)值影響很小且沒有轉(zhuǎn)折點(diǎn)，決定選擇r=8。最終3 個自由度的取值分別為r=8、τ=0.01、λ=0.01。

圖7 本文方法在不同參數(shù)下的影響曲線Fig.7 Influence curves of the method in this paper under different parameters

4.3 最終對比實(shí)驗(yàn)

實(shí)驗(yàn)圖像：選擇表1 數(shù)據(jù)集中4 組圖像對，如圖8 所示，分別簡稱為“Camp”、“House”、“Trench”和“Kaptein”紅外與可見圖像對。

圖8 本文算法驗(yàn)證所用源圖像Fig.8 Source images used in the algorithm verification in this paper

實(shí)驗(yàn)參數(shù)：NSCT 選擇“v k”濾波器組，塔式濾波器選擇“9-7”，分解層數(shù)為4 層，方向分解數(shù)分別為4、4、8、8。r=8，τ=0.01，w=2，λ=0.01。

4.3.1 主觀性能評估

圖9～12 所示分別為本文方法和另外5 種方法在4 組圖像上的實(shí)驗(yàn)結(jié)果對比圖。其中（a）～（f）分別為基于DWT 的低頻子帶加權(quán)平均、高頻選擇最大（DWT_avg）方法和低頻選擇區(qū)域能量、高頻選擇局部加權(quán)修正拉普拉斯算子和方法（DWT_WSML）［18］，基于NSCT 的低頻子帶加權(quán)平均、高頻選擇最大（NSCT_avg）方法，基于NSCT 的低頻選擇最大平方熵、高頻選擇拉普拉斯算子的方法（NSCT_SML）［19］，基于視覺顯著性LC 的融合方法（NSCT_LC）［13］以及本文方法的融合結(jié)果，下面對各算法的融合結(jié)果進(jìn)行分析評價。

圖9 不同融合算法對“Camp”的處理結(jié)果Fig.9 Processing results of “Camp” by different fusion algorithms

圖9 是本文算法和對比算法在“Camp”圖像組上的實(shí)驗(yàn)結(jié)果。從圖9 可以看出，不管是采用DWT 還是NSCT 工具進(jìn)行多尺度分解，采用簡單的平均和絕對值取大方法（圖9（a）和圖9（c）），融合圖像雖然基本包含了兩種圖像的特點(diǎn)，但是不管是背景信息還是目標(biāo)人物整體亮度偏暗，不夠顯著，視覺效果差，分辨率低。采用DWT_WSML 和NSCT_SML（圖9（b）和圖9（d）），目標(biāo)人物非常顯著，亮度有很大提升，但是融合圖像包含了太多的紅外信息，導(dǎo)致左下角的景物失真以及屋頂?shù)哪繕?biāo)人物邊緣輪廓以及柵欄細(xì)節(jié)模糊，可見細(xì)節(jié)部分提取能力不夠。采用NSCT_LC 與本文方法（圖9（e）和圖9（f）），融合后的圖像人物目標(biāo)顯著，圖像中的樹木，道路等紋理清晰，但是本文方法的圖像灰度分布黑白分明，更加有層次感，視覺效果更好。

圖10 展示了不同算法對“House”圖像的處理結(jié)果。圖10（a）和圖10（c）方法得到的融合圖像存在亮度和對比度降低的問題。圖10（b）和圖10（d）的目標(biāo)人物雖然對比度有顯著提升，但是人物輪廓模糊，建筑物和樹木細(xì)節(jié)信息提取不夠，在地面和房屋附近出現(xiàn)嚴(yán)重的光暈偽影現(xiàn)象，不利于觀看和后續(xù)場景描述。圖10（e）和圖10（f）（本文方法）目標(biāo)和背景之間的對比度高，建筑物視覺效果好，房屋、樹木以及地面紋理細(xì)節(jié)清晰詳細(xì)。

圖10 不同融合算法對“House”的處理結(jié)果Fig.10 Processing results of “House” by different fusion algorithms

圖11是對溝壑里的士兵圖像的處理結(jié)果。從圖11（a～e）可以看出，DWT_avg、NSCT_avg 方法存在目標(biāo)和背景之間的對比度低，紅外目標(biāo)不顯著的問題，DWT_WSML、、NSCT_SML 方 法存在不同程度上邊緣模糊，背景不自然，樹木細(xì)節(jié)丟失嚴(yán)重的問題。NSCT_LC 方法的整體視覺較好。與上述5 種方法的結(jié)果相比，本文方法具有較好的結(jié)果（圖11（f）），目標(biāo)信息層次分明、辨識率高，可見光圖像中的樹木，草地、溝壑的邊緣以及紅外圖像中的人物的輪廓都得到了較好的保留。

圖11 不同融合算法對“Trench”的處理結(jié)果Fig.11 Processing results of “Trench” by different fusionalgorithms

不同算法對“Kaptein”圖像的融合結(jié)果如圖12所示。與前3 幅場景一致，DWT_avg、NSCT_avg方法雖然基本上包含了紅外和可見的大部分信息，但是整體圖像偏暗，目標(biāo)背景對比度低。DWT_WSML 和NSCT_SML 方法存在過于提取紅外信息，導(dǎo)致融合圖像包含很多噪聲和無關(guān)信息。NSCT_LC 方法的目標(biāo)比較顯著，同時可見信息提取完整、層次感強(qiáng)，但是本文方法與NSCT_LC相比，在路燈上方左上角保留了更多的可見光像中的細(xì)節(jié)紋理。

圖12 不同融合算法對“Kaptein”的處理結(jié)果Fig.12 Processing results of “Kaptein” by different fusion algorithms

綜合上述4 幅場景圖像的融合結(jié)果，從主觀評價上來看，本文方法在突出紅外目標(biāo)、提高目標(biāo)和背景之間的對比度、增強(qiáng)目標(biāo)信息的辨識率以及保留較多的可見光像中的細(xì)節(jié)紋理方面具有優(yōu)勢。為了避免人眼直接觀察導(dǎo)致的誤差影響到融合圖像的評價，本文使用客觀條件指標(biāo)對融合圖像進(jìn)一步評價。

4.3.2 客觀性能評估

為了進(jìn)一步定量分析圖像質(zhì)量，選擇AG、IE、SF、MI 作為指標(biāo)進(jìn)行評價［20］，表2 展示了本文方法與幾種傳統(tǒng)融合方法對上述4 組圖像在4 個客觀評價指標(biāo)上的實(shí)驗(yàn)結(jié)果。4 個指標(biāo)都是值越大表示融合結(jié)果越好。4 幅圖的評價指標(biāo)結(jié)果如圖13 所示，其中最佳結(jié)果數(shù)值標(biāo)注在對應(yīng)柱狀圖上。

表2 不同算法對“ Trench ”和“ Kaptein ”的客觀評價結(jié)果Tab.2 Objective evaluation results of “Trench” and “Kaptein” by different algorithms

圖13 不同算法對“Camp”、“House”、“Ship”和“Jeep”的客觀質(zhì)量評價結(jié)果。Fig.13 Objective quality evaluation results of different algorithms for “Camp”，“House”，“Ship” and “Jeep”.

（1） 平均梯度（AG）

AG 用來度量圖像中的梯度變化，其值的大小體現(xiàn)了圖像的變化率、對應(yīng)細(xì)節(jié)差異和紋理變化，因此可以用來表示圖像的清晰程度，其定義如式（16）所示：

（2） 信息熵（IE）

IE 用來度量圖像中所包含信息量的多少，是反應(yīng)圖像信息是否豐富的重要標(biāo)準(zhǔn)。公式如式（17）所示：

其中：L表示灰度等級值，pl表示融合圖像中相應(yīng)灰度值的歸一化直方圖數(shù)值。

（3） 空間頻率（SF）

SF 反映圖像灰度的變化率，反映了一幅圖像在空間域內(nèi)的總體活躍程度，因此空間頻率越大，圖像融合性能越好。SF 具體值由空間行頻率（RF）和空間列頻率（CF）計(jì)算得到，如式（18）～式（20）所示：

（4） 互信息（MI）

MI 表示融合圖像與源圖像之間的關(guān)聯(lián)程度，反映融合圖像從源圖像中獲得信息量的多少，定義如式（21）所示：

式中：MIA，F(xiàn)和MIB，F(xiàn)分別表示融合結(jié)果從紅外和可見光源圖像中獲得的信息量大小，其中pX(x)、pF(f)和pX，F(xiàn)(x，f)分別表示源圖像x、融合圖像f的灰度直方圖以及聯(lián)合直方圖分布情況。

從表2 可以看出，本文方法的融合結(jié)果在AG、IE、SF、MI 四項(xiàng)評價指標(biāo)上均有提升。本文融合算法的4 個指標(biāo)的提高說明本文方法相比于其他算法的融合圖像更活躍，保留了更多的源圖像信息，細(xì)節(jié)描述能力也優(yōu)于其他算法。綜上所述，本文方法的性能更佳，采用本文方法獲得的圖像效果最好，與主觀評價得到的結(jié)果一致。

5 結(jié) 論

為了克服傳統(tǒng)算法以及基于顯著性檢測算法存在的問題，進(jìn)一步提高圖像融合質(zhì)量，本文提出了一種基于改進(jìn)的FT 顯著性檢測的NSCT紅外與可見光融合方法。為了可以更好地保留目標(biāo)和背景之間的對比度，首先采用改進(jìn)的顯著圖提取算法瞄準(zhǔn)紅外圖像，用于從背景中區(qū)分目標(biāo)。其次，利用計(jì)算得到的紅外顯著權(quán)重圖對NSCT 分解的低頻子帶系數(shù)進(jìn)行指導(dǎo)融合；同時為了獲得更多的細(xì)節(jié)信息和減小噪聲影響，對高頻部分采用局部加權(quán)能量的規(guī)則進(jìn)行抉擇，再通過WLS 優(yōu)化處理。最后，進(jìn)行NSCT 逆變換得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，通過與不同顯著性檢測算法的對比，本文的顯著性檢測算法的紅外目標(biāo)提取準(zhǔn)確，背景得到了有效抑制，客觀指標(biāo)選擇的AG、IE、SF、MI 4 個指標(biāo)的平均值也處于最佳結(jié)果，說明本文提出的改進(jìn)FT 算法是有效的。通過這種快速判斷方法進(jìn)行參數(shù)尋優(yōu)，本文的最終方法通過4 組圖像與其他算法的實(shí)驗(yàn)對比結(jié)果發(fā)現(xiàn)，主觀上，本文方法的目標(biāo)突出，細(xì)節(jié)提取豐富，邊緣偽影現(xiàn)象消除明顯，視覺效果更好，在4 個單獨(dú)客觀評價指標(biāo)平均梯度（AG）、信息熵（IE）、空間頻率（SF）、互信息（MI）上都是處于最好的狀態(tài)。與5 種對比方法指標(biāo)的對比結(jié)果表明，其平均值在AG、IE、SF、MI 上分別提高了8.19%、5.34%、8.54%、68.18%，圖像質(zhì)量得到明顯改善，說明這種快速判斷的方法是可行的，所提出方法具有魯棒性強(qiáng)的優(yōu)點(diǎn)。