基于NSCT和最小化-局部平均梯度的圖像融合

楊孫運(yùn)，奚崢皓，王漢東，羅 曉，闞 秀

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620）

0 引言

圖像融合是將兩個或多個圖像的相關(guān)信息結(jié)合成一個綜合圖像的過程，可以認(rèn)為是對原始場景的一種新的解釋。由于單個視覺傳感器在信息采集過程中往往具有局限性，實際中通常采用兩種或多種傳感器采集信息，并對信息數(shù)據(jù)進(jìn)行融合處理，從而得到一個清晰完整的圖片信息?？紤]到實際應(yīng)用中的可操作性，近年來采用紅外傳感器和可見光傳感器相結(jié)合的方式進(jìn)行視覺圖像采集與融合的研究越來越多，特別是在環(huán)境感知和視頻監(jiān)控領(lǐng)域[1]。

紅外視覺傳感器可以通過紅外輻射捕獲明顯的目標(biāo)信息，然而獲取的紅外圖像普遍存在場景信息丟失、分辨率低的缺點(diǎn)[2]?？梢姽庖曈X傳感器可以獲取豐富的細(xì)節(jié)和紋理信息，但在較差的照明條件下，或目標(biāo)顏色和空間特征與背景相似時，獲取的可見光圖像往往較差[3]。將紅外和可見光圖像融合可以克服單一類型傳感器只能提取特定方面信息的缺點(diǎn)，且融合后圖像既保留了紅外圖像的目標(biāo)高亮區(qū)域，又包含了可見光圖像的紋理細(xì)節(jié)信息，利于人類視覺感知與分析處理[4]。

現(xiàn)有的紅外圖像和可見光圖像融合的方法可以分為：變換域方法[5]、空間域方法[6]、深度學(xué)習(xí)方法[7]和其他的方法[8]?；诙喑叨茸儞Q的方法是最典型的變換域方法，且多尺度變換理論是多種圖像融合場景中最流行的工具。常用的多尺度變換工具有金字塔變換[9]、小波變換[10]、輪廓波變換[11]和NSCT 等[12-13]。但是，金字塔變換融合后容易出現(xiàn)模糊現(xiàn)象，小波變換只能捕獲水平、垂直和對角方向的信息，輪廓波變換容易產(chǎn)生頻譜混疊。NSCT 具有多尺度和多方向特性，分解結(jié)果具有平移不變性，并克服了頻譜混疊問題，融合結(jié)果具有更好的邊緣、細(xì)節(jié)信息。

綜合以上分析，根據(jù)紅外圖像和可見光圖像的特點(diǎn)，并從實際視覺特征識別與分析的角度出發(fā)，本文設(shè)計了一種新的融合算法實現(xiàn)對紅外圖像和可見光圖像的有效融合，采用最小化-局部平均梯度規(guī)則進(jìn)行融合處理，并在3 組公共數(shù)據(jù)集基礎(chǔ)上與5 種經(jīng)典融合算法進(jìn)行對比實驗，驗證本文所設(shè)計算法的實用性和有效性。

1 NSCT 理論

NSCT 是由多尺度分解和多方向分解兩部分組成，使用非下采樣金字塔濾波器組和非下采樣方向濾波器組實現(xiàn)，由于沒有圖像下采樣的步驟，一幅圖像經(jīng)N級分解后，可以得到個與原圖像相同大小的子帶圖像，這其中源圖像的低頻近似圖像為1 個，高頻子帶圖像為個，kr是尺度r上的方向分解級數(shù)。NSCT 具體變換過程如圖1[14]所示。

2 改進(jìn)的圖像融合算法

紅外與可見光圖像融合的思想是在充分地保留可見光圖像豐富的背景信息基礎(chǔ)上，進(jìn)一步保留紅外圖像中顯著的目標(biāo)信息，使得融合結(jié)果更符合人類的視覺感知。源圖像經(jīng)NSCT 分解后得到低頻子帶和高頻子帶，低頻子帶包含大量源圖像的能量信息，用以描述圖像的目標(biāo)和背景特征。高頻子帶包含豐富的邊緣和紋理信息，用以描述圖像的細(xì)節(jié)輪廓特征。

圖1 NSCT 分解圖Fig.1 NSCT decomposition figure

2.1 低頻子帶系數(shù)融合

本文采用最小化規(guī)則進(jìn)行低頻子帶系數(shù)融合，將m行n列的紅外圖像和可見光圖像低頻系數(shù)的對應(yīng)每一列分別進(jìn)行融合，其融合規(guī)則表述為如下最小化問題：

式中：Il和Vl分別是紅外圖像和可見光圖像低頻系數(shù)矩陣中對應(yīng)的列向量；是融合的列向量；p表示像素的位置；||?||2表示2 范數(shù)；W表示對角元素為權(quán)重值Wp的m×m對角矩陣。兩項分別控制融合列向量與Il以及與Vl具有相同的像素強(qiáng)度，權(quán)重矩陣W控制著這兩項之間的平衡關(guān)系，顯然權(quán)重值Wp對融合方法的性能影響較大，合理定義權(quán)重值Wp也顯得尤為重要。

對于式(1)的求解，參考文獻(xiàn)[15]，將式(1)改寫成如下形式：

令M(Z)＝(Z－Il)T(Z－Il)＋W(Z－Vl)T(Z－Vl)，進(jìn)一步令M(Z)關(guān)于Z的導(dǎo)數(shù)等于0，可得：

式中：E為m×m的單位矩陣。經(jīng)矩陣運(yùn)算得：

通過式(4)將紅外圖像低頻系數(shù)和可見光圖像的低頻系數(shù)直接融合得到列向量，再將所有的融合列向量組合成m×n的低頻融合系數(shù)矩陣L：

基于紅外傳感器獲取的圖像具有目標(biāo)信息明顯的特點(diǎn)，使用亮度對比度（Luminance Contrast，LC）的顯著性檢測方法提取紅外圖像中目標(biāo)信息。定義紅外圖像I中某個像素Ip的顯著性為Ip與I中其他所有像素在灰度上的距離之和，即全局的亮度對比可表示為：

式中：S(Ip)表示像素Ip的顯著性值；Ii取值范圍為[0,255]，將式(6)展開可得：

式中：N表示圖像中像素的數(shù)量。

鑒于圖像中不同位置可能具有相同的像素值，故式(7)可進(jìn)一步改寫為：

式中：Nb表示圖像I中像素值等于b的像素總數(shù)。圖2 給出了一個紅外圖像和其對應(yīng)的顯著圖。

圖2 紅外圖像和顯著性檢測圖Fig.2 Infrared image and significance detection diagram

下面，重點(diǎn)考慮融合算法中的權(quán)重值Wp的設(shè)計問題?，F(xiàn)有算法大多采用如下權(quán)重值函數(shù)：

將像素值進(jìn)行歸一化處理至[0,1]范圍。如果選用如式(9)所構(gòu)造的權(quán)重值，如圖3所示，當(dāng)S(Ip)值逼近0 時，權(quán)重值Wp趨于無窮大，且過程曲線斜率變化劇烈，直接導(dǎo)致融合圖像出現(xiàn)嚴(yán)重的偽影及明暗分布不均現(xiàn)象。為克服這一問題，本文給出一種新的權(quán)重值設(shè)計方法，定義融合算法中的權(quán)重值Wp為：

式中：a為一個未知可調(diào)參數(shù)，用于調(diào)控圖像質(zhì)量，對于每一個圖像，選取客觀評價中的一個或若干個指標(biāo)，通過迭代計算分析以獲取一個最優(yōu)值。

取a＝0.02，得到如圖4所示權(quán)重值函數(shù)圖像，從圖中可以看出當(dāng)紅外圖像中p處的顯著性值S(Ip)越大，權(quán)重值Wp越小，由式(1)可知，得到的圖像中p處的像素從紅外圖像中轉(zhuǎn)移的較多；當(dāng)紅外圖像中p處的顯著性值S(Ip)越小，權(quán)重值Wp越大，得到的圖像中p處的像素從可見光圖像中轉(zhuǎn)移的較多，達(dá)到融合圖像目標(biāo)和背景均清楚的目的。即本文所設(shè)計的權(quán)重函數(shù)不僅可以實現(xiàn)對權(quán)重范圍的控制，還可以通過控制權(quán)重實現(xiàn)對紅外圖像和可見光圖像中每個像素在融合圖像中作用的調(diào)節(jié)，從而實現(xiàn)對融合圖像質(zhì)量的控制。

圖3 式(9)函數(shù)對應(yīng)表達(dá)Fig.3 The corresponding expression of equation (9) is the function

圖4 式(10)函數(shù)對應(yīng)表達(dá)Fig.4 The corresponding expression of equation (10) is the function

根據(jù)式(1)中定義的融合規(guī)則，分別使用式(9)和式(10)中設(shè)計的權(quán)重值函數(shù)，得到改進(jìn)前后的融合結(jié)果如圖5所示，原算法的融合結(jié)果存在偽影和明暗分布不均的問題，改進(jìn)后算法所得融合結(jié)果的清晰度和明暗度明顯改善很多。

圖5 改進(jìn)前后的融合結(jié)果對比圖Fig.5 Comparison before and after improvement

2.2 高頻系數(shù)融合

本文采用局部平均梯度規(guī)則進(jìn)行高頻子帶系數(shù)融合。

令X方向的梯度為：

令Y方向的梯度為：

令圖像中(i,j)處的梯度：

故局部平均梯度計算公式如下：

式中：M、N為滑動窗口的寬和高。本文選擇使用3×3 大小的滑動窗口，窗口內(nèi)9 個像素梯度的平均值作為窗口內(nèi)中心像素的平均梯度。定義如下形式的高頻系數(shù)局部平均梯度融合規(guī)則：

2.3 圖像融合

將低頻系數(shù)L和高頻系數(shù)H進(jìn)行NSCT 逆變換得到融合圖像F，具體融合過程如圖6所示。

3 實驗分析

本章將使用UN Camp、Kaptein_1123 和Quad 這3對已經(jīng)過嚴(yán)格配準(zhǔn)的紅外與可見光圖像進(jìn)行實驗，其中UN Camp 和Kaptein_1123 來自TNO 數(shù)據(jù)集，Quad來自英國布里斯托大學(xué)博士Stavri Nikolov 拍攝的“Bristol Quees Road”紅外與可見光圖像序列圖。通過與低通比率金子塔（low pass ratio pyramid，LPRP）[16]、交叉雙邊濾波（cross bilateral filter，CBF）[17]、曲波變換（curvelet transform，CT）[18]、雙樹復(fù)合小波變換（dual-tree complex wavelet transform，DTCWT）[19]和非下采樣輪廓波變換-均值（non-subsampled contourlet transformmean，NSCT-M）5 種融合算法進(jìn)行對比試驗，驗證本文所提算法的有效性。

實驗在Intel Core I5-4200M@2.50 GHz 雙核8 G 內(nèi)存，Win7 操作系統(tǒng)，Matlab 2018b 環(huán)境下實現(xiàn)。NSCT分級級數(shù)設(shè)置為3，每一級方向級數(shù)分別為[2,3,2]，a設(shè)置為0.02，圖像大小均調(diào)整為120×100 像素。

圖6 圖像融合流程圖Fig.6 Schematic diagram of image fusion

3.1 性能評估

為了定量分析融合算法的性能，本文選用信息熵（information entropy，IE）[20]、平均梯度（average gradient，AG）[20]、標(biāo)準(zhǔn)差（standard deviation，SD）[20]、空間頻率（spatial frequency，SF）[21]、互信息（mutual information，MI）[22]、視覺信息保真度（visual information fidelity，VIF）[23]和邊緣相似性度量（edge based on similarity measure，QABF）[23]作為綜合評價指標(biāo)。其中，IE 衡量圖像信息的豐富程度，熵值越大，融合圖像的信息越豐富；AG 表征融合圖像的細(xì)節(jié)和紋理的表現(xiàn)能力，用于評價圖像的清晰度，值越大圖像清晰度越高；SD 衡量樣本分布均勻性，值越大表示圖像具有更高的對比度；SF 表征圖像細(xì)節(jié)的明確性和圖像的空間變化程度，值越大邊緣和紋理越豐富；MI 值越大融合圖像包含源圖像的信息越多；VIF 和QABF衡量融合圖像質(zhì)量，值越大融合圖像質(zhì)量越好。

3.2 實驗結(jié)果

利用3 組圖像對6 種算法進(jìn)行融合實驗，結(jié)果如圖7～圖9所示，雖然6 種算法都做到了保留源圖像中重要的信息，并對互補(bǔ)信息做了較好的融合，但是仍存在一定的差異。在圖7 中，與(c)、(d)、(e)、(f)和(g) 5 幅融合結(jié)果圖像相比，本文所提算法的融合結(jié)果明顯具備對比度高且目標(biāo)突出的特點(diǎn)。在圖8 中，(c)、(d)、(e)和(g) 4 幅融合結(jié)果圖像目標(biāo)不夠突出，融合圖像(f)中背景昏暗，本文所提算法的融合結(jié)果目標(biāo)更為突出，且背景細(xì)節(jié)信息清晰。在圖9 中，(c)、(d)和(g) 3 幅融合結(jié)果圖像對比度偏低，融合圖像(e)明顯模糊，融合圖像(f)中存在偽影，本文所提算法對比度較好且目標(biāo)更為清晰。

圖7 “UN Camp”圖像的融合結(jié)果Fig.7 “UN Camp”image fusion results

圖8 “Kaptein_1123”圖像的融合結(jié)果Fig.8 “Kaptein_1123”image fusion results

圖9 “Quad”圖像的融合結(jié)果Fig.9 “Quad”image fusion results

為更為直觀地評判各種算法的融合效果，表1～表3 給出在前述7 個性能評價指標(biāo)下的具體客觀數(shù)據(jù)，表中每一行中的最優(yōu)值采用黑體加粗標(biāo)記，次優(yōu)值數(shù)據(jù)下采用橫線標(biāo)記。由表1 和表2 可以得出，本文所設(shè)計算法在除互信息MI 外的6 個性能評價指標(biāo)下均表現(xiàn)最優(yōu)，MI 評價結(jié)果為次優(yōu)值且與最優(yōu)值相差不大。由于“Quad”圖像組本身目標(biāo)多樣細(xì)節(jié)復(fù)雜等特點(diǎn)，6 種算法中沒有任何一種算法在7 個性能指標(biāo)下均表現(xiàn)優(yōu)秀，本文所設(shè)計算法表現(xiàn)為3 個最優(yōu)值，2 個次優(yōu)值，且其他2 個值與最優(yōu)值相差較小，整體性能相比其他算法仍然表現(xiàn)良好。

為進(jìn)一步說明各種算法在7 個評價指標(biāo)下的整體性能表現(xiàn)，用每一行中的各個數(shù)據(jù)除以該行中的最優(yōu)值得每個數(shù)據(jù)的目標(biāo)達(dá)成度[24]，最后統(tǒng)計算出各算法的總目標(biāo)達(dá)成度（total goal attainment，TGA）。目標(biāo)達(dá)成度公式如下：

式中：Q表示目標(biāo)達(dá)成度；P表示表中的數(shù)據(jù)；N表示與P同行數(shù)據(jù)中的最優(yōu)值。

表4～表6 給出了各種算法在7 個性能評價指標(biāo)下的整體目標(biāo)達(dá)成度，由表4～表6 的數(shù)據(jù)可以看出，本文所設(shè)計算法整體目標(biāo)達(dá)成度最優(yōu)，且遠(yuǎn)好于次優(yōu)的算法。故本文所設(shè)計算法在應(yīng)用中具有穩(wěn)定性好魯棒性強(qiáng)的特點(diǎn)。

表1 “UN Camp”圖像融合結(jié)果的客觀評價數(shù)據(jù)Table 1 Objective evaluation data of fusion results of “UN Camp” image

表2 “Kaptein_1123”圖像的融合結(jié)果的客觀評價數(shù)據(jù)Table 2 Objective evaluation data of fusion results of "Kaptein_1123" image

表3 “Quad”圖像的融合結(jié)果客觀評價數(shù)據(jù)Table 3 Objective evaluation data of fusion results of “Quad” image

表4 “UN Camp”融合圖像的達(dá)成度Table 4 Degree of “UN Camp” fusion image

表5 “Kaptein_1123”融合圖像的達(dá)成度Table 5 degree of “Kaptein_1123” fusion image

表6 “Quad”融合圖像的達(dá)成度Table 6 degree of “Quad” fusion image

4 結(jié)論

本文給出了一種新的基于NSCT 變換方法的紅外圖像和可見光圖像的融合方法。改進(jìn)權(quán)重函數(shù)并結(jié)合紅外圖像的顯著性信息，得到新的權(quán)重值，采用最小化原則進(jìn)行低頻系數(shù)部分融合，得到對應(yīng)低頻融合系數(shù)。采用局部平均梯度規(guī)則進(jìn)行高頻系數(shù)部分融合，得到對應(yīng)高頻融合系數(shù)，利用所得融合系數(shù)進(jìn)行NSCT 逆變換得到融合圖像。選取5 種經(jīng)典算法在3個公共數(shù)據(jù)集中進(jìn)行比較實驗，實驗結(jié)果表明本文所提算法綜合表現(xiàn)明顯優(yōu)于其他5 種算法且獲得的圖像對比度高、細(xì)節(jié)清晰、目標(biāo)顯著，說明了本文所設(shè)計算法的合理性和有效性。