基于NSST與引導(dǎo)濾波相結(jié)合的紅外與可見光圖像融合方法研究

曹宇彤，李向陽，陳笑，宦克為

（長春理工大學 物理學院，長春 130022）

圖像融合技術(shù)通過使用特定的算法來處理多個傳感器的數(shù)據(jù)信息，進而形成更加適合人類視覺認知系統(tǒng)的新圖像，其主要應(yīng)用于軍事監(jiān)視、目標跟蹤、遙感探測、生物監(jiān)測等多種領(lǐng)域［1-2］。當前，紅外與可見光圖像融合技術(shù)是圖像融合技術(shù)的研究熱點之一［3］。紅外熱成像系統(tǒng)通過測量目標的熱輻射來獲得紅外圖像，相比于可見光圖像，其不受天氣等因素影響?？梢姽鈭D像具有豐富的細節(jié)信息，但無法實現(xiàn)全天候工作。因此，紅外和可見光圖像融合技術(shù)可以提取兩者之間的優(yōu)勢信息，彌補彼此的不足。

基于傳統(tǒng)的融合方法如基于金字塔變換、小波變換等方法在各個單項性能表現(xiàn)整體較為良好，但也沒有特別突出的融合性能。多尺度變換方法能夠更好地提取源圖像的重要信息，從而被廣泛地應(yīng)用到圖像融合領(lǐng)域之中。Nunes等人提出二維經(jīng)驗?zāi)B(tài)分解（Bidimensional Empirical Mode Decomposition，BEMD）算法提升了紅外光和可見光的融合質(zhì)量，其融合效果優(yōu)于離散小波變換［4］。Arthur等人提出非下采樣輪廓波變換（Nonsubsampled contourlet transform，NSCT）方法來實現(xiàn)圖像融合，改善了輪廓波平移時易發(fā)生變化的缺陷，提高了融合圖像的質(zhì)量［5］。非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有較高的方向靈敏度，能夠更加高效地分解源圖像，減少算法的運算量［6-8］。對于多尺度圖像融合方法，融合圖像質(zhì)量與圖像低頻、高頻的融合規(guī)則密切相關(guān)。主成分分析、稀疏表示等算法常被用作圖像融合的融合規(guī)則，提升融合圖像的質(zhì)量?；趫D像的低頻部分，曹義親等人［9］使用壓縮感知（Compressed Sensing，CS）算法快速地獲取紅外光與可見光圖像特征信息，節(jié)省了運算時間。Rahman等人［10］利用模糊邏輯（Fuzzy Logic，F(xiàn)L）算法解決了圖像背景、邊緣、輪廓等不確定的問題，突出了紅外圖像的目標，最大限度地提高了圖像對比度。

綜上，為解決融合圖像技術(shù)存在著圖像邊緣細節(jié)等信息保留不理想的問題，本文提出NSST結(jié)合引導(dǎo)濾波的紅外與可見光圖像融合算法。通過引導(dǎo)濾波充分考慮信息的局部相關(guān)性，在目標圖像的不同位置產(chǎn)生濾波核，在增強圖像的邊緣細節(jié)信息的同時，能夠更突出圖像目標信息，提供豐富的背景細節(jié)信息，同時在融合過程中保留圖像邊緣信息，使融合的圖像更符合人眼視覺系統(tǒng)。

1 非下采樣剪切波變換

非下采樣剪切波變換主要是由非下采樣金字塔（No Subsampled Pyramid，NSP）和剪切波濾波器組（Shearlet Filter，SF）構(gòu)成，具有多尺度、多方向、平移不變性、運算時間短等特性，能夠快速、準確地提取源圖像的重要信息［9］。NSST（Nonsubsampled Shearlet Transform）變換多尺度多方向分解過程如圖1所示，即利用非下采樣金字塔濾波器組多尺度的分解源圖像，得到低頻和多層高頻子帶系數(shù)，再通過改進的剪切波濾波器組多方向地分解不同層次的高頻子帶系數(shù)，進而獲得多尺度、多方向的高頻子帶系數(shù)［11-15］。

圖1 NSST多尺度多方向分解過程

2 自適應(yīng)引導(dǎo)濾波

引導(dǎo)濾波是一種保持圖像邊緣的濾波器，具有良好地去除噪聲、保持邊緣等特性，被廣泛應(yīng)用于圖像去噪、圖像融合等領(lǐng)域之中。其主要通過引導(dǎo)圖像對輸入圖像進行濾波處理，從而得到具有與引導(dǎo)圖像相似的紋理輸出圖像。在一個二維窗口內(nèi)的線性模型公式如下：

其中，Ii、qi分別為輸入、輸出圖像的像素；ak和bk是當窗口位于中心時該線性函數(shù)的系數(shù)。如若將輸入圖像作為引導(dǎo)圖像，并對雙邊求取梯度，可以得到：

當引導(dǎo)圖像出現(xiàn)梯度變化時，輸出圖像也會出現(xiàn)類似的梯度變化。即在引導(dǎo)圖像出現(xiàn)邊緣時，輸出圖像也會出現(xiàn)類似的邊緣。

為了求解線性系數(shù)ak和bk，并滿足輸入和輸出圖像之間差別最小。根據(jù)無約束圖像復(fù)原方法可以轉(zhuǎn)化為求最優(yōu)化問題。函數(shù)為：

式中，ε為正則化參數(shù)。當源圖像自身為引導(dǎo)圖，求出線性系數(shù)ak和bk的解為：

其中，μk是圖像I在窗口ωk中像素的平均值；是I在窗口ωk中像素的方差。

3 融合算法

3.1 算法模型

提出了一種NSST與引導(dǎo)濾波相結(jié)合的紅外與可見光圖像融合算法，其步驟如下：

（1）利用引導(dǎo)濾波提取源圖像的輪廓信息，細節(jié)圖像可通過原圖像與濾波后圖像的差分獲得。

（2）利用NSST算法將圖像分解成低頻子帶系數(shù)和多個高頻子帶系數(shù)。

（3）利用模糊邏輯算法使濾波后圖像的低頻信息融合，得到低頻融合圖像，利用區(qū)域能量最大化方法將圖像高頻融合得到新的高頻圖像。

（4）通過NSST重構(gòu)得到融合圖像。

NSST與引導(dǎo)濾波相結(jié)合的圖像融合算法模型如圖2所示。

圖2 NSST與PCNN相結(jié)合的圖像融合算法模型

3.2 自適應(yīng)引導(dǎo)濾波

從引導(dǎo)濾波模型可知，正則化參數(shù)大小對引導(dǎo)濾波的濾波效果起著重大作用。參數(shù)ε過小不利于圖像在非邊緣區(qū)域的平滑，過大則不利于圖像邊緣保持原有梯度。正則化參數(shù)也影響著圖像信息熵。隨著其正則化參數(shù)的不斷增大，紅外和可見光的近似圖像的信息熵先保持不變，后逐漸減小，而融合圖像的信息熵也呈類似變化。在兼具考慮融合圖像信息熵最大化的同時，也要考慮正則化參數(shù)不宜過小，從而保持圖像的光滑程度。因此，提出了一種基于自適應(yīng)的引導(dǎo)濾波算法來確定參數(shù)ε的大小，具體步驟如下：

（1）利用引導(dǎo)濾波對紅外圖像進行濾波處理，設(shè)定其正則化參數(shù)的初始值εIR=0，再以0.1大小步長逐漸增大εIR，直到近似紅外圖像的信息熵發(fā)生變化為止。此時，選取紅外圖像的正則化參數(shù)大小ε1，取值為（εIR-0.1）。同理，可見光圖像的正則化參數(shù)ε2也如上述方法取得。

（2）選取ε1、ε2之間的最小值作為仿真實驗的正則化參數(shù)ε0。并計算在ε0作用下，低頻融合圖像的信息熵Eε0。

（3）確定不同正則化參數(shù)作用下，低頻融合圖像的信息熵的最大值Emax。

3.3 低頻子帶融合規(guī)則

模糊邏輯是一種用數(shù)學語言（如高斯隸屬度函數(shù)等）表達模糊概念的方法。在圖像融合領(lǐng)域之中，模糊邏輯算法能夠分辨、解決圖像中低頻界限問題。因此，采用模糊邏輯中高斯隸屬度函數(shù)進行加權(quán)平均，實現(xiàn)低頻子帶的融合，其數(shù)學式如下：

3.4 高頻融合規(guī)則

對于圖像高頻子帶融合采用區(qū)域能量最大化融合規(guī)則。在高頻子帶能量較大的區(qū)域中，圖像的細節(jié)、紋理較為明顯，有利于融合圖像信息的保持。紅外圖像和可見光圖像中高頻子帶的區(qū)域能量公式如下：

通過比較紅外與可見光圖像高頻子帶區(qū)域能量的大小，來確定融合圖像高頻子帶系數(shù)大小，進而實現(xiàn)圖像高頻子帶融合。高頻子帶系數(shù)的大小計算公式如下：

4 實驗及結(jié)果分析

為了驗證融合的有效性，從數(shù)據(jù)集選取三組配準完成的紅外與可見光圖像進行仿真實驗。并以離散小波變換、壓縮感知、BEMD、NSCT結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)（NSCT+PCNN）、NSST域內(nèi)結(jié)合模糊邏輯（NSST+FL）的融合等方法為對照方法。其中，DWT方法中，DWT采用單層“bior3.7”小波，采用加權(quán)平均的方法融合；BEMD方法中，BEMD將源圖像分解成3個本征模態(tài)函數(shù)和1個殘余分量；NSCT結(jié)合PCNN的方法中，NSCT變換采用“maxflat”濾波器、“dmaxflat7”濾波器，其方向級數(shù)[3,3]。最后，通過與上述5種算法比較，從主觀和客觀雙重角度評價本文所提出的算法優(yōu)劣。

第一組實驗圖像采用“UN Camp”紅外與可見光圖像進行融合，圖像以及融合結(jié)果如圖3所示。圖 3（a）、圖 3（b）分別為紅外與可見光圖像。由圖3（c）可知，融合圖像的圖像背景不夠明顯。從圖 3（d）、圖 3（e）可知，融合圖像存在虛影模糊，融合效果不夠理想。從圖3（f）可知，融合圖像背景信息較為模糊，不利于觀察。從圖3（g）可知，NSST結(jié)合模糊邏輯融合方法，背景細節(jié)豐富，但導(dǎo)致目標信息不明顯，同時難以保持融合圖像邊緣。圖3（h）的邊緣輪廓更好，對比度高，背景細節(jié)豐富，視覺效果更好。

圖3 “UN Camp”紅外和可見光圖像以及融合結(jié)果

第二組實驗圖像采用“dune”紅外和可見光圖像進行融合，圖像以及融合結(jié)果如圖4所示。圖4（c）融合結(jié)果對比度相對較低。圖4（d）、圖4（e）中圖像存在著“朦朧感”視覺效果相對較差。圖4（f）、圖4（g）沒有明顯地突出目標信息，邊緣細節(jié)不夠清晰。圖4（h）的圖像具有很高的對比度，且相對光滑，邊緣細節(jié)清晰，整體視覺效果好。

圖4 “dune”紅外和可見光圖像以及融合結(jié)果

為了盡可能客觀地評價圖像的融合質(zhì)量，選取信息熵（E）、平均梯度（AG）、空間頻率（SF）、像素交叉熵（CE）、像素互信息（MI）五種評價指標對融合結(jié)果進行評價。

表1為“UN Camp”紅外與可見光圖像融合結(jié)果的評價指標，表2為“dune”紅外和可見光圖像以及融合結(jié)果的評價指標。由表1可以看出，對于“UN Camp”紅外與可見光圖像融合效果，本文方法均好于其他對比算法。圖像質(zhì)量評價指標中的信息熵、平均梯度、空間頻率、像素互信息、像素交叉熵至少分別提高0.10%、0.62%、1.87%、3.25%、10.02%；由表 2可以看出，對于“dune”紅外與可見光圖像融合效果，本文所提出的方法在平均梯度（AG）的客觀評價不如（NSST+FL）的方法，其余皆優(yōu)于其他算法。圖像質(zhì)量評價指標中的信息熵、空間頻率、像素互信息、像素交叉熵分別提高了1.55%、0.52%、9.59%、0.34%。由表1、表2實驗數(shù)據(jù)可知，本文方法在評價結(jié)果中最優(yōu)值的數(shù)量最多，運行時間相對較快，客觀驗證了引導(dǎo)濾波與NSST相結(jié)合方法的優(yōu)越性。

表1 “UN Camp”紅外與可見光圖像融合效果評價

表2 “dune”紅外與可見光圖像融合效果評價

綜上，運用引導(dǎo)濾波將源圖像分解，保持源圖像邊緣細節(jié)信息，同時使用加權(quán)平均的模糊邏輯算法對圖像低頻部分進行融合，解決了融合過程中低頻界限不清晰的問題，更好地表達源圖像的特征。并且在融合圖像高頻部分中，采用區(qū)域能量最大化方法，保持圖像高頻信息，使融合后的高頻子帶能更準確地反應(yīng)圖像細節(jié)信息，在保障融合圖像的細節(jié)信息的同時提高了融合圖像質(zhì)量。

5 結(jié)論

提出了一種NSST與引導(dǎo)濾波相結(jié)合的紅外與可見光圖像融合方法。采用引導(dǎo)濾波提取輸入圖像的細節(jié)信息，再通過NSST算法將濾波后的圖像和細節(jié)圖像分解成低頻子帶和高頻子帶。對于圖像的高頻、低頻部分，分別采用區(qū)域能量最大化法與自適應(yīng)模糊邏輯算法。實驗結(jié)果表明，相比于傳統(tǒng)的算法，本文方法提高了融合圖像的對比度，在保持融合圖像邊緣信息的前提下，更有利于人眼觀察。同時在保障運行時間相對迅速的前提下，融合效果在信息熵、空間頻率、像素互信息、像素交叉熵等多個客觀評價指標至少提高了0.10%、0.52%、3.25%、0.34%。