基于視覺(jué)顯著性加權(quán)與梯度奇異值最大的紅外與可見(jiàn)光圖像融合

程博陽(yáng)，李 婷，王喻林

（中國(guó)空間技術(shù)研究院遙感衛(wèi)星總體部, 北京 100094）

1 引 言

紅外與可見(jiàn)光圖像融合是目前應(yīng)用最為廣泛、也是最具有研究?jī)r(jià)值的圖像融合方式?？梢?jiàn)光圖像是反射類圖像，高頻成分多，在一定照度下能反映場(chǎng)景的細(xì)節(jié)[1]。紅外圖像則是熱輻射圖像，灰度值由目標(biāo)與背景的溫差決定，但不能反映真實(shí)的場(chǎng)景[2]。將上述兩種圖像相融合，可將其光譜信息保留并結(jié)合到一起，有利于增強(qiáng)圖像系統(tǒng)對(duì)場(chǎng)景的表達(dá)能力，在視覺(jué)感知、軍事應(yīng)用、電子產(chǎn)品檢測(cè)、遙感資源探測(cè)等眾多領(lǐng)域中都有廣泛的實(shí)用價(jià)值[3]。

近年來(lái)，由于多尺度分解(Multi-Scale Transform，MST)[4]方法具備良好的視覺(jué)感知效果，因此被逐漸應(yīng)用到紅外與可見(jiàn)光圖像融合方法中。MST 融合方法并不直接處理圖像的像素元，而是以圖像濾波器作為輔助手段，通過(guò)多級(jí)別的濾波處理獲取不同分辨率、不同尺度的子帶分量圖像[5]。其中，近似層分量表現(xiàn)了圖像的主體與能量特征，而細(xì)節(jié)層分量則凸顯圖像的邊緣細(xì)節(jié)與梯度特征[6]。通過(guò)尋求符合兩類分量本質(zhì)的融合規(guī)則，則可獲取具有較好視覺(jué)效果的融合圖像[7]。目前常用的MST 工具主要有離散小波變換(Discrete Wavelet Transform, DWT)[8]，曲波變換(Curvelet Transform，CT)[9]，非下采樣輪廓波變換(Nonsubsampled Contourlet Transform, NSCT)[10]，非下采樣剪切波變換(Non-subsampled Shearlet Transform, NSST)[11]等。其中DWT 的基函數(shù)通常被限制在正方形區(qū)域內(nèi)，導(dǎo)致其對(duì)圖像邊緣的捕捉和還原能力不強(qiáng)，融合后的圖像非常容易出現(xiàn)塊狀效應(yīng)。雖然CT 的基函數(shù)在捕獲圖像邊緣與直線奇異性等方面比DWT 的基函數(shù)更快，但無(wú)法消除偽吉布斯現(xiàn)象。NSCT 與NSST 均采用非下采樣塔式濾波器(Non-Subsampled Pyramid，NSP)作為尺度分解工具，在增加平移不變性的同時(shí)還消除了偽吉布斯現(xiàn)象。但相比于NSCT，NSST 其特有的“剪切波梯形基函數(shù)”可對(duì)圖像的邊緣曲線進(jìn)行更為貼近的擬合，因此它具備稀疏特性、多方向性，非常適合于高維圖像信息的多方向處理[12]。然而NSST 仍存在遺漏圖像邊緣細(xì)節(jié)信息的缺陷，主要是由于NSP 對(duì)細(xì)節(jié)的捕捉能力較差，在圖像進(jìn)行多尺度分解后，其高頻分量會(huì)丟失紋理梯度特征。因此為了獲得更為精細(xì)的多尺度分解效果，還需尋找更為先進(jìn)的多尺度濾波器來(lái)代替NSP，將其組成為全新的塔式多尺度分解工具。

邊緣保持濾波算法成功地應(yīng)用于圖像的多尺度表示中，在時(shí)域內(nèi)采用邊緣保持濾波器對(duì)圖像進(jìn)行迭代濾波，得到近似圖像，將源圖像與濾波輸出圖像進(jìn)行差分運(yùn)算得到細(xì)節(jié)圖像，利用方向?yàn)V波器組對(duì)細(xì)節(jié)圖像進(jìn)行方向分析，實(shí)現(xiàn)圖像的多尺度、多方向分解[13]。在眾多邊緣保留濾波器中，滾動(dòng)引導(dǎo)濾波器(Rolling Guidance Filter,RGF)[14]不僅可以平滑圖像紋理信息，同時(shí)在實(shí)現(xiàn)過(guò)程中利用迭代來(lái)保留圖像的邊緣信息，因此可以有效地應(yīng)用到多尺度圖像處理中。基于上述描述，可采用RGF 構(gòu)成全新的多尺度滾動(dòng)引導(dǎo)濾波器(Multi-scale Rolling Guidance Filter, MS-RGF)作為多尺度分解濾波器，它不僅具有平移不變性與優(yōu)良的邊緣保留特性，且計(jì)算效率相對(duì)較高，其獲取的多尺度子帶圖像則具有顯著的主體特征與豐富的邊緣細(xì)節(jié)。除此外，將MS-RGF與上一節(jié)提到的剪切波濾波器相結(jié)合，構(gòu)建滾動(dòng)引導(dǎo)剪切波變換(Rolling Guidance Shearlet Transform, RGST)[15]，它在繼承這兩種濾波器優(yōu)點(diǎn)的同時(shí)，可實(shí)現(xiàn)圖像在尺度與方向等兩個(gè)維度上的最優(yōu)分解，因此為后續(xù)的融合處理奠定了基礎(chǔ)。

圖像在經(jīng)過(guò)多尺度變換后，通常會(huì)對(duì)分解后的近似層子帶分量圖像采用加權(quán)平均[16]的融合規(guī)則。而對(duì)于紅外與可見(jiàn)光圖像融合，由于兩者的光譜特性差異較大，該融合規(guī)則均會(huì)使融合圖像的對(duì)比度降低，并且引入一定的偽影噪聲。為此本文提出一種“視覺(jué)顯著性加權(quán)”的融合方法，它利用顯著特征圖作為加權(quán)系數(shù)，自適應(yīng)地分配融合權(quán)重值。最終在消除兩種源圖像之間光譜差異性的同時(shí)，提高了融合圖像的主體觀感，有效地避免圖像亮度和對(duì)比度下降[17]。

“絕對(duì)值最大規(guī)則[18]”是一種常用的細(xì)節(jié)層分量融合處理方法，但是很容易引入原始圖像的噪聲信息。細(xì)節(jié)層分量主要表征了圖像的邊緣梯度信息，為此本文提出一種基于“梯度奇異值最大”的融合規(guī)則，它通過(guò)比較各高頻分量的梯度奇異值來(lái)輸出最終的細(xì)節(jié)層融合系數(shù)，使融合圖像更符合人眼的視覺(jué)感知習(xí)慣。

2 滾動(dòng)引導(dǎo)剪切波變換

2.1 多尺度滾動(dòng)引導(dǎo)濾波器

滾動(dòng)引導(dǎo)濾波器（RGF）作為一種全新的邊緣保留濾波器，它可以有效地平滑小結(jié)構(gòu)并恢復(fù)邊緣，以保留圖像最佳主體信息[19-20]，表達(dá)式如下所示：

其中輸入圖像為F，輸出圖像為Rt，t為迭代次數(shù)，σr和σs分別為灰度域和空間域的空間標(biāo)準(zhǔn)差，m與n是圖像中的索引坐標(biāo)，Km為歸一化因子，是m的相鄰像素的集合。RGF 存在特殊的迭代機(jī)制，可將RGF 的濾波過(guò)程總結(jié)為如下表達(dá)式：

其中Fin與Fout分別表示輸入與輸出圖像，RGF(·)表示RGF 濾波函數(shù)。通過(guò)改變參數(shù)σr和σs，以實(shí)現(xiàn)不同尺度層次的圖像邊緣濾波。

由于RGF 具有靈敏的尺度感知特性與快速的計(jì)算速度，將RGF 構(gòu)建為全新的多尺度滾動(dòng)引導(dǎo)濾波器（Multi-scale Rolling Guidance Filter, MSRGF），從而有效定位圖像的空間多尺度特征，實(shí)現(xiàn)圖像更為精細(xì)的多尺度分解，本文將其定義如下：

其中fj為第j級(jí)濾波后的圖像，即近似圖像；dj為第j級(jí)的細(xì)節(jié)圖像；初始圖像為f0，即輸入的源圖像f；RGF(·) 表示為上一節(jié)提到的RGF 濾波函數(shù)。一幅圖像f經(jīng)過(guò)J層的MS-RGF 分解后可獲取一個(gè)近似層分量圖像與J個(gè)細(xì)節(jié)圖像，并且通過(guò)簡(jiǎn)單的線性疊加可獲取重構(gòu)圖像f′：

通過(guò)式（4）～式（6）可以清晰發(fā)現(xiàn)，全新的多尺度滾動(dòng)引導(dǎo)濾波器在圖像分解與重構(gòu)時(shí)不存在上采樣與下采樣操作，因此可保證該分解框架具有平移不變性。

MS-RGF 的分解效果主要受RGF 濾波函數(shù)內(nèi)部的σs、σr、t等3 個(gè)參數(shù)影響。對(duì)于參數(shù)t，它負(fù)責(zé)控制濾波器內(nèi)部的迭代次數(shù)。如果在圖像收斂后繼續(xù)增大t值，RGF 的迭代次數(shù)會(huì)隨之增加，但輸出結(jié)果并不能產(chǎn)生較大改變，這顯然會(huì)影響計(jì)算效率，綜合考慮，本文選取t=3。除此外，參數(shù)σs和σr均為表征RGF 濾波性能的權(quán)重指標(biāo)，兩個(gè)值的選取往往決定了圖像最終的濾波效果。針對(duì)參數(shù)σs，它主要用于濾波的尺度參數(shù)，本文對(duì)其設(shè)置如下：

其中L代表圖像的總灰度級(jí)數(shù)，而pi是灰度值為i的像素點(diǎn)在所有像素點(diǎn)中出現(xiàn)的概率，IEIR與IEVL分別代表紅外圖像與可見(jiàn)光圖像的信息熵[21]，En代表本文設(shè)定的圖像聯(lián)合加權(quán)信息熵之和，floor (·)代表向下取整的函數(shù)。是最初始的濾波權(quán)重，為了能讓不同尺度的高頻分量包含不同粗細(xì)的紋理信息，還需令σs在每一次新的迭代中都逐漸加倍，此時(shí)圖像的紋理平滑會(huì)隨之增多，差值計(jì)算后的細(xì)節(jié)紋理也會(huì)發(fā)生由細(xì)到粗的變化。

除此以外，參數(shù)σr用于濾波的邊緣恢復(fù)與保留，其表達(dá)式如下：

其中L、pi與上述定義相同，M與N為一幅圖像的尺寸大小，J為最終的分解尺度， λEn表示本文設(shè)定的歸一化加權(quán)信息熵之和。 σ0r依舊表示最初始的范圍權(quán)重，它受參數(shù)J的影響。為了能在σs逐漸增大的同時(shí)，依舊使濾波后的圖像保留邊緣細(xì)節(jié)，σr會(huì)在每一次新的迭代中都逐漸減半。

圖1 詳細(xì)顯示了MS-RGF 的分解子帶圖。原始圖像經(jīng)過(guò)5 次多尺度分解后，獲得了最終的1 個(gè)近似層子帶圖像和5 個(gè)不同尺度的細(xì)節(jié)層子帶圖像。從圖1(c)～1(g)中可以清晰發(fā)現(xiàn)，隨著尺度級(jí)別逐漸增加，細(xì)節(jié)層分量的紋理由細(xì)變粗。

圖1 基于MS-RGF 分解后的多尺度圖像Fig. 1 Multi-scale images decomposed based on MS-RGF

2.2 多方向剪切波濾波器

剪切波具有優(yōu)良的局部化特性、拋物線尺度化特性、高度方向敏感特性、空間域局部化特性、最佳稀疏特性，它能對(duì)圖像的邊緣曲線進(jìn)行更為貼近的擬合[22-23]。因此，在其基礎(chǔ)上，對(duì)MSRGF 分解后的多尺度細(xì)節(jié)層分量進(jìn)行多方向剪切波變換，從而有效地提取包含其在內(nèi)的多方向邊緣信息，具體流程如下：

（1）采用Meyer 小波函數(shù)w(x) 生成Meyer 窗口函數(shù)M(σ)，其中兩種函數(shù)的定義如下：

Meyer 小波函數(shù)：

其中對(duì)于參數(shù)σ，結(jié)合局部化窗口的尺寸L×L，將其設(shè)置為如下離散形式：

本文設(shè)定L=8，此時(shí)通過(guò)式（13）～式（15），可得到全新的Meyer 小波窗口函數(shù)。

（2）利用L=8 的局部化窗口生成偽極化坐標(biāo)網(wǎng)絡(luò)，此時(shí)網(wǎng)絡(luò)中每條邊的采樣點(diǎn)為L(zhǎng)+1，即9 個(gè)，這里在圖2 給出了偽極化坐標(biāo)網(wǎng)絡(luò)的示意圖。

圖2 L=8 的偽極化坐標(biāo)網(wǎng)絡(luò)Fig. 2 Pseudo-polar coordinate network with L= 8

（3）將步驟（1）獲取的Meyer 小波窗口函數(shù)放入到步驟（2）中的偽極化坐標(biāo)網(wǎng)格進(jìn)行離散重采樣，然后把獲取的結(jié)果再轉(zhuǎn)換到笛卡爾坐標(biāo)系中，最終生成頻域支撐的自適應(yīng)多方向剪切波濾波器。

（4）對(duì)Meyer 小波窗口函數(shù)進(jìn)行平移操作，隨后重復(fù)步驟（3）的過(guò)程。當(dāng)獲取所有方向的自適應(yīng)剪切波濾波器后，停止之前的操作，最終得到頻域支撐的自適應(yīng)多方向剪切濾波器組ωl,k(x,y)，其中l(wèi)為方向分解尺度，k為分解后的方向數(shù)，k=[-2l,···,2l-1]，如圖3 所示。

圖3 剪切波在頻域的濾波器組Fig. 3 The filter bank of shearlet in frequency domain

（5）對(duì)頻域支撐的濾波器組ωl,k(x,y)進(jìn)行傅立葉變換，獲取時(shí)域支撐的自適應(yīng)多方向剪切波濾波器組Wl,k(x,y)。利用該時(shí)域支撐的濾波器組與尺度為j的細(xì)節(jié)層分量圖像dj(x,y) 進(jìn)行卷積操作，得到最終的多方向細(xì)節(jié)子帶圖像(x,y)，表達(dá)式如下：

這里將圖1 中的第3 級(jí)高頻分量圖像進(jìn)行多方向剪切波變換以作示例，從而獲取其不同方向細(xì)節(jié)的子帶圖像，如圖4 所示。本文設(shè)定其方向分解尺度為l=3，因此會(huì)得到8 個(gè)方向的細(xì)節(jié)子帶。通過(guò)全新構(gòu)造的剪切濾波器，圖像的細(xì)節(jié)層分量又分為包含不同方向的信息，這樣就會(huì)在后續(xù)的融合圖像中得到更為精細(xì)的邊緣紋理信息。

2.3 滾動(dòng)引導(dǎo)剪切波變換

圖5 RGST 的分解與重構(gòu)示意圖Fig. 5 Schematic diagram of decomposition and reconstruction of RGST

RGST 的構(gòu)造借鑒了非下采樣剪切波變換（NSST）的思想，相比于NSST，RGST 具有如下優(yōu)勢(shì)：

（1）RGST 內(nèi)部采用了MS-RGF 作為多尺度分解濾波器，它能根據(jù)圖像的邊緣尺度信息進(jìn)行相應(yīng)的分解，并且其內(nèi)部參數(shù)也是基于圖像特征值而設(shè)定的，因此具有很強(qiáng)的自適應(yīng)性。

（2）RGST 在分解與重構(gòu)的過(guò)程中不存在上采樣與下采樣操作，并且也不需要滿足任何約束關(guān)系，只是通過(guò)簡(jiǎn)單的線性差值與疊加計(jì)算即可，因此具有平移不變性，計(jì)算效率較高。

3 基于視覺(jué)顯著性加權(quán)和梯度奇異值最大的圖像融合規(guī)則

“圖像融合規(guī)則”是融合算法的核心，其選取的正確與否則決定了融合圖像最終的視覺(jué)效果。為此，本文算法首先采用全新的RGST 作為多尺度與多方向分解工具，分別獲得可見(jiàn)光與紅外圖像的近似層分量系數(shù)和多方向細(xì)節(jié)層系數(shù)。由于兩種圖像分量存在本質(zhì)不同，在融合過(guò)程中需要采用相應(yīng)的融合規(guī)則對(duì)它們分別進(jìn)行處理。其中針對(duì)近似層分量，提出一種全新的“視覺(jué)顯著性加權(quán)”指導(dǎo)其融合，而“梯度奇異值最大”則作為細(xì)節(jié)層分量的融合規(guī)則，算法示意圖如圖6 所示。

圖6 本文融合算法示意圖Fig. 6 Schematic diagram of the fusion algorithm in this paper

3.1 近似層圖像的融合規(guī)則

圖像的近似層分量代表了圖像的主要能量特征，因此近似層分量的融合規(guī)則決定了融合圖像的主體視覺(jué)效果。人眼在觀察一幅圖像時(shí)，有些區(qū)域會(huì)引起人眼極大地關(guān)注，有些區(qū)域則會(huì)被忽略。而圖像中的目標(biāo)、高亮區(qū)域通常為人眼視覺(jué)敏感的顯著性區(qū)域，以人類視覺(jué)機(jī)制為基礎(chǔ)，構(gòu)建圖像顯著性模型[24]，將人眼對(duì)圖像各區(qū)域感興趣的程度使用灰度信息進(jìn)行量化，即可獲得圖像的顯著圖。利用顯著圖作為加權(quán)系數(shù)矩陣來(lái)指導(dǎo)近似層圖像的融合處理，能夠有效指導(dǎo)圖像內(nèi)的光譜信息加權(quán)融合，在有效地避免圖像的亮度和對(duì)比度下降的同時(shí)，提高了融合圖像的主體觀感。本文利用改進(jìn)的FT 算法[25]來(lái)獲取源圖像的視覺(jué)顯著圖，表達(dá)式如下：

其中||·||1代表向量的?1-范數(shù)算符，Iμ為圖像中所有像素點(diǎn)的灰度值平均值，而IG(x,y) 為像素點(diǎn)(x,y)經(jīng)過(guò)高斯濾波后的灰度值，其中高斯濾波器的尺寸為3×3，標(biāo)準(zhǔn)差參數(shù)σ為π/2.75。對(duì)獲取的顯著性圖進(jìn)行下列操作，可以得到近似層圖像的加權(quán)系數(shù)矩陣[25]：

其中SIR與SVL分別代表紅外與可見(jiàn)光圖像的視覺(jué)顯著圖，S1與S2分別代表紅外與可見(jiàn)光圖像的權(quán)重系數(shù)矩陣，只有當(dāng)兩幅源圖像的對(duì)比度明顯不同，一幅接近0，另一幅接近1 時(shí)，其權(quán)重矩陣才接近于“最大選擇法”。但是在大多數(shù)情況下，加權(quán)法比較適用于對(duì)權(quán)重矩陣的構(gòu)造，因此近似層的最終融合規(guī)則為：

其中M j(x,y)為近似層分量融合后的系數(shù)，(x,y)與(x,y)分別為可見(jiàn)光與紅外圖像近似層分解系數(shù)，j是分解層數(shù)。

3.2 細(xì)節(jié)層圖像的融合規(guī)則

圖像的多方向細(xì)節(jié)層分量反映了圖像邊緣特征和紋理細(xì)節(jié)，其融合規(guī)則決定了最終的細(xì)節(jié)層次。紅外圖像與可見(jiàn)光圖像的特征差異較大，紅外圖像中目標(biāo)信息表現(xiàn)為高亮度和高強(qiáng)度，“系數(shù)絕對(duì)值取大”規(guī)則容易融入過(guò)多的紅外信息，從而丟失可見(jiàn)光圖像中的細(xì)節(jié)信息，同時(shí)容易誤將噪聲作為顯著特征融入到圖像中，因此，本文通過(guò)計(jì)算細(xì)節(jié)層分量的“梯度奇異值（Gradient Singular Value，GSV）來(lái)指導(dǎo)細(xì)節(jié)層融合系數(shù)的輸出，如下所示：

（一）方向梯度和算子（the Sum of Directional Gradient，SDG）[26]一定程度上可以反映圖像的邊緣細(xì)節(jié)變化，是反映圖像清晰度的關(guān)鍵指標(biāo)之一，其表達(dá)式如下：

（二）圖像的奇異值包含了圖像的結(jié)構(gòu)信息，集中了圖像的能量特性，能夠反映圖像的區(qū)域特征[27]。受此啟發(fā)，本文對(duì)“方向梯度和算子”進(jìn)行矩陣奇異值分解，獲取梯度奇異值算子，來(lái)表征細(xì)節(jié)層圖像的邊緣能量特征變化：

（1）對(duì)SDG(x,y)進(jìn)行滑動(dòng)窗口平移分塊，每塊矩陣的大小為3×3，中心點(diǎn)為(x,y)。然后對(duì)每一子塊矩陣進(jìn)行奇異值分解，其表達(dá)式如下：

其中I代表分塊后的矩陣，δi代表分塊矩陣奇異值。

（2）利用其局部區(qū)域梯度奇異值構(gòu)造GSV 算子，其中梯度奇異值越大，局部區(qū)域的邊緣特征越顯著，表達(dá)式如下：

（3）通過(guò)“梯度奇異值最大”原則，來(lái)確定融合圖像細(xì)節(jié)層系數(shù)的輸出，能夠降低不相干的紅外信息與噪聲的影響，融入更多的可見(jiàn)光圖像細(xì)節(jié)信息，使圖像更適合視覺(jué)觀察：

其中Dj,k(x,y)為融合后的細(xì)節(jié)層融合系數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，采用CVT[28]、NSCT[29]、ADF[30]、WLS[31]、MSVD[32]、TSF[33]等5 種不同的多尺度分解方法作為對(duì)比。為了測(cè)試算法的廣泛性，選取了5 種不同環(huán)境的紅外與可見(jiàn)光圖像，如圖7 所示。其中各組紅外與可見(jiàn)光圖像已嚴(yán)格配準(zhǔn)，而且可以進(jìn)行下載[34]。

圖7 融合實(shí)驗(yàn)采用的紅外與可見(jiàn)光圖像Fig. 7 Infrared and visible light images used in the fusion experiment

對(duì)于上述各組對(duì)比算法，其多尺度分解工具的實(shí)驗(yàn)參數(shù)設(shè)定如下：

（1）CVT 方法采用“實(shí)值曲波基函數(shù)”，分解層數(shù)為4，分解角度數(shù)為16；

（2）NSCT 方法分別采用“vk”和“pyrexc”作為多尺度金字塔濾波器和多方向分解濾波器，分解層數(shù)為4，從粗到細(xì)的分解方向尺度分別設(shè)置為[0, 2, 3, 4]。

（3）ADF 方法利用“各向異性擴(kuò)散濾波器”獲取原始圖像的近似層與細(xì)節(jié)層分量，其內(nèi)部設(shè)置為：t= 10，λ= 0.15，k= 30。

（4）WLS 方法利用“滾動(dòng)引導(dǎo)濾波器與高斯濾波器相結(jié)合的方式” 獲取原始圖像的近似層與細(xì)節(jié)層分量，其內(nèi)部設(shè)置為：分解層數(shù)為4，σ0s= 2，σr= 0.05。

（5）MSVD 方法采用“2 維矩陣奇異值分解”獲得具有不同尺度信息的圖像分量系數(shù)，其中分解層數(shù)為4；

（6）TSF 方法采用“中值濾波器”獲取原始圖像的近似層與細(xì)節(jié)層分量，其中分解層數(shù)為2，wμ= 30，wg= 3。

對(duì)于本文算法，影響其融合效果主要是RGST 工具的分解層數(shù)j。為了有效探尋j的最佳取值，本文分別利用第一組與第二組源圖像進(jìn)行融合實(shí)驗(yàn)，并依次將j的取值設(shè)置為2，3，4，5，6。最終通過(guò)計(jì)算融合圖像的平均梯度(Average Gradient, AVG)[35]與信息熵(Information Entropy,IE)[36]這兩個(gè)評(píng)價(jià)參數(shù)，從而確定最佳的分解層數(shù)，其計(jì)算如圖8～圖9(彩圖見(jiàn)期刊電子版)所示。

圖8 不同分解級(jí)數(shù)下的AVG 值比較Fig. 8 Comparison of AVG values under different decomposition levels

圖9 不同分解級(jí)數(shù)下的IE 值比較Fig. 9 Comparison of IE values under different decomposition levels

通過(guò)以上對(duì)比可以清晰發(fā)現(xiàn)，當(dāng)j=5 的時(shí)候，融合圖像的AVG 與IE 值均具有最大值，因此本文RGST 的分解層數(shù)j設(shè)置為5。對(duì)于每個(gè)尺度下的剪切波多方向分解向量，為了均衡分解效率與分解效果，設(shè)置其為l= [2, 2, 3, 3, 3]，剪切波濾波器尺寸向量設(shè)置為L(zhǎng)= [8, 8, 8, 8, 8]。

4.1 主觀視覺(jué)評(píng)價(jià)

圖10～圖14 分別代表第1 組到第5 組的融合實(shí)驗(yàn)，每組圖中的(a)～(i) 分別代表紅外圖像、可見(jiàn)光圖像、CVT、NSCT、ADF、WLS、MSVD、TSF 和本文算法的融合圖像。在第一組實(shí)驗(yàn)中，CVT、ADF、MSVD 等算法的融合圖像整體對(duì)比度較低，無(wú)法清晰分辨出掩體的位置所在。NSCT 的融合圖像存在很多偽影噪點(diǎn)，影響視覺(jué)觀感。WLS 算法的融合圖像雖然掩體信息比較突出，但是背景的紋理細(xì)節(jié)丟失較多。TSF 算法的融合圖像與本文方法有著相似的茂密背景信息，但是相比之下，本文方法融合圖像的掩體亮度更高，更加清晰，因此相比較之下，本文算法獲取的融合視覺(jué)性能最強(qiáng)。

圖10 第一組圖像融合實(shí)驗(yàn)結(jié)果Fig. 10 The first group of image fusion experiment

圖11 第二組圖像融合實(shí)驗(yàn)結(jié)果Fig. 11 The second group of image fusion experiment

圖12 第三組圖像融合實(shí)驗(yàn)Fig. 12 The third group of image fusion experiment

圖13 第四組圖像融合實(shí)驗(yàn)Fig. 13 The fourth group of image fusion experiment

圖14 第五組圖像融合實(shí)驗(yàn)Fig. 14 The fifth group of image fusion experiment

在第2 組實(shí)驗(yàn)中，NSCT 融合圖像已經(jīng)無(wú)法看清煙霧后的人，WLS 與MSVD 融合算法獲取的圖像紋理細(xì)節(jié)丟失較多，其地面的紋理細(xì)節(jié)已經(jīng)無(wú)法分辨。CVT 與TSF 算法的融合圖像在所有對(duì)比算法中，融合效果相對(duì)較佳，但是和本文算法相比，對(duì)比度遠(yuǎn)不如本文的高，并且細(xì)節(jié)信息也丟失較多。

在第3 組實(shí)驗(yàn)中， CVT、ADF、MSVD、TSF的融合圖像仍然存在對(duì)比度較低的問(wèn)題，圖像內(nèi)的人物較暗，NSCT 算法的噪點(diǎn)問(wèn)題依舊存在，相比于本文算法， WLS 融合圖像中汽車(chē)的蛇紋涂鴉不清晰，只有本文算法在兼顧兩種原始視覺(jué)顯著性信息的同時(shí)，最大程度地還原了原始圖像的細(xì)節(jié)紋理特征。

在第4 組實(shí)驗(yàn)中，CVT、ADF、MSVD、TSF等融合算法內(nèi)的人物亮度都較低，相較原始的紅外圖像，都存在一定程度的衰減，不利于后續(xù)的目標(biāo)識(shí)別處理。NSCT 的人物亮度雖然不低，但是依舊存在的偽影噪聲，還是影響了整幅圖像的主體觀感。WLS 融合圖像的樹(shù)叢沒(méi)有本文算法的茂密，因此相比之下，本文算法融合圖像視覺(jué)效果仍然是最佳的。

在第5 組實(shí)驗(yàn)中，CVT、ADF、WLS、MSVD、TSF 等算法的融合圖像相比于NSCT 和本文算法，其圖像對(duì)比度都較低，而且圖像亮度也不高。而NSCT 算法依舊存在偽影噪點(diǎn)，本文算法的視覺(jué)性能是最優(yōu)的。

綜上所述，以上對(duì)比算法都能較好地處理融合問(wèn)題，并且都取得了一定的學(xué)術(shù)造詣。但是相比之下，本文算法的融合視覺(jué)效果更加符合人眼觀感。在近似層分量采取的“視覺(jué)顯著性加權(quán)”能最大程度地綜合兩類源圖像的顯著性信息；同時(shí)“梯度奇異值最大”可以較為全面地將源圖像內(nèi)部的梯度特征添加到融合圖像中。因此， 最終的融合圖像亮度適中，并且具有較為精細(xì)的紋理細(xì)節(jié)信息、其圖像亮度適中、對(duì)比度較高、主觀觀感最佳。

4.2 客觀參數(shù)評(píng)價(jià)

一般地，圖像融合結(jié)果的性能可以通過(guò)主觀和客觀的方式進(jìn)行評(píng)價(jià)。在大多數(shù)情況下，融合結(jié)果之間的差異不大，就難以用主觀方式正確地評(píng)價(jià)融合結(jié)果。因此，在客觀質(zhì)量評(píng)價(jià)的基礎(chǔ)上對(duì)融合效果進(jìn)行評(píng)價(jià)也是非常必要的，本文選取了6 個(gè)客觀質(zhì)量指標(biāo)作為評(píng)判標(biāo)準(zhǔn)：(1) 平均梯度(Average Gradient, AVG)；(2) 信息熵(Information Entropy, IE)；(3) 邊緣信息量(Quality of edge, QE)[37]；(4) 空間評(píng)率(Spatial Frequency, SF)[38]；(5) 標(biāo)準(zhǔn)差(Standard Deviation, SD)[39]；(6) 差異相關(guān)性之和(The Sum of the Correlations of Differences, SCD)[40]；(7) 算法運(yùn)行時(shí)間t（單位s）。對(duì)于這 7 個(gè)指標(biāo)，除了運(yùn)行時(shí)間，數(shù)值越大代表融合算法的性能越好，越大的數(shù)值表示融合圖像包含的源圖像信息越多，但是當(dāng)圖像的局部過(guò)曝或者存在噪點(diǎn)時(shí)，這些參數(shù)也也會(huì)虛高，變得不真實(shí)，因此客觀參數(shù)也需要結(jié)合主觀觀感來(lái)一起評(píng)價(jià)。

對(duì)于以上指標(biāo)評(píng)價(jià)，都是在 PC 主機(jī)上采用11th Gen Intel(R) Core(TM) i7-1165G7 2.80 GHz，RAM 16 GB，Windows 10 家庭中文版，MATLAB 2016 的環(huán)境下運(yùn)行的。對(duì)于這5 組融合圖像，詳細(xì)的定量評(píng)價(jià)見(jiàn)表1～表5，其中粗體值表示在上述方法中使用相同索引的最佳結(jié)果。

表1 第1 組圖像融合實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation indicators for the first group of image fusion experiments

表2 第2 組圖像融合實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.2 Objective evaluation indicators for the second group of image fusion experiments

表3 第3 組圖像融合實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.3 Objective evaluation indicators for the third group of image fusion experiments

表4 第4 組圖像融合實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.4 Objective evaluation indicators for the fourth group of image fusion experiments

表5 第5 組圖像融合實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.5 Objective evaluation indicators for the fifth group of image fusion experiments

在第1 組、第2 組、第4 組、第5 組實(shí)驗(yàn)中，本文方法的各項(xiàng)評(píng)價(jià)指標(biāo)均是最優(yōu)的，這與主觀視覺(jué)觀感是符合的。第3 組實(shí)驗(yàn)中，本文算法的IE 值略低于NSCT 算法，但是其它指標(biāo)仍處于領(lǐng)先。本文還把各算法的運(yùn)行時(shí)間進(jìn)行了仿真，通過(guò)對(duì)比來(lái)比較算法的時(shí)效性。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，TSF 算法的時(shí)效性是最好的，十分值得肯定。剩下算法的運(yùn)行時(shí)間相差不大，其中本文算法的運(yùn)行時(shí)間排在中間，僅略強(qiáng)于NSCT 方法。由于RGST 同時(shí)存在尺度與方向等兩個(gè)維度的分解變換，同時(shí)其內(nèi)部的參數(shù)值也是利用圖像的特征值而定義的，因此其整體的運(yùn)行時(shí)間將會(huì)有所增加。如果為了追求融合算法的時(shí)效性，則可將RGST 內(nèi)部的參數(shù)進(jìn)行固定的經(jīng)驗(yàn)值設(shè)定，同時(shí)減少分解的尺度數(shù)和細(xì)節(jié)方向數(shù)，然而這必將會(huì)犧牲融合算法優(yōu)良的視覺(jué)性能，因此所提算法的運(yùn)行時(shí)間仍然是可以接受的。

綜上所述，所得的客觀評(píng)價(jià)結(jié)果與主觀視覺(jué)效果基本符合。雖然在個(gè)別實(shí)驗(yàn)中，有些評(píng)價(jià)值不是最高的，但融合后的圖像亮度較高，灰度值過(guò)渡自然，擁有較佳的觀感。因此在針對(duì)紅外與可見(jiàn)光融合問(wèn)題，本文算法似乎更具有一定的針對(duì)性，其融合性能略勝一籌。

5 結(jié) 論

本文提出一種基于紅外與可見(jiàn)光融合的新算法，該算法首先通過(guò)滾動(dòng)引導(dǎo)剪切波變換將源圖像進(jìn)行多尺度、多方向分解。針對(duì)近似層分量，采用基于視覺(jué)顯著性加權(quán)的方式進(jìn)行融合處理；針對(duì)細(xì)節(jié)層分量，采用梯度奇異值最大的規(guī)則輸出相應(yīng)的融合系數(shù)。為了驗(yàn)證融合性能，采用5 種不同場(chǎng)景進(jìn)行融合實(shí)驗(yàn)。結(jié)果表明，該算法一定程度上可以解決紅外與可見(jiàn)光圖像因光譜差異較大而導(dǎo)致融合圖像對(duì)比度較低的問(wèn)題，同時(shí)較完整地保留了豐富的紋理信息和細(xì)節(jié)信息，而且圖像過(guò)渡自然。該方法在視覺(jué)質(zhì)量和定量評(píng)價(jià)方面都優(yōu)于現(xiàn)有的其他融合算法，AVG、IE、QE、SF、SD、SCD 等客觀參數(shù)指標(biāo)分別提高16.4%、3.9%、11.8%、17.1%、21.4%、10.1%。