可見光與紅外圖像融合質(zhì)量評價指標分析

孫彬，高云翔，諸葛吳為，王梓萱

1.電子科技大學航空航天學院，成都 611731；2.飛行器集群智能感知與協(xié)同控制四川省重點實驗室，成都 611731

0 引 言

圖像融合是利用多幅圖像在時空上的相關(guān)性和互補性形成更清晰全面的圖像(Li等，2011)。其中，紅外和可見光圖像融合廣泛應用于遙感探測、安全導航、醫(yī)學圖像和交通監(jiān)測等領(lǐng)域(Li和Wu，2019)。目前，不同融合算法之間沒有統(tǒng)一的評價標準，多數(shù)情況下研究人員是憑經(jīng)驗選擇客觀評價指標(宮睿和王小春，2019；陳木生，2016)衡量紅外光與可見光融合算法。如何遴選有效的評價指標是亟待解決的問題。

圖像融合質(zhì)量評價方法可以分為兩類(Liu等，2018)。第1類為主觀評價方法，主要以評價人的肉眼觀察結(jié)果為準，但不同級別之間的界限較模糊且主觀性太強，易使結(jié)果受干擾(Yang等，2007)。第2類為客觀評價方法，即根據(jù)一個特定算法提供量化指標，從不同角度評估融合的質(zhì)量和性能。

楊艷春等人(2018)根據(jù)不同參考對象將融合評價指標分為3類，分別是基于融合圖像統(tǒng)計特征、基于融合圖像與參考圖像和基于源圖像與融合圖像的客觀評價指標。Liu等人(2012)將指標細分為基于信息論、圖像特征、結(jié)構(gòu)相似性和人類視覺系統(tǒng)4類，并分析指標間的相關(guān)性、一致性以及失真情況下與圖像質(zhì)量評價(image quality measurement，IQM)的關(guān)系，提出了在夜視應用中不同可見光和紅外融合模型的建議指標集合。Liu等人(2018)總結(jié)了基于源圖像與融合圖像的評價指標，度量從輸入圖像到融合結(jié)果中傳遞的圖像特征、內(nèi)容或信息數(shù)量，但不包含基于融合圖像統(tǒng)計特征的指標。張小利等人(2014)結(jié)合相關(guān)性分析和主客觀一致性排序遴選適合遙感圖像融合評價的指標集合，但無法推廣至缺少主觀評價結(jié)果的應用。

可見光和紅外圖像融合缺少主觀評價結(jié)果和統(tǒng)一的基準。Zhang等人(2020)提出一個可見光和紅外融合基準(visible and infrared fusion benchmark，VIFB)，包括21個圖像對、20種融合算法以及13種指標。本文依據(jù)參與評估的對象不同，將13種指標分為基于融合圖像質(zhì)量的客觀評價和基于融合圖像與源圖像的客觀評價指標，利用相關(guān)性分析、一致性分析以及離散程度分析，提出一種通用的客觀評價指標篩選方法，并給出適用于紅外光與可見光融合的建議指標集合。

1 圖像融合客觀評價指標

目前，已經(jīng)提出了幾十種圖像融合客觀評價指標。設參與融合的源圖像有n個，圖像融合的客觀評價指標定義為

S=m(F,I1,I2,…,In,R)

(1)

式中，m為評價指標，F(xiàn)表示融合圖像，In表示源圖像，R表示參考圖像。為簡化表達，以2個待融合圖像為例，源圖像分別記為A和B，圖像尺寸均為M×N。

大多數(shù)圖像融合應用，包括紅外和可見光融合一般并不存在參考圖像。Zhang等人(2020)總結(jié)了4類13種客觀評價指標，包括基于信息論的熵(entropy，EN)、交叉熵(cross entropy，CE)、互信息(mutual information，MI)和峰值信噪比(peak signal-to-noise ratio，PSNR)；基于圖像特征的平均梯度(average gradient，AG)、邊緣強度(edge intensity，EI)、空間頻率(space frequency，SF)、標準差(standard deviation，SD)和邊緣保持度(QAB/F)；基于結(jié)構(gòu)相似性的均方根誤差(root mean squared error，RMSE)和結(jié)構(gòu)相似度(structural similarity index measure，SSIM)；基于人類感知的QCV(Chen-Varshney)和QCB(Chen-Blum)。

本文依據(jù)參與評估的對象不同將指標分為基于融合圖像質(zhì)量客觀評價指標以及基于融合圖像和源圖像的客觀評價指標兩類?；谌诤蠄D像質(zhì)量的客觀評價指標包括SD、EI、EN、AG和SF等5個指標，基于融合圖像和源圖像的客觀評價指標包括CE、MI、RMSE、PSNR、QAB/F、SSIM、QCV和QCB等8個指標。基于融合圖像質(zhì)量的評價指標主要是針對融合后圖像本身的特性或統(tǒng)計特征，沒有考慮融合圖像與源圖像之間的關(guān)系，而融合是從融合源中繼承傳遞有價值信息的過程，基于源圖像和融合圖像的客觀指標是更為普遍使用的評價指標。

1.1 基于融合圖像質(zhì)量的評價指標

基于融合圖像質(zhì)量的評價指標計算僅利用融合圖像即可獲得指標評分。

1)標準差(SD)。標準差反映的是融合圖像分布和對比度的統(tǒng)計概念(Ma等，2020)。數(shù)學定義為

(2)

式中，μ為融合圖像的灰度值均值，由于人類視覺會對對比度較高的區(qū)域更敏感，因此，融合圖像的對比度越高，SD越大，意味著融合圖像融合效果越好。

2)邊緣強度(EI)。邊緣強度使用Sobel算子提取融合圖像的邊緣信息，其表達式為

(3)

式中，sx=F×hx,sy=F×hy，hx和hy為x和y方向上的Sobel算子。邊緣強度大，說明圖像細節(jié)清晰，圖像質(zhì)量好。

3)熵(EN)。熵是度量圖像信息量的客觀評價指標(劉子聞 等，2020)，融合圖像F的熵定義為

(4)

式中，p={p1,p2,…,pn}表示圖像的灰度分布，pf為圖像中灰度值為f的像素所占的比例，n為灰度等級。該指標關(guān)注融合圖像的灰度值分布，可以反映融合圖像攜帶的信息量。

4)平均梯度(AG)。平均梯度主要反映圖像中細節(jié)間的區(qū)別(Ma等，2019)和紋理變化，其表達式為

(5)

通常情況下，平均梯度越大，圖像的清晰度越高，融合質(zhì)量越好。

5)空間頻率(SF)。空間頻率用于測量圖像的總體活動水平(Zheng等，2007)。圖像F的空間頻率表達式為

(6)

式中，F(xiàn)R，F(xiàn)C，F(xiàn)MD和FSD分別對應4個方向(左、上、左上、右上)上的一階梯度。一般情況下，空間頻率越大，融合質(zhì)量越好。

1.2 基于源圖像和融合圖像的評價指標

基于源圖像和融合圖像的評價指標計算需要人為選擇要衡量的有效信息，如信息量、邊緣和結(jié)構(gòu)相似度等，先分別計算源圖像A、B與融合圖像F之間的指標值，然后根據(jù)規(guī)律加權(quán)出指標最終評分。

1)均方根誤差(RMSE)。均方根誤差計算融合圖像與源圖像的誤差(Ma等，2019)，從而測量融合圖像和源圖像之間的差異，表達式為

(7)

2)峰值信噪比(PSNR)。峰值信噪比是融合圖像中峰值功率與噪聲功率的比值(Ma等，2019)，反映了融合過程中的失真情況。數(shù)學表達式為

(8)

PSNR越大，說明融合圖像與源圖像越接近，即融合產(chǎn)生的誤差越小。

3)交叉熵(CE)。交叉熵反映的是融合圖像與源圖像灰度信息分布的差異性，可作為確定各種融合算法優(yōu)劣的依據(jù)。在熵的基礎上加入源圖像A和B的灰度分布，融合圖像為F。以源圖像A與融合圖像F為例，交叉熵計算式為

(9)

式中，q為源圖像A的灰度分布。

總體交叉熵計算式為

(10)

交叉熵值越小，圖像間差異性越小，則融合方法從源圖像中提取的信息量越多，理論上融合效果會比較好。

4)互信息(MI)?；バ畔⒖啥抗烙嬙磮D像A與融合圖像F之間的依賴程度(Qu等，2002)。源圖像A與融合圖像F的互信息可以由邊緣概率密度pF、pA以及聯(lián)合概率密度pFA定義為

(11)

則總的互信息為

(12)

其中,3幅圖像的灰度值范圍分別為IA(i,j)∈[0,I]、IB(i,j)∈[0,J]和IF(i,j)∈[0,K]，則a=0,1,…,I、b=0,1,…,J和f=0,1,…,K。

融合圖像的MI值越大，說明融合圖像從源圖像處繼承的信息越多，融合圖像的質(zhì)量較好。

GAF(i,j)=

(13)

(14)

對于兩幅源圖像A和B融合出F的情況，其邊緣保持度定義為

(15)

通常，ωA(i,j)=[gA(i,j)]L，ωB(i,j)=[gB(i,j)]L，L是一個常數(shù)。0≤QAB/F(i,j)≤1，指標值接近1時，說明邊緣保持特性越好，融合的效果越好。實驗中常用參數(shù)取值為L=1，Γg=0.999 4，kg=-15，σg=0.5，Γa=0.987 9，ka=-22，σa=0.8。

6)結(jié)構(gòu)相似度。結(jié)構(gòu)相似度(SSIM)的測量可以對圖像的失真做出近似(Martinez等，2019)，SSIM的取值范圍為[-1,1]，值越大說明源圖像和融合圖像的相似程越高。圖像A和F的結(jié)構(gòu)相似度為

SSIMAF=l(A,F)×c(A,F)×s(A,F)

(16)

QCV=

(17)

式中，L表示局部窗口的數(shù)量，Wl為第l個局部窗口對應的區(qū)域。此方法得到的值越小，說明融合效果越好。

(18)

最后，得到全局質(zhì)量圖，即

QGQM(i,j)=λA(i,j)QAF(i,j)+λB(i,j)QBF(i,j)

(19)

Chen-Blum指標結(jié)果為全部像素全局質(zhì)量圖的均值。實驗結(jié)果表明，該方法與主觀評價結(jié)果具有高度一致性，值越大說明融合效果越好。

2 客觀評價指標分析

Zhang等人(2020)提出的VIFB包含13對彩色可見光(RGB多通道)和紅外圖像對，以及8對灰度可見光(單通道)和紅外圖像對，涵蓋廣泛的場景和工作條件，例如室內(nèi)、室外、低照度和過度曝光等。Zhang等人(2020)總結(jié)了20種開源圖像融合方法在VIFB數(shù)據(jù)集的融合實驗，包括基于深度學習的卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)、深度學習框架(deep learning framework，DLF)和殘差網(wǎng)絡(residual network，ResNet)融合算法；基于多尺度的多分辨率奇異值分解(multi-resolution singular value decomposition，MSVD)、各向異性擴散變換(anisotropic diffusion fusion，ADF)和交叉雙邊濾波器(cross bilateral filter，CBF)；基于引導濾波器的內(nèi)容增強(guided filter context enhancement，GFCE)和引導濾波融合(guided filtering fusion，GFF)；基于引導濾波器的混合多尺度分解(hybrid multi-scale decomposition with guided filter，HMSD_GF)、混合多尺度分解(hybrid multi-scale decomposition，Hybrid_MSD)和多尺度引導濾波(multi-scale guided image and video fusion，MGFF)融合算法；基于顯著性的雙尺度圖像融合(two-scale image fusion，TIF)和潛在低秩表示(latent low-rank representation，LatLRR)融合算法；基于子空間的四階偏微分方程(fourth order partial differential equations，F(xiàn)PDE)融合算法；基于混合方法的多尺度稀疏(multi-scale transform and sparse representation，MST_SR)、非下采樣輪廓波稀疏(nonsubsampled contourlet transform and sparse representation，NSCT_SR)、比率金字塔稀疏(ratio pyramid and sparse representation，RP_SR)、視覺顯著圖以及加權(quán)最小二乘(visual saliency map and weighted least square，VSMWLS)，以及梯度轉(zhuǎn)移融合(gradient transfer fusion，GTF)、紅外特征提取與視覺信息保存(infrared feature extraction and visual information preservation，IFEVIP)等方法。

21組圖像分為13組灰度可見光與紅外圖像對(Gray組)和8組彩色可見光與紅外圖像對(RGB組)，分別統(tǒng)計上述20種融合算法在分組數(shù)據(jù)實驗中13種指標的平均值，結(jié)果如表1和表2所示。其中，彩色可見光與紅外圖像融合的指標結(jié)果為RGB 3個通道分別與紅外圖像融合計算指標值后的平均結(jié)果。

表1 在VIFB數(shù)據(jù)集中不同算法融合13組彩色(RGB)可見光圖像與紅外圖像的13種指標均值

表2 在VIFB數(shù)據(jù)集中不同算法融合8組灰度可見光圖像與紅外圖像的13種指標均值

2.1 相關(guān)性分析

相關(guān)性分析是通過計算指標變量間的相關(guān)系數(shù)分析不同指標間的潛在聯(lián)系，融合客觀評價指標基于相關(guān)程度而不是指標類別進行聚類分析。常用的相關(guān)性分析方法包括Pearson、Spearman和Kendall等。其中，Pearson法用于衡量兩變量間的線性相關(guān)性，僅適用于服從或近似服從正態(tài)分布的情況(張小利 等，2014)。本文考察不同算法的多個評價指標間的相關(guān)性，選擇Kendall方法進行分析。

令Xi和Yi表示兩個隨機變量X和Y的第i個值(0≤i≤N)，這里N為變量長度。Kendall計算式為

(20)

式中，C為集合中一致的元素個數(shù)即(Xi>Xj，Yi>Yj)或(XiXj,YiYj)。

Kendall相關(guān)系數(shù)的取值范圍為[-1,1]。當τ=1時，即X與Y具有一致的等級相關(guān)性；當τ=-1時，即X與Y具有完全相反的等級相關(guān)性；當τ=0時，表示X與Y相互獨立。

對表1和表2中13項指標之間分別進行Kendall相關(guān)系數(shù)分析，結(jié)果如表3和表4所示。當指標Kendall相關(guān)性|τ|>0.7，則將指標視為同一組，在表中以粗體表示。

表3 彩色(RGB)可見光圖像與紅外圖像融合評價指標之間的Kendall相關(guān)系數(shù)

表4 灰度可見光圖像與紅外圖像融合評價指標之間的Kendall相關(guān)系數(shù)

彩色(RGB組)可見光與紅外圖像融合指標聚類分組結(jié)果如圖1所示，其中AG與EI、SF的Kendall系數(shù)分別為0.99和0.84，指標側(cè)重于反映鄰域的灰度變化；PSNR與RMSE高度負相關(guān)，其中RMSE是負向指標，PSNR是正向指標；QAB/F與EN、QCB的系數(shù)分別為0.70和0.74，該組指標的定義有較大區(qū)別，EN反映的是信息熵，而QAB/F和QCB主要反映邊緣和對比度的保留程度。

圖1 指標聚類分組圖(RGB組)

灰度可見光(Gray組)與紅外圖像融合指標聚類分組結(jié)果如圖2所示。單通道情況下，不同指標之間表現(xiàn)出較多通道更強的相關(guān)性，其中SD與EN、QCB表現(xiàn)出一定的相關(guān)性；SSIM利用均值和協(xié)方差從亮度、對比度、結(jié)構(gòu)等方面度量與源圖像間的相關(guān)性，一定程度上與反映亮度空間變化的AG、SF和EI正相關(guān)，與PSNR、RSME負相關(guān)。

圖2 指標聚類分組圖(灰度組)

2.2 一致性分析

由于紅外和可見光融合缺少公開的主觀評價結(jié)果，無法進行主客觀一致性分析。本文將客觀評價指標視為分類器(Liu等，2012)，平等對待所有指標，并利用排序式的Borda投票法(Emerson，2013)，綜合大多數(shù)分類器(客觀評價指標)的選擇得到算法的排名。表5是利用Borda計數(shù)排序法分別統(tǒng)計RGB組和Gray組的總體評價結(jié)果，記為RGB排序/Gray排序。表中各列為表1和表2中特定指標在不同算法間的排序，1代表該指標下相對最優(yōu)的算法，排名最高可獲得20積分，其余依次遞減，綜合所有指標排序得到的積分可得最后一列的算法Borda rank排序結(jié)果。若存在積分/排序相同情況，以所排序列號的均值統(tǒng)一排序，如表中CNN和HMSD_GF的RGB綜合排序相同，因此以均值3.5作為最終的綜合排序。

表5 Borda計數(shù)排序總體評價結(jié)果(RGB排序/Gray排序)

所有評價指標會對融合方法產(chǎn)生一個總體評價。某指標與總體評價相關(guān)性越高，說明該指標與總體評價的一致性越高。為了體現(xiàn)單一指標與Borda排序總體評價的一致性，計算算法各指標排序與Borda排序的Kendall相關(guān)系數(shù)，結(jié)果如表6所示。RGB組和Gray組一致性較高的4個指標均為QCB、QAB/F、EN和SD。

表6 單一指標排序與Borda計數(shù)排序的相關(guān)系數(shù)

2.3 離散程度分析

除了分析指標的相關(guān)性和一致性外，還需要考察指標受融合質(zhì)量影響的波動情況。圖3為21組圖像對數(shù)據(jù)中10種不同算法的PSNR和QAB/F指標的量化折線圖(Zhang等，2020)?？梢钥闯?，不同指標的取值范圍差異較大，表現(xiàn)為表1和表2中的指標取值范圍，即圖中折線的縱坐標(指標值)范圍有較大差異,折線圖上方數(shù)值為對應算法的指標均值；其次，隨著圖像內(nèi)容(橫坐標為不同圖像對)的變化，指標波動較大，表現(xiàn)為不同指標的折線圖均有明顯的峰值和谷值；再次，圖像內(nèi)容變化時，不同算法的指標數(shù)值具有大致相同的變化規(guī)律，表現(xiàn)為不同折線有近似的峰谷位置以及變化趨勢，因此可以用多個圖像對的指標均值近似表征指標的變化。而當圖像內(nèi)容相同時，不同算法產(chǎn)生的指標數(shù)值差異可以反映不同算法融合質(zhì)量的相對差異。

圖3 10種算法在21對圖像上指標的折線圖

不同于Liu等人(2012)通過計算不同輸入圖像對的指標方差來度量指標隨圖像內(nèi)容變化的規(guī)律，本文度量均值隨不同算法的波動情況。由于不同客觀指標的定義不同，值域范圍有較大差異，不適合用方差進行分析，所以利用離散系數(shù)分析指標隨算法的波動情況。其中，離散系數(shù)定義為標準差與均值之比。表7為表1和表2中不同指標的均值、標準差以及離散系數(shù)。通過對比可以看出，離散系數(shù)值越大，說明指標在不同算法間分布差異越大，越能體現(xiàn)不同算法間的性能差異。

相關(guān)性分析的目的是得到聚類分組，一致性分析的目的是得到指標評估的有效性，離散程度分析則可以通過評估指標的分布情況，選擇能夠充分體現(xiàn)不同算法間差異的指標。在實驗設定下，一致性分析得到的候選指標集為{QAB/F,EN,SD,QCB}，對應的離散系數(shù)在表7中以粗體顯示。RGB分組實驗中EN和QAB/F，QAB/F和QCB屬于同組指標，其中EN的離散系數(shù)明顯小于其他3項指標，QAB/F的離散系數(shù)高于QCB。Gray分組實驗中，QAB/F和QCB，QCB、SD和EN為同組指標，且EN的離散系數(shù)遠小于其他3項指標，QCB的離散系數(shù)略高于QAB/F。綜合上述實驗分析得到，RGB組的客觀評價建議指標集為{SD,QAB/F}或{SD,QCB}；Gray組的客觀評價建議指標集為{SD,QAB/F}或{QCB}。分組建議指標集合均包含SD、QCB和QAB/F3項指標，其中不同分組結(jié)果中SD指標與其他兩項指標的組合方式不同。原因是Gray組和RGB組分別基于相關(guān)性得到的指標聚類分組結(jié)果有差異，可參見圖1和圖2。依據(jù)Zhang等人(2020)中的計算方式，RGB組評價指標是RGB三個通道分別與紅外圖像融合客觀評價結(jié)果的平均值，相較于單一的灰度通道，SD指標與其他指標的相關(guān)性更低。

表7 VIFB數(shù)據(jù)集下評價指標的均值、標準差以及離散系數(shù)

綜合兩組的結(jié)果，取交集為{SD,QAB/F}，作為可見光與紅外圖像融合評價的建議指標集。其中，標準差SD屬于基于融合圖像質(zhì)量的評價指標，通過與均值的差分反映融合結(jié)果中的對比度信息；邊緣保持度QAB/F屬于基于源圖像和融合圖像的評價指標，通過度量可見光和紅外源圖像傳遞到融合圖像的邊緣保留程度，反映融合結(jié)果圖像對可見光和紅外源圖像的融入度。

紅外和可見光融合應用中，紅外圖像中顯著性通常表現(xiàn)為對比度較大的局部區(qū)域，而可見光中通常表現(xiàn)為邊緣、紋理等細節(jié)信息。建議指標集中的兩項指標從屬于不同的指標類型，分別從對比度和邊緣細節(jié)保留度對融合結(jié)果進行評價，具有一定的互補性。

綜合SD和QAB/F指標，VIFB數(shù)據(jù)集下排名靠前的算法包括CNN、HMSD_GF、Hybrid_MSD以及MST_SR，在定性分析結(jié)果中也表現(xiàn)出較好的融合效果。

需要強調(diào)的是，1)目前統(tǒng)計的融合評估指標中沒有專門針對色彩失真方面的評價，與主觀感受并不絕對一致，例如MST_SR融合彩色圖像出現(xiàn)的偽影現(xiàn)象。研究更多主客觀一致的評價指標仍是圖像融合領(lǐng)域需要持續(xù)關(guān)注的重點。2)針對有限樣本在實驗設定下得到的建議指標集合是非排他性的指標建議，即選擇多個指標從不同角度綜合評價融合結(jié)果時，建議選擇而非只選擇的指標集合?；诮y(tǒng)計的指標分析方法可以推廣至更多的融合數(shù)據(jù)源、融合算法以及評估指標，融合建議指標集合也會有新的發(fā)展。

3 結(jié) 論

本文在討論圖像融合客觀評價指標分類基礎上，結(jié)合 VIFB數(shù)據(jù)集和代表性圖像融合算法，提出一種通用的客觀評價指標分析方法，將VIFB數(shù)據(jù)分為灰度/彩色可見光與紅外圖像融合兩組，分別進行相關(guān)性、一致性以及離散系數(shù)統(tǒng)計分析，基于客觀統(tǒng)計結(jié)果，得到適用于可見光與紅外圖像融合質(zhì)量評價的建議指標集合{SD,QAB/F}。其中，SD屬于基于融合圖像質(zhì)量的評價指標，QAB/F屬于基于源圖像和融合圖像的評價指標，分別側(cè)重從對比度和細節(jié)信息傳遞融入度評價融合結(jié)果，具有一定的互補性。相較于依賴主觀評價或聚焦特定類型融合算法的分析方法，本文方法基于客觀統(tǒng)計數(shù)據(jù)且涵蓋不同類型的融合算法，具有更好的適用性和可推廣性。但是，目前的客觀評價僅限于VIFB中涉及的13種指標，且僅討論針對紅外和可見光圖像融合下的應用。下一步工作將研究覆蓋更多融合源、融合算法以及客觀評價指標，并將方法推廣到多聚焦圖像、醫(yī)學圖像以及遙感圖像融合，得到適用于不同應用場景的圖像融合客觀評價指標建議。