基于視覺特性的圖像融合質(zhì)量評價新方法

邢素霞，　陳天華

(北京工商大學(xué) 計算機(jī)與信息工程學(xué)院， 北京　100048)

圖像融合是指采集源于多源通道關(guān)于同一目標(biāo)或場景的圖像，經(jīng)過一定的處理,提取每個通道的互補(bǔ)信息,綜合成信息更豐富、對同一場景或目標(biāo)的描述更準(zhǔn)確、全面、可靠的圖像或圖像特征. 圖像融合能夠提高系統(tǒng)可靠性和信息利用率,廣泛應(yīng)用于食品安全檢測、遙感、軍事目標(biāo)探測和識別等方面. 近年來, 不少學(xué)者提出了多種圖像融合方法,如主成分分析方法(principal components analysis,PCA) 、金字塔分解算法、小波變換算法等[1].

融合圖像的質(zhì)量是圖像融合領(lǐng)域需要解決的一個關(guān)鍵問題[2-4]. 該問題一直沒有得到很好地解決，其主要原因是，同一融合算法，對不同類型的圖像,融合效果不同；同一融合算法,對同一圖像，觀察者感興趣的部分不同,則認(rèn)為效果不同. 目前,評價圖像融合效果的方法主要可以分為兩類,即主觀評價方法和客觀評價方法. 主觀評價方法是由測試者直接對圖像進(jìn)行質(zhì)量評價,具有簡單直觀等特點,然而在人為評價融合質(zhì)量的過程中,會有很多主觀因素影響評價結(jié)果；客觀評價方法主要是通過均值、方差、標(biāo)準(zhǔn)差、平均梯度、信息熵、交互信息量等客觀評價指標(biāo)對圖像進(jìn)行評價[5-7]. 這些評價方法或基于像素點間的誤差，或根據(jù)圖像的統(tǒng)計特性,最大問題是都沒有充分考慮人眼視覺系統(tǒng)的特點,這對于以人眼為最終信宿的圖像來說是很不合理的. 這就需要研究結(jié)合人眼視覺特性的、主觀與客觀因素相結(jié)合的圖像質(zhì)量評價方法.

1　主觀評價方法

主觀評價方法就是讓觀測者根據(jù)事先規(guī)定的評價尺度或憑借自己的經(jīng)驗，對測試圖像按視覺效果進(jìn)行質(zhì)量判斷，并給出質(zhì)量分?jǐn)?shù)，然后對所有觀測者給出的分?jǐn)?shù)進(jìn)行加權(quán)平均，所得的結(jié)果即為圖像的主觀質(zhì)量評價. 這種打分隨意性大，同一個人在不同情況下對同一幅圖像可能會打不同的分[8]. 處理的圖像最終是給人看的，接收的圖像是具有對光刺激產(chǎn)生感覺的人眼視覺系統(tǒng)，因此合理評價圖像質(zhì)量的方法應(yīng)充分遵循人眼的視覺特性，大量研究表明，基于人眼的視覺特性的評價方法優(yōu)于沒有考慮人眼視覺特性的評價方法.

2　圖像融合質(zhì)量的客觀評價方法

2.1　灰度均值和標(biāo)準(zhǔn)差

(1)

圖像的灰度標(biāo)準(zhǔn)差：

(2)

均值是像素的灰度平均值,它反映了圖像的平均亮度,如果均值適中,則目視效果良好. 標(biāo)準(zhǔn)差法反映圖像的清晰度和對比度. 標(biāo)準(zhǔn)差越大，對比度越大，圖像越清晰；反之，圖像受噪聲影響就越大.

2.2　均方根誤差

融合圖像F與理想圖像R的均方根誤差為:

(3)

其中M和N為圖像的尺寸,均方根誤差越小,說明融合圖像與理想圖像越接近.

2.3　信息熵

圖像的信息熵是衡量圖像信息豐富程度的一個重要指標(biāo),表示圖像所包含的平均信息量的多少. 融合圖像的熵值越大,說明融合圖像攜帶的信息量越大,信息就越豐富. 其定義為：

(4)

式中pi為圖像上像素灰度為i的概率.

灰度均值、標(biāo)準(zhǔn)差和信息熵都是針對單幅圖像進(jìn)行評價，主要反映圖像的絕對質(zhì)量，不能反映融合圖像與源圖像的關(guān)系.

2.4　交叉熵

評價融合圖像效果的一個重要指標(biāo)是融合圖像從源圖像中獲取了多少信息, 交叉熵是兩幅圖像之間相關(guān)性或一幅圖像包含另一幅圖像信息量的度量.

設(shè)理想圖像和融合圖像的概率分布分別為:pR={pR(1),pR(2),…,pR(g),…,pR(L)},pA={pA(1),pA(2),…,pA(g),…,pA(L)}. 交叉熵度量它們之間的信息差異,定義為:

(5)

均方根和交叉熵都需要理想圖像，而在實際應(yīng)用中無法獲取理想圖像；另外，在許多圖像應(yīng)用中，最終的用戶都是人，上述指標(biāo)都沒有考慮人眼的視覺特性，無法反映人眼的視覺效果，評價結(jié)果往往與主觀視覺效果不一致.

這就需要給出主觀與客觀因素相結(jié)合的圖像融合質(zhì)量的評價準(zhǔn)則,從而使計算機(jī)能夠自動選取適合當(dāng)前圖像融合效果最佳的算法,為不同場合下選擇不同的算法提供依據(jù). 胡良梅等人[9-10]提出了結(jié)合主觀和客觀因素的評價方法，該評價方法考慮了融合圖像與源圖像之間的結(jié)構(gòu)相似度、對比度失真和平均照度失真，因而優(yōu)于傳統(tǒng)的均方根誤差等評價指標(biāo),且具有通用性,適用于評價不同的圖像處理過程. 在圖像評價中起到了一定的實用效果，但該評價指標(biāo)中沒有考慮到融合圖像與源圖像之間的信息量的關(guān)系，研究針對信息量及亮度、對比度等方面對該方法進(jìn)行了改進(jìn)，提出了一種新的評價方法.

3　結(jié)合主觀和客觀因素的圖像融合質(zhì)量評價方法

即：

(6)

(7)

則可以定義評價指標(biāo)：

(8)

Q0(A,B)是圖像A和B之間的結(jié)構(gòu)化相似度的一種度量. 公式中的第一項是A和B的平均對比度失真, 其值在[0，1]之間；第二項是平均照度失真,其值在[0，1]之間；第三項是融合后圖像和源圖像的相對信息熵,其值在[0，2]之間.

在圖像融合中，由于融合圖像一般是通過兩幅圖像融合得到的，因此在進(jìn)行圖像融合質(zhì)量評價時，要綜合考慮源圖像A,B與融合后圖像F三者之間的關(guān)系. 通過構(gòu)造函數(shù)Q(A,B,F)來評價融合圖像的質(zhì)量:

Q(A,B,F)=λQ(A,F)+(1-λ)Q(B,F).

(9)

其中A、B對應(yīng)兩幅源圖像，F(xiàn)對應(yīng)融合后圖像，λ表示權(quán)重系數(shù)，其值在[0，1]之間. 在一般情況下λ值取0.5，考慮某一幅圖像對融合后圖像的貢獻(xiàn)率比較大時，可以加重其權(quán)重系數(shù)，如紅外圖像的貢獻(xiàn)率較大時，可以取λ>0.5. 式(9)中Q的值介于[0，2]之間，數(shù)值越大代表融合后的圖像質(zhì)量越好.

4　實驗結(jié)果

用Q評價指標(biāo)對不同算法下的紅外與微光圖像融合結(jié)果進(jìn)行評價. 融合結(jié)果見圖1.

圖1中(a)，(b)分別為紅外圖像和微光圖像. 分別采用灰度加權(quán)平均、PCA、對比度金字塔、離散小波變換、梯度金字塔、拉普拉斯(Laplace)金字塔、比率金字塔等七種方法進(jìn)行了融合，融合后的圖像分別對應(yīng)圖1中的(c)～(i).

圖1　紅外圖像與微光圖像以及不同融合算法下的融合圖像Fig.1　Infrared image, low-light image and fusion images under different fusion algorithms

采用Q指標(biāo)對各種融合算法的圖像質(zhì)量評價結(jié)果見表1，其中λ取值為0.5. 以A表示紅外圖像，B表示微光圖像，F(xiàn)表示融合后圖像.Q(A,B,F)為融合圖像相對兩幅圖像的總的評價指標(biāo).Q(A,F)和Q(B,F)分別為融合圖像相對紅外圖像和微光圖像的評價指標(biāo). 從表中可以看出，融合后圖像相對紅外圖像的質(zhì)量大多情況下提高較大，即在亮度、對比度、信息量上要優(yōu)于紅外圖像；相對微光圖像，融合圖像的亮度、對比度和信息量略低，摒除了微光圖像中的高亮度信息.

綜合考慮兩幅圖像，從Q(A,B,F)可以看出,對比度金字塔、離散小波變換、Laplace金字塔的評價指標(biāo)明顯比其他融合方法的要高，其綜合指標(biāo)大于1；梯度金字塔和比率金字塔的融合圖像的評價指標(biāo)比平均加權(quán)方法的指標(biāo)高,而均值的方法比PCA的方法得到的融合指標(biāo)高，但都小于1. 這與對圖1(c)～(i)的主觀判斷評價結(jié)果一致.

表1　不同融合算法下的圖像質(zhì)量評價結(jié)果Tab.1　Image quality evaluation results under different　image fusion algorithms

5　結(jié)　論

建立圖像融合質(zhì)量評價標(biāo)準(zhǔn)是目前圖像融合中急需解決的問題之一,通用的、結(jié)合主觀和客觀因素的圖像融合質(zhì)量的評價方法是未來研究的重點. 在分析了現(xiàn)有圖像融合質(zhì)量的主觀評價方法和客觀評價方法的基礎(chǔ)上,討論了一種新的結(jié)合主觀和客觀因素的圖像融合質(zhì)量的評價方法,該方法無需理想圖像,同時充分考慮了人類的視覺特性,能夠定量評價融合圖像中保留了多少顯著信息(如對比度、亮度及信息等). 研究以均值、拉普拉斯金字塔、對比度金字塔、離散小波變換等七種常用的融合算法為例進(jìn)行了紅外與微光圖像的融合質(zhì)量評價,實驗結(jié)果表明：該方法得到的客觀評價指標(biāo)與主觀評價的結(jié)果是一致的,是一種實用的、有效的融合圖像質(zhì)量評價方法,可以為不同場合下選擇不同的算法提供依據(jù).

由于研究僅對紅外與微光圖像的融合效果進(jìn)行了實驗，為了驗證該方法使用的普遍性，下一步的工作需要對多類圖像融合開展實驗研究.