紅外與可見光融合圖像的質(zhì)量評(píng)價(jià)

王宇慶，王索建

(1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所，

航空光學(xué)成像與測量中國科學(xué)院重點(diǎn)實(shí)驗(yàn)室，吉林長春130033;

2.南京電子技術(shù)研究所，江蘇 南京210039)

1 引言

圖像融合的核心思想就是采用某種算法，把由工作于不同波長范圍或具有不同成像機(jī)理的各種圖像傳感器獲取的同一個(gè)場景的多種圖像信息“融合”生成一幅新的圖像，融合后的圖像將包含有更多的人類視覺系統(tǒng) (Human Visual System，HVS)敏感信息，從而更適合于人眼觀測或者計(jì)算機(jī)檢測、分類、識(shí)別等處理［1］。圖像融合技術(shù)是提高各種圖像處理裝置性能的重要手段，尤其在目標(biāo)檢測等領(lǐng)域，圖像融合技術(shù)可以增加圖像的有效信息量，從而提高檢測效果。紅外熱像儀和可見光CCD攝像機(jī)是目標(biāo)檢測領(lǐng)域兩種最常用的成像傳感器，其中，紅外熱像儀得到的紅外圖像反映了目標(biāo)和背景不可見紅外輻射的空間分布情況，其輻射亮度分布主要取決于被觀測物體的溫度和發(fā)射率，在紅外圖像中很容易看到低可視紅外熱目標(biāo)。與紅外圖像相比，可見光圖像則提供了更多的目標(biāo)或者場景的細(xì)節(jié)信息，有利于人眼觀察。可見光圖像與紅外圖像因其具有良好的互補(bǔ)性而得到了廣泛的應(yīng)用，二者的融合圖像綜合利用了兩個(gè)波段圖像的優(yōu)勢信息，從而可以獲得更全面、準(zhǔn)確的場景描述，有利于實(shí)現(xiàn)對(duì)目標(biāo)的精確識(shí)別、分析、理解或者判決。

圖像融合的最終目的是增加圖像的信息量，但是與人腦獲取信息的方式不同，各種圖像傳感器得到的信息存在冗余和相關(guān)。這不僅影響了融合效果也影響了對(duì)融合圖像質(zhì)量的判別。融合圖像質(zhì)量評(píng)價(jià)研究的最終目的就是討論如何分析融合后圖像的信息量增加的數(shù)量和類型。這里，信息量的增加需要從兩個(gè)角度分析:

(1)信息量的類型變化。

圖像信息的信息量與一般意義上的統(tǒng)計(jì)信息量不同，要以人眼敏感的圖像內(nèi)容為評(píng)價(jià)標(biāo)準(zhǔn)，因此，信息量類型的變化是評(píng)價(jià)的前提，所生成的圖像信息要以人眼敏感的圖像內(nèi)容為評(píng)價(jià)質(zhì)量。

(2)信息量的數(shù)量變化。

從多源傳感器得到的圖像信息生成的融合圖像在滿足圖像中增加的內(nèi)容滿足人眼可感知的前提下，評(píng)價(jià)信息量增加的數(shù)量，從而得到最終的量化評(píng)價(jià)結(jié)果。

圖像融合質(zhì)量評(píng)價(jià)的難點(diǎn)在于目前并不存在能給各種融合圖像質(zhì)量評(píng)價(jià)方法提供數(shù)據(jù)源的理想融合算法。因此，很難采用全參考的方法對(duì)融合圖像的質(zhì)量進(jìn)行評(píng)價(jià)。而融合圖像又很難脫離源圖像(紅外源圖像和可見光源圖像)。目前的融合圖像質(zhì)量評(píng)價(jià)方法［2-3］大多抓住了信息量的數(shù)量增加這一重要指標(biāo)，但是并沒有估計(jì)信息類型的變化，即僅從統(tǒng)計(jì)意義上信息分布的角度評(píng)價(jià)融合圖像的信息量數(shù)量變化。這樣的評(píng)價(jià)結(jié)果沒有考慮人眼視覺特性，從而造成了評(píng)價(jià)結(jié)果的不準(zhǔn)確。本文研究了傳統(tǒng)的融合圖像質(zhì)量評(píng)價(jià)方法，結(jié)合已有的研究工作，提出了基于圖像結(jié)構(gòu)信息復(fù)數(shù)表示的融合圖像質(zhì)量評(píng)價(jià)方法，通過實(shí)驗(yàn)驗(yàn)證了算法，取得了較好的效果。

2 圖像結(jié)構(gòu)信息的復(fù)數(shù)表示

文獻(xiàn)［4］提出了一種圖像結(jié)構(gòu)信息的復(fù)數(shù)表示方法，旨在度量兩圖像的結(jié)構(gòu)相似程度。該算法首先需要計(jì)算圖像的梯度信息，對(duì)于二維灰度圖像矩陣，可以分解計(jì)算其水平梯度和垂直梯度:

由式(1)可以得到對(duì)應(yīng)于圖像I的梯度矩陣，該矩陣包含了圖像中某些HVS敏感的重要結(jié)構(gòu)信息，例如圖像的邊緣信息［5］。圖像梯度的變化對(duì)于圖像模糊失真的敏感程度較高，但是并不能全面解釋所有失真類型對(duì)圖像質(zhì)量的影響。這里采用復(fù)數(shù)的方法表示圖像的結(jié)構(gòu)信息［4］:

式中，Yx，y是位于(x，y)處的灰度值，Gx，y是該點(diǎn)的全局梯度值。對(duì)于彩色圖像，考慮到彩色圖像中的大多數(shù)信息包含在其亮度分量中，將RGB彩色圖像分解為YUV分量，將其亮度分量Y作為評(píng)價(jià)數(shù)據(jù)。這樣就得到了對(duì)應(yīng)于該圖像的復(fù)數(shù)矩陣，這樣的復(fù)數(shù)矩陣可以認(rèn)為是結(jié)合了圖像的各種結(jié)構(gòu)信息，并且突出了圖像的梯度信息所描述的HVS敏感結(jié)構(gòu)信息內(nèi)容。

3 評(píng)價(jià)算法

圖像融合技術(shù)的特殊性使其在實(shí)際應(yīng)用中具有重要意義。因此，對(duì)于融合算法的性能評(píng)價(jià)無論在理論研究還是工程應(yīng)用中也逐漸得到了更多的重視［2-3］。目前已有的各種融合圖像評(píng)價(jià)方法以及各種改進(jìn)方法大多數(shù)無法脫離信息論中的一個(gè)重要概念:互信息。以下給出了基于互信息的融合圖像質(zhì)量評(píng)價(jià)方法:A和B為兩幅源圖像，融合后得到的圖像為F，F(xiàn)與A、B之間的交互信息量分別表示為MIFA和MIFB［2］:

式(3)中，pA，pB和pF分別是圖像 A，圖像 B和圖像F的灰度直方圖分布，pFA(k，i)和pFB(k，j)分別代表兩組圖像的歸一化聯(lián)合灰度直方圖分布。將MIFA和MIFB之和作為融合圖像與源圖像A、B的交互信息量總和［44］:

式(4)的問題在于兩點(diǎn):

(1)直接以圖像的像素灰度值作為評(píng)價(jià)數(shù)據(jù)源。

(2)評(píng)價(jià)過程采用傳統(tǒng)的統(tǒng)計(jì)學(xué)方法，沒有考慮人眼視覺特性。

在本文的研究中，為了進(jìn)一步提高圖像結(jié)構(gòu)信息的載體所包含的信息量和信息的類型，將式(2)得到的復(fù)數(shù)矩陣作為度量矩陣。但是考慮到復(fù)數(shù)矩陣無法計(jì)算其灰度直方圖分布，將其分塊奇異值分解得到的矩陣為評(píng)價(jià)數(shù)據(jù)源，計(jì)算方法為:對(duì)于任意一個(gè)秩為r的矩陣A∈RN×M(實(shí)數(shù)或者復(fù)數(shù)矩陣)，則存在兩個(gè)酉矩陣U，V，使得:

式中，“?”表示共軛轉(zhuǎn)置;Σr=diag(s1，s2，…，sr)，x=(s1，s2，…，sr，0，…，0)T稱為矩陣 A 的奇異值特征向量，奇異值si(1≤i≤r)為實(shí)數(shù)。

圖像的奇異值向量能夠反映圖像的本質(zhì)能量特征，在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用取得了良好的效果［6-10］。根據(jù)式(5)，可以得到表示該圖像結(jié)構(gòu)信息的矩陣，然后采用文獻(xiàn)［2］和文獻(xiàn)［3］的方法評(píng)價(jià)源圖像與融合圖像的互信息，從而得到最終的評(píng)價(jià)結(jié)果，相應(yīng)的評(píng)價(jià)方法稱為復(fù)數(shù)奇異值分解(QCSVD)和基于互信息的復(fù)數(shù)奇異值分解方法(QCSVD_mi)。

4 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所提的評(píng)價(jià)算法的性能，針對(duì)兩組融合圖像，采用常用的4種融合算法，分別為:均值方法，PCA方法，金字塔方法，小波方法得到了相應(yīng)的融合圖像。采用本文所提的方法，傳統(tǒng)的互信息方法，以及文獻(xiàn)［2］的方法對(duì)輸出的融合圖像質(zhì)量分別進(jìn)行了評(píng)價(jià)。由于本文采用的融合算法均為灰度圖像融合算法，沒有考慮顏色信息，因此圖1給出的彩色融合圖像均經(jīng)過色彩空間變換得到。各種方法的評(píng)價(jià)結(jié)果由表1給出。

表1 融合圖像評(píng)價(jià)結(jié)果Tab.1 Assessment results of several fusion methods

圖1 用于測試的融合圖像Fig.1 Fusion images for test

本文所提方法的計(jì)算結(jié)果的數(shù)值越高，表示其評(píng)價(jià)的圖像的質(zhì)量越好。測試圖像分為兩組，分別為:圖1(a)～圖1(f)和圖1(a')～圖1(f')。其中，可見光圖像圖1(a)和紅外圖像圖1(b)為對(duì)應(yīng)于圖1(c)～圖1(f)的原始圖像，可見光圖像圖1(a')和紅外圖像圖1(b')為對(duì)應(yīng)于圖1(c')～圖1(f')的原始圖像。在一般意義的全參考、半?yún)⒖家约盁o參考圖像質(zhì)量評(píng)價(jià)中，通常采用有數(shù)百張圖像數(shù)據(jù)庫規(guī)模的測試圖像驗(yàn)證評(píng)價(jià)方法［11-12］，但是本文所研究的融合圖像質(zhì)量評(píng)價(jià)并不存在這種數(shù)據(jù)庫，即融合圖像質(zhì)量評(píng)價(jià)目前尚不存在一般圖像質(zhì)量評(píng)價(jià)中通常采用的類似LIVE數(shù)據(jù)庫［13］的由數(shù)百張照片組成的測試數(shù)據(jù)庫，通常僅有幾張能夠使用的經(jīng)典圖像，如可見光圖像圖1(a)和紅外圖像圖1(b)，以及可見光圖像圖1(a')和紅外圖像圖1(b')。本文的實(shí)驗(yàn)同樣無法找到類似于LIVE數(shù)據(jù)庫中的數(shù)百張DMOS數(shù)據(jù)庫驗(yàn)證所提的方法，采用了經(jīng)典圖像研究所提的方法與人眼視覺特性的一致性。通過對(duì)圖1(c)～圖1(f)以及圖1(c')～圖1(f')融合圖像的主觀觀測可以看到，4種常見的圖像融合算法中，小波和金字塔方法得到融合圖像質(zhì)量最好，信息量豐富，并且能夠滿足人眼視覺特性的需要。事實(shí)上，由于小波分析的方法考慮到了多分辨率的特性，無論從算法的合理性以及與人眼視覺特性的一致性等方面都要好于簡單的均值方法和PCA方法。均值方法和PCA方法僅僅采用了簡單的統(tǒng)計(jì)學(xué)分析手段，因此采用此類得到的融合圖像體現(xiàn)出不同的缺點(diǎn)。均值方法得到的融合圖像的視覺感知質(zhì)量較差。根據(jù)人眼的主觀觀測，PCA方法幾乎沒有得到任何傳遞的有意義的增加信息量。因此，根據(jù)以上分析和人眼的主觀觀測，小波和金字塔方法融合效果最好，而均值和PCA方法的融合效果最差，因此，評(píng)價(jià)結(jié)果也應(yīng)該是圖1(e)和圖1(f)好于圖1(c)和圖1(d)，以及圖1(e')和圖1(f')好于圖1(c')和圖1(d')。各種評(píng)價(jià)方法的量化評(píng)價(jià)結(jié)果在表1中給出，由表1給出的數(shù)據(jù)可以看到，傳統(tǒng)的評(píng)價(jià)方法，例如互信息和文獻(xiàn)［2］方法對(duì)于均值或者PCA方法得到的融合圖像給出了較高的評(píng)價(jià)結(jié)果，這顯然與前面的分析不符。但是當(dāng)采用了式(6)后，所給出的評(píng)價(jià)結(jié)果明顯比傳統(tǒng)方法更加合理，評(píng)價(jià)效果與主觀觀測效果的一致性好于傳統(tǒng)方法。

融合圖像的質(zhì)量評(píng)價(jià)需要考慮兩方面因素:

(1)信息量傳遞的數(shù)量;

(2)融合圖像的圖像質(zhì)量。

在大多數(shù)研究中，上述因素很難兼顧，其原因在于圖像質(zhì)量是人眼的主觀感知過程，與人眼的視覺生理學(xué)和視覺心理學(xué)特性直接相關(guān);信息傳遞的數(shù)量涉及到統(tǒng)計(jì)意義上的信息分布問題，而這里所提及的統(tǒng)計(jì)意義上的信息分布實(shí)際上也指的是與人眼視覺特性相關(guān)的統(tǒng)計(jì)信息分布特征。所傳遞的信息、所感知的信息必需緊緊圍繞人眼感知信息的統(tǒng)計(jì)學(xué)特征，即不能以簡單的信息量統(tǒng)計(jì)方法分析融合圖像的信息變化，必須考慮人眼敏感信息的類型、數(shù)量以及質(zhì)量。在本文的研究中，將能夠反映圖像敏感信息結(jié)構(gòu)特征的梯度作為一個(gè)重要的統(tǒng)計(jì)特征，采用復(fù)數(shù)表示方法將該特征與傳統(tǒng)方法結(jié)合。該方法取得較好實(shí)驗(yàn)結(jié)果的關(guān)鍵在于考慮了人眼敏感結(jié)構(gòu)，從而使得評(píng)價(jià)結(jié)果與人眼視覺特性的一致性明顯好于傳統(tǒng)方法。

5 結(jié)論

本文提出了一種基于圖像結(jié)構(gòu)信息復(fù)數(shù)表示的融合圖像質(zhì)量評(píng)價(jià)方法。用復(fù)數(shù)表示圖像的結(jié)構(gòu)信息，增加了圖像矩陣所描述的圖像結(jié)構(gòu)信息與HVS的相關(guān)程度，避免了傳統(tǒng)的僅以傳遞統(tǒng)計(jì)信息量為評(píng)價(jià)標(biāo)準(zhǔn)的各種方法的不足。該方法充分利用了圖像中人眼較為敏感的圖像邊緣信息，將其作為信息傳遞的重要內(nèi)容，同時(shí)兼顧了對(duì)未知信息的預(yù)測。計(jì)算機(jī)仿真實(shí)驗(yàn)證明了該方法的優(yōu)越性，評(píng)價(jià)結(jié)果優(yōu)于傳統(tǒng)的互信息等方法，而且算法對(duì)兩組圖像的評(píng)價(jià)結(jié)果比較接近，說明算法具有良好的穩(wěn)定性，與HVS的一致性較理想。另外，根據(jù)算法原理，該評(píng)價(jià)方法所給出的框架可以推廣到其他類型的融合圖像質(zhì)量領(lǐng)域。

［1］ 楊云，岳柱.基于融合圖像輪廓矩和Harris角點(diǎn)方法的遮擋人體目標(biāo)識(shí)別研究［J］.液晶與顯示，2013，28(2):273-277.

YANG Y，YUE ZH.Human body target recognition under occlusion based on fusion of image contour moment and harris angular points［J］.Chinese J.Liquid Crystals and Displays，2013，28(2):273-277.(in Chinese)

［2］ XYDAES C，PETROVI V.Objective image fusion performance measure［J］.Electronic Letters，2000，36(4):308-309.

［3］ QU G H，ZHANG D L，YAN P F.Information measure for performance of image fusion［J］.Electronics Letters，2002，37(7):313-315.

［4］ 王宇慶.基于梯度復(fù)數(shù)矩陣的圖像質(zhì)量評(píng)價(jià)方法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2013(1):63-66.

WANG Y Q.Image quality assessment based on gradient complex matrix［J］.Computer Technology and Development，2013(1):63-66.(in Chinese)

［5］ PETROVIC'V S，XYDEAS C S.Gradient-based multiresolution image fusion［J］.IEEE T.Image Processing，2004，13:28-237.

［6］ 王宇慶.局部方差在圖像質(zhì)量評(píng)價(jià)中的應(yīng)用［J］.中國光學(xué)，2011，4(5):531-536.

WANG Y Q.Application of local variance in image quality assessment［J］.Chinese Optics，2011，4(5):531-536.(in Chinese)

［7］ 騫森，朱劍英.基于奇異值分解的圖像質(zhì)量評(píng)價(jià)［J］.東南大學(xué)學(xué)報(bào)(自然科學(xué)版)，2006，36(4):643-646.

QIAN S，ZHU J Y.Image quality measure using singular value decomposition［J］.J.Southeast University(Natural Science Edition)，2006，36(4):643-646.(in Chinese)

［8］ SHNAYDERMAN A，GUSEV A，ESKICIOGLU A M.An SVD-based grayscale image quality measure for local and global assessment［J］.IEEE T.Image Processing，2006，15(2):422-429.

［9］ NARWARIA M，LIN W S.Objective image quality assessment based on support vector regression［J］.IEEE T.Neural Networks，2010，21(3):515-519.

［10］ NARWARIA M，LIN W S.Scalable image quality assessment based on structural vectors［J］.IEEE，2009:1-6.

［11］ 王宇慶，朱明.評(píng)價(jià)彩色圖像質(zhì)量的四元數(shù)矩陣最大奇異值方法［J］.光學(xué) 精密工程，2013，21(2):469-478.

WANG Y Q，ZHU M.Max singular value method of quaternion matrix for evaluating color image quality［J］.Opt.Precision Eng.，2013，21(2):469-478.(in Chinese)

［12］ 姚軍財(cái).基于人眼對(duì)比度敏感視覺特性的圖像質(zhì)量評(píng)價(jià)方法［J］.液晶與顯示，2011，26(3):390-396.YAO J C.Image quality assessment method based on contrast sensitivity characteristics of human vision system［J］.Chinese J.Liquid Crystals and Displays，2011，26(3):390-396.(in Chinese)

［13］ SHEIKH H R，WANG Z，CORMACK L，et al..LIVE image quality assessment database release［EB/OL］.［2013-7-18］.http://live.ece.utexas.edu/research/quality.