基于結(jié)構(gòu)色彩差異對(duì)比的彩色圖像融合客觀評(píng)價(jià)指標(biāo)

郭立強(qiáng)，朱瑞瑞

(淮陰師范學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇淮安 223300)

圖像融合[1]是在同一目標(biāo)或場(chǎng)景中，用同種傳感器以不同成像方式或不同成像時(shí)間獲得的不同圖像，整合成為一幅圖像，以實(shí)現(xiàn)信息的互補(bǔ)并對(duì)該場(chǎng)景進(jìn)行更好的描述。圖像融合技術(shù)被廣泛應(yīng)用于醫(yī)學(xué)影像、軍事、遙感、計(jì)算機(jī)視覺等領(lǐng)域。隨著圖像融合技術(shù)的深入研究，圖像融合客觀評(píng)價(jià)也變得尤為重要。目前圖像融合評(píng)價(jià)主要分主觀評(píng)價(jià)與客觀評(píng)價(jià)。主觀評(píng)價(jià)即人眼直接對(duì)圖像融合的結(jié)果做出評(píng)價(jià)，但是不同的人做出的評(píng)價(jià)有時(shí)也會(huì)不同，這是因?yàn)槿擞捎谧约旱闹饔^原因而得出的誤判?？陀^評(píng)價(jià)即由算法對(duì)圖像融合的結(jié)果做出評(píng)價(jià)，也是對(duì)主觀評(píng)價(jià)的一個(gè)數(shù)值量化。

目前，大多數(shù)客觀評(píng)價(jià)指標(biāo)都是針對(duì)灰度圖像融合，而對(duì)彩色圖像的客觀評(píng)價(jià)指標(biāo)的研究仍處于起步階段，很多方面有待完善。其中，在構(gòu)建彩色圖像融合客觀評(píng)價(jià)指標(biāo)中，一個(gè)突出問題是客觀評(píng)價(jià)與主觀視覺感知相違背。此外，如何對(duì)顏色信息進(jìn)行量化也是構(gòu)建彩色圖像融合客觀評(píng)價(jià)指標(biāo)的一個(gè)難點(diǎn)，即人眼對(duì)彩色部分的感知還沒有公認(rèn)的量化方法。

對(duì)彩色圖像融合進(jìn)行評(píng)價(jià)往往結(jié)合幾種灰度圖像融合的指標(biāo)來進(jìn)行評(píng)價(jià)。使用廣泛的是基于互信息的圖像融合客觀評(píng)價(jià)[2]，融合圖像與源圖像的互信息之和越大，表示融合圖像從源圖像獲取的信息越豐富，融合效果越好?；谙嚓P(guān)系數(shù)的評(píng)價(jià)方法,在統(tǒng)計(jì)學(xué)中，相關(guān)系數(shù)用于描述兩個(gè)變量相關(guān)程度的指標(biāo)。將融合圖像與原始圖像的相關(guān)系數(shù)作為融合算法的評(píng)價(jià)指標(biāo)，相關(guān)系數(shù)越大，表示融合圖像從源圖像中獲取的信息越多，融合效果越好?；谶吘墏鬟f(QABF)的融合方法[3]，其值越大,表示融合圖像從原始圖像中獲取的有用邊緣越多，就認(rèn)定融合效果越好。此外，還有用于可見光與紅外圖像融合評(píng)價(jià)的顏色豐富度指標(biāo)(CCM)，CCM值越大說明融合圖像質(zhì)量越高[4]。

然而，上述客觀評(píng)價(jià)指標(biāo)都存在一個(gè)共同的缺點(diǎn)就是客觀評(píng)價(jià)與主觀視覺感知不符。具體而言，視覺上能明顯觀察出其融合效果比較差，但客觀評(píng)價(jià)指標(biāo)卻給出很高的分?jǐn)?shù)。為了解決這一問題，本文中提出了彩色圖像客觀評(píng)價(jià)指標(biāo)，該方法主要基于模擬人眼對(duì)圖像的感知。

1 算法原理

人眼對(duì)彩色融合圖像的感知，主要在圖像的結(jié)構(gòu)和色彩方面。例如灰度圖像融合，人眼感知融合后的圖像的差異主要在于對(duì)比結(jié)構(gòu)的差異。彩色圖像對(duì)灰度的不同在于人眼對(duì)色彩的認(rèn)識(shí)。圖像的結(jié)構(gòu)差異在于圖像的邊緣部分的差異，人眼對(duì)圖像結(jié)構(gòu)的認(rèn)識(shí)主要來源于圖像的邊緣部分。本文提出的算法將兩幅融合圖像的邊緣做加法得出最大邊緣，然后將融合后圖像與最大邊緣做差得出結(jié)構(gòu)差異性。在HIS顏色空間將兩幅源圖像做加法得出最大色彩，然后將融合后圖像與源圖像做差得出色彩差異性。

算法在結(jié)構(gòu)和顏色上得出的評(píng)價(jià)結(jié)果不在一個(gè)數(shù)量級(jí)上，將結(jié)構(gòu)的結(jié)果加權(quán)后與顏色上的結(jié)果在一個(gè)數(shù)量級(jí)上再做加法得出綜合評(píng)價(jià)。得出的綜合評(píng)價(jià)越好,表示與源圖像中較為清晰部分的差異越小，融合圖像越好。該算法的具體實(shí)現(xiàn)過程如下：(1)計(jì)算源圖像A、B和融合圖像F的邊緣圖像；(2)將A、B的邊緣圖像求和得出最大邊緣；(3)將最大邊緣與F的邊緣做差得到結(jié)構(gòu)差異；(4)將源圖像A、B和融合圖像F轉(zhuǎn)換到HIS顏色空間；(5)在HIS顏色空間里對(duì)圖像A和B求和得到最大顏色差異；(6)將最大顏色差異和融合圖像F做差得到色彩差異；(7)將結(jié)構(gòu)差異和色彩差異求和得到綜合差異評(píng)價(jià)。

需要注意的是，本文所提出的客觀評(píng)價(jià)指標(biāo)是負(fù)向指標(biāo)，即值越小表示融合效果越好。

2 實(shí)驗(yàn)與結(jié)果分析

通過對(duì)一些融合效果具有較大差異的3種經(jīng)典彩色圖像融合算法進(jìn)行分析，來驗(yàn)證筆者所提出的基于結(jié)構(gòu)色彩差異對(duì)比的彩色圖像融合客觀評(píng)價(jià)指標(biāo)。這3個(gè)圖融合算法是：基于均值的彩色圖像融合方法、基于PCA的方法[5]和在HIS顏色空間下的小波方法[6-8]。

第一組實(shí)驗(yàn)的兩幅待融合圖像如圖1所示，圖1(a)中左邊區(qū)域清晰，右邊區(qū)域模糊；而圖1(b)正好相反，是左邊模糊，右邊清晰。接下來用上述3種融合算法得到融合圖像，如圖2所示。

圖1 源圖像book

圖2 融合結(jié)果

從圖2的融合結(jié)果可以看出，基于小波變換的融合結(jié)果最好，前景、背景都很清晰，且沒有顏色失真。PCA和均值方法相比，PCA方法存在顏色失真，均值方法比PCA方法略好一些。針對(duì)圖2中的3幅融合圖像計(jì)算互信息、相關(guān)系數(shù)、QABF、CCM以及本文的客觀評(píng)價(jià)指標(biāo)，結(jié)果如表1所示。

在表1中，互信息給出的評(píng)價(jià)結(jié)果認(rèn)為PCA方法的融合效果最好，這與視覺感知不符。同樣，相關(guān)系數(shù)計(jì)算結(jié)果認(rèn)為均值方法比小波融合的效果好，也不符合視覺感知；QABF評(píng)價(jià)結(jié)果認(rèn)定PCA方法比均值融合方法好，不符合視覺感知；CCM得出的結(jié)果認(rèn)定均值方法權(quán)最好，不符合視覺感知。而本文算法認(rèn)定小波融合最好，PCA融合最差，這與視覺感知相符。

表1 圖像book融合評(píng)價(jià)結(jié)果

接下來進(jìn)行第二組實(shí)驗(yàn)，如圖3所示。融合結(jié)果如圖4所示，可以看出小波方法融合效果最好，其次是均值方法，最差的是PCA方法。

圖3 源圖像food

圖4 融合結(jié)果

均值融合PCA融合小波融合互信息24．253025．346722．2439相關(guān)系數(shù)5．95365．77835．9153QABF0．70640．64860．7192CCM38．367733．565938．7099本文算法43．416865．023541．3017

表2是對(duì)圖4中的3幅融合圖像進(jìn)行評(píng)價(jià)的結(jié)果?；バ畔⒌脑u(píng)價(jià)結(jié)果認(rèn)定PCA方法最好，這與視覺感知不符；相關(guān)系數(shù)的評(píng)價(jià)結(jié)果認(rèn)定均值方法最好，也與視覺感知不符；QABF、CCM和本文算法與視覺感知相符。但通過對(duì)比均值融合和小波融合的客觀評(píng)價(jià)數(shù)據(jù)可以發(fā)現(xiàn)，QABF和CCM評(píng)價(jià)的數(shù)值比較接近，但從主觀視覺感知上來講，小波方法要遠(yuǎn)好于均值方法。

一個(gè)好的圖像評(píng)價(jià)指標(biāo)應(yīng)該有較大的區(qū)分度，以圖4為例，小波融合的結(jié)果比均值方法要好很多，那么相應(yīng)的客觀評(píng)價(jià)指標(biāo)在數(shù)值上也應(yīng)該相差較大。我們通過引入離散度指標(biāo)來對(duì)QABF、CCM和本文算法做進(jìn)一步對(duì)比。離散度指標(biāo)的計(jì)算是通過標(biāo)準(zhǔn)差除以均值得到的。計(jì)算的結(jié)果越大，表明對(duì)應(yīng)評(píng)價(jià)指標(biāo)的離散度越大，也就是區(qū)分融合圖像質(zhì)量好壞的能力越強(qiáng)。表3是QABF、CCM和本文算法的離散度指標(biāo)。

表3 離散度對(duì)比

從表3可以看出，本文算法的離散度最大，即本文算法描述融合圖像質(zhì)量的能力要優(yōu)于QABF和CCM。

3 結(jié)語

本文提出了一種基于結(jié)構(gòu)色彩差異性的彩色圖像融合客觀評(píng)價(jià)指標(biāo)，通過對(duì)比圖像的邊緣差異和色彩差異來構(gòu)建評(píng)價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果表明，本文所提出的彩色圖像融合客觀評(píng)價(jià)指標(biāo)有互信息、相關(guān)系數(shù)、QABF和CCM等算法，其主觀評(píng)價(jià)與人眼視覺感知相符，同時(shí)具有較大的離散度，能夠作為彩色圖像融合的客觀評(píng)價(jià)指標(biāo)。

[1]H.B.Mitchell.Image fusion:theories,techniques and applications[M].Berlin Heidelberg:Springer Publishing Company,2010.

[2]G H Qu,D Zhang,P Yan.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7): 313-315.

[3]C S Xydeas,V Petrovic.Objective image fusion performance measure[J].Electronics letters,2000,36(4):308-309.

[4]Y Yuan,J Zhang,B Chang,et al.Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering,2011,50(3):033202.

[5]Y H Jia.Fusion of Landsat TM and SAR image based on principal component analysis[J].Remote Sensing Technology and Applicaton,1998,13(1):46-49.

[6]T M Tu,S C Su,Hsuen-chyun shyu,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001(2):177-186.

[7]H Zhao,Q Li,H Feng.Multi-focus color image fusion in the HSI space using the sum modified laplacian and a coarse edge map[J].Image and Vision Computing,2008(26):1285-1295.

[8]K Amolins,Y Zhang,P Dare.Wavelet based image fusion techniques-an introduction, review and comparison[J]. ISPRS Journal of Photogrammetry & Remote Sensing,2007,62(4):249-263.