遙感圖像融合效果評估方法

周 芳，王鵬波，李春升

(北京航空航天大學(xué)電子信息工程學(xué)院，北京 100083)

0 引言

多傳感器信息融合是指對由多個傳感器獲取的信息進(jìn)行多層次、多角度處理，得到具有和原信息相關(guān)或集成特性的綜合信息。傳感器的概念是廣義的，不僅包括物理意義上的各種感知平臺，而且還包括與觀測環(huán)境相匹配的各種信息獲取系統(tǒng)[1]。圖像融合是多傳感器信息融合的一個重要應(yīng)用領(lǐng)域，圖像融合充分利用多傳感器圖像所具有的冗余特性和互補(bǔ)特性，有效提升傳感器獲取圖像的質(zhì)量。

圖像融合的概念始于20世紀(jì)70年代末，1979年Daliy等人首先將雷達(dá)圖像和Landsat-MSS衛(wèi)星圖像的復(fù)合圖像應(yīng)用于地質(zhì)解釋，其處理過程可視為最簡單的圖像融合[2]。1981年Laner和Told進(jìn)行了Landsat-RBV和MISS圖像數(shù)據(jù)的融合處理[3]。20世紀(jì)80年代中期圖像融合技術(shù)已逐漸成為遙感圖像處理與分析中的熱點(diǎn)課題，遍及可見光、紅外、多光譜、合成孔徑雷達(dá)(SAR)圖像等。

隨著圖像融合技術(shù)的發(fā)展以及應(yīng)用領(lǐng)域的擴(kuò)大，針對圖像融合效果評估技術(shù)的研究日趨成為一個熱點(diǎn)問題，直接影響融合技術(shù)的發(fā)展?？陀^、全面、準(zhǔn)確、定量的評估可用來指導(dǎo)圖像融合處理過程，優(yōu)化融合系統(tǒng)，優(yōu)選融合算法，提升融合圖像質(zhì)量。圖像融合效果評估是一個十分復(fù)雜的問題，在理論和實(shí)現(xiàn)上都有相當(dāng)難度，目前尚未建立公認(rèn)的、統(tǒng)一的、全面的、對比性強(qiáng)的評估準(zhǔn)則和方法。

圖像融合評價體系是研究圖像融合技術(shù)的重要組成部分。深入探討圖像融合的評估準(zhǔn)則和方法是十分必要和急需的，相對于圖像融合方法研究的多樣性，國內(nèi)外文獻(xiàn)中很少涉及對融合算法或融合圖像進(jìn)行評價的研究[4]。David指出，目前的數(shù)據(jù)融合技術(shù)缺乏嚴(yán)格的測試和評估方法，需要進(jìn)行高標(biāo)準(zhǔn)的算法開發(fā)、測試和評估，建立標(biāo)準(zhǔn)的測試準(zhǔn)則，進(jìn)行完善的評估[5]。如何建立評價機(jī)制，對信息融合系統(tǒng)進(jìn)行綜合分析和評價，衡量融合算法的性能，是一個亟待解決的問題[1]?？梢姡_展融合圖像質(zhì)量評估的研究具有十分重要的現(xiàn)實(shí)意義。

1 遙感圖像融合處理模型

遙感圖像融合處理是指將2個或多個傳感器在同一時刻或不同時刻，以協(xié)同或非協(xié)同方式獲取的同一地面場景加以綜合、集成，生成一個信息更為豐富、置信度更高的遙感圖像。如果將各傳感器獲取的圖像視為理想場景，那么圖像融合處理就可看成是根據(jù)各傳感器獲取的圖像完成對理想場景的最優(yōu)估計問題。

遙感圖像融合處理模型:假設(shè)存在理想場景R，光學(xué)傳感器和合成孔徑雷達(dá)(SAR)傳感器獲取的圖像均是理想場景R的局部反映，其反映的內(nèi)容分別是βoR和βsR，于是多傳感器遙感圖像將滿足下述模型

式中:I表示傳感器獲取的圖像;β表示傳感器增益因子;W表示獲取遙感圖像中的噪聲。光學(xué)圖像中噪聲服從高斯分布，SAR傳感器服從伽瑪分布，下標(biāo)O表示光學(xué)傳感器，下標(biāo)S表示SAR傳感器，n表示光學(xué)傳感器的數(shù)量，m表示SAR傳感器的數(shù)量。

針對方程組式(1)，直接采用最小均方誤差估計方法，得到融合處理結(jié)果

式中:C為輸入圖像噪聲的協(xié)方差陣;H為傳感器增益因子矩陣。^R為理想場景R的最佳估計，即理想融合圖像。圖像融合效果評估就是客觀全方面地評價最佳估計效果。

2 融合圖像的主觀評價

圖像融合效果評估較為復(fù)雜，涉及到評估準(zhǔn)則、指標(biāo)體系和評估方法。評估方法目前分為兩大類，即主觀評估方法和客觀評估方法。主觀評估是采用目測方法，判讀人員通過目測直接對融合圖像質(zhì)量進(jìn)行評估。主觀評估的評價標(biāo)準(zhǔn)往往根據(jù)圖像類型和應(yīng)用場合進(jìn)行選擇和制定。表1給出了國際上規(guī)定的五級質(zhì)量尺度和妨礙尺度作為主觀評價標(biāo)準(zhǔn)，也稱為主觀評價5分制[1]。

表1 主觀評價標(biāo)準(zhǔn)

主觀評價效果不但與融合圖像的品質(zhì)有關(guān)，而且和判讀人員的心態(tài)、視覺特性以及判讀經(jīng)驗(yàn)等主觀因素有關(guān)，評價重復(fù)性差，帶有較強(qiáng)的片面性。主觀評價只能給出定性的評價結(jié)果，但仍是目前一種常用的評價方法。

3 融合圖像的客觀評價

3.1 基于單因素指標(biāo)的圖像融合效果評估

獨(dú)立單因素評價指標(biāo)[4]是針對單幅圖像定義的評價指標(biāo)。通過分別計算原始圖像或融合圖像的單因素指標(biāo)，分析2種圖像指標(biāo)的差異，判斷圖像融合效果。單因素評價指標(biāo)理論性強(qiáng)，物理意義明確，獨(dú)立性好，評價效果易于判斷。目前，常用的單因素評價指標(biāo)有:

(1)基于圖像信息特征的評價指標(biāo)有圖像信噪比[6]、峰值信噪比[6]、空間頻率[1]、邊緣信息保持度[4]、小波系數(shù)平均能量[7]等;

(2)基于圖像統(tǒng)計特征的評價指標(biāo)有均值(灰度平均值)[4，8]、相關(guān)系數(shù)[9]、方差[6]、均方差[6]、均方根誤差[1]、歸一化最小方差[6]等;

(3)基于圖像信息量特征的評價指標(biāo)有互信息[10-11]、信息熵[12]、聯(lián)合熵[6]、交叉熵[13]、差熵[1，14]等;

(4)基于圖像形狀特征的評價指標(biāo)有圖像均值[9]、偏差度[9，15]、相對偏差度[9]、平均梯度[16]等。

獨(dú)立單因素評價指標(biāo)是目前融合圖像客觀評價的常用方法，適用性好，實(shí)施方便，可觀性強(qiáng)。文獻(xiàn)[17]中，為了分析獨(dú)立單因素客觀評價方法的效果，針對常用單因素評價指標(biāo)，應(yīng)用同一地區(qū)的異質(zhì)圖像，基于小波和像素平均融合算法進(jìn)行圖像融合處理，對融合效果進(jìn)行了大量仿真計算，給出了評價結(jié)果，有較好的參考意義。

3.2 基于圖像質(zhì)量指標(biāo)的融合效果評估

圖像質(zhì)量指標(biāo)是用來評價遙感圖像性能的指標(biāo)，是目前通用的評價方法。通過分別計算原始圖像和融合圖像的質(zhì)量指標(biāo)，對比差異的變化，可以客觀地獲得圖像融合效果的評估結(jié)果。

反映遙感圖像質(zhì)量指標(biāo)的有:

(1)空間分辨率?？臻g分辨率定義為點(diǎn)目標(biāo)沖激響應(yīng)半功率點(diǎn)處的寬度，它是衡量遙感系統(tǒng)分辨兩個相鄰地物目標(biāo)的能力，包括方位向分辨率和距離向分辨率。

(2)峰值旁瓣比。峰值旁瓣比定義為點(diǎn)目標(biāo)沖激響應(yīng)的最高旁瓣峰值PSm與主瓣峰值Pm的比值，即，峰值旁瓣比在物理意義上表征成像雷達(dá)系統(tǒng)對微弱目標(biāo)的檢測能力。

(3)積分旁瓣比。積分旁瓣比定義為旁瓣能量與主瓣能量的比值。積分旁瓣比定量地描述了一個局部較暗區(qū)域被來自周圍明亮區(qū)域的能量泄漏所淹沒的程度，是局部圖像對比度的衡量指標(biāo)。積分旁瓣比越小，則圖像質(zhì)量越高。

(4)輻射分辨率。輻射分辨率是衡量SAR遙感圖像灰度級分辨率的一種度量，表示區(qū)分目標(biāo)后向散射系數(shù)的能力，是通過對目標(biāo)均勻場景的統(tǒng)計特性來確定的。設(shè)σ為均勻場景的均方差，μ為均勻場景的均值，定義圖像的等效視數(shù)為L=μ2/σ2。等效視數(shù)越高，則圖像輻射率越好，有利于SAR遙感圖像的判讀。

4 遙感圖像融合效果評估實(shí)驗(yàn)

融合效果評估是遙感圖像融合技術(shù)的重要組成部分，在處理實(shí)際問題時往往需要針對具體的應(yīng)用場合優(yōu)選不同的評估方式和適當(dāng)?shù)脑u價指標(biāo)。下面考察SAR圖像與光學(xué)圖像的融合效果評估。由于重點(diǎn)在于保持SAR圖像和光學(xué)圖像的特征，減小噪聲對圖像判讀的影響，此時如信息熵、標(biāo)準(zhǔn)差等評價指標(biāo)將不適用。為了準(zhǔn)確評價SAR圖像和光學(xué)圖像的融合效果，此處選用相關(guān)系數(shù)ρ和峰值噪聲比PSNR作為評估指標(biāo)。

圖像的相關(guān)系數(shù)[19]反映了兩幅圖像的相關(guān)程度，通過對比融合前后圖像的相關(guān)系數(shù)，能夠評價融合處理對圖像紋理的保持特性。融合前后兩幅圖像的相關(guān)系數(shù)定義為

式中:F和A分別表示融合圖像和原圖像;f和a分別為融合圖像與源圖像的均值。

在實(shí)際評估時，首先分別計算融合圖像F與源圖像A、B的相關(guān)系數(shù)ρFA和ρFB，然后利用來衡量總的相關(guān)系數(shù)。相關(guān)系數(shù)越大，說明融合圖像從源圖像中獲得的信息越多，融合效果越好。

峰值信噪比[20]反映了融合圖像中的噪聲大小。通過對比不同融合處理算法所得到的融合圖像中的峰值信噪比，能夠比較各種算法對噪聲的抑制能力。目前圖像處理中通常采用的峰值信噪比定義為

式中:F和R分別表示融合處理后的圖像和參考圖像。

峰值信噪比的定義雖然簡單明了，但在實(shí)際中其應(yīng)用卻存在很大的局限性，這主要是由于在計算中需要標(biāo)準(zhǔn)的參考圖像，而在實(shí)際應(yīng)用中往往無法獲取參考圖像。一種近似的估算方法，首先計算融合圖像的局部方差

式中:μ(x，y)表示在(x，y)處的局部均值。

然后將圖像中局部方差最小的區(qū)域看作平坦區(qū)域，利用圖像局部方差的最大值和最小值之比作為圖像峰值信噪比的估計。

圖1為光學(xué)遙感圖像，圖2為同一地區(qū)的SAR圖像，圖3a)、b)、c)、d)是分別利用最大值準(zhǔn)則、局部方差準(zhǔn)則、顯著性水平測度準(zhǔn)則和基于統(tǒng)計模型的融合處理準(zhǔn)則的融合結(jié)果。表2給出了4種圖像融合準(zhǔn)則下融合結(jié)果的定量化評估指標(biāo)值。

圖1 光學(xué)圖像

圖2 SAR圖像

圖3 SAR圖像與光學(xué)圖像的融合結(jié)果

表2 評估結(jié)果

從表2可以看出，受斑點(diǎn)噪聲的影響，傳統(tǒng)的最大值準(zhǔn)則、局部方差準(zhǔn)則、顯著性水平測度準(zhǔn)則都會造成局部特征的損失，影響融合處理效果。相比較而言，基于遙感圖像統(tǒng)計模型的融合處理算法在抑制圖像斑點(diǎn)噪聲方面優(yōu)于其他3種準(zhǔn)則，故其具有較高的峰值信噪比。4種圖像融合處理方法的相關(guān)系數(shù)較為接近，這表明四種圖像融合處理方法在圖像特征保持方面都具有相當(dāng)?shù)娜诤闲Ч?，有利于遙感圖像的特征提取。

5 存在的問題和發(fā)展趨勢

融合效果評估是優(yōu)化圖像融合系統(tǒng)、提升融合圖像質(zhì)量的關(guān)鍵技術(shù)之一，由于圖像融合效果評估的復(fù)雜性和難度，目前評估技術(shù)和方法尚不成熟，諸多技術(shù)問題尚待進(jìn)一步突破，存在的主要問題是:

沒有建立一套公認(rèn)的、全面系統(tǒng)的定量化評估準(zhǔn)則及其相應(yīng)的評估指標(biāo)體系。評估方法大多是基于獨(dú)立單因素指標(biāo)或圖像質(zhì)量指標(biāo)分析和評價圖像融合效果，這些方法注重單指標(biāo)，缺乏全局性，評價側(cè)重點(diǎn)較為局限[17]，不能給出系統(tǒng)性的、全面的、令人信服的評價結(jié)論。

圖像融合效果評估結(jié)論缺乏可比性。在圖像融合效果評估中，要求評估結(jié)論平穩(wěn)和具有可比性，目前無論采用獨(dú)立單因素指標(biāo)或圖像質(zhì)量指標(biāo)進(jìn)行評估，大多是針對圖像中的點(diǎn)目標(biāo)特征。點(diǎn)目標(biāo)的選取以及點(diǎn)目標(biāo)樣本數(shù)的選取含有較多人為主觀因素，因而評估結(jié)論不夠客觀，同一幅圖像，不同判讀員可能得出不同的評估結(jié)果，缺乏可比性。

圖像融合效果評估有效性檢驗(yàn)。對于圖像融合效果評估結(jié)論要求充分正確和可信，目前開展的圖像融合效果評估是一種開放式的評估方法，缺乏對圖像融合效果評估方法正確性和結(jié)論置信度的研究。

6 結(jié)束語

圖像融合效果評估是圖像融合技術(shù)的重要組成部分，通過評估可以優(yōu)化圖像融合系統(tǒng)，優(yōu)選融合算法，提升融合圖像質(zhì)量，對遙感圖像融合技術(shù)的發(fā)展和應(yīng)用領(lǐng)域的開拓都有重要意義。由于圖像融合效果評估的復(fù)雜性，目前尚未構(gòu)建一種公認(rèn)的、通用的和行之有效的定量評估準(zhǔn)則和指標(biāo)體系。

圖像融合效果評估體系的研究是圖像融合技術(shù)的重要組成部分，對促進(jìn)遙感圖像融合技術(shù)的發(fā)展具有十分重要的意義。本文針對遙感圖像融合建立了融合模型，重點(diǎn)分析了圖像融合效果主、客觀評價方法的研究現(xiàn)狀，討論了目前圖像融合效果評估中存在的主要問題。從遙感圖像融合技術(shù)的發(fā)展，結(jié)合目前存在的問題，建立一套公認(rèn)的、全面系統(tǒng)的、置信度高的遙感圖像融合效果評估準(zhǔn)則和方法是遙感圖像融合領(lǐng)域亟待解決的問題和研究方向。

[1]韓崇昭，朱洪艷，段戰(zhàn)勝，等.多源信息融合[M].北京:清華大學(xué)出版社，2006.Han Chongzhao，Zhu Hongyan，Duan Zhansheng，et al.Multi-source information fusion[M].Beijing:Tsinghua University Press，2006.

[2]Daily R I，F(xiàn)arr T，Elachi C.Geologic interpretation from composited radar and Landsat imagery[J].Photogrammetric Engineering and Remote Sensing，1979，45(8):1109-1116.

[3]Laner D T，Todd W J.Land cover mapping with merged Landsat RBV and MSS stereoscopic images[C]//Proceedings of the ASP Fall Technical Conference.San Francisco:[s.n.]，1981:680-689.

[4]敬忠良，肖 剛，李振華.圖像融合——理論與應(yīng)用[M].北京:高等教育出版社，2007.Jing Zhongliang，Xiao Gang，Li Zhenhua.Image fusion:theory and applications[M].Beijing:Higher Education Press，2007.

[5]David L H，James L.An introduction to multisensor data fusion[J].Proceedings of the IEEE，1997，85(1):6-23.

[6]陽方林，郭紅陽，楊風(fēng)暴.像素級圖像融合效果的評價方法研究[J].測試技術(shù)學(xué)報，2002，16(4):271-279.Yang Fanglin，Guo Hongyang，Yang Fengbao.Study of evaluation methods on effect of pixel-level image fusion[J].Journal of Test and Measurement Technology，2002，16(4):276-279.

[7]Wald L，Ranchin T，Manglini M.Fusion of satellite image of different spatial resolutions，assessing the quality of resulting images[J].Photogrammetric Engineering and Remotes Sensing，1997，63(3):691-699.

[8]魏鐘銓.合成孔徑雷達(dá)衛(wèi)星[M].北京:科學(xué)出版社，2001.Wei Zhongquan.Synthetic aperture radar satellite[M].Beijing:Science Press，2001.

[9]李弼程，魏 俊，彭天強(qiáng).遙感影象融合效果的客觀分析與評價[J].計算機(jī)工程與科學(xué)，2004，26(1):42-46.Li Bicheng，Wei Jun，Peng Tianqiang.Objective analysis and evaluation of remote sensing image fusion effect[J].Computer Engineering and Science，2004，26(1):42-46.

[10]崔艷梅，倪國強(qiáng)，鐘堰利，等.利用統(tǒng)計特性進(jìn)行圖像融合效果分析與評價[J].北京理工大學(xué)學(xué)報，2000，20(1):102-106.Cui Yanmei，Ni Guoqiang，Zhong Yanli，et al.Analysis and evaluation of the effect of image fusion using statistics parameters[J].Journal of Beijing Institute of Technology，2000，20(1):102-106.

[11]康 圣，王江安，宗思光，等.圖像融合的量化評價方法及實(shí)驗(yàn)分析[J].光電子技術(shù)與信息，2006，19(2):59-63.Kang Sheng，Wang Jiangan，Zong Siguang，et al.Objective evaluation and experimental analysis of multisensor image fusion[J].2009，19(2):59-63.

[12]劉貴喜，趙曙光，陳文錦.紅外與可見光圖像融合的多分辨率方法[J].光電子·激光，2004，15(8):980-984.Liu Guixi，Zhao Shuguang，Chen Wenjing.Multi-resolution scheme appropriate to fusing infrared and visible lightimages[J].Journal of Optoelectronics Laser，2004，15(8):980-984.

[13]楊 烜，裴繼紅，楊萬海.基于模糊積分的融合圖像評價方法[J].計算機(jī)學(xué)報，2001，24(8):815-818.Yang Xuan，Pei Jihong，Yang Wanhai.Fusion evalution using sugeno's integral[J].Chinese Journal of Computers，2001，24(8):815-818.

[14]李樹濤，王耀南，張昌凡.多傳感器圖像融合的客觀評價與分析[J].儀器儀表學(xué)報，2002，23(6):651-654.Li Shutao，Wang Yaonan，Zhang Changfan.Objective evaluation and analysis of multisensor image fusion[J].Chinese Journal of Scientific Instrument，2002，23(6):651-654.

[15]劉振華，張 冰，于文震.SAR圖像與其他源圖像融合算法[J].現(xiàn)代雷達(dá)，2007，29(2):56-59.Liu Zhenhua，Zhang Bing，Yu Wenzhen.Image fusion algorithm of SAR image and other source images[J].Modern Radar，2007，29(2):56-59.

[16]Schistad Solberg A H.Multi-source classification of remote sensed data fusion of landsat TM and SAR images[J].IEEE Transactions on Geoscience and Remote Sensing，1994，32(4):768-778.

[17]朱衛(wèi)剛，周蔭清，徐華平，等.遙感圖像融合效果客觀評價[J].火力與指揮控制，2010，35(2):1-5.Zhu Weigang，Zhou Yinqing，Xu Huaping，等.Survey of remote sensing image fusion assessment[J].Fire Control and Command Control，2010，35(2):1-5.

[18]黃永紅，毛士藝，周蔭清.星載SAR圖像質(zhì)量評估[J].信息獲取與處理技術(shù)，1995(1):1-9.Hunag Yonghong，Mao Shiyi，Zhou Yinqing.Spaceborne SAR image quality assessment[J].Information Processing and Access technology，1995(1):1-9.

[19]夏明革，何 友，黃曉東.多傳感器圖像融合效果評價方法研究[J].電光與控制，2003，10(2):31-35.Xia Mingge，He You，Huang Xiaodong. Performance measure rules of multi-sensor image fusion[J].Electronics Optics and Control，2003，10(2):31-35.

[20]Liu J W，Yin Q，Guo P.A new strategy to improve image fusion effect[C]//Proceedings of 2006 International Conference on Machine Learning and Cybernetics.[S.l.]:IEEE Press，2006:3770-3775.