基于多特征的高光譜與全色圖像融合方法

張?bào)汴?，?桄，楊永波，黃俊華

?

基于多特征的高光譜與全色圖像融合方法

張?bào)汴希瑮?桄，楊永波，黃俊華

（空軍航空大學(xué)，吉林 長春 130022）

高光譜分辨率的高光譜圖像與高空間分辨率的全色圖像融合可以綜合兩類圖像的優(yōu)勢(shì)。將全色圖像與高光譜部分波段分別融合，再合成假彩色圖像是融合的有效思路。引進(jìn)多分辨率分析框架，首先對(duì)源圖像進(jìn)行小波變換，得到低頻系數(shù)與高頻系數(shù)；然后從中提取平均梯度特征和邊緣特征分別作為兩類系數(shù)融合的依據(jù)；最后將融合后的系數(shù)經(jīng)過小波逆變換還原為各波段融合圖像，進(jìn)行假彩色合成得到最終的彩色融合圖。實(shí)驗(yàn)結(jié)果表明，與PCA、HIS等經(jīng)典方法相比，本文方法不僅能夠在保證融合效率前提下有效保持光譜信息，提高融合圖像的空間分辨率，融合圖像的標(biāo)準(zhǔn)差、平均梯度、信息熵等各項(xiàng)指標(biāo)也均優(yōu)于其他融合方法。

高光譜；全色圖像；圖像融合；多分辨率分析；平均梯度；邊緣特征

0 引言

高光譜技術(shù)代表了遙感領(lǐng)域的發(fā)展前沿。高光譜傳感器能夠獲取地物豐富的光譜信息，但同時(shí)也犧牲了一定的空間分辨率，降低了圖像的可觀性[1]。將高光譜圖像與空間分辨率較高的全色圖像進(jìn)行融合，不僅能夠?qū)⑷珗D像優(yōu)良的空間特性賦予高光譜圖像，還將高光譜豐富的光譜信息賦予全色圖像，是提高兩類圖像可觀性的有效途徑[2]，有利于目視解譯等后續(xù)處理的進(jìn)行，具有較強(qiáng)的實(shí)用價(jià)值。

目前各類融合算法致力于提高融合圖像的質(zhì)量、降低融合時(shí)間的研究。在選擇融合算法時(shí)，要充分考慮高光譜圖像數(shù)據(jù)量大、波段間相關(guān)性強(qiáng)的特性以及特定的融合需求。針對(duì)高光譜圖像融合的經(jīng)典方法有葛志榮等[3]改進(jìn)的基于特征變換的主成分分析（PCA）融合法，Xavier Otazu、Myungjin Choi等[4-5]改進(jìn)的基于顏色空間變換的HIS變換法以及基于多分辨率分解的空頻域變換方法等。其中，Piella等[6]提出的多分辨率圖像融合框架，將圖像的多分辨率分解與融合規(guī)則相結(jié)合，在紅外與可見光圖像融合等多源圖像融合實(shí)踐中取得良好的效果。本文將該框架引用到高光譜與全色圖像融合中，并進(jìn)行改進(jìn)，提出了基于多特征的適合高光譜與全色圖像融合的多分辨率融合方法。首先對(duì)源圖像進(jìn)行配準(zhǔn)等處理，選擇參與融合的高光譜波段；然后進(jìn)行多分辨率分解，分別將全色圖像與選出的各波段兩兩進(jìn)行融合以保留高光譜圖像的光譜信息；在確定融合規(guī)則時(shí)，為保留兩類圖像的紋理信息及全色圖像較高的空間分辨率，分別提取兩類圖像的平均梯度特征以及全色低頻圖像的邊緣特征，用來指導(dǎo)兩類圖像低頻系數(shù)和高頻系數(shù)的融合。最后對(duì)融合后的低頻系數(shù)和高頻系數(shù)進(jìn)行多尺度逆變換，得到各波段的融合圖像，利用它們合成彩色圖像，得到最終的融合結(jié)果。

1 方法框架與步驟

1.1 方法框架

利用本文方法進(jìn)行高光譜與全色圖像融合的方法框架如圖1所示。

圖1 本文算法框架圖

1.2 融合波段選擇與源圖像配準(zhǔn)

高光譜圖像波段眾多，波段間存在較強(qiáng)的相關(guān)性，在融合時(shí)為避免不必要的工作量，實(shí)現(xiàn)要進(jìn)行波段選擇實(shí)現(xiàn)數(shù)據(jù)降維。波段選擇的數(shù)量取決于實(shí)際需要，本文以利用高光譜圖像與全色圖像合成高質(zhì)量假彩色圖像的應(yīng)用為例來進(jìn)行說明。彩色圖像由R、G、B三個(gè)通道分量構(gòu)成，因此需要選擇高光譜3個(gè)波段分別與全色圖像進(jìn)行融合。選擇波段組合時(shí)應(yīng)遵循波段包含的信息量大、波段間相關(guān)性低的原則。利用文獻(xiàn)[7]所提出的波段選擇方法，首先根據(jù)波段間相關(guān)系數(shù)將所有波段分為3組，同組內(nèi)波段相關(guān)性強(qiáng)、組間波段相關(guān)性弱；然后以標(biāo)準(zhǔn)差指標(biāo)衡量波段信息量，選擇各組標(biāo)準(zhǔn)差最大的波段參與融合。具體方法參考文獻(xiàn)[7]。假設(shè)選出的3個(gè)波段圖像分別為1、2、3，全色圖像設(shè)為4。

為實(shí)現(xiàn)高光譜圖像和全色圖像的像素級(jí)融合，還要對(duì)源圖像進(jìn)行圖像配準(zhǔn)，實(shí)現(xiàn)圖像上各地物點(diǎn)的一一對(duì)應(yīng)。

1.3 多分辨率分析

在此選用的多尺度多分辨率分析工具為小波變換[8]。小波變換可以對(duì)圖像進(jìn)行多層分解，每層分解都可形成一幅低頻近似圖像與3個(gè)方向的高頻細(xì)節(jié)圖像，由于總體數(shù)據(jù)量不會(huì)降低，因此減少了光譜信息的損失；各層的融合計(jì)算可并行，在提高計(jì)算速度的同時(shí)減少了對(duì)存儲(chǔ)空間的需求；此外小波變換運(yùn)算相對(duì)簡單，能夠降低融合所需的時(shí)間。

1.4 平均梯度特征提取

圖像的細(xì)小反差與紋理可以用平均梯度來表述。平均梯度指圖像的邊界或影線兩側(cè)附近灰度值的變化率，反映了圖像在多維方向上密度變化的速率，表征圖像的相對(duì)清晰程度[9]。平均梯度越大，表示圖像越清晰，目視效果越好。平均梯度特征表達(dá)式如下：

1.5 邊緣特征提取

由于高光譜圖像光譜能量有限，圖像中地物邊緣不夠清晰，因此提取全色圖像小波分解后的各低頻系數(shù)圖像的邊緣特征來指導(dǎo)融合。由于Prewitt算子構(gòu)造簡單，能夠抑制噪聲，檢測(cè)效果較為精細(xì)[10]，本文選用Prewitt算子，梯度幅值表達(dá)式：

式(2)可簡化為：

式中：p、p表示3×3像素窗口的中心像素(,)在方向和方向上的梯度。(,)與3×3的梯度模板中心點(diǎn)對(duì)應(yīng)，該模板為：

由此得到邊緣信息二值圖X，對(duì)X進(jìn)行形態(tài)學(xué)膨脹，得到擴(kuò)大邊緣信息的二值圖Y。

1.6 融合規(guī)則

1.6.1 低頻系數(shù)融合規(guī)則

小波變換得到的低頻圖像包含了源圖像絕大部分的能量，同時(shí)也蘊(yùn)含源圖像的大量互補(bǔ)信息。融合互補(bǔ)信息、保留圖像細(xì)微差別是低頻系數(shù)融合的關(guān)鍵。加權(quán)平均法或只利用某幾幅圖像低頻信息的偏袒法不能很好地達(dá)到融合目的，在此以平均梯度為自適應(yīng)加權(quán)指標(biāo)，指導(dǎo)高光譜與全色圖像低頻系數(shù)的融合。高光譜第幅圖像與全色圖像對(duì)應(yīng)的低頻系數(shù)融合時(shí)，賦予高光譜圖像與全色圖像的權(quán)重為：

由此得到的低頻圖像融合公式為：

以平均梯度作為自適應(yīng)加權(quán)的指標(biāo)，對(duì)低頻圖像每一像元依次處理，平均梯度大的圖像在融合中占的比重大，可以充分保留紋理豐富、邊緣清晰的圖像波段細(xì)節(jié)信息，提高了融合圖像的信息量，從而增強(qiáng)了圖像的目視效果。

1.6.2 高頻系數(shù)融合規(guī)則

小波變化后得到的高頻圖像，代表了圖像在水平、垂直、對(duì)角3個(gè)方向上的突變信息，包括地物邊緣、異常目標(biāo)信息等。因此高頻圖像的融合將直接影響到融合圖像目標(biāo)的視覺效果。在實(shí)施高頻系數(shù)融合時(shí)，通常采用的是保留絕對(duì)值較大系數(shù)的方法，但是該方法對(duì)圖上所有的點(diǎn)“一視同仁”，沒有區(qū)分目標(biāo)邊緣與非邊緣的區(qū)別。因此，本文提出提取全色各層低頻系數(shù)圖像的邊緣信息以指導(dǎo)高頻系數(shù)融合的方法，充分考慮多幅源圖像的邊緣信息，保證了目標(biāo)邊緣的完整性。具體方法如下：

首先利用Prewitt算子得到全色圖像每層小波分解低頻圖像中包含著邊緣信息的圖邊緣形態(tài)膨脹圖Y，其中對(duì)第一層小波分解得到的低頻圖像進(jìn)行邊緣特征提取得到的1如圖2所示。

圖2 邊緣特征形態(tài)膨脹圖Y1

圖3 高頻系數(shù)取大圖

當(dāng)對(duì)應(yīng)位置高頻系數(shù)符號(hào)不一致時(shí)，融合公式為：

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)條件

通過Matlab軟件對(duì)本文算法的有效性進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)所使用的數(shù)據(jù)為德國ROSIS光譜儀獲取的高光譜遙感影像，獲取地點(diǎn)為意大利的帕維亞大學(xué)，共包含103個(gè)波段；高空間分辨率的圖像從同時(shí)期同場景的谷歌地球上獲取，經(jīng)過配準(zhǔn)并處理為全色圖像。配準(zhǔn)后的空間域圖像大小為340×610。根據(jù)高光譜圖像波段間相關(guān)系數(shù)差異將所有波段分為1～29、30～84、85～103共3組，再計(jì)算各波段標(biāo)準(zhǔn)差，選擇各組信息量最大的第8、48、92波段參與融合。3個(gè)波段灰度圖像如圖5(a)～(c)所示；利用這3個(gè)波段代表紅、綠、藍(lán)3個(gè)通道分量值，可以得到一幅假彩色圖像如圖5(d)所示；圖5(e）則展示了參與融合的高空間分辨率全色圖像。

融合圖像應(yīng)當(dāng)盡量保留高光譜圖像的光譜信息以及全色圖像的空間信息。

圖5 所用數(shù)據(jù)部分波段示意圖

2.2 實(shí)驗(yàn)結(jié)果

根據(jù)文獻(xiàn)[2]的理論，選用小波基bior4.7進(jìn)行3層小波分解。為比較本文算法（簡稱MF），還對(duì)經(jīng)典的融合規(guī)則為低頻系數(shù)采用平均加權(quán)法、高頻系數(shù)采用絕對(duì)值取大法的基于小波變換的方法[12]（簡稱DWT）、基于主成分變換的PCA方法（用全色圖像代替PCA變換后的第一主成分）[6]以及基于顏色空間變換的HIS方法進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果分別如圖6(a)～(c)所示。利用本文方法提取平均梯度、邊緣信息分別對(duì)低頻系數(shù)和高頻系數(shù)進(jìn)行融合，經(jīng)過小波逆變換及假彩色合成得到結(jié)果如圖6(d)所示。

2.3 結(jié)果分析

分別從主觀、客觀兩方面來評(píng)價(jià)這4種方法得到的融合結(jié)果圖像質(zhì)量。

圖像質(zhì)量的主觀評(píng)價(jià)，即目視判讀效果評(píng)判，主要依據(jù)人眼對(duì)圖像的感受對(duì)圖像進(jìn)行評(píng)價(jià)[13]。首先，從光譜信息保留角度，融合圖像色彩越接近高光譜3波段合成的假彩色圖像說明光譜信息保留越好，通過觀察可以看出，本文方法與DWT方法得到的結(jié)果色彩與原假彩色圖像最相似，而PCA、HIS方法均存在一定的色彩變形，說明在光譜信息保持方面，小波變換的方法要優(yōu)于這2種方法；在空間信息方面，除了HIS方法外，另外3種方法中空間分辨率較高光譜源圖像均有一定的提高。其中，提取部分細(xì)節(jié)圖像如圖7所示，可以發(fā)現(xiàn)本文方法和PCA方法得到的融合結(jié)果圖消除了地物邊緣的鋸齒，邊緣表現(xiàn)最清晰。

圖6 融合實(shí)驗(yàn)結(jié)果圖

圖像質(zhì)量的客觀評(píng)價(jià)，即通過一定指標(biāo)進(jìn)行定量分析，評(píng)判圖像質(zhì)量高低。本文選取了標(biāo)準(zhǔn)差（standard deviation，SD）、平均梯度（average gradient，AG）、信息熵（entropy of information，EI）、圖像清晰度等指標(biāo)（figure definition，F(xiàn)D）[14-15]進(jìn)行評(píng)價(jià)。這4類指標(biāo)分別反映了圖像的信息量、紋理細(xì)節(jié)豐富程度以及清晰程度，指標(biāo)越大說明圖像質(zhì)量越好。由于4類指標(biāo)都是針對(duì)灰度圖像，因此需要將4幅合成彩色圖像轉(zhuǎn)換為灰度圖像再進(jìn)行指標(biāo)計(jì)算。此外還統(tǒng)計(jì)了4類算法的融合計(jì)算時(shí)間，結(jié)果如表1所示。

從表中可以看出，前4項(xiàng)指標(biāo)中本文方法最高，PCA方法其次，說明本文方法與PCA得到的融合結(jié)果空間信息最豐富對(duì)比度最高，這與主觀評(píng)價(jià)得到的結(jié)論一致。由于融合規(guī)則更簡單，DWT方法的融合時(shí)間要比本文方法快0.3285s，但是本文方法計(jì)算時(shí)間仍要短于PCA、HIS方法。綜合運(yùn)算效率、融合效果等各類指標(biāo)，本文方法在幾類方法中表現(xiàn)最佳。

圖7 融合結(jié)果細(xì)節(jié)圖

表1 融合結(jié)果客觀評(píng)價(jià)表

3 結(jié)論

將光譜信息豐富的高光譜圖像與高空間分辨率的全色圖像進(jìn)行融合，是多源傳感器圖像融合理論的重要組成部分。采用小波變換為多分辨率分析工具，提出用平均梯度為自適應(yīng)加權(quán)指標(biāo)進(jìn)行低頻系數(shù)融合、全色圖像邊緣信息來指導(dǎo)高頻系數(shù)融合的方法，能夠很好地保留兩類圖像的信息，減少光譜空間的變形，又保證了空間信息能夠很好的傳遞到融合圖像中，使融合后的圖像具有良好的視覺特性，有利于目視解譯等圖像后續(xù)分析處理工作的進(jìn)行。同時(shí)本文方法運(yùn)用靈活，不限于合成假彩色圖像的單一應(yīng)用，可以根據(jù)需要選擇不同數(shù)量的高光譜波段參與融合，若省略降維步驟、將高光譜全部波段都用于融合，則可以得到空間分辨率提升的高光譜數(shù)據(jù)。

[1] 張兵, 高連如. 高光譜遙感圖像分類與目標(biāo)探測(cè)[M]. 北京: 科學(xué)出版社, 2011.

ZHANG Bing, GAO Lianru.[M]Beijing: The Science Publishing Company, 2011.

[2] 王克成. 基于小波理論的超光譜圖像融合研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2008: 34-58.

WANG Kecheng. Research on Hyperspectral Image Fusion Based on Wavelet Theory[D]. Harbin: Harbin Engineering University, 2008: 34-58.

[3] 葛志榮, 王斌, 張立明. 一種基于殘差的遙感圖像融合新方法[J]. 中國圖像圖形學(xué)報(bào), 2007, 12(1): 135-140.

GE Zhirong, WANG Bin, ZHANG Liming. A new scheme for fusion of remote sensing images based on residual error[J]., 2007, 12(1): 135-140.

[4] Maria Gonzalez Audicana, Xavier Otazu, Octavi Fors. A low computational-cost method to fuse IKONS images using the spectral response function of its sensors[J]., 2006, 42(7): 1683-1690.

[5] Tania Stathaki. I:[M]. Elsevier Singapore Pte Ltd., 2014.

[6] PIELLA G. A general framework for multiresolution image fusion: from pixels to regions[J]., 2003, 4(4): 259-280.

[7] 楊金紅, 尹球, 顧松山. 城區(qū)高光譜遙感數(shù)據(jù)假彩色波段組合研究[J]. 南京氣象學(xué)院學(xué)報(bào), 2005, 28(3): 289-296.

YANG Jinhong, YIN Qiu, GU Songshan. Band combination research of city region hyperspectral remote sensing data in false color synthesis[J]., 2005, 28(3): 289-296.

[8] 袁金樓, 吳謹(jǐn), 劉勁. 基于NSCT與DWT的壓縮感知圖像融合[J]. 紅外技術(shù), 2015, 37(11): 957-961.

YUAN Jinlou, WU Jin, LIU Jin. Image fusion based on compressed sensing of NSCT and DWT[J]., 2015, 37(11): 957-961.

[9] Myungjin Choi. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J]., 2006, 44(6): 1672-1682.

[10] 李俊山, 李旭輝. 數(shù)字圖像處理[M]. 北京: 清華大學(xué)出社, 2010: 168-172.

LI Junshan, LI Xuhui.[M]. Beijing:, 2010: 168-172.

[11] 童濤, 楊桄, 孟強(qiáng)強(qiáng), 等. 基于邊緣特征的多傳感器圖像融合算法[J]. 紅外與激光工程, 2014, 28(1): 288-29.

TONG Tao, YANG Guang, MENG Qiangqiang, et al. Multi-sensor image fusion algorithm based on edge feature[J]., 2014, 28(1): 288-29.

[12] 孫永明, 吳謹(jǐn), 劉勁, 等. 基于DWT的高頻系數(shù)壓縮感知圖像融合[J]. 紅外技術(shù), 2014, 36(9): 714-719.

SUN Yongming, WU Jin, LIU Jing, et al. Image fusion based on compressed sensing of DWT high frequency coefficients[J].2014, 36(9): 714-719.

[13] 楊桄, 童濤, 陸松巖, 等. 基于多特征的紅外與可見光圖像融合方法[J]. 光學(xué)精密工程, 2014, 22(2): 489-497.

YANG Guang, TONG Tao, LU Songyan, et al. Fusion of infrared and visible images based on multi-features[J]., 2014, 22(2): 489-497.

[14] 楊勇, 童松, 黃淑英. 快速離散Curvelet變換域的圖像融合[J]. 中國圖象圖形學(xué)報(bào), 2015, 20(2): 220-229.

YANG Yong, TONG Song, HUANG Shuying. Image fusion based on fast discrete Curvelet transform[J]., 2015, 20(2): 220-229.

[15] 許廷發(fā), 李俊濤, 張一舟, 等. 真彩色傳遞雙波段圖像融合[J]. 中國光學(xué), 2014, 7(3): 402-410.

XU Yanfa, LI Juntao, ZHANG Yizhou, et al. True color transfer for dual band image fusion[J]., 2014, 7(3): 402-410.

Hyperspectral and Panchromatic Images Fusion Method Based on Multi-feature

ZHANG Xiaohan，YANG Guang，YANG Yongbo，HUANG Junhua

(,130022,)

Fusion of hyperspectral image with rich spectral information and panchromatic image with high spatial resolution can improve the quality of both two images effectively. It is a good way to choose proper bands of hyperspectral data to be fused with panchromatic image respectively, and the results are used for false color image composition for the fusion of two resources of images. In this paper, multi-resolution analysis frame is taken for fusion. Firstly, wavelet decomposition is carried out to resource images; multi features including average gradient and edge information are extracted from low frequency coefficients of two kinds of images. Then the low frequency coefficient of the fused image is obtained with regional average gradient weight method, while the high frequency coefficient is fused conducted by the edge feature of panchromatic image. Besides, the sigh of frequency coefficient is considered to avoid effect offset. At last, the fusion image of each band is obtained by performing inverse wavelet transforms, and after false color image composition, the fusion image is finally got. The experimental results indicate that the fused image obtained by this method can maintain both the spectral and spatial information effectively and efficiently. Compared with classical methods such as PCA and HIS, the fusion image using this method has the best performance in both subjective and objective evaluation.

hyperspectral image，panchromatic image，image fusion，multi-resolution analysis，average gradient，edge feature

TP751

A

1001-8891(2016)10-0832-05

2016-04-20；

2016-06-03.

張?bào)汴希?992-），女，山東日照人，碩士研究生，主要從事遙感圖像解譯以及高光譜遙感方向的研究。E-mail：15584175041@163.com。

楊桄（1975-），男，黑龍江省齊齊哈爾人，博士后，教授，主要從事圖像解譯與地理信息應(yīng)用方面的研究。E-mail：yg2599@126.com。

吉林省科技發(fā)展計(jì)劃資助項(xiàng)目（20140101213JC）；吉林省教育廳“十二五”科研項(xiàng)目（2015448）。