基于加權(quán)小波變換及MTFC的多光譜影像融合方法

張炳先 何紅艷 李 巖

（北京空間機(jī)電研究所，北京 100094）

基于加權(quán)小波變換及MTFC的多光譜影像融合方法

張炳先 何紅艷 李 巖

（北京空間機(jī)電研究所，北京 100094）

IHS（intensity-hue-saturation）變換是影像融合實(shí)際生產(chǎn)中使用最多的一種方法，而小波變換是近幾年來(lái)影像融合中的熱門(mén)研究方向。但是現(xiàn)有方法存在紋理畸變和光譜畸變的現(xiàn)象，尤其是當(dāng)?shù)匚锕庾V特性在全色和多光譜中存在較大差異的時(shí)候，融合后光譜畸變將會(huì)十分突出。為了解決上述問(wèn)題，在分析現(xiàn)有小波變換方法的基礎(chǔ)上提出了一種基于加權(quán)小波變換及調(diào)制傳遞函數(shù)補(bǔ)償（MTFC）的多光譜影像融合方法，通過(guò)引入多相位小波變換的方式來(lái)抑制小波變換產(chǎn)生的紋理畸變，同時(shí)通過(guò)引入MTFC的方法來(lái)恢復(fù)影像融合中丟失的紋理信息。文章選用“高分二號(hào)”衛(wèi)星影像來(lái)驗(yàn)證算法的有效性，試驗(yàn)結(jié)果表明，與現(xiàn)有的融合方法相比，文章中提出的算法能夠很好地抑制影像中的光譜畸變，同時(shí)保留更多的有效紋理信息。

多相位小波變換 影像復(fù)原 自適應(yīng)融合 航天遙感

0 引言

衛(wèi)星全色/多光譜相機(jī)能夠同時(shí)獲取同一區(qū)域兩種不同類(lèi)型的影像：含有高分辨率信息的全色影像以及含有光譜信息的多光譜影像。由于多光譜影像缺少高分辨率信息，全色影像缺少光譜信息，因此上述兩種影像自身使用范圍都會(huì)受到限制。為了解決上述問(wèn)題，融合應(yīng)運(yùn)而生[1]。在眾多融合算法中，IHS（intensity-hue-saturation）變換能夠快速處理大量數(shù)據(jù)且實(shí)現(xiàn)簡(jiǎn)單，所以廣泛應(yīng)用于實(shí)際生產(chǎn)中[2]。然而IHS的融合效果取決于全色影像與多光譜影像的相關(guān)性，即當(dāng)全色影像的光譜范圍與多光譜影像的光譜范圍基本吻合時(shí)，IHS能夠取得良好的融合效果，反之則會(huì)產(chǎn)生巨大的光譜畸變[3]。隨著相機(jī)制造技術(shù)的發(fā)展，全色影像的光譜范圍由傳統(tǒng)的可見(jiàn)光譜段延伸到了近紅外譜段，這使得采用IHS進(jìn)行真彩色融合時(shí)面臨著不可避免的問(wèn)題[4]，例如將水域的顏色從藍(lán)色變?yōu)楹谏蛘邔⒅脖粎^(qū)域的顏色由深綠色變?yōu)榱辆G色。

為了解決上述問(wèn)題，一些學(xué)者引入了多尺度變換的方法到融合算法中，如小波變換等。早期使用較為成功的是Yocky等人在1996年提出的基于小波分解的影像融合方法[5]，該方法將二維離散小波變換、增量小波變換、尺度可變小波變換技術(shù)運(yùn)用于Landsat TM影像與SPOT全色影像的融合之中。通過(guò)與IHS融合算法進(jìn)行比較，Yocky等人證明小波變換能更好地保留原始影像中的細(xì)節(jié)信息和光譜信息。之后，Aiazzi等人提出了基于紋理驅(qū)動(dòng)的融合方法[6]，該方法比較了二維離散小波變換與拉普拉斯變換在融合中的效果，結(jié)果表明二維離散小波變換優(yōu)于拉普拉斯變換，基于上述結(jié)論，該方法在二維離散小波變換的基礎(chǔ)上做了進(jìn)一步的優(yōu)化處理，然而由于受制于二維離散小波變換的自身特性，該方法對(duì)于全色影像與多光譜影像之間分辨率的比例有嚴(yán)格要求。在此問(wèn)題基礎(chǔ)上，Shi等人提出了多波段小波變換方法來(lái)擺脫分辨率比例的限制[7]。不久后，張?jiān)频热送ㄟ^(guò)對(duì)IKONOS及Quick-Bird的真彩色融合試驗(yàn)發(fā)現(xiàn)無(wú)論是IHS變換或者小波變換都會(huì)造成不同程度的光譜畸變，為了抑制這種光譜畸變，張?jiān)频热颂岢隽艘环NIHS和小波變換相結(jié)合的融合算法，該方法首先將IHS變換運(yùn)用于多光譜影像，從中提取出多光譜的亮度信息，然后采用小波變換將全色影像中的高分辨率信息融入到多光譜的亮度信息中，最后進(jìn)行IHS反變換獲取最終的融合影像[3]。之后，張?jiān)频热擞殖晒⒃撍惴ㄟ\(yùn)用于高分辨率的合成孔徑雷達(dá)（SAR）影像與中低分辨率的多光譜影像融合中，同樣也取得了良好的效果[8]。上述方法在一定程度上很好地抑制了IHS算法和小波變換算法引入的光譜畸變，但是卻忽略了小波變換本身帶來(lái)的振鈴效應(yīng)[9]，并且該方法的融合準(zhǔn)則制定過(guò)程中考慮到的因素較少，因此融合結(jié)果中還是存在光譜畸變現(xiàn)象，同時(shí)考慮到融合過(guò)程中對(duì)于全色影像紋理提取的不徹底，導(dǎo)致融合結(jié)果存在紋理信息丟失的情況。基于對(duì)上述現(xiàn)象的分析，結(jié)合現(xiàn)有算法的特點(diǎn)，本文提出了基于加權(quán)小波變換和調(diào)制傳遞函數(shù)補(bǔ)償（MTFC）影像復(fù)原的融合方法，通過(guò)對(duì)比本文算法與現(xiàn)有算法作用于“高分二號(hào)”衛(wèi)星在軌影像的結(jié)果發(fā)現(xiàn)，本文算法在色彩保持和紋理細(xì)節(jié)保留上都要優(yōu)于現(xiàn)有算法。

1 基于加權(quán)小波變換及MTFC的融合算法

假設(shè)全色影像和多光譜影像配準(zhǔn)精確的情況下，本文提出的算法主要包含以下6個(gè)步驟：

1）將IHS變換作用于多光譜真彩色影像，從而獲取真彩色影像的亮度信息；

2）使用不同相位的小波變換分別作用于多光譜影像的亮度分量以及全色影像；

3）構(gòu)建新的融合準(zhǔn)則對(duì)步驟2）中獲取的不同相位的小波系數(shù)分別進(jìn)行融合處理；

4）對(duì)不同相位的融合結(jié)果中存在的畸變位置進(jìn)行定位，以其中一個(gè)相位為參考，采用替換原則校正另外一個(gè)相位融合結(jié)果中的畸變現(xiàn)象；

5）將 MTFC算法作用于無(wú)畸變的亮度成分融合結(jié)果，補(bǔ)償融合過(guò)程中造成的紋理細(xì)節(jié)信息丟失的現(xiàn)象；

6）對(duì)亮度成分的補(bǔ)償結(jié)果與步驟1中提取出來(lái)的色相成分、飽和度成分一起進(jìn)行IHS反變換，從而獲取最終的真彩色融合影像。

文獻(xiàn)[3]提出的 IHS和小波變換相結(jié)合的融合算法需要在進(jìn)行融合之前對(duì)多光譜影像的亮度分量和全色影像進(jìn)行直方圖匹配處理。如果全色影像獲取的光譜范圍僅僅包含可見(jiàn)光譜段而不包含近紅外譜段，那么此直方圖匹配能夠消除掉兩者之間微小的光譜差異，從而保證融合結(jié)果中色彩畸變的差異達(dá)到最小。然而由于全色影像獲取的光譜范圍涵蓋了近紅外譜段，導(dǎo)致了全色影像和多光譜影像的亮度分量之間大部分地物是存在微小的光譜差異，個(gè)別地物之間存在巨大的光譜差異，如水或者植被區(qū)域。在這種情況下，對(duì)多光譜影像的亮度分量和全色影像進(jìn)行直方圖匹配處理會(huì)產(chǎn)生較大的灰度畸變。為了防止出現(xiàn)上述的灰度畸變，本文提出的方法摒去直方圖匹配處理；另外，為了解決融合中產(chǎn)生的光譜畸變，提出了一個(gè)新的自適應(yīng)融合準(zhǔn)則，在該準(zhǔn)則下采用了多相位的小波變換來(lái)避免其自身引入的灰度畸變，同時(shí)引入了MTFC復(fù)原技術(shù)來(lái)補(bǔ)償融合過(guò)程中造成的細(xì)節(jié)信息損失現(xiàn)象。

1.1 自適應(yīng)融合準(zhǔn)則的構(gòu)建

通常小波變換將一幅影像分為4個(gè)部分：一個(gè)低分辨率的降采樣影像（LL），3個(gè)小波系數(shù)構(gòu)成的頻域影像（HL, HH和LH）。其中HL, HH和LH分別表示原始影像中3個(gè)方向的高頻信息。由于LL和HL、HH、LH表示不同的物理意義，因此它們之間的融合準(zhǔn)則應(yīng)該分別制定。對(duì)于HL、HH、LH而言，系數(shù)越大包含的細(xì)節(jié)信息越多，該部分融合準(zhǔn)則應(yīng)該以取最大值為基準(zhǔn)，對(duì)于 LL而言，它不僅包含影像中的紋理信息還包含有光譜信息，因此該部分的融合準(zhǔn)則應(yīng)兼顧紋理和光譜，取兩者的最優(yōu)值。基于上述分析，本文提出了一個(gè)自適應(yīng)的融合準(zhǔn)則，如式（1）所示：

從圖1可以發(fā)現(xiàn)，融合后水域區(qū)域的顏色保持了原始多光譜影像中水域的真實(shí)顏色，有效防止了融合后色彩畸變的發(fā)生。但是，同時(shí)也可以發(fā)現(xiàn)，融合后存在紋理畸變，如圖1中黃色矩形區(qū)所標(biāo)。為了消除上述紋理畸變，本文算法同時(shí)也引入了多相位小波變換的技術(shù)。

圖1 采用本文融合準(zhǔn)則融合后的影像與原始影像對(duì)比Fig.1 Fusing result by using our proposed fusion scheme

1.2 多相位小波變換方法

由于離散小波變換自身的特性，任何對(duì)于小波系數(shù)的替換都會(huì)引入紋理畸變[10]。為了解決上述問(wèn)題，作者利用大量的衛(wèi)星影像進(jìn)行試驗(yàn)，通過(guò)試驗(yàn)發(fā)現(xiàn)紋理畸變發(fā)生的位置和離散小波變換的初始相位密切相關(guān)，即不同的初始相位會(huì)產(chǎn)生不同位置的紋理畸變。另外，融合后的紋理畸變主要分為兩類(lèi)：一類(lèi)灰度躍變?yōu)檩^大的強(qiáng)畸變[11]，一類(lèi)灰度躍變?yōu)檩^小的弱畸變。強(qiáng)畸變發(fā)生的位置整體呈現(xiàn)的規(guī)律不明顯，而弱畸變的位置是絕對(duì)固定的。因此為了避免影像中的紋理畸變，只需自動(dòng)檢測(cè)出強(qiáng)畸變的位置并進(jìn)行替換，同時(shí)將固定位置的弱畸變進(jìn)行替換即可。強(qiáng)畸變的檢測(cè)試驗(yàn)見(jiàn)圖2。圖3為圖2（a）中0相位的小波變換獲取的融合列均值灰度變化曲線圖。

圖3中的列均值變化曲線的計(jì)算方法如式（3）所示：

式中 R表示灰度變化；Ii(x，y)表示第i波段、像素位置為(x，y)處的灰度值；M和N表示影像的寬和高。

圖2 采用多相位小波變換獲取的融合影像Fig.2 Fusing result by adopting multi-phase wavelet transformation

圖3 圖2(a)的列均值灰度變化曲線圖Fig.3 Variation of grayscale value in horizontal direction of Fig.2 (a)

通過(guò)圖3很容易獲取到灰度躍變最大的點(diǎn)，從而探測(cè)出影像中的強(qiáng)畸變處的位置，然后利用非零相位小波變換獲取的融合后影像的無(wú)畸變成分替換利用零相位小波變換獲取的融合后影像的畸變成分，從而達(dá)到畸變抑制的目的。

1.3 MTFC影像復(fù)原方法

由于融合后影像信息既來(lái)自于多光譜影像又來(lái)自于全色影像，全色影像中的紋理信息并不能完全被注入到融合后影像中，因此融合方法不可避免的會(huì)引起紋理信息丟失的現(xiàn)象。通過(guò)比較圖1中IKONOS全色影像和融合后影像亮度分量的MTF可以發(fā)現(xiàn)，融合后影像亮度分量的MTF值明顯要小于原始全色影像的MTF值，如圖4所示。

MTF曲線的第8個(gè)點(diǎn)即為奈奎斯特頻率處的點(diǎn)。如圖4所示，融合后影像亮度分量的所有MTF值均小于全色影像的MTF值。MTF值越小表明影像高頻信息丟失越嚴(yán)重[12]，因此在影像融合后對(duì)影像進(jìn)行復(fù)原處理是十分必要的?？紤]到MTFC是一個(gè)有效的定量復(fù)原影像細(xì)節(jié)信息的方法[13]，因此本文引入現(xiàn)有的MTFC技術(shù)到融合過(guò)程中來(lái)提高融合影像的成像品質(zhì)。MTFC復(fù)原的關(guān)鍵在于復(fù)原模型的選取，由于本文中MTFC的作用是輕度復(fù)原融合影像中丟失的細(xì)節(jié)信息，因此本文采用通用的維納濾波模型作為復(fù)原模型。

圖4 融合影像和原始全色影像的MTF測(cè)量結(jié)果比較Fig.4 MTF measurement between fused image and original panchromatic image

2 試驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，選取了“高分二號(hào)”衛(wèi)星北京紫禁城區(qū)域的全色影像和多光譜影像。“高分二號(hào)”衛(wèi)星是我國(guó)第一顆亞米級(jí)國(guó)產(chǎn)高分辨率衛(wèi)星，其全色分辨率達(dá)到0.8m，該衛(wèi)星搭載有全色/多光譜兩臺(tái)相機(jī)，于2014年8月19號(hào)成功發(fā)射，并于2015年3月10號(hào)正式投入使用。試驗(yàn)將本文算法作用于“高分二號(hào)”衛(wèi)星影像的融合結(jié)果與現(xiàn)有使用較多的 IHS融合方法、主成分分析（Principle component analysis，PCA）融合算法、線性變換融合算法、IHS變換和小波變換相結(jié)合的融合算法、Pansharpen融合算法的結(jié)果進(jìn)行比較，見(jiàn)圖5。

如圖5所示，采用IHS融合和IHS與小波變換相結(jié)合的融合方法在植被區(qū)域會(huì)產(chǎn)生明顯的色彩畸變，如圖 5（c）、（f）中紅色矩形框所示，深綠色變成了青綠色。PCA算法使得整幅影像偏紅，線性融合算法使得整幅影像偏灰暗色，Pansharpen算法雖然沒(méi)有引入灰度畸變，但是和本文算法相比，其細(xì)節(jié)信息不夠豐富。

為了進(jìn)一步定量比較幾種融合算法的區(qū)別，可利用式（4）計(jì)算定量比較指標(biāo)。具體計(jì)算方法為，在原始圖像和融合圖像中選取3×3大小的塊狀區(qū)域，分別覆蓋植被以及城區(qū)內(nèi)地物，通過(guò)計(jì)算多個(gè)小方塊內(nèi)的灰度差異D，色彩保真度S，相似度ρ，并將多個(gè)小方塊的值進(jìn)行平均處理來(lái)獲取定量比較的結(jié)果，詳細(xì)處理結(jié)果見(jiàn)表1。

式中 D值越小，說(shuō)明色彩畸變?cè)叫14]；S越大表示色彩畸變?cè)叫15]；ρ越大表示丟失的細(xì)節(jié)信息越多；P表示原始全色影像的灰度值；I表示原始多光譜影像亮度分量的灰度值；F表示融合影像的灰度值；B表示原始多光譜影像的灰度值；q表示多光譜影像含有的波段數(shù)；和分別表示融合結(jié)果影像亮度分量和全色影像的灰度均值；M和N 表示影像的寬和高。

表1 定量比較結(jié)果Tab. 1 Results of quantitative measurement

為了更加充分的驗(yàn)證本文算法的有效性，主要比較了容易發(fā)生色彩畸變的植被區(qū)域和一般不發(fā)生色彩畸變的城市區(qū)域。從表1中可以發(fā)現(xiàn)，無(wú)論是植被區(qū)域還是城市區(qū)域，本文算法的色彩保真度最大，灰度差異最小，這說(shuō)明了本文算法色彩畸變最小的特性，同時(shí)本文算法的相似度最小，這說(shuō)明了本文算法的細(xì)節(jié)保持度最優(yōu)的特性。

3 結(jié)束語(yǔ)

本文通過(guò)分析現(xiàn)有的使用較多的IHS和小波變換相結(jié)合融合算法，同時(shí)分析了現(xiàn)有的全色影像和多光譜影像的光譜特性關(guān)系，提出了一種新的基于加權(quán)小波變換和MTFC的多光譜影像融合方法。該方法提出了一種新的融合準(zhǔn)則，同時(shí)結(jié)合小波變換的特性引入了多相位小波變換的方法來(lái)抑制小波變換帶來(lái)的紋理畸變，最后本文方法引入了MTFC復(fù)原來(lái)恢復(fù)融合過(guò)程中損失的高頻信息。并利用“高分二號(hào)”衛(wèi)星影像進(jìn)行了驗(yàn)證，無(wú)論是從目視效果還是定量比較結(jié)果來(lái)看，本文算法都優(yōu)于現(xiàn)有的工程應(yīng)用中使用較為成功的方法。

致謝：感謝中國(guó)資源衛(wèi)星應(yīng)用中心提供的“高分二號(hào)”衛(wèi)星影像。

References)

[1] Rahmani S, Strait M, Merkurjev D, et al. An Adaptive IHS Pan-sharpening Methods[J]. IEEE Transaction on Geoscience and Remote Sensing Letters, 2010, 7(4): 746-750.

[2] TU T M, HUANG P S, HUNG C L, et al. A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J]. IEEE Transaction on Geoscience and Remote Sensing Letters, 2004, 1(4): 309-312.

[3] ZHANG Y, HONG G. An IHS and Wavelet Integrated Approach to Improve pan-sharpening Visual Quality of Natural Color IKONOS and QuickBird Images[J]. Information Fusion, 2004, 6(1): 225-234.

[4] Mezouar M C, Taleb N, Kpalma K, et al. An IHS-based Fusion for Folor Distortion Reduction and Plant Enhancement in IKONOS Imagery[J]. IEEE Transaction on Geoscience and Remote Sensing, 2011, 49(5): 1590-1602.

[5] Yocky D A. Multi-resolution Wavelet Decomposition Image Merger of Landsat Thematic Mapper and SPOT Panchromatic Data[J]. Photogrammetric Engineering and Remote Sensing, 1996, 62(3): 295-303.

[6] Aiazzi B, Alparone L, Baroni S, et al. Context-driven Fusion of Spatial and Spectral Resolution Images Based on Oversampled Multi-resolution Analysis[J]. IEEE Transaction on Geoscience and Remote Sensing, 2002, 40(10): 2300-2312.

[7] SHI W Z, ZHU C Q, ZHU C Y, et al. Multi-band Wavelet for Fusing SPOT Panchromatic and Multispectral Images[J]. Photogrammetric Engineering and Remote Sensing, 2003, 69(5): 513-520.

[8] HONG G, ZHANG Y, Mercer B. A Wavelet and HIS Integration Method to Fuse High Resolution SAR with Moderate Resolution Multi-spectral Images[J]. Photogrammetric Engineering & Remote Sensing, 2009, 75(10): 1213-1223.

[9] Mahmood A, Tudor P M, Oxford W. Applied Multi-dimensional Fusion[J]. The Computer Journal, 2007, 50(6): 646-659

[10] LI Y F, FENG X Y, FAN Y. Investigation of Shift Dependency Effects on Multiresolution-based Image Fusion Performance[J]. Journal of Software, 2011, 6(3): 475-482.

[11] LEE D, YANG J, Seo D. Image Restoration of the Asymmetric Point Spread Function of a High-resolution Remote Sensing Satellite with Time-delayed Integration[J]. Advanced in Space Research, 2011, 47(4): 690-701.

[12] Gruen A. Development and Status of Image Matching in Photogrammetry[J]. The Photogrammetric Record, 2012, 27(137): 36-57.

[13] HUANG B, SONG H. Spatiotemporal Reflectance Fusion via Sparse Representation[J]. IEEETransactions on Geoscience and Remote Sensing, 2012, 50(10): 3707-3716.

[14] HUANG C, ZHANG L, FANG J, et al. A Radiometric Calibration Model for the FieldImaging Spectrometer System[J]. IEEE Transactions on Geoscience and RemoteSensing, 2013, 51(4): 2465-2475.

[15] KANG L W, Hsu C Y, CHEN H W, et al. Feature-based Sparse Representation Forimage Similarity Assessment[J]. IEEE Transactions on Multimedia, 2011, 13(5): 1019-1030.

An Image Fusion Method Based on Multi-phase Wavelet Transformation and MTFC Restoration

ZHANG Bingxian HE Hongyan LI Yan

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

Image fusion is an important tool to fuse high spectral and high spatial information into one image for image interpretation and target recognition in remote sensing application. To date, many image fusion methods have been developed, among which IHS technique is the most widely used, and the wavelet fusion is the most frequently discussed in recent publications due to its obvious advantages. However, the available methods can hardly produce a satisfactory fusion result, in which spectral and spatial distortions often take place, especially when spectral properties of the same surface features are different between natural color images and panchromatic ones. To solve the problem, we propose a new method by introducing a multi-phase approach to restrain spatial distortion caused by the shift variant attribution of wavelet transformation. With suitable rules of fusion, the method uses modulation transfer function compensation (MTFC) to restore details, so that the spectral distortion can be avoided. The performance of the method was evaluated with standard images from GF-2 satellite. It was proven that the method could improve the fusion quality significantly in comparison with conventional fusion methods.

multi-phase wavelet transformation; image restoration; self-adaption fusion; space remote sensing

P236

A

1009-8518(2015)02-0069-08

10.3969/j.issn.1009-8518.2015.02.010

張炳先，男，1986年生，2014年獲武漢大學(xué)攝影測(cè)量與遙感博士學(xué)位，工程師。研究領(lǐng)域?yàn)樾l(wèi)星影像處理。E-mail：zbx@whu.edu.cn。

2015-01-03