一種新的IHS圖像多次融合的方法

賀國棟+石躍祥+龔偉

摘?要：本文針對傳統(tǒng)的IHS變換圖像融合方法在處理高分辨率圖像和多光譜圖像融合時出現(xiàn)的光譜退化現(xiàn)象的不足，對已有的傳統(tǒng)和改進(jìn)的IHS圖像融合算法進(jìn)行了研究，提出了一種新的基于IHS變換的像素級多次融合的方法框架，我們在將IHS變換后匹配得到的I分量和高分辨率圖像之間的替換策略進(jìn)行改進(jìn)，采用兩種或者多種互補的像素級圖像融合算法進(jìn)行圖像的多次融合得到新的I分量，然后采用IHS逆變換獲得最后的融合圖像，同時實現(xiàn)了傳統(tǒng)IHS變換融合和SWT變換融合，根據(jù)主觀判定和客觀評價指標(biāo)對融合結(jié)果進(jìn)行了評價。實驗仿真結(jié)果，本文方法在融合質(zhì)量以及視覺效果上都有相當(dāng)不錯的提高。

關(guān)鍵詞：IHS;圖像融合;多次融合

中圖分類號?? 文獻(xiàn)標(biāo)識碼??A

A?NEW?MULTIPLE?FUSION?METHOD?OF?IHS-IMAGE

He?Guodong*??Shi?Yuexiang??Gong?Wei

（College?of?Information?Engineering?of?Xiangtan?University，?Xiangtan?411105，Hunan，China）

Abstract：Based?on?the?shortage?of?the?spectral?degradation?phenomenon?occurred?in?process?of?dealing?with?the?fusion?of?the?high-definition?picture?and?the?multispectral?image?by?the?traditional?image?fusion?method?of?IHS?transformation，?this?paper?studies?the?existing?IHS?image?fusion?algorithm?and?the?modified?one?and?then?puts?forward?a?new?pixel?multiple?fusion?method?based?on?IHS?transformation.?We?improves?the?replacement?policy?between?the?I?component?and?the?high-definition?picture?gained?following?IHS?transformation，?adopts?two?or?multiple?complementary?pixel?image?fusion?algorithms?to?get?the?new?I?component，?and?then?adopts?IHS?inverse?transformation?to?get?the?final?blending?image.?We?also?evaluatethe?fusions?results?according?to?the?subjective?judgement?and?objective?evaluation?index..?Results?of?simulated?test?show?that，?compared?the?traditional?IHS?method?with?the?SWT?transform?fusion?method，?the?method?makes?the?fusion?quality?and?the?visual?effect?gain?a?quiet?great?improvement.

Key?word：IHS?;image?fusion?;multiple?fusion

1??引言部分

隨著傳感器技術(shù)的快速發(fā)展，圖像遙感技術(shù)的應(yīng)用已經(jīng)被廣泛的應(yīng)用到了社會實踐的各個領(lǐng)域。使用衛(wèi)星地圖給我們?nèi)祟惖纳钐峁┝烁鞣N各樣的便利。但是，傳統(tǒng)的只從單一的傳感器上獲得的信息不夠豐富，也不夠準(zhǔn)確。很多情況下，我們需要從多個傳感器所獲取的圖像中綜合相關(guān)的信息，這顯然需要圖像融合技術(shù)來實現(xiàn)。從二十世紀(jì)七十年代開始，簡單的傳統(tǒng)融合方法伴隨著其他技術(shù)的發(fā)展已經(jīng)開始出現(xiàn)。圖像融合技術(shù)也逐漸地發(fā)展到了今天，已經(jīng)跨越到了多尺度、多分辨分析的圖像融合框架上。相比于國外圖像融合技術(shù)的發(fā)展，國內(nèi)起步比較晚，許多科研機構(gòu)和學(xué)術(shù)研究員們只能借鑒國外的先進(jìn)技術(shù)并不斷地改進(jìn)和創(chuàng)新，在如我國星載和機載SAR圖像融合方面[1]取得了不小的成效。目前的圖像融合技術(shù)基于不同角度有多種劃分，我們按照對數(shù)據(jù)源圖像的處理程度可以將其劃分為像素級別融合、特征級別融合和決策級別融合?[2]。

傳統(tǒng)的IHS變換的融合方法憑借其實現(xiàn)起來簡單，在處理遙感圖像的融合中，能明顯地提高多光譜圖像的空間分辨率，達(dá)到較為理想的效果，使得該融合算法得到廣泛的應(yīng)用[3][4]。本文研究了傳統(tǒng)的IHS變換融合以及一些改進(jìn)的IHS變換融合方法，針對已有方法在融合效果上有光譜退化的不足，提出了一種新的基于IHS變換的像素級多次融合的方法框架，并進(jìn)行了圖像融合仿真驗證，選取了主觀和客觀的雙層指標(biāo)對多種融合方法的結(jié)果進(jìn)行了評價。本文的研究工作是基于像素級的融合方法。

2???IHS變換融合算法

目前，在處理彩色圖像的空間表示上，除了RGB顏色模

型被大家使用外，IHS顏色模型也得到了廣泛的使用，這是因為后者與人感受顏色的方式更為相近，有著更好的視覺表達(dá)。文獻(xiàn)[7]中詳細(xì)描述了從RGB空間到IHS空間的相互變換。彩色圖像在IHS顏色空間里，I用以表示圖像的強度（以下簡稱I分量），主要表示圖像的空間分辨率;H表示色調(diào)（以下簡稱H分量）;S表示飽和度（以下簡稱S分量），H與S主要表示圖像的光譜分辨率。IHS變換融合的算法框架是將原始的多光譜圖像經(jīng)過IHS變換矩陣的運算得到各個分量，再將原始的高分辨率圖像直接代替I分量作為新的分量，然后使用逆變換矩陣得到高空間分辨率的多光譜融合圖像。傳統(tǒng)的IHS變換融合算法其步驟如下：

步驟1??將多光譜圖像中在RGB顏色空間的基礎(chǔ)上與IHS的轉(zhuǎn)換矩陣進(jìn)行運算，這樣就得到了I、H和S三個分量，并與高分辨率圖像進(jìn)行相應(yīng)的配準(zhǔn)處理;

步驟2??將高分辨率圖像直接替換第一步中得到的亮度分量I，成為新的分量I;

步驟3?將第一步中的光譜系數(shù)（H、S分量）與第二步中的亮度系數(shù)（I分量）進(jìn)行逆變換的運算在轉(zhuǎn)換到RGB空間表示。

傳統(tǒng)的IHS變換融合算法，在替換策略上，使用高分辨率圖像直接替換了多光譜圖像中的I分量，但是，由于成像原理和時間的不同，使的倆者的相關(guān)性較差，導(dǎo)致最終的融合圖像有光譜退化的現(xiàn)象;同時，IHS變換后的三個分量只是相對獨立，并不能完全隔離I分量的光譜信息，實際上在I分量上仍會保留一些光譜信息，直接進(jìn)行替換會造成這些信息的丟失，產(chǎn)生一定的光譜扭曲現(xiàn)象。

3??基于多次融合的IHS變換融合方法

為得到高分辨率的多光譜圖像，我們在替換策略上需要保留多光譜圖像的I分量，因此需要改變I分量與高分辨率圖像的融合策略，針對不同融合算法的優(yōu)缺點，通過對倆種或多種算法的融合結(jié)果再進(jìn)行像素選擇融合得到最終的融合圖像[8]，即基于多次融合的想法進(jìn)行改進(jìn)。

圖1?基于IHS變換的多次融合的算法框圖

多次融合效果的好壞主要取決于融合算法的選取，我們考慮已有的像素級融合算法之間的互補性進(jìn)行選取，本文中，我們在融合算法1、算法2上分別使用加權(quán)平均融合和梯度選大融合算法，加權(quán)平均融合模糊了圖像的邊緣和輪廓，而梯度選大融合算法是選取清晰的邊緣作為融合圖像的邊緣，彌補了加權(quán)平均算法的缺點，再通過像素選擇算法選取對比度大、清晰的像素作為最終融合的結(jié)果。

3.1??加權(quán)平均算法

算法的思想是將倆幅已配準(zhǔn)圖像的對應(yīng)像素的灰度值進(jìn)行加權(quán)運算，得到新的灰度圖像。假設(shè)I分量圖像和高分辨率圖像P，加權(quán)平均融合過程可表示為：

3.2??梯度選大融合算法

我們依循所選取的兩種算法之間有互補的思想，為了彌補平均融合算法對圖像過于平滑的處理，使用梯度算法是為了更好的提取到圖像的邊緣信息，因此，我們首先考慮方向和幅度兩個特征值。通常，像素的變化平緩的是沿圖像邊緣方向，邊緣上的這種變化可以用算子檢測出來。Roberts算子、Sobel算子和Prewitt算子是常用的一階導(dǎo)數(shù)檢測算子;我們經(jīng)常使用的Laplace算子是基于二階導(dǎo)數(shù)的邊緣檢測算子。在實際的運算中，我們選取一個3*3的模板，將圖像中的每個像素點與我們選取的模板作矩陣運算，同時規(guī)定一個閾值用以提取圖像的邊緣。

本文采用的是一階梯度算子，對于圖像，我們定義它的梯度為： ? ? ? ? ? （4）

如果圖像在該處存在邊緣，則會存在較大的幅度值;而圖像中較光滑的部分，灰度值的變化就會較小，有較小的幅度值

梯度選大融合算法的思想是通過比較像素點的幅度值，選取相應(yīng)像素點幅度值大的作為融合圖像的像素值，其過程為：

通過上述可以得到最終的融合后圖像。

4??實驗結(jié)果及分析

本文為驗證改進(jìn)算法的正確性和圖像融合效果，對來自于多個區(qū)域、不同衛(wèi)星的遙感圖像進(jìn)行了編程融合實驗。算法由Matlab7.1編程實現(xiàn)，計算機配置為：CPU為Intel（R）Core（TM）i5-2320，主頻3.00GHz，內(nèi)存DDR3—4GB。圖2中（a）是某區(qū)域的多光譜原始圖像，（b）是對應(yīng)區(qū)域的高分辨率原始圖像，圖（c）（d）（e）的融合結(jié)果分別是傳統(tǒng)的IHS變換融合、SWT變換融合以及本文論述的方法所獲得的結(jié)果。

（a）原始多光譜圖像?????????????????（b）原始高分辨率圖像

（c）傳統(tǒng)IHS算法的融合結(jié)果???????（d）小波變換（SWT）融合結(jié)果

（e）本文算法的融合結(jié)果

（a）原始多光譜圖像?????????????????（b）原始高分辨率圖像

（c）傳統(tǒng)IHS算法的融合結(jié)果???????（d）小波變換（SWT）融合結(jié)果

e）本文算法的融合結(jié)果

圖2?不同算法下的遙感圖像融合效果

主觀評價上，三種方法都使得多光譜圖像的清晰度得到了較大的提高，是融合圖像的信息更加豐富了，更利于機器的圖像處理和人為地識別。如（a）中原本不清晰的建筑邊緣和田地紋理在融合圖像中都得到了增強。但（c）中樹林的部分色度信息與（a）相比變化較大，即傳統(tǒng)方法的融合記過產(chǎn)生了一定的光譜退化現(xiàn)象。而（d）（e）中的色度與原始圖像更加相近，說明SWT變換融合方法和本文提出的方法不僅提高了多光譜圖像空間分辨率，而且同傳統(tǒng)的方法比較更好地保持了原始圖像的光譜信息。

客觀評價上，本文主要采用了以下的客觀定量評價指標(biāo)：

（1）信息熵。圖像信息熵（EN）主要用來反映圖像攜帶的信息量。熵值越大，說明擁有的信息量越多。 （10）

（4）光譜扭曲度Dis。主要用來衡量融合圖像與原始多光譜圖像的之間的色度詫異程度。光譜扭曲度是光譜信息差異的直接反映，其值越大，表示光譜失真度越高，融合圖像的質(zhì)量就越差，反之表示融合圖像的質(zhì)量就高高。具體計算公式如下：

（5）空間清晰度SF。空間清晰度（SF）可以用來衡量圖像的清晰程度。SF定義如下：

表1?圖像效果的客觀評價指標(biāo)一

熵??????標(biāo)準(zhǔn)差?????均值

傳統(tǒng)IHS??????4.4001???0.0016???105.3530

SWT變換??????4.3224???0.0016????98.5389

本文算法??????4.7720???0.0023???115.2028

由表1可知，本文采用的融合方法相比于傳統(tǒng)的IHS變換融合和SWT變換融合方法，融合圖像信息熵提高最大;本文的融合方法的均值效果最好，其亮度更適合人眼的視覺;標(biāo)準(zhǔn)差的值也比傳統(tǒng)IHS變換和SWT變換的圖像要高，說明改進(jìn)的算法很好的保存了圖像細(xì)節(jié)紋理信息。

表2圖像效果的客觀評價指標(biāo)二

光譜扭曲度Dis??????????空間清晰度SF

R????G????B?????AVE

傳統(tǒng)IHS??61.29??63.71??63.90??62.97?????41.1396

SWT變換??31.22??33.73??34.98??33.31?????38.0312

本文算法??42.20??42.38??42.40??42.32?????50.8795

由表2可知，本文采用的方法，其Dis值小于傳統(tǒng)方法，說明本文方法對光譜信息的保持能力明顯優(yōu)于傳統(tǒng)方法，該方法的圖像SF值最高，說明其圖像的整體清晰度好于傳統(tǒng)的IHS方法和SWT變換方法。雖然在保持光譜信息上，SWT變換融合結(jié)果更好一些，但綜合多項的客觀評價指標(biāo)，該方法得到的融合圖像無論從獲得信息量，符合人眼的視覺效果，還是對光譜信息的保存，圖像清晰度的提高來講，都達(dá)到了比較好的效果。

5??結(jié)束語

本文主要研究了基于傳統(tǒng)的IHS變換圖像融合算法在遙感圖像融合中的應(yīng)用，對傳統(tǒng)的融合算法進(jìn)行了改進(jìn)，提出了一種基于多次融合思想的融合框架，通過主觀評價以及客觀評價指標(biāo)信息熵、均值、光譜扭曲度、空間清晰度等對多種融合方法的結(jié)果進(jìn)行了比較和分析。經(jīng)過仿真后，結(jié)果表明，本文提出的方法在傳統(tǒng)的IHS融合方法的基礎(chǔ)上，更好的保留了原始多光譜圖像的光譜特性，又能使得融合效果在信息量、亮度等方面獲得提高，效果更令人滿意。

參考文獻(xiàn)

[1]?周前祥，敬忠良，姜世忠.多遠(yuǎn)遙感影像融合研究現(xiàn)狀與展望[J].宇航學(xué)報，2002（5）：89-94.

[2]?何友，王國紅，陸大金等.多傳感信息融合與應(yīng)用[M].北京：電子工業(yè)出版社，2000.

[3]?C?Pohl，?J?L?Van?Genderen.?Multisensor?image?fusion?in?remote?sensing：concepts，?methods?and?applications[J].?Int?J?Remote?Sensing，?1998，19（5）：823～854.

[4]?C?M?Chen，?G?F?Hepner，R?R?Forster.Fusion?of?hyperspectral?and?rader?data?using?the?IHS?transformation?urban?surface?features[J].?ISPRS?Journal?of?Photogrammetry&RemoteSensing，2003，58：19～30.

[5]?P.?S.?Chavez，?S.?C.?Sides，?J.?A.?Anderson，?Comparison?of?three?different?methods?to?merge?multi-resolution?and?multispectral?data：?Landsat?TM?and?SPOT?panchromatic[J]，Photogrammetric?Engineering?and?Remote?Sensi，?1991：295～303.

[6]?S.?T.?Li?and?B.?Yang，?Multi-focus?image?fusion?using?region?segmentation?and?spatial?frequency[J]，?Image?Vis.?Compute，?2008：?971–979.

[7]?Te-Ming?Tu，?Shun-Chi?Su，?Hsuen-Chyun?Shyu?et?.A?new?look?at?IHS-like?image?fusion?methods[J].?Information?Fusion，?2001（2）：177～186.

[8]?王學(xué)偉，王世立.一種圖像融合的新方法[J].激光與紅外，2012（9）：145～150.

[9]?時海亮.基于多分辨率分析的像素級多源圖像融合[D].西安：西安電子科技大學(xué)，2008.

[10]?蘇媛媛，李英杰.遙感圖像融合算法與質(zhì)量評價討論[J].工程勘察，2012.