一種基于局部方差相似度的自適應(yīng)圖像融合算法

陳孝培, 楊學(xué)志,2, 方 帥, 董張玉

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009; 2.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,河南 洛陽(yáng) 471009)

一種基于局部方差相似度的自適應(yīng)圖像融合算法

陳孝培1, 楊學(xué)志1,2, 方 帥1, 董張玉1

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009; 2.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,河南 洛陽(yáng) 471009)

針對(duì)現(xiàn)有多光譜和全色圖像融合算法空間和光譜特性難以兼顧的問(wèn)題,文章提出了一種基于局部方差相似度的自適應(yīng)圖像融合算法,通過(guò)局部方差相似度自適應(yīng)選擇融合規(guī)則來(lái)改善現(xiàn)有問(wèn)題。首先對(duì)多光譜圖像主成分分析(principal component analysis, PCA)變換后的第一主分量和全色圖像進(jìn)行小波變換;其次根據(jù)系數(shù)矩陣局部方差相似度在2選1和加權(quán)平均之間自適應(yīng)選擇小波系數(shù)融合策略;最終由對(duì)應(yīng)的逆變換獲取融合圖像。實(shí)驗(yàn)采用Landsat7和QuickBird衛(wèi)星數(shù)據(jù)進(jìn)行算法驗(yàn)證,并與基于PCA變換、小波變換(wavelet transform,WT)、基于局部算法的改進(jìn)小波算法和自適應(yīng)IHS(intensity hue saturation)算法進(jìn)行比較分析。實(shí)驗(yàn)結(jié)果表明,該方法在提高融合圖像空間和光譜質(zhì)量上,綜合性能優(yōu)越。

圖像融合;局部方差相似度;自適應(yīng);主成分分析變換;小波變換

隨著遙感技術(shù)的不斷發(fā)展,衛(wèi)星提供了大量不同空間分辨率和光譜分辨率的遙感圖像,然而由于傳感器設(shè)計(jì)的缺陷,遙感圖像的空間分辨率和光譜分辨率呈相互制約的關(guān)系,無(wú)法同時(shí)獲取高空間分辨率和高光譜分辨率的遙感圖像,但分別獲取卻相對(duì)容易。因此如何有效地融合衛(wèi)星上的全色圖像和多光譜圖像,獲取高空間分辨率的多光譜影像,對(duì)后期的分類、分割、目標(biāo)識(shí)別和檢測(cè)都具有非常重要的價(jià)值[1-3]。

目前常用的圖像融合方法大致可以分為基于成分替代的融合算法和基于多分辨率分析的融合算法2類[4]。這2類圖像融合的方法基本上遵循相同的準(zhǔn)則[5]:① 提取全色圖像中多光譜圖像不存在的高分辨率幾何信息D;② 采用合適的方法將高分辨率幾何信息D注入到低分辨率多光譜圖像中。

常用的成分替代融合算法主要包括基于主成分分析(principal component analysis,PCA)變換的圖像融合算法[6]、基于IHS(intensity,hue,scturation)變換的圖像融合算法[7-9]等。首先采用PCA變換(或IHS變換)對(duì)多光譜圖像進(jìn)行空間信息和光譜信息分離;然后采用全色圖像替換分離出第一主分量PC1(或強(qiáng)度分量I);最后通過(guò)相應(yīng)的PCA(或IHS)逆變換獲取融合結(jié)果。此類算法雖然可以很好地提高融合圖像的空間分辨率,但光譜失真現(xiàn)象嚴(yán)重;同時(shí)，因?yàn)镮HS變換只能處理三波段的多光譜圖像,所以限制了IHS變換與其他方法的結(jié)合使用。

研究者針對(duì)光譜信息丟失的缺陷提出了許多改進(jìn)方法[9-11],但是光譜失真現(xiàn)象卻依然存在。而常用的基于多分辨率分析的融合算法主要為基于小波變換的融合算法[12-13]及其改進(jìn)的算法[14-19]。大量的研究表明:基于小波變換的圖像融合算法光譜特性保持較好,然而因?yàn)榇嬖谏喜蓸硬僮?所以塊效應(yīng)明顯,空間信息丟失嚴(yán)重。針對(duì)基于PCA變換和小波變換的圖像融合算法的優(yōu)點(diǎn)和缺陷,文獻(xiàn)[20]提出了一種基于局部算法的改進(jìn)小波算法。該算法首先對(duì)全色圖像和多光譜圖像PCA變換后的PC1分量進(jìn)行小波變換；其次針對(duì)高頻和低頻小波系數(shù)分別采用2選1和加權(quán)平均的融合策略進(jìn)行系數(shù)融合；最終對(duì)融合后的小波系數(shù)依次采用小波和PCA逆變換獲取融合影像。該方法因?yàn)榻Y(jié)合了PCA和小波變換雙方的優(yōu)點(diǎn),并考慮了鄰域像素之間的依賴關(guān)系,所以在光譜特性保持和空間分辨率提高方面取得了較好的融合效果。

基于局部算法的改進(jìn)小波算法是基于一種假設(shè),即假設(shè)小波變換后的高頻分量不含有圖像的光譜信息,故針對(duì)高頻小波系數(shù)采用基于局部方差的2選1融合策略有助于提高融合圖像的空間分辨率；然而現(xiàn)實(shí)中,沒(méi)有任何一種算法可以準(zhǔn)確地將圖像的光譜信息和空間信息進(jìn)行分離[21],也就是說(shuō)高頻小波系數(shù)中除了包含圖像的大部分結(jié)構(gòu)信息外還包含部分光譜信息；同樣,低頻小波系數(shù)中也包含圖像部分結(jié)構(gòu)信息。因此針對(duì)高頻小波系數(shù)僅僅采用2選1的融合策略必然會(huì)在提高融合圖像空間分辨率的同時(shí)造成光譜信息的丟失,而對(duì)低頻小波系數(shù)采用加權(quán)平均的融合策略也會(huì)造成部分結(jié)構(gòu)信息的損失。

針對(duì)以上缺陷,本文提出了一種基于局部方差相似度的自適應(yīng)圖像融合算法,算法通過(guò)局部方差相似度自適應(yīng)確定小波系數(shù)的融合策略,針對(duì)不同區(qū)域的特性自適應(yīng)確定融合方法。針對(duì)局部方差相似度大的區(qū)域采用加權(quán)平均的小波系數(shù)融合策略,在不損失結(jié)構(gòu)信息的同時(shí)保留圖像更多的光譜特性,而局部方差相似度小的區(qū)域則采用基于局部方差的2選1融合策略,以此來(lái)提高融合圖像的空間分辨率。

1 圖像融合算法原理

1.1 基于PCA和小波變換的圖像融合算法

基于PCA變換的圖像融合算法,作為成分替代的常用融合方法,被廣泛應(yīng)用于圖像融合技術(shù)之中,其操作流程如下:① 多光譜圖像PCA變換,提取第一主分量PC1;② 采用全色圖像PAN替換第一主分量PC1;③ 結(jié)合全色圖像PAN和PC2、PC3等其他分量,通過(guò)PCA逆變換獲取融合結(jié)果。

因?yàn)椴捎萌珗D像毫無(wú)保留地替換強(qiáng)度分量,所以該方法可以獲取較高空間分辨率的融合圖像,但同時(shí)光譜失真也較為嚴(yán)重。文獻(xiàn)[22]在前人工作的基礎(chǔ)上提出了多分辨率分析(multiresolution analysis,MRA)的概念,從空間的概念上形象地描述了小波變換的多分辨率分析理論,根據(jù)尺度由大到小來(lái)觀察圖像由粗到細(xì)的特征。當(dāng)圖像處于大尺度時(shí),可觀察到圖像的輪廓、近似特征,而圖像的小尺度空間中,則可以觀察到圖像空間細(xì)節(jié)信息。文獻(xiàn)[23]研究小波變換多分辨率分析理論與應(yīng)用的過(guò)程中,由于受到Burt和Adelson塔式算法的啟發(fā),提出了塔式多分辨率小波分析與重構(gòu)的算法,又被稱為Mallat快速小波算法?？焖傩〔ㄋ惴ǖ奶岢鍪蛊涞玫搅丝焖俚陌l(fā)展并在圖像融合中得到應(yīng)用。

基于小波變換的圖像融合算法[21],通過(guò)小波變換將全色圖像分解為低分辨率的全色圖像與多層細(xì)節(jié)圖像；然后采用相同低分辨率的多光譜圖像分別替換低分辨率全色圖像,從而將全色圖像當(dāng)中的空間細(xì)節(jié)信息注入到了多光譜圖像當(dāng)中;最后利用小波逆變換獲取融合影像?；谛〔ㄗ儞Q的圖像融合算法,由于存在上采樣操作,在保留光譜特性的同時(shí)也會(huì)造成融合圖像的塊效應(yīng)[6,22],降低融合圖像的空間分辨率。

文獻(xiàn)[20]綜合考慮了PCA和小波變換的優(yōu)缺點(diǎn),通過(guò)結(jié)合基于PCA變換的融合算法的高空間分辨率特性和基于小波變換的融合算法的高光譜特性,提出了一種基于局部算法的改進(jìn)小波算法。該算法對(duì)多光譜圖像PCA變換后的第一主分量PC1和全色圖像分別進(jìn)行小波變換,針對(duì)獲取的高頻系數(shù),通過(guò)比較局部方差大小選擇融合系數(shù),而低頻系數(shù)則采用加權(quán)平均的融合策略,同時(shí)在權(quán)值設(shè)定的過(guò)程中也考慮了鄰域之間的關(guān)系；相比于傳統(tǒng)的融合算法,其在光譜保持和空間分辨率提高上具有一定優(yōu)勢(shì)。雖然該算法考慮到了高頻和低頻的不同特性,有針對(duì)性地采取了不同的融合方法,但是其忽略了高頻成分中的光譜信息和低頻成分中的結(jié)構(gòu)信息。因此,高頻系數(shù)融合時(shí),易丟失部分光譜信息,而低頻成分融合時(shí),則易損失結(jié)構(gòu)信息。

1.2 本文圖像融合算法

基于以上思想,本文提出了一種基于局部方差相似度的自適應(yīng)圖像融合算法。該算法自適應(yīng)地在2選1和加權(quán)平均的系數(shù)融合策略之間選擇,從而在高頻系數(shù)融合的過(guò)程中,可以保留更多的光譜信息,而在低頻系數(shù)融合的過(guò)程中則可以彌補(bǔ)部分結(jié)構(gòu)損失。

為了描述圖像區(qū)域的結(jié)構(gòu)信息,本文選擇局部方差[11,22]作為描述因子,計(jì)算公式為：

(1)

(2)

其中,CPC1和CPAN分別為PC1分量和全色圖像小波分解系數(shù)。

根據(jù)局部方差相似度的取值范圍自適應(yīng)決定小波系數(shù)的融合策略。因?yàn)槎喙庾V和全色圖像是經(jīng)過(guò)準(zhǔn)確配準(zhǔn)上采樣的,相同像素點(diǎn)區(qū)域描述的是同一場(chǎng)景,所以局部方差相似度越大,說(shuō)明多光譜圖像和全色圖像在該窗口內(nèi)具有越相似的結(jié)構(gòu)信息,可采用加權(quán)平均的融合策略；在不損失結(jié)構(gòu)信息的同時(shí)保留更多的光譜信息。相反,若局部方差相似度越小,則該區(qū)域內(nèi)結(jié)構(gòu)信息相差越大；為了保持圖像的空間結(jié)構(gòu)信息,根據(jù)局部方差大小采用2選1的融合策略。

本文算法流程示意圖如圖1所示,具體操作步驟為:

(1) 準(zhǔn)備階段。主要包括多光譜與全色圖像配準(zhǔn)及多光譜圖像上采樣,實(shí)驗(yàn)采用的圖像尺寸為400像素×400像素,經(jīng)過(guò)上采樣后的多光譜圖像與全色圖像具有相同的空間分辨率。

(2) 將多光譜圖像PCA變換后的第一主分量PC1與全色圖像進(jìn)行直方圖匹配,確保全色圖像的像素變化與PC1的像素值變化處于一個(gè)區(qū)間內(nèi)。

(3) 對(duì)匹配后的PC1分量和全色圖像分別進(jìn)行小波變換,提取PC1小波系數(shù)CPC1和全色圖像小波系數(shù)CPAN,其中,小波系數(shù)包含1個(gè)近似分量(低頻)和3l個(gè)細(xì)節(jié)分量(高頻),l為小波分解層數(shù),本文以2層為例,算法示意圖如圖1所示。

圖1 圖像融合算法示意圖

(4) 針對(duì)系數(shù)CPC1和CPAN,選取以點(diǎn)(x,y)為中心,半徑為3的局部區(qū)域(半徑不足3的邊緣區(qū)域取到邊緣),計(jì)算局部方差δPC1、δPAN及局部方差相似度Sim,其中相似度取值介于0～1之間,當(dāng)且僅當(dāng)局部方差δPC1、δPAN相同時(shí),相似度取值為1。根據(jù)相似度取值與閾值T的大小關(guān)系自適應(yīng)決定融合方法。當(dāng)局部方差相似度大時(shí)，點(diǎn)(x,y)采用加權(quán)平均的融合策略進(jìn)行系數(shù)融合。反之，采用基于局部方差的2選1的融合策略。計(jì)算公式如下:

(3)

(4)

(5)

其中，M(x,y)為融合后系數(shù);T為相似度閾值,實(shí)驗(yàn)中采用0.5;λ為融合置信度,同樣取值為0.5;μ為權(quán)重調(diào)節(jié)因子,用于調(diào)節(jié)融合雙方的權(quán)重占比；當(dāng)融合雙方在相同區(qū)域差別越大時(shí),調(diào)節(jié)因子取值越大,對(duì)應(yīng)的全色圖像權(quán)重越大;β為置信補(bǔ)充參數(shù),當(dāng)置信度λ不為1時(shí),置信補(bǔ)充參數(shù)參與融合。

根據(jù)區(qū)域局部方差相似度的取值,算法可以自適應(yīng)地在結(jié)構(gòu)信息增強(qiáng)和光譜特性保留之間進(jìn)行調(diào)節(jié)和權(quán)衡,在提高融合圖像空間結(jié)構(gòu)信息的同時(shí)盡量保留多光譜圖像的光譜特性。

(5) 對(duì)融合后的系數(shù)矩陣M依次采用小波逆變換和PCA反變換獲取融合多光譜圖像F,最終采用融合圖像的4、3、2波段F4、F3、F2合成偽彩色圖像,用于突出顯示綠色植被,得到高分辨率多光譜圖像。

2 實(shí)驗(yàn)及其結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證算法的有效性,采用Landsat7衛(wèi)星拍攝的美國(guó)蘇福爾斯地區(qū)的山區(qū)場(chǎng)景圖像以及QuickBird衛(wèi)星拍攝的美國(guó)舊金山地區(qū)的城市場(chǎng)景圖像分別進(jìn)行實(shí)驗(yàn),其中Landsat7數(shù)據(jù)由文獻(xiàn)[9]代碼主頁(yè)提供。該衛(wèi)星共8個(gè)波段,本文選擇波段1～4作為多光譜圖像,空間分辨率為30 m,波段8為全色圖像,空間分辨率為15 m。QuickBird數(shù)據(jù)來(lái)源于數(shù)字地球Digitalglobe,該衛(wèi)星共4個(gè)波段,分別為紅、綠、藍(lán)和近紅外波段,多光譜圖像空間分辨率為2.4 m,全色圖像的空間分辨率為0.6 m。融合前已對(duì)多光譜圖像和全色圖像進(jìn)行了準(zhǔn)確的配準(zhǔn),且多光譜圖像上采樣到與全色圖像相同的空間分辨率,取400像素×400像素的圖像用于融合。實(shí)驗(yàn)采用融合圖像的4、3、2波段合成偽彩色圖像用于突出綠色植被。

實(shí)驗(yàn)中,因?yàn)樵u(píng)估融合圖像性能的理想高分辨率多光譜圖像不存在,所以采用上采樣的原始多光譜圖像作為光譜特性評(píng)價(jià)的參考圖像[7],而原始全色圖像作為空間特性評(píng)價(jià)的參考圖像[24],如圖2、圖3所示,其中圖2a、圖3a和圖2b、圖3b分別為多光譜圖像和全色圖像。

圖2 Landsat7衛(wèi)星山區(qū)場(chǎng)景不同方法融合結(jié)果

圖3 QuickBird衛(wèi)星城市場(chǎng)景不同方法融合結(jié)果

所提方法就定性評(píng)價(jià)和定量評(píng)價(jià)分別與基于PCA變換、基于小波變換、基于局部算法的改進(jìn)小波算法和改進(jìn)的IHS融合算法[7](Adaptive IHS)進(jìn)行了比較分析,實(shí)驗(yàn)中小波變換分解層數(shù)統(tǒng)一采用3層,基于局部算法的改進(jìn)小波算法和Adaptive IHS算法所涉及參數(shù)均依照對(duì)應(yīng)參考文獻(xiàn)設(shè)置。

2.2 定性評(píng)價(jià)

全色圖像和多光譜圖像融合的最終目的是獲取一幅高空間分辨率的多光譜圖像。從圖2、圖3可以看出,5種方法的融合結(jié)果(圖2c～圖2g、圖3c～圖3g)相對(duì)于原始多光譜圖像圖2a、圖3a而言,空間分辨率得到了極大的提高,而相對(duì)于全色圖像圖2b、圖3b,目標(biāo)顏色更加豐富,辨識(shí)更加容易,故5種方法或多或少都起到了提高空間分辨率和保持光譜特性的作用。其中,基于PCA變換的融合結(jié)果相比較全色圖像,因?yàn)樵讷@取全色圖像空間信息的同時(shí)保留了部分光譜信息,所以融合圖像顯得更加清晰,然而,其簡(jiǎn)單的替換操作也造成了光譜失真,通過(guò)圖2c局部放大圖像可以看到峽谷中心區(qū)域光譜丟失較多。基于小波變換的融合結(jié)果(圖2d、圖3d),由于存在上采樣操作,局部區(qū)域放大后塊效應(yīng)明顯,空間分辨率表現(xiàn)較差。Adaptive IHS(圖2f、圖3f)光譜特性表現(xiàn)較好,但獲取的空間信息相對(duì)較少,其中,圖2f局部放大區(qū)域的峽谷淺灘細(xì)節(jié)丟失較多。本文所提方法(圖2f、圖3f)在空間細(xì)節(jié)信息表現(xiàn)方面,與基于局部算法的改進(jìn)小波算法基本相當(dāng),但是獲取的光譜信息更加豐富,融合效果更佳,進(jìn)一步驗(yàn)證了小波分解后高頻成分中依然含有光譜信息。

2.3 定量評(píng)價(jià)

為了更加準(zhǔn)確地對(duì)融合效果進(jìn)行評(píng)價(jià),研究者們提出了許多定量評(píng)價(jià)指標(biāo),本文引入3個(gè)評(píng)價(jià)指標(biāo)分別對(duì)融合圖像的光譜和空間質(zhì)量進(jìn)行定量分析。

(1) 光譜相關(guān)系數(shù)[25-26](correlation coefficient,CC)。

(6)

(2) 相對(duì)平均光譜誤差[25-26](relative average spectral error,RASE)。

(7)

其中,RMSE為均方根誤差,RMSE2(Bi)=bias2(Bi)+SD2(Bi),其中,bias為偏差;SD為標(biāo)準(zhǔn)差;Bi為第i個(gè)波段;N為多光譜圖像的波段數(shù);M為各波段均值。相對(duì)平均光譜誤差反映的是融合圖像的全局光譜質(zhì)量,RASE值越小,光譜質(zhì)量越好,其理想取值為0。

(3) 空間相關(guān)系數(shù)[24](spatial correlation coefficient,SCC)。

(8)

其中,F為融合圖像;P為全色圖像?？臻g相關(guān)系數(shù)反映的是融合圖像各波段空間細(xì)節(jié)信息與全色圖像空間細(xì)節(jié)信息之間的相關(guān)程度,其值介于-1～1之間,該值越大說(shuō)明融合后的多光譜圖像空間分辨率越高,其理想取值為1。

表1 Landsat7山區(qū)場(chǎng)景評(píng)價(jià)指標(biāo)

5種算法在QuickBird數(shù)據(jù)集上的評(píng)價(jià)結(jié)果見(jiàn)表2所列。該組數(shù)據(jù)為美國(guó)舊金山地區(qū)的城市場(chǎng)景,由于城市建筑物復(fù)雜,故空間信息豐富。由表2可知,本文方法在光譜特性保持方面具有明顯的優(yōu)勢(shì),相比其他算法而言,光譜相關(guān)系數(shù)和相對(duì)平均光譜誤差值均取得最優(yōu)結(jié)果。實(shí)驗(yàn)結(jié)果進(jìn)一步證明了算法能夠有效保留原始多光譜圖像當(dāng)中的光譜信息。在空間分辨率提高方面,基于PCA變換的圖像融合算法,由于簡(jiǎn)單地采用全色圖像替換多光譜圖像的強(qiáng)度分量,其在獲取高分辨率的同時(shí)也帶來(lái)了嚴(yán)重的光譜失真。表1、表2中LAWT表示基于局部算法的改進(jìn)小波算法。

表2 QuickBird城市場(chǎng)景評(píng)價(jià)指標(biāo)

從表2可以發(fā)現(xiàn),雖然基于PCA變換的融合算法的空間相關(guān)系數(shù)取得了最大值,但是其光譜相關(guān)系數(shù)和相對(duì)平均光譜誤差也最差,這是一種極端現(xiàn)象,有悖進(jìn)行圖像融合的目的。所提方法的空間相關(guān)系數(shù)雖然略低于基于PCA變換的算法,但在空間和光譜特性之間取得了較好的均衡。

通過(guò)對(duì)表1、表2綜合分析可以發(fā)現(xiàn)，本文算法在提高空間分辨率和保持光譜特性的綜合性能上優(yōu)于其他方法,較好地權(quán)衡了融合圖像的空間和光譜分辨率。同時(shí),本文方法也存在一個(gè)缺陷:小波系數(shù)融合的過(guò)程中,融合置信度λ、閾值T的設(shè)置采用的是實(shí)驗(yàn)經(jīng)驗(yàn)值,而對(duì)于不同類型遙感圖像,如何自適應(yīng)選擇閾值,將是后續(xù)研究工作的重點(diǎn)。

3 結(jié) 論

本文提出了一種基于局部方差相似度的自適應(yīng)圖像融合算法。針對(duì)全色圖像和多光譜圖像PCA變換后的第一主分量PC1,采用局部方差相似度自適應(yīng)選擇小波變換后的系數(shù)融合策略。對(duì)于小波系數(shù)矩陣中局部方差相似度大的系數(shù)采用加權(quán)平均的融合策略,在不損失結(jié)構(gòu)信息的同時(shí)保留更多的光譜特性；而對(duì)于局部方差相似度小的系數(shù)采用2選1的融合策略來(lái)提高融合圖像的空間分辨率。2組實(shí)驗(yàn)結(jié)果表明,本文算法在提高融合圖像空間分辨率和保留多光譜圖像的光譜特性上,綜合性能表現(xiàn)優(yōu)越。

[1] SIRGUEY P,MATHIEU R,ARNAUD Y,et al.Improving MODIS spatial resolution for snow mapping using wavelet fusion and ARSIS concept[J].IEEE Geoscience and Remote Sensing Letters,2008,5(1):78-82.

[2] 胡玉娟,曹風(fēng)云.基于圖像融合的水下彩色圖像的增強(qiáng)方法[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,36(8):948-953.

[3] 張晶晶,方勇華,陳曉寧.基于小波的偏振圖像融合算法及性能評(píng)價(jià)[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,32(7):1101-1105.

[4] 石愛(ài)業(yè),徐立中,湯敏.聯(lián)合 IHS 變換和 MAP 估計(jì)的遙感圖像融合[J].遙感學(xué)報(bào),2010,14(6):1266-1272.

[5] GARZELLI A.Pansharpening of multispectral images based on nonlocal parameter optimization[J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(4):2096-2107.

[6] SHAH V P,YOUNAN N H,KING R L.An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(5):1323-1335.

[7] CHIEN C L,TSAI W H.Image fusion with no gamut problem by improved nonlinear IHS transforms for remote sensing[J].IEEE Transactions on,2014,52(1):651-663.

[8] 王相海,魏婷婷,周志光.Contourlet 方向區(qū)域相關(guān)性的遙感圖像融合[J].遙感學(xué)報(bào),2010,14(5):911-916.

[9] RAHMANI S,STRAIT M,MERKURJEV D,et al.An adaptive IHS pan-sharpening method[J].IEEE Geoscience and Remote Sensing Letters,2010,7(4):746-750.

[10] CHOI M.A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(6):1672-1682.

[11] CHOI M J,KIM H C,CHO N I,et al.An improved intensity-hue-saturation method for IKONOS image fusion[J].Intemational Journal of Remote Sensing,2006,13(5):1-10.

[12] OTAZU X,GONZALEZ-AUDICANA M,FORS O,et al.Introduction of sensor spectral response into image fusion methods.application to wavelet-based methods[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(10):2376-2385.

[13] PAJARES G,De LA CURZ J M.A wavelet-based image fusion tutorial[J].Pattern recognition,2004,37(9):1855-1872.

[14] TIAN J,CHEN L.Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure[J].Signal Processing,2012,92(9):2137-2146.

[15] MAHYARI A G,YAZDI M.Remote sensing image fusion using Gramian as a rule of fusion[J].International Journal of Electronics,2011,98(3):279-287.

[16] 徐小軍,王友仁,陳帥.基于下采樣分?jǐn)?shù)階小波變換的圖像融合新方法[J].儀器儀表學(xué)報(bào),2014,35(9):2061-2069.

[17] 張?chǎng)?陳偉斌.Contourlet變換系數(shù)加權(quán)的醫(yī)學(xué)圖像融合[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(1):133-140.

[18] 石智,張卓,岳彥剛.基于 Shearlet 變換的自適應(yīng)圖像融合算法[J].光子學(xué)報(bào),2013,42(1):115-120.

[19] 劉斌,喬雙梁,魏艷萍.基于采樣三通道不可分小波的多光譜圖像融合[J].儀器儀表學(xué)報(bào),2015,36(3):645-653.

[20] DONG Zhangyu,WANG Zongming,LIU Dianwei,et al.SPOT5 multi-spectral (MS) and panchromatic (PAN) image fusion using an improved wavelet method based on local algorithm[J].Computers & Geosciences,2013,60:134-141.

[21] LU S L,ZOU L J,SHEN X H,et al.Multi-spectral remote sensing image enhancement method based on PCA and IHS transformations[J].Journal of Zhejiang University-SCIENCE A,2011,12(6):453-460.

[22] MALLAL S G.A theory for multiresolution signal decomposition:the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1989,11(7):674-693.

[23] NUNEZ J,OTAZU X,FORS O,et al.Multiresolution-based image fusion with additive wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,1999,37(3):1204-1211.

[24] KIM Y.Fusion techniques comparison of geoeye-1 imagery[J].Korean Journal of Remote Sensing,2009,25(6):517-529.

[25] 時(shí)海亮,方敏,梁錦錦.基于非亞采樣 Contourlet 和 SWT 的多光譜圖像和全色圖像的融合算法[J].電子與信息學(xué)報(bào),2009,31(1):124-128.

[26] GONZALEZ-AUDICANA M,SALETA J L,CATALAN R G,et al.Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,2004,42(6):1291-1299.

(責(zé)任編輯 張 镅)

An adaptive image fusion algorithm based on local variance similarity

CHEN Xiaopei1, YANG Xuezhi1,2, FANG Shuai1, DONG Zhangyu1

(1.School of Computer and Information, Hefei University of Technology, Hefei 230009, China; 2.Science and Technology on Electro-optic Control Laboratory, Luoyang 471009, China)

Given that current multispectral and panchromatic image fusion methods are unable to balance the spatial and spectral characteristics, an adaptive image fusion algorithm based on local variance similarity is proposed, which can adaptively select fusion strategy based on local variance similarity to improve the existing problem. Firstly, the first principal component of multispectral image after principal component analysis(PCA) transform and panchromatic image are processed by wavelet transform. Then the local variance similarity of each pixel point of wavelet coefficient matrix is calculated. Secondly, the fusion strategy is adaptively selected between alternatives and weighted average according to similarity. Finally, the fusion result is obtained by inverse transformation. The experiments are conducted by using Landsat7 and QuickBird satellite data, and a comparison with PCA transform based fusion algorithm, wavelet transform(WT) based fusion algorithm, new wavelet method based on local algorithm and adaptive intensity hue saturation(IHS) fusion algorithm is made. The experimental results show that the comprehensive performance of the proposed method in improving spatial and spectral quality of fusion image is better.

image fusion; local variance similarity; adaptive; principal component analysis(PCA) transform; wavelet transform(WT)

2015-08-31

國(guó)家自然科學(xué)基金資助項(xiàng)目(61371154;41076120;61271381;61102154);光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室和航空科學(xué)基金聯(lián)合資助項(xiàng)目(201301P4007);中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(2012HGCX0001;2014HGBZ0362)和合肥工業(yè)大學(xué)青年教師創(chuàng)新基金資助項(xiàng)目(2015HGQC0193).

陳孝培(1989-),男,安徽合肥人,合肥工業(yè)大學(xué)碩士生; 楊學(xué)志(1970-),男,安徽合肥人,博士,合肥工業(yè)大學(xué)教授，博士生導(dǎo)師; 方 帥(1978-),女,安徽壽縣人,博士,合肥工業(yè)大學(xué)教授，碩士生導(dǎo)師.

10.3969/j.issn.1003-5060.2016.12.007

TP751.1

A

1003-5060(2016)12-1619-07