一種新的多光譜和全色圖像的融合算法*

李龍澍，朱 超（安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601)

遙感圖像融合是一種通過(guò)數(shù)字圖像處理技術(shù)來(lái)融合兩個(gè)或者兩個(gè)以上遙感圖像的技術(shù)。多光譜和全色圖像的融合是遙感圖像融合的一個(gè)特殊應(yīng)用領(lǐng)域。一般地，圖像融合可分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合。目前,很多圖像融合方法都是在像素級(jí)融合方法基礎(chǔ)上發(fā)展起來(lái)的,如HIS變換[1]、拉普拉斯金字塔變換和離散小波變換[2-3]等。

由于HIS變換融合方法計(jì)算簡(jiǎn)單，能極大地提高多光譜圖像的空間分辨率，因而得到廣泛的應(yīng)用[1]。離散小波變換融合方法[2]直接舍棄了全色圖像的低頻分量,容易出現(xiàn)分塊效應(yīng)。平移不變離散小波變換克服了小波變換在分解信號(hào)時(shí)先濾波后抽樣，重建信號(hào)時(shí)先插值后濾波的弊端，使得融合后的圖像降低了偏差系數(shù)，提高了清晰度和空間分辨率[4-5]。本文結(jié)合了平移不變離散小波變換和HIS變換的優(yōu)點(diǎn)，對(duì)多光譜圖像的HIS變換的分量與全色圖像進(jìn)行SIDWT分解，然后高低頻子圖采用基于鄰域特征值的融合規(guī)則，選取對(duì)應(yīng)高低頻系數(shù)，最后將SIDWT逆變換的結(jié)果進(jìn)行HIS逆變換轉(zhuǎn)換到RGB空間，得到最終的圖像融合結(jié)果。

1 HIS變換和SIDWT變換

1.1 HIS變換

HIS反映了人的視覺(jué)系統(tǒng)感知色彩的方式，以色調(diào)(H)、飽和度(S)和強(qiáng)度(I)3種基本特征量來(lái)感知顏色,而且這三要素相關(guān)性很低。

式(1)、式(2)、式(3)為 HIS正變換公式，通過(guò) HIS正變換可將圖像變換到HIS空間中，得到H、S和I分量；式(4)是HIS逆變換公式，通過(guò)逆變換可將圖像從 HIS空間轉(zhuǎn)換到RGB空間。

1.2 SIDWT變換

SIDWT正變換就是在小波變換時(shí)將輸入序列分解為平移不變的小波來(lái)表示。SIDWT的每一步都將輸入圖像分解成小波序列 wi(n)和尺度序列 si(n)。將 wi(n)存儲(chǔ)起來(lái)，而si(n)作為下一層分解的輸入。分解公式為：

其中，s0(n)=f(n)。相對(duì)于標(biāo)準(zhǔn)的 DWT分解框架，SIDWT丟棄了一個(gè)高度冗余小波表示的子采樣。通過(guò)在濾波器原型g(k)和 h(k)的序列間插入合適的 0值，即可得到第i 層的高通濾波器 g(2i·k)和低通濾波器 h(2i·k)。

SIDWT的逆變換是將具有平移不變性的小波序列wi(n)和尺度 序列 si(n)分別與合適的重 構(gòu)濾 波器g?(2i·k)和h?(2i·k)求卷積，SIDWT 的逆變換公式為：

通過(guò)式(7)可實(shí)現(xiàn)重構(gòu)輸入序列f(n)。對(duì)于二維圖像，其分解方法可以通過(guò)一維的分解方式分別在圖像的行和列上連續(xù)進(jìn)行得到。

2 基于鄰域特征的圖像融合新方法

HIS顏色空間的I分量是圖像的強(qiáng)度表現(xiàn)，SIDWT能保留圖像的邊緣、輪廓和紋理等結(jié)構(gòu)信息。因此，將HIS變換后的I分量與全色圖像進(jìn)行SIDWT變換，得到分解后的第j層低頻部分和高頻部分、、分別對(duì)低頻和高頻部分采取對(duì)應(yīng)的融合規(guī)則,最終獲取融合結(jié)果。

2.1 融合規(guī)則

在像素級(jí)融合中，融合規(guī)則一般采取對(duì)單個(gè)像素進(jìn)行計(jì)算，使圖像的每個(gè)像素點(diǎn)都孤立起來(lái)，沒(méi)有考慮到區(qū)域結(jié)構(gòu)的相似性，丟失了與周圍像素點(diǎn)的相關(guān)性。因此，本文采取基于鄰域像素特征的規(guī)則，這種規(guī)則是使用一個(gè)像素的一些鄰域特征來(lái)指導(dǎo)該位置的系數(shù)選擇。

2.1.1 低頻部分的融合規(guī)則

本文采用參考文獻(xiàn)[6]的融合規(guī)則和邊緣分割的融合規(guī)則，以一個(gè)像素點(diǎn)為中心點(diǎn)的3×3窗口來(lái)考慮每個(gè)像素點(diǎn)。低頻系數(shù)F(x,y)的融合公式為：

對(duì)于權(quán)重系數(shù) λ1、λ2，對(duì)區(qū)域采用 Sobel邊緣檢測(cè)算子進(jìn)行圖像分割的方法來(lái)確定。假設(shè)B(x,y)為經(jīng)過(guò)Sobel算子求得的像素點(diǎn)(x,y)的邊緣特性值。對(duì)于檢測(cè)結(jié)果中的孤立點(diǎn)，可能是由噪聲引起的，可忽略不記。因此，去除孤立點(diǎn)的公式為：

其中，B(x,y)為通過(guò)Sobel邊緣檢測(cè)算子檢測(cè)圖像的邊緣特征值。

根據(jù)整合后的分割結(jié)果來(lái)匹配兩個(gè)子圖的邊緣信息，分為4種情況：

對(duì)于情況(1)和情況(2)，像素點(diǎn)只是其中一幅子圖的邊緣特征值，故分別是多光譜圖像和全色圖像所占的權(quán)重系數(shù)大；對(duì)于情況(3)，像素點(diǎn)均是兩幅子圖的邊緣特征值，故兩者所占的比例相同;情況(4)像素點(diǎn)均不是兩幅子圖的邊緣特征值。因此，設(shè)置融合權(quán)重系數(shù)如下：情 況 (1)取 λ1=0.25，λ2=0.75； 情 況 (2)取 λ1=0.75，λ2=0.25；情況(3)取 λ1=0.5，λ2=0.5；情況(4)的權(quán)重選擇采用對(duì)應(yīng)兩幅圖像的平均梯度的比重作為權(quán)重系數(shù)的處理方法。本文通過(guò)計(jì)算兩幅逼近圖像的鄰域平均梯度來(lái)確定權(quán)重系數(shù)，平均梯度計(jì)算公式為：

其中，M、N分別為區(qū)域窗口大小的長(zhǎng)度和寬度，這里采用3×3的窗口。而權(quán)重系數(shù)的計(jì)算公式為：

2.1.2 高頻部分的融合規(guī)則

高頻部分包含了圖像的顯著細(xì)節(jié)特征，在高頻部分的融合規(guī)則中，計(jì)算像素領(lǐng)域的方差來(lái)確定高頻系數(shù)的選擇。

2.2 融合步驟

本文算法的融合步驟如下。

(1)將多光譜圖像進(jìn)行HIS分解,得到H、S和I分量。

(2)按分量I對(duì)全色圖像的加權(quán)灰度圖像進(jìn)行直方圖匹配，即將加權(quán)灰度圖像映射到分量I的直方圖空間，得到與 I相似直方圖的 I1。

(3)將分量I和匹配后的I1按照一定的融合規(guī)則,進(jìn)行SIDWT融合，得到融合結(jié)果Inew。

(4)將 H、S、Inew進(jìn)行 HIS逆變換轉(zhuǎn)換到 RGB空間，得到融合后的圖像。

融合的流程圖如圖1所示。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 多光譜和全色圖像的融合結(jié)果

采用已配準(zhǔn)的某場(chǎng)景低分辨率多光譜圖像和高分辨率全色圖像作為源圖像實(shí)驗(yàn)數(shù)據(jù)進(jìn)行融合，結(jié)果如圖2所示。

從圖2可以看出，HIS變換算法雖然分辨率得到了提高，但是產(chǎn)生了不同程度的光譜畸變；DWT算法由于在低頻處理時(shí)丟失了全色圖像的低頻信息，導(dǎo)致融合圖像中僅體現(xiàn)了較好的光譜信息，但是全色圖像的分辨率沒(méi)有有效地提高；SIDWT算法提高了圖像的細(xì)節(jié)輪廓信息；使用本文算法得到的融合圖像充分利用了多光譜圖像的光譜信息和全色圖像的細(xì)節(jié)信息。

3.2 融合結(jié)果質(zhì)量評(píng)價(jià)

本文采用了均值、標(biāo)準(zhǔn)差、信息熵、平均梯度、空間頻率和互信息常用的幾種客觀評(píng)價(jià)指標(biāo),對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，結(jié)果如表1所示。可以看出SIDWT方法的標(biāo)準(zhǔn)差、信息熵、平均梯度和空間頻率這些指標(biāo)統(tǒng)計(jì)值優(yōu)于HIS和DWT方法，但是均值和互信息方面沒(méi)有得到有效提升；而本文方法在標(biāo)準(zhǔn)差、信息熵、平均梯度和空間頻率方面高于其他方法的融合結(jié)果，而不足之處就是互信息的統(tǒng)計(jì)值低于HIS變換。

表1 本文圖像不同融合算法的融合質(zhì)量評(píng)價(jià)結(jié)果

本文結(jié)合了平移不變離散小波變換和HIS變換的優(yōu)點(diǎn)，對(duì)多光譜圖像的HIS變換的I分量與全色圖像進(jìn)行SIDWT分解，然后對(duì)得到的低頻部分按照區(qū)域信息量、邊緣信息和區(qū)域梯度等特征進(jìn)行低頻部分的融合，而對(duì)于高頻部分采用局部方差最大的原則選取高頻系數(shù)，最后將HIS逆變換轉(zhuǎn)換到RGB空間，得到最終的圖像融合結(jié)果。通過(guò)對(duì)比實(shí)驗(yàn)可以看出，本文方法的融合結(jié)果較理想，獲得的融合圖像綜合了多光譜與全色遙感圖像的互補(bǔ)性信息，在信息量、清晰度方面更優(yōu)，豐富了光譜信息。

[1]黃金,潘泉,皮燕妮.基于區(qū)域特征加權(quán)的 HSI圖像融合方法[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(6)：39-41.

[2]晁銳,張科,李言俊.一種基于小波變換的圖像融合算法[J].電 子 學(xué) 報(bào) ,2004,32(5)：750-753.

[3]任青,韓焱.基于小波鄰域信息量的圖像融合[J].微型機(jī)與 應(yīng) 用,2010,29(4)：62-64.

[4]ROCKINGER O.Image sequence fusion using a shift-invariant wavelet transform[C].Processings of IEEE International conference on Image Processing,1997.

[5]余連生,文貢堅(jiān),李智勇.基于 SIDWT的遙感圖像融合算法[J].計(jì) 算 機(jī) 工 程 ,2011,37(17)：197-199.

[6]TIAN J,CHEN J,ZHANG C.Multispectral image fusion based on fractal feature[C].Prosceedings of SPIE,2004,5308：824-832.