結合IHS與自適應濾波的SFIM影像融合方法

唐育林，黃登山，陳抒錄，陳朋明

（1.湘潭大學土木工程學院，湖南 湘潭 411105；2.湘潭市勘測設計院，湖南 湘潭 411100）

0 引 言

隨著我國不同高分辨率的遙感衛(wèi)星陸續(xù)投入使用，遙感數據也變得日益豐富［1-2］。由于受到衛(wèi)星存儲空間與衛(wèi)星-地面觀測數據傳輸速度的限制，遙感衛(wèi)星一般采用互補的觀測方式，即全色影像和多光譜影像共存［3-6］。相同場景下的多光譜影像比全色單波段影像的空間分辨率低。為了同時獲得這2 種影像特征，研究者在光譜信息和空間分辨率之間進行權衡，提出了各種全色-多光譜影像融合方法。

根據融合方法作用域的不同，可以分為空間域和頻率域［7-8］這2 類，空間域方法又可細分為系數增強與成分變換［8-10］。SFIM（Smoothing Filter-based Intensity Modulation）屬于系數增強方法，利用全色影像與低分辨率全色影像的比值作為多光譜影像的調制系數以獲得融合影像，其空間信息融入質量不高。Brovey［11］變換屬于系數增強方法，與SFIM 不同的是，調制系數是全色影像與I（Intensity）分量的比值，存在較 為 嚴 重 的 光 譜 失 真。而IHS［9，12］（Intensity Hue Saturation）屬于成分替換類型，將RGB 色彩空間轉換為IHS 空間，用全色影像替換原I 分量作逆變換得到融合影像，由于只是簡單的像素值替換［7］，同樣存在光譜失真問題，并且受波段數量的限制，只能處理3個波段。小波變換［13-16］屬于頻率域方法，存在小基波難以選擇和計算復雜的問題。隨著神經網絡的流行，許多研究者將深度神經網絡（Deep Neural Networks，DNN）應用到影像融合中［6，17-19］，目的是尋找原始全色圖像與其重采樣全色影像之間的關系，訓練并優(yōu)化網絡參數，將重采樣的多光譜圖像輸入網絡模型中，經一系列運算輸出得到融合影像。此方法存在數據集制作繁瑣［20］、設備要求高及結果不普適等問題，不適于日常生產工作。

全色-多光譜影像融合的目的在于盡可能地保持較多的光譜特征和最大限度地注入空間細節(jié)信息。針對以上問題，本文提出一種結合IHS 和高斯濾波的SFIM 影 像 融 合 方 法，并 與Brovey、SFIM［21］、AIHS（Adaptive Intensity Hue Saturation）［22］、WT（Wavelet Transform）和AGSFIM（Adaptive Gaussian Filter and SFIM Model）［23］進行比較。本文不做特殊說明外，P為全色影像，MS 為多光譜影像，Pds為下采樣全色影像，Pdsh為Pds經高斯濾波后的影像，Mi表示多光譜第i波段影像。

1 本文方法

IHS 以強度（Intensity，I）、色調（Hue，H）和飽和度（Saturation，S）來感知圖像顏色。為提高IHS 的融合效率，Tu 等［24］研究了傳統(tǒng)HIS 原理，對計算過程進行了改進，將矩陣的乘積運算轉換到了加法運算，大大節(jié)約了計算時間，但是P 和I 之間的差異并沒有發(fā)生改變，依舊存在光譜扭曲和波段數量受限的問題。

緊接著Choi［12］就IHS波段數量受限的問題，提出了多于3個波段的多光譜影像I分量的提取方法。它以每個波段乘以波段權重1/N（N為波段數）做累和處理，由此獲得I 分量。他們沒有考慮到不同波段影像的光譜反射曲線不同，融合過程中會存在不同程度的光譜信息丟失，將每個波段的權重均等化所求得的I分量代表性不強。針對該問題，Rahmani等［22］提出了優(yōu)化方案，用自適應線性組合來表示強度分量，如式（1）所示，以全色影像與加權多光譜各波段影像的最小二范數差值為擬合條件，求在不同數據集上不同波段的權重，進而獲得I 分量。該方法是通過求取矩陣二范數的最小值來獲得系數，存在計算量大和效率不高等缺點。

與IHS 模型相比，SFIM 模型具有較高的光譜保真度［21］。SFIM是以全色影像與低分辨率全色影像的比值來添加空間細節(jié)信息的。以統(tǒng)一的比值給整幅圖像注入同比例的細節(jié)，會忽略不同區(qū)域的空間細節(jié)，導致空間融入度不高。簡單來說，SFIM 在多光譜圖像中添加全色影像的空間細節(jié)信息過程中，忽略了全色圖像的光譜特征。理想下的低分辨率全色影像應同時具備與多光譜影像相似的空間特征和與全色影像相似的光譜特征。目前對于理想的低分辨率全色影像求取沒有統(tǒng)一的標準，并且已有的研究方法存在不同差異。

王密等［23］提出了一種結合自適應高斯濾波與SFIM模型的全色-多光譜影像融合方法AGSFIM?？紤]到AGSFIM 采用平均波段的平均梯度值代表性較差可能會影響融合結果，這里結合IHS 模型和光譜相關系數提取多光譜影像的I 分量，使用其平均梯度作為低分辨率全色影像評判的指標，以得到更理想的影像。同時，增加真實影像（參考影像）進行對比分析，更好地比較出各方法的差異性。故此，本文提出一種結合IHS 和高斯濾波的SFIM 影像融合方法，使其同時具備IHS 的空間細節(jié)注入能力和SFIM 的光譜保真能力，具體原理如下：

1）考慮時間效率和光譜覆蓋范圍，這里采用光譜相關系數［25］來獲取權重αi，如式（2）～式（4）所示，將對應系數與波段相乘得到I 分量，計算得到I 分量的平均梯度AGI。因為單獨計算出平均梯度只是相對量，為了使其變成絕對可比量，用全色影像均值與I分量均值的比值（調整參數μ）乘以AGI，得到絕對可比量，作為后面的參考標準值。

其中，μP、μI分別表示全色影像P和I分量的均值。

2）對全色影像P進行均值濾波得到低分辨率全色影像P'，因為直接使用均值濾波窗口做的是全局模糊處理，所以還存在部分區(qū)域的細節(jié)信息過剩。這里繼續(xù)使用傅里葉變換將其轉換到頻域，使用距離取舍法再次去掉部分高頻信息得到Pds，使其更接近多光譜影像相似的空間信息結構。算法流程如算法1所示，fft2 為二維傅里葉變換，fftshift 將低頻信息集中到圖像中心，ifft2 為二維傅里葉逆變換，ifftshift 將處理后的圖像恢復到原始的分布位置，保留范圍d用最小距離除以0.9（經驗值）。

算法1 傅里葉變換去除部分高頻算法

輸入：均值濾波處理后全色影像P'

輸出：二次去除部分高頻信息的全色影像Pds

1：轉換全色影像P'到頻域，得到頻域圖像S

2：計算圖像中心到上、左2 邊的距離a0、b0，計算保留范圍距離d

3：創(chuàng)建一個與頻域圖像S相同大小的零矩陣Pl，將范圍d內的數據存儲在Pl對應位置

4：對Pl進行逆傅里葉變換，保留實數部分，得到最終處理后的全色影像Pds

5：S= fftshift（fft2（P'））

6：［a，b］= size（S）

7：a0 = round（a/2），b0 = round（b/2）

8：d=（min（a0，b0）/0.9）^2

9：Pl = zeros（a，b）

10：fori=1：athen

11：forj=1：bthen

12：distance =（i-a0）^2+（j-b0）^2

13：if distance

14：h= 1

15：elseh= 0

16：end if

17：Pl（i，j）=h*S（i，j）；

18：end for

19：end for

20：Pds= real（ifft2（ifftshift（Pl）））

3）接著以0.1 為間隔，按式（5）計算σ在0.1～1 區(qū)間不同高斯濾波后Pdsh的平均梯度AG。以Pdsh的平均梯度點為基礎做多項式線性擬合，求其與I 分量的交點，確定高斯濾波的最優(yōu)參數σ。

其中，Fi，j表示影像F在（i，j）位置的像元值。

4）將高斯濾波后的Pdsh和多光譜各波段的Mi上采樣至跟全色影像P相同大小，按式（6）計算得到最終融合影像，具體流程如圖1所示。

圖1 算法流程圖

2 數據處理與質量評價方法

2.1 數據來源與預處理

實驗數據為廣州市石基鎮(zhèn)的GF-2衛(wèi)星影像和深圳市寶安區(qū)ZY3-1衛(wèi)星影像，全色影像與多光譜影像空間分辨率分別為1 m 和4 m、2.1 m 和6 m，均進行了地理校正、輻射定標和大氣校正處理。這里分別將GF-2 和ZY3-1 多光譜影像的空間分辨率重采樣至16 m與18 m，全色影像為4 m和6 m，并對重采樣影像使用中值濾波做進一步退化處理。使用退化后的影像開展實驗，而原影像則作參考影像，預處理前后影像如圖2 和圖3 所示，全文所用的全色影像P和多光譜影像MS均為這一步處理的結果。

圖2 GF2重采樣前后的MS和Pan影像

圖3 ZY3-1重采樣前后的MS和Pan影像

2.2 最優(yōu)參數計算

這里先對全色影像P下采樣至與多光譜影像MS相同大小，接著進行均值濾波得到模糊后的低分辨率全色影像Pds，然后對Pds進行高斯濾波。根據分辨率之比，GF-2 高斯濾波采用4×4 的窗口，σ 取0.1～1，以0.1為間隔，分別計算不同σ高斯濾波下Pdsh的AG值，作多項式擬合得到擬合曲線。最后，計算多光譜影像各波段、平均波段及I分量的AG 值作直線（y=xAG），擬合曲線與直線的交點即為最優(yōu)參數σ的值，如圖4（a）所示。因為ZY3-1的分辨率之比不為整數，這里采用大于其比值整數倍的6×6 窗口，其余操作相同，結果如圖4（b）所示，GF-2 和ZY3-1 的σ 分別為0.5931、0.9159。

圖4 各影像平均梯度

3 實驗與結果分析

3.1 定性評價

所有的影像均以真彩色波段組合，采用仿真數據集開展實驗，同時使用真實數據集對仿真數據結果進行驗證，GF-2 和ZY3-1 結果分別如圖5 和圖7 所示。相比待融合多光譜影像，融合影像在空間分辨率上均有很大的提高。

圖5 GF-2仿真數據和真實數據的融合結果

圖6 GF-2仿真數據和真實數據的融合結果細節(jié)對比

圖7 ZY3-1仿真數據和真實數據的融合結果

GF-2 仿真數據方面，Brovey 影像光譜失真嚴重，左邊和左下角的部分植被呈現黃色色調，部分房屋和植被過飽和，部分田地光譜信息幾乎全部丟失，使得顏色溢出，失去色彩層次細節(jié)，顯得不太自然。AGSFIM 和SFIM 方法左下角的道路區(qū)域均存在異常光亮點問題，建筑物在這2 種影像中的效果相似，與原影像相比，部分屋頂顏色不一致，右下角的池塘在這2 幅影像中植被的特征存在嚴重失真。相比Brovey 方法，雖然AIHS 方法抑制了光譜失真，但某些地物光譜顏色依舊與參考影像存在一定差異。WT方法的光譜顏色保真高，但細節(jié)信息注入不足。在真實數據集上，除SFIM 和AGSFIM 左下方的道路沒有出現異常光亮點外，其他情況與仿真數據相同。通過圖6 細節(jié)對比，可以更好地發(fā)現不同融合影像上不同地物的光譜和細節(jié)區(qū)別，所提方法的地物細節(jié)和光譜保真更好，進一步驗證了前面的結論。

ZY3-1 仿真數據方面，Brovey 影像植被的光譜失真依舊很嚴重。SFIM 方法雖然地物顏色呈現與參考影像類似，但細節(jié)信息注入不足，出現模糊感。WT左下角的湖泊區(qū)域光譜顏色相比參考影像要淡，尤其是湖泊與陸地邊界線過于突出。AIHS、AGSFIM 方法和本文方法總體表現相似，僅存在顏色細微的不同。在真實數據實驗結果和圖8 細節(jié)對比上，不同影像之間的差異及效果與仿真數據結果相同。

圖8 ZY3-1不同數據集的融合結果細節(jié)對比

通過GF-2 和ZY3-1 不同融合影像的視覺對比可以看出，相比前5 種方法，本文所提方法的地物光譜顏色和空間細節(jié)結構更好。

3.2 定量評價

定量分析設置實驗組和驗證組，實驗組采用仿真數據，以未退化的多光譜影像作為參考影像，驗證組采用真實數據，均使用3 種不同類型的指標做參考，考慮到數據指標的重復性，驗證組方面分別從3種不同指標中各挑選一個作為評價指標?？臻g分辨率評價方面，平均梯度（Average gradient，AG）反映圖像的微小細節(jié)反差和紋理變化特征，值越大，圖像層次越豐富；結構相似性（Structural Similarity，SSIM）［26］越大，表示原始影像和融合影像之間的亮度、對比度和結構越接近。影像整體質量評價方面，相對無量綱全局誤差（Relative Dimensionless Global Error，ERGAS）越小，表明影像的整體質量越好。光譜質量評價方面，光譜角（Spectral Angle Mapper，SAM）一般用來計算參考影像與比較影像（光譜曲線）之間的相似性，值越接近于0，代表融合影像的光譜性能質量越高；相關系數（Correlation Coefficient，CC）表示融合影像的光譜保留能力大小，值越大，能力越強［27］；扭曲度（Distortion，D）反映2 幅影像間灰度信息的偏離程度［28］，值越趨向于0，說明光譜保持性越好。傳統(tǒng)的Brovey 算法只能處理3 個波段，GF-2 和ZY3-1 的質量評估指標結果如表1～表3 所示，最優(yōu)值已加粗顯示。

表1 GF-2實驗組不同融合影像的質量評價指標結果

表2 ZY3-1實驗組不同融合影像的質量評價指標結果

表3 GF-2和ZY3-1驗證組不同融合影像的質量評價指標結果

對于GF-2 實驗組，本文算法影像的整體質量相比其他5 種算法提升最大，ERGAS 為12.041，說明其影像整體質量最接近參考影像，其次是AGSFIM 方法，相差6.212。所有融合影像中，本文方法各波段的CC 值均達到了最優(yōu)，具有較好的光譜質量保存能力，融合過程光譜信息損失少，后面依次是AIHS＞WT＞AGSFIM＞SFIM＞Brovey；D平均值最小的是本文方法，為16.259，其次是AGSFIM，相差9.611；PSNR 最大的是本文方法，為21.649，第二為AGSFIM（18.065），相差接近3.6，SAM 也是本文方法最小，這4 個評價指標相互印證了所提方法具有更高的光譜質量。雖然AG在所有方法中處于中間水平，但是SSIM 值達到了最優(yōu)，說明該方法即使圖像層次達不到最豐富，但其亮度、對比度和結構最接近參考影像。

對于ZY3-1 實驗組，本文算法的ERGAS 為10.444，其次為AGSFIM，相差2.89說明該影像整體質量最好，與第二方法相比，有較大的優(yōu)勢。CC 值最優(yōu)的是AGSFIM，為0.925，但本文方法與其僅相差0.001，說明二者的光譜保留能力相同。D 平均值最小的是AGSFIM，為8.375，后面依次是本文方法＞SFIM＞Brovey＞AIHS＞WT，后4 種算法D 值均大于15。AGSFIM 方法的PSNR 最大，為26.205，本文方法排第二，相差不大（0.53）。本文方法與AGSFIM 算法的SAM 一樣，這4 個評價指標相互印證了雖然AGSFIM為最優(yōu)方法，但所提方法的光譜質量與其接近。雖然AG 在所有方法中處于最低，但是SSIM 為最優(yōu)，表明該方法的圖像層次雖然不豐富，但亮度、對比度和結構表現最好。

對于驗證組，本文所提方法在GF-2 和ZY3-1 上ERGAS、SAM 指標上均表現最優(yōu)，第四波段的AG 值最大，其他波段的AG 值相比AGSFIM 均有提高，進一步驗證了實驗組結果的可靠性。

4 結束語

本文提出了一種結合IHS 和高斯濾波的SFIM 算法，在GF-2 和ZY3-1 影像數據上進行了實驗，與已有的5 種方法進行比較，對結果進行定性分析，并結合3 種類型的影像評價指標做定量分析。實驗結果表明：在這2 種影像數據中，Brovey 影像所存在的過飽和情況在本文算法中得到了改善；在GF-2 中，SFIM 和AGSFIM 影像的異常光亮點問題在本文算法中得到了解決，具備了WT 和AIHS 算法的優(yōu)點；在ZY3-1 中，雖然本文算法只有部分指標達到了最優(yōu)，但與第一的算法的評價指標相差很小?？偟膩碚f，本文所提出算法能在保證融合影像光譜性能質量的同時，盡可能注入較為完整的空間信息，使其清晰度與全色影像接近。

本次研究只在GF-2 和ZY3-1 上開展了實驗，后面可以針對其他數據集和波段光譜不是包含關系的情況展開詳細討論。