基于卷積稀疏表示和NSCT的遙感圖像融合

劉雨婷，劉 帆

(太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中 030600)

遙感圖像融合是采用合適的算法將全色圖像和多光譜圖像進(jìn)行融合，目的是獲得一幅光譜信息豐富并且空間分辨率高的遙感圖像。在多分辨率分析的方法中，研究人員最先提出了小波變換，雖然其可以獲得3個方向的高頻信息，但是由于其不具備各向異性，無法得到圖像多方向的特征，因此近年來，更多的研究人員將Contourlet變換和Shearlet變換應(yīng)用到圖像融合領(lǐng)域。TORO-GARAY et al[1]將Contourlet變換應(yīng)用到了遙感圖像進(jìn)行邊緣增強(qiáng)，取得了不錯的效果。但Contourlet變換會對圖像進(jìn)行下采樣操作，不具備平移不變性，并且由于其自身原因，容易引入頻譜混疊等現(xiàn)象，影響融合結(jié)果的細(xì)節(jié)和光譜信息。針對此問題，2016年，DACUNHA et al[2]提出了NSCT變換，將圖像在非下采樣的情況下完成了多尺度和多方向的分解，其局部性在時間和頻域上表現(xiàn)優(yōu)秀。在使用NSCT變換對圖像進(jìn)行分解重構(gòu)時，具有多尺度和多方向的優(yōu)勢，可以更加準(zhǔn)確地表達(dá)圖像的細(xì)節(jié)信息，在遙感圖像融合領(lǐng)域有很好的應(yīng)用前景[3]。

隨著機(jī)器學(xué)習(xí)的飛速發(fā)展，各行各業(yè)的研究人員都將其引入到了各自的領(lǐng)域，遙感圖像處理領(lǐng)域也不例外。2010年，ZEILER et al[4]提出了卷積稀疏表示，采用卷積的形式來表示圖像或信息，考慮到了像素間的語義關(guān)系，并且從本質(zhì)上來講該模型具有平移不變性，可以更好地保留圖像的細(xì)節(jié)信息。ZHANG et al[5]利用卷積稀疏表示建立融合模型，來獲取融合結(jié)果，使得空間分辨率和光譜信息都得到了提升，但是該方法沒有將細(xì)節(jié)信息和光譜信息分開處理，在融合過程中不可避免地產(chǎn)生了光譜損失。WU et al[6]在融合框架中用到了卷積稀疏表示，提高了融合圖像的性能，但是其分解高低頻子帶的方式過于簡單，無法獲得圖像多方向的特征信息，在融合過程中會造成細(xì)節(jié)信息的缺失。本文結(jié)合NSCT變換和卷積稀疏表示的優(yōu)勢，提出了基于卷積稀疏表示和NSCT變換的遙感圖像融合，通過實(shí)驗(yàn)，并結(jié)合主觀和客觀兩方面指標(biāo)評價，證明了本文方法的有效性。

1 相關(guān)理論介紹

1.1 卷積稀疏表示

卷積稀疏表示[4]是傳統(tǒng)稀疏表示的一種替代形式，采用字典濾波器和特征映射的卷積形式來替代字典和稀疏系數(shù)的乘積形式，它通過應(yīng)用卷積形式來實(shí)現(xiàn)整個信號或圖像的稀疏表示，充分考慮到了圖像內(nèi)的語義關(guān)系，有效解決了稀疏表示中因?yàn)椤胺謮K”導(dǎo)致的細(xì)節(jié)缺失問題。具體來講，卷積稀疏表示是將整個信號或圖像建模為特征映射和字典濾波器的一組卷積的和，其中特征映射的大小與源圖像或信號相同。具體公式如下：

(1)

式中：s是待稀疏表示的信號或圖像；{dm}是m維的字典濾波器；{xm}是一組特征映射，它與待表示的信號或圖像具有相同的尺寸；λ表示模型的準(zhǔn)確性和稀疏性的平衡；*定義為卷積運(yùn)算。

1.2 NSCT變換

NSCT變換[2]的提出是在Coutourlet變換的基礎(chǔ)上進(jìn)行了改變，去掉了Coutourlet變換中采樣步驟，使圖像處理過程不再出現(xiàn)偽吉布斯現(xiàn)象，減小了融合結(jié)果中的光譜扭曲現(xiàn)象。NSCT變換的最大優(yōu)勢在于變換后的圖像具有平移不變性，可以保留原圖像更多的細(xì)節(jié)信息。NSCT變換之所以有此優(yōu)勢，根本原因在于其將多尺度分解和方向?yàn)V波器結(jié)合使用。

NSCT變換[7]主要由非下采樣金字塔濾波器和非下采樣方向?yàn)V波器組成。變換過程中先采用非下采樣金字塔濾波器進(jìn)行多尺度分解，對于分解結(jié)果中的高頻子帶使用非下采樣方向?yàn)V波器，從而得到圖像各個方向中更詳細(xì)的細(xì)節(jié)特征，其中所有的子帶圖像都具有和源圖像相同的尺寸大小，低頻部分繼續(xù)進(jìn)行上述分解。具體框架圖如圖1所示。

圖1 NSCT框架[2]Fig.1 NSCT framework[2]

2 基于卷積稀疏表示和NSCT的遙感圖像融合

本文算法結(jié)合兩種算法的優(yōu)勢，提出了卷積稀疏表示和NSCT相結(jié)合的遙感圖像融合算法。將融合過程分為兩部分，分別為圖像的超分辨率分析和圖像融合，融合流程如圖2所示。先使用卷積稀疏表示建立模型完成圖像的超分辨率分析。之后再利用NSCT完成融合步驟，先將超分辨后的圖像和原始的Pan圖像進(jìn)行NSCT分解，由于高頻子帶和低頻子帶所含有的信息不同，為了更好地在融合結(jié)果中保留空間信息和光譜信息，針對高頻和低頻子帶的不同特點(diǎn)分別采用了不同的融合策略來獲得新的子帶信息，最后進(jìn)行NSCT逆變換得到融合結(jié)果。

圖2 NSCT和卷積稀疏表示結(jié)合的融合算法流程圖Fig.2 Flow chart of fusion algorithm based on NSCT and convolutional sparse representation

2.1 基于卷積稀疏表示的超分辨率重構(gòu)

通過卷積稀疏表示來完成圖像的超分辨率(super-resolution，SR)，增強(qiáng)圖像的細(xì)節(jié)信息。首先，訓(xùn)練得到圖像高分辨的字典濾波器和低分辨率的字典濾波器，使用低分辨率的字典濾波器表示超分辨率之前的圖像得到特征映射，最后用特征映射和高分辨率的卷積完成圖像的超分辨率，得到細(xì)節(jié)增強(qiáng)的圖像。由于獲取的原始Pan圖像和MS圖像大小并不匹配，因此在實(shí)驗(yàn)之前對數(shù)據(jù)進(jìn)行了統(tǒng)一的配準(zhǔn)和插值處理，獲得大小相同的Pan圖像和MS圖像。超分辨率階段用到的字典濾波器在實(shí)驗(yàn)中大小統(tǒng)一為8×8×32[8].

具體步驟如下：

1) 對MS圖像進(jìn)行IHS變換，將MS圖像轉(zhuǎn)換到IHS空間，得到以下3個分量，分別為亮度(Intensity，I)、色調(diào)(Hue，H)和飽和度(Saturation，S)三個獨(dú)立分量，后續(xù)的步驟主要在I分量上進(jìn)行；

2) 采用形態(tài)學(xué)濾波器對Pan圖像進(jìn)行濾波，得到低分辨率的Pan圖像，即LPan.為了獲得更加準(zhǔn)確的低頻信息，采用了由RESTAINO et al[9]提出的由半梯度形態(tài)學(xué)算子來組成形態(tài)學(xué)濾波器，對應(yīng)的濾波器如式(2)所示：

(2)

式中：εB[I]為腐蝕算子；δB[I]為膨脹算子；I表示圖像。

3) 對Pan圖像和LPan圖像進(jìn)行訓(xùn)練，得到高低分辨率的字典濾波器DH和DL.根據(jù)文獻(xiàn)[8]將字典學(xué)習(xí)定義為式(3)的優(yōu)化問題。

(3)

式中：dm為對應(yīng)的字典濾波器；xm為特征映射；s為圖像。

4) 用低分辨率的字典濾波器DL對I分量進(jìn)行卷積稀疏表示，得到對應(yīng)的特征映射X，式(4)所示：

(4)

5) 用4)得到的特征映射X和3)中的高頻字典濾波器DH結(jié)合，對I分量進(jìn)行重構(gòu)，得到重構(gòu)后的I分量，即ISR.式(5)所示：

ISR=DH*X.

(5)

對應(yīng)的流程圖如圖3所示：

圖3 圖像超分辨率算法框架Fig.3 Super resolution algorithm framework of image

2.2 低頻融合規(guī)則

將超分辨后的I分量和Pan圖像進(jìn)行NSCT變換，得到各自的高、低頻子帶圖像，分別為PL、PH和IH、IL.由于低頻信息中主要是圖像的概要信息，包含的細(xì)節(jié)信息少，因此為了將更多的細(xì)節(jié)信息保留到融合結(jié)果中，這里采用了絕對值取大的融合規(guī)則。其次，由于低頻子帶具有較低的稀疏性，為了更好地保留細(xì)節(jié)信息，在融合規(guī)則中引入了稀疏表示，采用稀疏系數(shù)絕對值取大的規(guī)則。先利用圖像庫中的圖像訓(xùn)練得到字典，之后用字典表示低頻子帶，得到對應(yīng)的稀疏系數(shù)，即xI和xP，同一位置對應(yīng)的更大的稀疏系數(shù)即為融合結(jié)果的稀疏系數(shù)。具體的公式如下：

FL(x,y)=

(6)

2.3 高頻融合規(guī)則

源圖像大量的細(xì)節(jié)信息和紋理信息都存在于高頻子帶圖像中，同時，也有少量的光譜信息存在于高頻子帶中，為了確保在融合步驟中盡可能少的損失光譜信息和空間信息，故將局部方差和加權(quán)平均結(jié)合的融合規(guī)則應(yīng)用到高頻子帶融合。

首先，計(jì)算以像素{x,y}為中心，窗口大小為n*n的局部方差。相應(yīng)的計(jì)算公式如下：

(7)

(8)

然后根據(jù)式(7)和式(8)來計(jì)算各自的權(quán)重系數(shù)，公式如下所示：

(9)

(10)

使用式(9)和式(10)計(jì)算得到的權(quán)重，并與式(11)結(jié)合即可得到融合后的高頻子帶。公式如下所示：

FH=WIH(x,y)×IH(x,y)+
WPH(x,y)×PH(x,y) .

(11)

2.4 融合算法描述

對重構(gòu)后的I分量和Pan圖像進(jìn)行NSCT變換，然后針對變換得到的子帶信息進(jìn)行融合得到新的子帶信息，最后進(jìn)行NSCT逆變換得到融合結(jié)果，其中NSCT變換具有平移不變性，因此分解前后圖像的尺寸不會發(fā)生變換，融合圖像的尺寸與Pan圖像尺寸相同。流程圖如圖2所示，具體的步驟如下所示。

1) 將I分量和Pan圖像進(jìn)行NSCT變換，得到I分量和Pan圖像的高頻子帶圖像和低頻子帶圖像，即PL、PH和IH、IL.

2) 根據(jù)高頻和低頻子帶各自的特點(diǎn)采取不同的融合規(guī)則，得到新的高頻和低頻子帶圖像，即FL和FH.

3) 將2)中的子帶圖像進(jìn)行NSCT逆變換得到新的I分量。

4) 將新的I分量和H、S分量進(jìn)行IHS逆變換，得到融合圖像。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)來源和預(yù)處理

本文所采用的實(shí)驗(yàn)數(shù)據(jù)來源于QuickBird 衛(wèi)星和法國國家太空研究中心(centre national d’etudes spatiales，CNES).其中QuickBird衛(wèi)星由美國DigitalGlobe公司負(fù)責(zé)發(fā)射，獲取的MS圖像分辨率和Pan圖像分辨率分別為2.44 m和0.61 m，此處為了實(shí)驗(yàn)方便將MS圖像插值放大至與Pan圖像相同大小，圖像尺寸為512像素×512像素。CNES獲取的圖像全色圖像分辨率為0.6 m，此處為了實(shí)驗(yàn)方便將MS圖像插值放大至與Pan圖像相同大小，圖像尺寸為1 024像素×1 024像素，處理好的圖像如圖4和圖5所示。

圖4 QuickBird衛(wèi)星圖像Fig.4 QuickBird satellite image

圖5 CNES衛(wèi)星圖像Fig.5 CNES satellite image

3.2 實(shí)驗(yàn)結(jié)果和分析

為證明本文算法的優(yōu)勢，將其與5種算法進(jìn)行對比，分別為IHS變換[10]的融合算法(IHS)，基于形態(tài)學(xué)濾波器的融合算法[9](HG)，基于稀疏表示的融合算法[11](SR)，基于乘法注入細(xì)節(jié)融合算法(HPM)[12]，基于NSCT的融合算法[13](NSCT).為了對融合結(jié)果進(jìn)行更加客觀的評價，本文選取了以下5個評價指標(biāo)，分別為相對全局融合誤差(erreur relative global adimensionnelle de synthese，ERGAS)[12]、光譜角(spectral angle mapper，SAM)[13]、通用圖像質(zhì)量評價指標(biāo)(universal image quality index，UIQI)[14]、相關(guān)系數(shù)(correlation coefficient，CC)、標(biāo)準(zhǔn)差(standard deviation，STD).

圖6和圖7的源圖像均來自于QuickBird 衛(wèi)星，其中圖6為印度某公路段(Road)，圖7為印度某國家公園湖泊(Lake)附近景區(qū)。為了便于觀測分析，選取了圖中有代表性的區(qū)域進(jìn)行標(biāo)記并放大，放大區(qū)域位于圖像的右下角或左上角。圖6(c)和圖7(c)為使用形態(tài)學(xué)濾波器獲得的融合結(jié)果，觀測放大區(qū)域可以看出，其細(xì)節(jié)信息豐富，但是出現(xiàn)了光譜畸變，與源多光譜圖像相比，這兩幅圖像草坪的顏色都要更深一點(diǎn)。圖6(d)和圖7(d)為IHS變換得到的融合結(jié)果，由于其是用全色圖像直接替代I分量得到融合結(jié)果，因此雖然其細(xì)節(jié)信息也較為豐富，但是出現(xiàn)了嚴(yán)重的光譜損失，原本綠色的草坪現(xiàn)在顏色已經(jīng)開始發(fā)白。

圖6 Road源圖像及不同方法獲得的融合結(jié)果Fig.6 Fusion results of original Road image and different methods

圖7 Lake源圖像及不同方法獲得的融合結(jié)果Fig.7 Fusion results of original Lake image and different methods

圖6(e)和圖7(e)為稀疏表示的融合方法，由于卷積稀疏表示自身存在的“滑窗”技術(shù)，破壞了圖像塊之間的相關(guān)性，會導(dǎo)致融合結(jié)果的光譜失真和細(xì)節(jié)損失，觀察放大區(qū)域會發(fā)現(xiàn)道路的邊緣不是很清晰，而且顏色也沒有很明顯的分界線。圖6(f)和圖7(f)為HPM的融合算法，相比于加法注入細(xì)節(jié)，該算法可以使得融合結(jié)果中注入更多的空間細(xì)節(jié)信息，圖中可以看出其細(xì)節(jié)信息還是很清晰的，但是也存在一些光譜畸變。圖6(g)和圖7(g)為NSCT變換的融合結(jié)果，NSCT變換具有平移不變性，在保持圖像信息方面表現(xiàn)優(yōu)異，因此可以看出圖像中細(xì)節(jié)信息豐富，但是存在輕微的光譜扭曲現(xiàn)象。圖6(h)和圖7(h)為本文提出的算法，先對多光譜圖像進(jìn)行超分辨率的細(xì)節(jié)增強(qiáng)，然后再進(jìn)行后續(xù)的融合步驟。從放大區(qū)域可以看出，圖像具有更加豐富的細(xì)節(jié)信息，且光譜畸變也較小。對上述兩組圖像性能的比較結(jié)果如表1和表2所示。

表1 Road圖像融合結(jié)果的性能比較Table 1 Performance comparison of Road image fusion results

表2 Lake圖像融合結(jié)果的性能比較Table 2 Performance comparison of Lake image fusion results

從上述表中可以看出，HG算法獲得的融合結(jié)果雖然CC和UIQI兩個指標(biāo)值較好，甚至在表2中SAM的值最佳，但是ERGAS的值均偏高，說明該方法存在較為嚴(yán)重的光譜失真。IHS算法獲得的融合結(jié)果同樣存在ERGAS和SAM兩個指標(biāo)值偏大的現(xiàn)象，說明該算法同樣存在較為嚴(yán)重的光譜失真。SR算法獲得的融合結(jié)果的指標(biāo)與IHS相比，雖然各項(xiàng)指標(biāo)的值都有所好轉(zhuǎn)，但是仍有可以改進(jìn)的空間，說明其仍然存在光譜失真和細(xì)節(jié)缺失問題。HPM獲得的融合結(jié)果指標(biāo)CC和STD都較好，但是指標(biāo)ERGAS偏高，說明其空間分辨率有所提升，但是仍存在光譜畸變現(xiàn)象。NSCT獲得的融合結(jié)果中CC、STD和UIQI指標(biāo)都較為不錯，證明了NSCT應(yīng)用于圖像融合領(lǐng)域的有效性，但是指標(biāo)ERGAS和SAM偏高，說明同樣存在光譜畸變的問題。本文所提出的算法在各個指標(biāo)上均優(yōu)于其余算法，盡管在表2中指標(biāo)SAM的值沒有達(dá)到最優(yōu)，但僅次于最優(yōu)指標(biāo)。因此本文所提算法在主觀視覺效果和客觀指標(biāo)評價兩方面都取得了不錯的結(jié)果，說明本文算法所得的融合結(jié)果在增強(qiáng)空間分辨率的同時保持了較高的光譜分辨率。

圖8中的源圖像是CNES提供的遙感圖像Pléiades.圖8(c)和(d)分別為HG算法和IHS算法獲得的融合結(jié)果，可以看出這兩種算法的融合結(jié)果細(xì)節(jié)信息都較為豐富，但是都存在較為嚴(yán)重的光譜失真，屋頂顏色與源多光譜圖像相比顏色較淺。圖8(e)為SR算法獲得的融合結(jié)果，和源多光譜圖像相比其細(xì)節(jié)信息有所增加，但是還有提升的空間，而且存在光譜畸變。圖8(f)為HPM算法獲取的融合結(jié)果，可以看出其空間和光譜分辨率都有所提升，但是仍存在光譜失真。圖8(g)和(h)分別為NSCT算法和本文算法獲得的融合結(jié)果，可以看出兩幅圖像的光譜分辨率和空間分辨率都得到了提升，但單從視覺上觀察無法很好地區(qū)分哪個融合結(jié)果更優(yōu)，需要借助評價指標(biāo)。

圖8 Pléiades源圖像及不同方法獲得的融合結(jié)果Fig.8 Fusion results of original Pléiades image and different methods

表3為上述圖像的性能比較結(jié)果。HG算法獲得融合結(jié)果的CC和STD指標(biāo)都較優(yōu)，但是指標(biāo)ERGAS和SAM都偏高，說明其空間分辨率高但是圖像光譜分辨率低。IHS算法與其相比雖然指標(biāo)UIQI有所提升，指標(biāo)ERGAS和SAM的值都有所好轉(zhuǎn)，但是仍偏高，說明其光譜信息損失較大。SR算法獲得的融合結(jié)果中CC和UIQI指標(biāo)都優(yōu)于前兩種算法，但ERGAS值偏高，說明該方法雖然整體質(zhì)量不錯但是存在光譜扭曲。HPM算法獲取的融合結(jié)果的CC和SAM兩項(xiàng)指標(biāo)優(yōu)于其他算法，證明其細(xì)節(jié)信息豐富，但是ERGAS值仍然偏高，有很大的提升空間。觀察NSCT算法和本文算法獲得融合結(jié)果的指標(biāo)可以發(fā)現(xiàn)兩者很接近，但是本文算法更勝一籌，而且SAM指標(biāo)明顯低于NSCT算法，說明融合結(jié)果中保留了更多的光譜信息。整體來看，本文算法的CC和SAM兩個指標(biāo)較好，且ERGAS、STD和UIQI這3個指標(biāo)明顯優(yōu)于其他算法，說明本文算法可以同時擁有豐富的光譜信息和較高的空間分辨率。

表3 Pléiades源圖像融合結(jié)果的性能比較Table 3 Performance comparison of the original image fusion results of PLéiades

4 結(jié)束語

為了解決遙感圖像融合步驟中細(xì)節(jié)信息缺失和光譜畸變問題，提出了基于卷積稀疏表示和NSCT變換的遙感圖像融合。首先利用卷積稀疏表示訓(xùn)練得到高分辨率的字典濾波器和低分辨率的字典濾波器，之后用低分辨的字典濾波器對低分辨的圖像進(jìn)行稀疏表示，獲得特征映射，最后用特征映射和高分辨率的字典濾波器完成圖像的超分辨率。在融合步驟中，先對超分辨率的圖像和全色圖像進(jìn)行NSCT變換，得到各自的高低頻子帶信息。為了在融合結(jié)果中保留更多細(xì)節(jié)信息的同時減少光譜畸變，因此根據(jù)高頻和低頻子帶不同的特點(diǎn)，在高頻部分采用了局部方差和加權(quán)平均結(jié)合的融合規(guī)則，低頻部分采用了稀疏系數(shù)取大的融合規(guī)則，最后將得到的新高低頻子帶進(jìn)行逆變換得到融合結(jié)果。實(shí)驗(yàn)證明，該方法在提高融合結(jié)果空間分辨率的同時也保留了更多的光譜信息。