RAISR算法在遙感圖像超分辨率重建中的可行性

卜麗靜，吳文玉，張正鵬

(遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院，遼寧 阜新 123000)

0 引言

近年遙感技術(shù)迅猛發(fā)展，遙感圖像的應(yīng)用領(lǐng)域越來越廣泛。但在圖像獲取過程中，由于成像硬件、環(huán)境、平臺等方面的影響，都會造成圖像分辨率的下降[1]。由于從硬件方面改善圖像分辨率花費(fèi)較高，所以利用軟件手段提高圖像質(zhì)量備受關(guān)注，其中超分辨率重建技術(shù)是一個(gè)主要的研究熱點(diǎn)。

超分辨率圖像重建是指由同一場景的低分辨率退化圖像或圖像序列，重建出一幅或多幅清晰的高分辨率圖像[2]。單幀圖像的超分辨率重建是指只有一幅低分辨率輸入圖像的超分辨率重建[3]。該技術(shù)可以提高航空、航天遙感圖像的空間分辨率，從而提高目標(biāo)監(jiān)測與識別的精度[4]，可以應(yīng)用到監(jiān)測森林火災(zāi)[5]、監(jiān)測糧食作物的健康狀況[6]、防盜監(jiān)控和交通監(jiān)控[7]等方面，對軍用和民用領(lǐng)域都具有十分重要的意義[8]。目前，圖像超分辨率重建方法可以分為基于插值、基于重建、基于學(xué)習(xí)的方法。綜合國內(nèi)外的研究可以看出，基于學(xué)習(xí)的重建算法已經(jīng)成為此領(lǐng)域的主流算法，其重建效果遠(yuǎn)遠(yuǎn)高于其他算法[9]。但其仍存在一些問題，如先驗(yàn)階段學(xué)習(xí)復(fù)雜、處理過程耗時(shí)長、處理后圖片存在偽影噪聲等影響質(zhì)量的因素，圖像視覺效果不理想等。為避免這些缺點(diǎn)，RAISR[10]算法在以往基于學(xué)習(xí)的基礎(chǔ)模型上對濾波器管理、去除偽影、增加視覺效果等方面加以優(yōu)化，其速度比目前的主流算法如A+類算法，快1到2個(gè)數(shù)量級，并且內(nèi)存要求極低，這對數(shù)據(jù)量極大的遙感圖像處理具有重要意義。

本文首次引用并優(yōu)化RAISR算法，首先在原算法基礎(chǔ)上，針對遙感圖像建筑物邊界出現(xiàn)模糊以及振鈴效應(yīng)等問題，對RAISR濾波器參數(shù)進(jìn)行優(yōu)化；其次為了增加結(jié)果中的邊緣等細(xì)節(jié)信息，在訓(xùn)練過程中增加了對訓(xùn)練集圖像的處理；最后使用多組遙感數(shù)據(jù)集訓(xùn)練，對遙感圖像進(jìn)行超分辨率重建實(shí)驗(yàn)，探討了優(yōu)化RAISR算法的可行性。

1 圖像成像模型和學(xué)習(xí)方法超分辨率重建框架

1.1 圖像成像模型

遙感圖像的成像(降質(zhì))是指高分辨率遙感圖像x經(jīng)過模糊、降采樣、噪聲等退化過程得到低分辨率遙感圖像Z的過程[11]，如式(1)所示。

Z=DsHx+V

(1)

式中：Z∈RM×N是低分辨率遙感圖像；x∈RMs×Ns是原始高分辨率遙感圖像；s為放大系數(shù)；V為噪聲；H∈RMNs2×MNs2為降質(zhì)矩陣；Ds∈RMN×MNs2為下采樣算子。在圖像超分辨率處理中，目標(biāo)是從已知的度量Z中恢復(fù)未知的底層圖像x。

1.2 基于學(xué)習(xí)的超分辨率重建框架

基于學(xué)習(xí)的方法是近年來超分辨率算法中的研究熱點(diǎn)。現(xiàn)有的基于學(xué)習(xí)的單幀圖像超分辨重建方法可以分為5類：基于k-近鄰(k-NN)學(xué)習(xí)、基于流形學(xué)習(xí)、基于超完備字典學(xué)習(xí)、基于實(shí)例回歸和基于深度學(xué)習(xí)[12]。大部分基于學(xué)習(xí)的超分辨率算法主要分以下3步，流程如圖1所示。

圖1 學(xué)習(xí)方法流程圖

1)構(gòu)建訓(xùn)練集。獲取HR(高分辨率)圖像，按照降質(zhì)模型，進(jìn)行降質(zhì)，生成對應(yīng)的LR(低分辨率)圖像，產(chǎn)生訓(xùn)練集。其中，降質(zhì)模型不固定，如進(jìn)行線性降質(zhì)處理。

2)學(xué)習(xí)階段。根據(jù)HR圖像的低頻部分和高頻部分的對應(yīng)關(guān)系，對圖像分塊，通過一定算法進(jìn)行學(xué)習(xí)，獲得先驗(yàn)知識，建立學(xué)習(xí)模型。

3)升級階段。以輸入的LR塊為依據(jù)，在建立好的訓(xùn)練集中搜索最匹配的濾波器，最終形成HR圖像。

2 RAISR遙感圖像超分重建原理

2.1 RAISR算法框架

RAISR是Google在2016年推出的一項(xiàng)圖像超分辨率新算法，它的優(yōu)勢是速度快而且可以避免產(chǎn)生混疊效應(yīng)[13]。RAISR屬于基于實(shí)例回歸的方法，主要步驟分為學(xué)習(xí)階段和升級階段，其核心思想是在學(xué)習(xí)階段，基于LR和HR訓(xùn)練圖像塊對學(xué)習(xí)一組濾波器；在升級階段，輸入LR圖像進(jìn)行雙線性插值，通過在圖像塊上應(yīng)用預(yù)先學(xué)習(xí)的濾波器，來提高插值圖像質(zhì)量。其中，應(yīng)用哈希機(jī)制對濾波器進(jìn)行存儲與應(yīng)用。為避免超分辨率重建后的HR圖像出現(xiàn)偽像，對HR圖形統(tǒng)計(jì)變換混合。學(xué)習(xí)和升級過程如圖2所示。

圖2 RAISR算法流程圖

2.2 RAISR算法中的關(guān)鍵問題

RAISR算法在以往基于學(xué)習(xí)的基礎(chǔ)模型上，針對先驗(yàn)階段的學(xué)習(xí)復(fù)雜、數(shù)據(jù)量少、處理過程耗時(shí)長、處理后圖像效果不理想、超分圖像結(jié)構(gòu)發(fā)生重大改變等問題，在濾波器計(jì)算、分類、存儲，以及圖像后處理等方面加以改進(jìn)。

1)濾波器的選取。濾波器的選取依據(jù)是應(yīng)用最小二乘法，求得訓(xùn)練集中LR圖像的雙線性插值圖像與HR圖像之間的歐幾里得距離最小化的矩陣。如式(2)所示。

(2)

式中：i=1，2，…，L；h∈Rd×d是d×d大小的濾波器；Ai∈RMN×d2是由LR圖像的雙線性插值圖像提取的大小為d×d的小塊組成的矩陣，每個(gè)小塊在矩陣中形成一行；矢量bi∈RMN由來自HR圖像的像素組成，對應(yīng)于LR圖像的雙線性插值圖像塊的中心坐標(biāo)。

矩陣A的大小由圖片像素多少?zèng)Q定，RAISR為避免A過大、濾波器計(jì)算復(fù)雜度過高，采用2種方法控制。方法一，提取訓(xùn)練圖像上部分可用圖像塊，通過像素?cái)?shù)量的減少，控制A、b的大小；方法二，重建求解濾波器公式。以一個(gè)濾波器為例，如公式(3)所示。

(3)

2)濾波器的分類。本文按圖像塊的位置、角度、強(qiáng)度、相干性，對濾波器進(jìn)行分類。

LR圖像經(jīng)過插值方法實(shí)現(xiàn)上采樣，其中插值方法以及放大倍數(shù)都將影響濾波器的類型。以簡單雙線性插值為例，在每個(gè)軸上放大2倍，原LR圖像的每個(gè)像素插值為4個(gè)像素，對應(yīng)于插值位置的不同，有4種不同的插值內(nèi)核。對應(yīng)不同插值內(nèi)核，濾波器也需要分成4組。由于插值內(nèi)核種類與像素位置有關(guān)，超分辨率重建過程中可根據(jù)像素位置的不同，調(diào)用不同類型濾波器進(jìn)行圖像處理(圖3、圖4)。

圖3 在學(xué)習(xí)階段應(yīng)用4種濾波器技術(shù)路線圖

圖4 在升級階段應(yīng)用4種濾波器技術(shù)路線圖

通過利用每個(gè)像素的周圍梯度來計(jì)算角度、強(qiáng)度和相干性，即對于第k個(gè)像素，考慮位于k1，…，kn的所有像素?；痉椒ㄊ怯?jì)算2×n矩陣，該矩陣由第k個(gè)像素周圍的水平和垂直梯度和組成，表示為式(4)。

(4)

(5)

強(qiáng)度用最大特征值的平方根計(jì)算，局部梯度用較小的特征值的平方根計(jì)算。這2個(gè)特征值組合成一個(gè)稱為“相干性”的無單位量度[14]。相干值的范圍從0到1，表示為式(6)。

(6)

3)濾波器的存儲及優(yōu)化。濾波器采用哈希機(jī)制存儲。哈希表(Hash table)，又稱散列表，是根據(jù)關(guān)鍵碼(key)直接訪問數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。它通過一個(gè)關(guān)鍵碼的函數(shù)將所需的數(shù)據(jù)映射到表中的位置，來訪問數(shù)據(jù)，以加快查找速度。這個(gè)映射函數(shù)叫作散列函數(shù)，存放記錄的數(shù)組叫作散列表。

基于該算法對遙感圖像進(jìn)行超分辨率處理，需要學(xué)習(xí)大量濾波器。若對這些濾波器進(jìn)行簡單儲存，在構(gòu)造和使用過程中搜索量巨大，相比于其他算法運(yùn)算速度緩慢，如基于稀疏的方法或基于神經(jīng)網(wǎng)絡(luò)的算法。針對這一問題，可以應(yīng)用聚類的方法。然而，聚類導(dǎo)致算法總體復(fù)雜性增加。因此，本文采用高效的哈希方法存儲濾波器，其中將哈希表的關(guān)鍵碼設(shè)置為圖像塊的位置、角度、強(qiáng)度、相干性。

濾波器組的穩(wěn)定性與訓(xùn)練圖像塊數(shù)據(jù)量的大小有關(guān)系，同時(shí)圖像塊存在相同、相似的情況，每個(gè)圖像塊也可以進(jìn)行4個(gè)90°旋轉(zhuǎn)和4個(gè)鏡像90°旋轉(zhuǎn)。由于每個(gè)原始圖像塊生成8個(gè)圖像塊，因此可有效地將8倍的信息用于學(xué)習(xí)，該變換簡稱為8×變換。

4)超分圖像結(jié)構(gòu)優(yōu)化。為避免超分后圖像結(jié)構(gòu)發(fā)生重大改變，提出一種后處理混合方法，即在最后階段，應(yīng)用基于統(tǒng)計(jì)變換的邊緣檢測混合方法。統(tǒng)計(jì)變換是一種非參數(shù)變換，主要用來表征圖像的局部結(jié)構(gòu)特征，能夠比較好地檢測到圖像中的邊緣特征。具體過程為：計(jì)算雙線性插值圖像的統(tǒng)計(jì)變換值，將統(tǒng)計(jì)變換值中1出現(xiàn)的頻率作為權(quán)重，根據(jù)權(quán)重判斷邊界，進(jìn)行替換。

2.3 遙感圖像特征分析及參數(shù)優(yōu)化

由于RAISR算法起源于自然圖像處理，原訓(xùn)練集以自然圖像為主，本文以遙感光學(xué)圖像為研究對象，探討算法的可行性。遙感衛(wèi)星的飛行高度一般在600 km以上，是在距地表幾百公里以外的星下點(diǎn)獲取圖像，從俯視的角度拍攝地球表面上的地物信息。因此，遙感圖像和自然圖像在成像內(nèi)容和地物特征方面有很多差異。遙感圖像反映的信息內(nèi)容主要有波譜信息、空間信息和時(shí)間信息；它的成像幅寬比普通自然圖像大，探測范圍大尺度小、包含地物類別多、地物特征復(fù)雜，如居民地建筑、河流、森林等。而且，遙感圖像包括的類別較多，如光學(xué)圖像、SAR(synthetic aperture radar)圖像、夜光遙感圖像等。自然景物圖像拍攝的場景范圍小、尺度大，以生活場景為主要內(nèi)容，如街道、人物、車輛等。

基于以上不同，本文在用RAISR算法進(jìn)行超分辨率重建時(shí)提出3個(gè)方面的優(yōu)化。

1)構(gòu)建4組高分辨率遙感圖像訓(xùn)練集。訓(xùn)練集圖像來源于UC Merced數(shù)據(jù)集和合肥地區(qū)地物數(shù)據(jù)集。UC Merced數(shù)據(jù)集包含21類場景圖像，每一類有100張，圖像大小為256像素×256像素，像素分辨率為0.30 m。這些圖像是從美國地調(diào)局收集的、全國各個(gè)城市地區(qū)的大型圖像中手動(dòng)提取的。合肥地區(qū)地物數(shù)據(jù)集總包含5類場景圖像，每類有100張，圖像大小為256像素×256像素，像素分辨率為2.38 m。這些圖像是從合肥地區(qū)的谷歌影像手動(dòng)提取的。

2)為增強(qiáng)重建后圖像的邊緣和紋理信息，減小振鈴效應(yīng)，優(yōu)化濾波器的設(shè)置。原RAISR算法部分參數(shù)設(shè)置如下：濾波器大小11×11、梯度計(jì)算鄰域9×9、角度分類24、相關(guān)性分類3、強(qiáng)度分類3。該實(shí)驗(yàn)訓(xùn)練階段的基本思路為：將4組訓(xùn)練數(shù)據(jù)集利用雙三次插值生成低分辨率圖像，構(gòu)成高低分辨率圖像對，通過前文所述原理，生成4組濾波器。對第1組濾波器的高分辨率圖像進(jìn)行銳化處理，使濾波器帶有內(nèi)置銳化效果，同時(shí)更改濾波器與梯度計(jì)算鄰域?yàn)?×7和5×5，生成第5組濾波器；更改濾波器與梯度計(jì)算鄰域大小為5×5和3×3，生成第6組濾波器；更改角度分類為12，生成第7組濾波器；更改角度分類為36，生成第8組濾波器。

3)針對訓(xùn)練集的高分辨率圖像本身存在一些細(xì)小干擾會導(dǎo)致超分辨率重建后的圖像引入更多噪聲的問題，增加對訓(xùn)練集高分辨率圖像的銳化處理。本文采用USM(unsharp mask)方法進(jìn)行銳化。該方法可以去除一些細(xì)小的干擾細(xì)節(jié)和噪聲，比一般直接使用卷積銳化算子得到的圖像銳化結(jié)果更加真實(shí)可信[15]。見式(7)。

y(n，m)=x(n，m)+λz(n，m)

(7)

式中：x(n，m)為輸入圖像；y(n，m)為輸出圖像；z(n，m)為校正信號，一般是通過對x進(jìn)行高通濾波獲取；λ是用于控制增強(qiáng)效果的一個(gè)縮放因子，本文λ設(shè)置為0.3。

3 本文方法超分辨率重建實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集構(gòu)建

實(shí)驗(yàn)采用UC Merced土地使用數(shù)據(jù)集和合肥地區(qū)地物分類數(shù)據(jù)集為訓(xùn)練集。測試圖像包括：分辨率為0.30 m的UC Merced土地使用數(shù)據(jù)集原圖和下采樣圖像、分辨率為0.60 m的QuickBird遙感衛(wèi)星圖像、分辨率為2.38 m的合肥地區(qū)地物分類數(shù)據(jù)集buildings類圖像、分辨率為10 m的Spot 3遙感衛(wèi)星圖像。訓(xùn)練集詳細(xì)參數(shù)見表1。

表1 4種訓(xùn)練集的參數(shù)

3.2 實(shí)驗(yàn)相關(guān)參數(shù)

測試階段分為仿真實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)，測試圖像首先應(yīng)用雙線性插值放大2倍；然后利用訓(xùn)練完成的濾波器對圖像進(jìn)行超分辨率重建；最后對超分辨率圖像進(jìn)行結(jié)構(gòu)優(yōu)化。同時(shí)，對比其他超分辨率方法進(jìn)行質(zhì)量評價(jià)，評價(jià)指標(biāo)為PSNR、SSIM、結(jié)構(gòu)熵、能量梯度及視覺效果，并分析超分效果及原因。

3.3 仿真數(shù)據(jù)對比實(shí)驗(yàn)

該實(shí)驗(yàn)的基本思路為：選取10幅UC Merced土地使用數(shù)據(jù)集的2倍下采樣圖像作為測試集，分辨率為0.6 m，應(yīng)用雙線性插值，以及訓(xùn)練集生成的5個(gè)濾波器對圖像進(jìn)行超分辨率重建，生成9組圖像。選取一組圖像展示，如圖5所示。超分辨率重建過程完成后，以原始的高分辨率圖像作為參考圖像，與6幅超分辨率成果圖進(jìn)行質(zhì)量評價(jià)(表2)，并分析影響重建效果的因素。

圖5 不同濾波器超分辨率重建細(xì)節(jié)對比圖

表2 不同濾波器超分辨率重建質(zhì)量評價(jià)

應(yīng)用以上方法，對圖像進(jìn)行超分辨率重建，通過對超分辨率結(jié)果進(jìn)行定性定量評價(jià)，可以發(fā)現(xiàn)：①運(yùn)用雙線性插值對圖像進(jìn)行超分辨率重建，重建圖像模糊邊緣平滑，色彩對比度小，像素?zé)o明顯位移，整體質(zhì)量低于其他組；②運(yùn)用濾波器1對圖像進(jìn)行超分辨率重建，重建結(jié)果圖像清晰邊緣明顯，相比雙線性插值圖像質(zhì)量明顯提升，可恢復(fù)更多細(xì)節(jié)信息，色彩對比度適中，接近原高分圖像，像素?zé)o明顯位移，存在少量振鈴效應(yīng)；③運(yùn)用濾波器5對圖像進(jìn)行超分辨率重建，圖像質(zhì)量最高，圖像清晰邊緣更明顯，有效減少振鈴效應(yīng)；④運(yùn)用其他濾波器對圖像進(jìn)行超分辨率重建，重建效果一般?？偨Y(jié)原因：RAISR可有效提高超分圖像質(zhì)量；訓(xùn)練集越大，超分辨率效果越好；選用同類地物圖像構(gòu)建訓(xùn)練集，重建效果更理想；訓(xùn)練圖像經(jīng)過銳化、去噪、濾波器參數(shù)調(diào)優(yōu)，可有效提高超分辨率效果。

3.4 真實(shí)衛(wèi)星數(shù)據(jù)對比實(shí)驗(yàn)

利用濾波器5，對不同分辨率圖像進(jìn)行超分辨率重建，然后進(jìn)行質(zhì)量評價(jià)，并分析影響重建效果的因素。各圖像原圖、雙線性插值圖及超分辨率結(jié)果圖如圖6至圖9所示。

圖6 0.30 m分辨率圖像實(shí)驗(yàn)結(jié)果

圖7 2.38 m分辨率圖像實(shí)驗(yàn)結(jié)果

圖8 0.60 m分辨率圖像實(shí)驗(yàn)結(jié)果

圖9 10 m分辨率圖像實(shí)驗(yàn)結(jié)果

應(yīng)用以上圖像進(jìn)行超分辨率重建，通過對結(jié)果進(jìn)行定性、定量評價(jià)對比(表3)，可發(fā)現(xiàn)：①圖像1和圖像3重建結(jié)果的圖像清晰，邊緣明顯，可恢復(fù)細(xì)節(jié)信息，像素?zé)o明顯位移，偽影較少，重建效果較好，且圖像3的重建質(zhì)量提升百分比更高；②圖像2的邊緣明顯，可恢復(fù)細(xì)節(jié)信息，但圖像邊緣出現(xiàn)白點(diǎn)，存在振鈴效應(yīng)明顯，定性評價(jià)差，重建效果一般；③由于原圖像模糊，圖像4重建結(jié)果模糊，邊緣平滑，無明顯細(xì)節(jié)信息，重建效果不理想?？偨Y(jié)原因：

表3 4幅圖像超分辨率重建質(zhì)量評價(jià)

RAISR可有效提高超分辨率圖像質(zhì)量；圖像3重建結(jié)果與訓(xùn)練集圖像分辨率更接近，重建效果最理想。

4 結(jié)束語

本文主要探討了RAISR算法在衛(wèi)星遙感圖像的超分辨率重建的可行性。實(shí)驗(yàn)采用了多組高分辨率遙感圖像作為訓(xùn)練集，對不同分辨率的遙感圖像進(jìn)行超分辨率重建，對比了不同方法、不同條件下實(shí)驗(yàn)處理結(jié)果，并進(jìn)行了定性、定量評價(jià)。實(shí)驗(yàn)結(jié)果表明：

1)優(yōu)化的RAISR算法可應(yīng)用于遙感圖像重建，其重建結(jié)果清晰、細(xì)節(jié)信息恢復(fù)較好、重建速度較快，相較于未優(yōu)化的RAISR算法，可有效減小振鈴效應(yīng)。

2)應(yīng)用優(yōu)化的RAISR算法重建圖像，訓(xùn)練集所含圖像數(shù)量越多，重建效果越理想；訓(xùn)練集圖像與重建圖像結(jié)構(gòu)越相似，重建效果越理想；訓(xùn)練集圖像與重建后圖像的分辨率越接近，重建效果越理想；重建圖像的噪聲越少，重建效果理想。

3)運(yùn)用優(yōu)化的RAISR算法對圖像進(jìn)行超分辨率重建，所用時(shí)間較少。

4)RAISR算法抗噪性差，不適宜直接對含有較多噪聲的圖像進(jìn)行超分辨率重建。