融合邊緣特征和對(duì)抗網(wǎng)絡(luò)的遙感影像超分辨重建方法

李景文 陳文達(dá) 姜建武

(廣西空間信息與測(cè)繪重點(diǎn)實(shí)驗(yàn)室 廣西 桂林 541004) (桂林理工大學(xué)測(cè)繪地理信息學(xué)院 廣西 桂林 541004)

0 引 言

高質(zhì)量的高分辨率遙感影像[1]廣泛應(yīng)用于遙感測(cè)繪、偵察監(jiān)視[2]和公共安全監(jiān)控識(shí)別[3]等軍民領(lǐng)域，然而實(shí)際條件下獲取到的遙感影像通常會(huì)受到大氣擾動(dòng)、系統(tǒng)噪聲、相對(duì)運(yùn)動(dòng)及光學(xué)系統(tǒng)相差[4]等因素的影響，引起圖像的高頻信息邊緣模糊和空間分辨率的降低，無法滿足實(shí)際對(duì)高質(zhì)量的遙感影像的需要。目前提高遙感影像質(zhì)量的主要途徑有改良衛(wèi)星的硬件設(shè)備和基于算法的圖像處理，但改良衛(wèi)星的硬件設(shè)備成本高昂，耗費(fèi)時(shí)間長，因此利用超分辨率重建(super-resolution，SR)算法提高和恢復(fù)遙感影像分辨率已成為學(xué)者們研究的熱點(diǎn)方向之一[5]?；谏蓪?duì)抗網(wǎng)絡(luò)[6-7]的圖像超分辨率重建算法(SRGAN)是目前提升圖像質(zhì)量的主流算法之一，SRGAN利用感知損失(perceptual loss)和對(duì)抗損失(adversarial loss)來提升圖片的真實(shí)感。SRCNN[8]相比于深度卷積網(wǎng)絡(luò)提高了圖像超分辨率重建的速度和準(zhǔn)確度，可以通過更改網(wǎng)絡(luò)模型結(jié)構(gòu)或加入先驗(yàn)信息[7]來提高算法性能[10-12]。由于遙感影像相比普通圖像包含更豐富的空間細(xì)節(jié)信息和更多的目標(biāo)邊緣結(jié)構(gòu)，因此本文利用生成對(duì)抗網(wǎng)絡(luò)對(duì)遙感影像進(jìn)行超分辨率重建，結(jié)合預(yù)處理的邊緣檢測(cè)[13]算子和分層特征融合的密集殘差[14]結(jié)構(gòu)進(jìn)一步改進(jìn)超分辨率算法，通過多路徑分層特征融合結(jié)構(gòu)提取并復(fù)用邊緣細(xì)節(jié)特征，并采用輸入圖像作為先驗(yàn)特征，使得訓(xùn)練出模型對(duì)圖像退化機(jī)理的認(rèn)知更貼近于現(xiàn)實(shí)場(chǎng)景，解決了通過算法提高遙感影像空間分辨率質(zhì)量的問題。

1 基于SRGAN與邊緣特征的超分辨率重建算法

圖像邊緣是指相鄰區(qū)域像素的集合，包含不同灰度值的不同區(qū)域之間的灰度分割線，遙感影像的邊緣包含著大量高頻信息，是遙感圖像特征判斷和提取的重要依據(jù)。本文通過生成對(duì)抗網(wǎng)絡(luò)完成遙感影像的超分辨率重建，利用檢測(cè)影像梯度邊緣上的變化特性來增強(qiáng)影像的特征信息，采用密集殘差的方法減少網(wǎng)絡(luò)參數(shù)加強(qiáng)高頻信息的利用以提高重建影像質(zhì)量，主要包括基于GAN的重建、密集殘差網(wǎng)絡(luò)學(xué)習(xí)和邊緣算子檢測(cè)等三個(gè)核心過程。

1.1 基于GAN的重建過程

基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率重建算法由生成器網(wǎng)絡(luò)(Generator Network)和判別器網(wǎng)絡(luò)(Discriminator Network)兩部分組成。其思路是：① 通過生成器G學(xué)習(xí)訓(xùn)練集樣本數(shù)據(jù)的分布，將輸入樣本轉(zhuǎn)化為真實(shí)訓(xùn)練集數(shù)據(jù)類似的樣本。② 用判別器D判斷樣本真實(shí)概率，判別器D是一個(gè)二分類模型，其輸入為生成器G的輸出和真實(shí)樣本。③ 在網(wǎng)絡(luò)目標(biāo)函數(shù)的指導(dǎo)下，生成器超參數(shù)θg和判別器超參數(shù)θd在對(duì)抗中聯(lián)合優(yōu)化訓(xùn)練，使判別器D無法判斷生成器G的輸出結(jié)果，即最大化判別器D為訓(xùn)練數(shù)據(jù)和生成器G生成的假樣本提供的正確標(biāo)簽概率。目標(biāo)函數(shù)定義為：

minGmaxDV(D,G)=Ex～pdata(x)[logD(x)]+

Ez～pz(z)[log(1-D(G(z)))]

(1)

(2)

內(nèi)容損失函數(shù)為VGG特征間的歐氏距離，?i,j表示提取的為第i最大池化層前的第j卷積層的特征，Wi,j和Hi,j為提取出的特征層的維度。

?i,j(GθG(ILR))x,y)2

(3)

對(duì)抗損失函數(shù)是基于判別器輸出的概率，其中:DθD代表影像屬于真實(shí)高分率的概率；GθG(ILR)代表重建后的高清影像。

(4)

1.2 密集殘差網(wǎng)絡(luò)

傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)中的生成器G包含多個(gè)殘差塊[15]，每個(gè)殘差塊中包含兩個(gè)3×3的卷積層，卷積層之后是批規(guī)范化層(batch normalization,BN)和PReLU激活函數(shù)。但隨著網(wǎng)絡(luò)模型層數(shù)的加深，每個(gè)卷積層中的特征將具有不同層級(jí)的感受野，無法充分利用每層的信息。

因此本文通過對(duì)殘差網(wǎng)絡(luò)進(jìn)行更深層次的融合來充分利用原始圖像的所有分層特征，即密集殘差網(wǎng)絡(luò)。密集殘差網(wǎng)絡(luò)由多個(gè)密集殘差塊(RDB)組成，密集殘差塊由多個(gè)卷積層和激活層組成，通過局部特征融合來學(xué)習(xí)到當(dāng)前層和先前層中更有效特征。

圖1 密集殘差網(wǎng)絡(luò)

圖中Fd-1和Fd為第d個(gè)密集殘差塊的輸入和輸出，第c個(gè)卷積層的輸出表示為式(5)，其中H()表示了每一層的卷積及激活函數(shù)操作。

Fd，c=H(Fd，1,Fd，2,…,Fd，c-1)

(5)

最終通過1×1的卷積操作對(duì)最后的特征圖進(jìn)行壓縮得到Fd，lF，最終的輸出表達(dá)為Fd=Fd，c+Fd，lF，通過密集殘差網(wǎng)絡(luò)自適應(yīng)地保存信息來提取局部密集特征。

1.3 邊緣算子檢測(cè)過程

圖像邊緣是圖像灰度或結(jié)構(gòu)等信息的突變處，體現(xiàn)了局部特性的不連續(xù)性。它存在于目標(biāo)與背景、目標(biāo)與目標(biāo)、區(qū)域與區(qū)域、基元與基元之間。

邊緣檢測(cè)提取原始影像中不連續(xù)部分的特征，將閉合的邊緣提取出來作為一個(gè)區(qū)域，以邊緣信息為約束條件對(duì)影像進(jìn)行超分辨率重建。Prewitt算子是一種一階微分算子的邊緣檢測(cè)，利用像素鄰點(diǎn)的灰度差，在邊緣處達(dá)到極值，在圖像空間兩個(gè)方向模板與圖像進(jìn)行卷積，分別檢測(cè)水平邊緣和垂直邊緣。其圖像f(x,y)公式如下：

(6)

(7)

像素點(diǎn)(x,y)的梯度為:

G(x,y)=max{|G(i)|,|G(j)|}

(8)

2 改進(jìn)方法的具體步驟

基于改進(jìn)邊緣檢測(cè)和生成對(duì)抗網(wǎng)絡(luò)是影像超分辨率重建分為以下兩個(gè)步驟：(1) 生成器學(xué)習(xí)階段，在訓(xùn)練樣本中，將輸入影像的分層特征進(jìn)行加權(quán)融合，最后通過上采樣得到超分辨率影像。(2) 判定器判別階段，通過卷積神經(jīng)網(wǎng)絡(luò)分別提取生成影像與真實(shí)樣本的特征來判斷真?zhèn)巍Ｋ惴ㄕw流程如圖2所示。

圖2 算法流程

2.1 生成器學(xué)習(xí)階段

在生成器學(xué)習(xí)階段，本文采用雙通道加權(quán)融合的方案取代傳統(tǒng)的單通道模型，進(jìn)一步利用到邊緣檢測(cè)獲取到的高頻細(xì)節(jié)特征。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)算法模型

(9)

(10)

密集殘差模塊(RDB)分別在主線和支線上自適應(yīng)的學(xué)習(xí)先前的有效特征，穩(wěn)定的網(wǎng)絡(luò)訓(xùn)練將形成連續(xù)記憶機(jī)制。通過加權(quán)融合主線上每一個(gè)RDB模塊不僅學(xué)習(xí)到先前的信息，還融合了所有支線層的邊緣信息特征。

(11)

(12)

該部分的關(guān)鍵代碼如算法1所示。

算法1特征提取關(guān)鍵代碼

kernelx,kernely為邊緣檢測(cè)算子；img為DataLoader加載的數(shù)據(jù)集

def edge_enhance(img):

n=img.shape[0]

imgs=img

for i in range(n):

img=imgs[i:i+1,:,:,:]

#讀取指定的維度

img=img.squeeze(0)

#去掉第零維

grayImage=img.cpu().numpy()

img=np.transpose(img,(1,2,0))

#調(diào)換數(shù)組索引

grayImage=np.transpose(grayImage,(1,2,0))

(x,y)=cv2.filter2D(grayImage,cv2.CV_16S,(kernelx,kernely))

#卷積

(absX,absY)=cv2.convertScaleAbs(x,y)

#轉(zhuǎn)uint8

Prewitt=cv2.addWeighted(absX,0.5,absY,0.5,0)

Prewitt=np.expand_dims(Prewitt,axis=2)

#添加第二維

(R,G,B)=img[:,:,(0,1,2)]

(R1,G1,B1)=Prewitt[:,:,(0,1,2)]

(L,L1)=0.2126*(R,R1)+0.7152*(G,G1)+0.0722*(B,B1)

#轉(zhuǎn)RGB三通道

(Rratio,Gratio,Bratio)=(R,G,B)*(1/L)

(R2,G2,B2)=(Rratio,Gratio,Bratio)*L1

Prewitt=np.dstack((R2,G2,B2))

#疊加矩陣

Prewitt=cv2.add(Prewitt,img)

Prewitt=np.transpose(Prewitt,(2,0,1))

Prewitt=Prewitt.unsqueeze(0)

#得到邊緣特征圖

if (i==0):

out=Prewitt

else:

out=torch.cat((out,Prewitt),0)

#疊加檢測(cè)的特征圖

return out

2.2 判定器檢測(cè)階段

判定器主要是用于二分類檢測(cè)，用于判別生成圖像與原圖像的真?zhèn)螌傩?。其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，其中包含步長為2和1的卷積層。除第一個(gè)卷積層之外，每個(gè)卷積層之后通過批量規(guī)范化(Batch Normalization)加快了模型收斂速度。在6個(gè)密集連接塊(DDB)之后網(wǎng)絡(luò)通過全連接層和Sigmoid激活函數(shù)完成對(duì)圖像真?zhèn)蔚呐袆e。

圖4 判別器模型

優(yōu)化后的模型中不再包含BN層，因此可以使用Wassertein 距離去衡量生成數(shù)據(jù)分布和真實(shí)數(shù)據(jù)分布之間的距離，并通過對(duì)每個(gè)訓(xùn)練樣本添加單獨(dú)的梯度來緩解遇到的梯度爆炸和梯度消失問題，最終網(wǎng)絡(luò)目標(biāo)函數(shù)的表達(dá)如下：

L=-Ex～pr[D(x)]+Ex～pg[D(x)]+

(13)

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境為Google Colaboratory平臺(tái)，Ubuntu16系統(tǒng)，內(nèi)存為60 GB，顯卡為Tesla K80，顯存12 GB，編程語言為Python 3.6，由PyTorch 1.0框架與CUDA10.1架構(gòu)完成算法。

實(shí)驗(yàn)數(shù)據(jù)集A、B、C共包含1萬幅2018年Google Earth高分辨率多光譜(RGB)遙感影像，影像來源于Maxar Technologies并包含整個(gè)桂林市區(qū)，整體分辨率為0.14米/像素，單幅影像分辨率為400×400。

為了評(píng)價(jià)本文方法的重建效果，對(duì)高分辨率遙感影像的RGB三通道圖像進(jìn)行下采樣操作獲得低分辨率數(shù)據(jù)集，進(jìn)行4倍采樣下的超分辨率重建實(shí)驗(yàn)。

3.1 主觀對(duì)比分析

本實(shí)驗(yàn)采用VGG19[16]模型作為初始化模型。訓(xùn)練過程中，生成器和判別器交替訓(xùn)練，batch_size為128，學(xué)習(xí)率為0.000 2，epchos為300，Total Variation loss權(quán)重為2e-8，adversarial loss權(quán)重為0.001，perception loss權(quán)重為0.006，分層融合系數(shù)為0.01，總?cè)诤舷禂?shù)為1，訓(xùn)練時(shí)長為24小時(shí)。

圖5-圖7為4倍采樣下的不同影像在不同算法下的超分辨率重建效果圖。從不同重建方法的視覺效果可以看出，雙三次插值法重建的圖像各方面都較為模糊，SRCNN好于雙三次插值但難以恢復(fù)細(xì)節(jié)特征，SRGAN可以恢復(fù)部分紋理細(xì)節(jié)，但影像邊緣仍存在模糊的現(xiàn)象。而經(jīng)過本文改進(jìn)后的算法，重建影像在邊緣區(qū)域有較大改進(jìn)，不僅具有較高對(duì)比度，而且增強(qiáng)了輪廓和細(xì)節(jié)，可以看出影像的高頻信息得到了更好的保存。

圖5 不同算法下的影像超分辨率重建效果

圖6 不同算法下的影像超分辨率重建效果

圖7 不同算法下的影像超分辨率重建效果

3.2 客觀評(píng)價(jià)指標(biāo)

本文選用峰值信噪比(PSNR)[17]及結(jié)構(gòu)相似性(SSIM)[18]作為實(shí)驗(yàn)評(píng)價(jià)指標(biāo)，對(duì)比雙三次插值方法、SRCNN、VDSR、SRGAN方法及本文改進(jìn)的算法對(duì)得到的超分辨率重建結(jié)果。通常情況下PSNR和SSIM越高，表明重建結(jié)果越好。

對(duì)給定的m×n圖像I和噪聲K來說，PSNR定義為：

(14)

(15)

(16)

表1為4種算法下測(cè)試集影像的指標(biāo)值，其中每個(gè)測(cè)試集包含影像100幅，取平均值。可以看出，在不同數(shù)據(jù)集上本文算法重建影像指標(biāo)均優(yōu)于其他對(duì)比算法，其中PSNR有較大提升，SSIM略有提升。本文方法的PSNR比SRGAN高0.8 dB左右，這說明將邊緣檢測(cè)和密集殘差網(wǎng)絡(luò)應(yīng)用到遙感影像超分辨率重建中擁有更好的復(fù)原效果，重建圖像也更加清晰，恢復(fù)了更多的紋理細(xì)節(jié)，建筑物、道路以及植被的邊緣輪廓更加清晰。圖8為不同融合系數(shù)對(duì)指標(biāo)的影響。

表1 各算法評(píng)價(jià)指標(biāo)

圖8 不同融合系數(shù)對(duì)算法的影響

4 結(jié) 語

遙感影像中的高頻信息較為豐富，包含更多的顏色、形狀和紋理特征，本文將邊緣特征和對(duì)抗網(wǎng)絡(luò)進(jìn)行融合，提出了一種基于結(jié)合邊緣檢測(cè)算子和密集殘差網(wǎng)絡(luò)的影像重建方法。該方法利用邊緣檢測(cè)算子提取影像邊緣細(xì)節(jié)特征，采用密集殘差模塊復(fù)用前層的底層特征，以“博弈論”的方式訓(xùn)練網(wǎng)絡(luò)，最終達(dá)到納什平衡狀態(tài)完成遙感影像的超分辨率重建。本文將該超分辨率算法應(yīng)用于Google Earth提供的高分辨率遙感影像，成功地提升了其空間分辨率。根據(jù)實(shí)驗(yàn)結(jié)果顯示其主觀感受與客觀指標(biāo)均優(yōu)于其他算法，PSNR相比SRGAN高0.8 dB，實(shí)驗(yàn)證明了該模型的有效性，為遙感影像重建提供了新的解決方法與技術(shù)思路。