DCLS-GAN：利用生成對(duì)抗網(wǎng)絡(luò)的天繪一號(hào)衛(wèi)星高原地區(qū)影像去云方法

鄭 凱,李建勝,王俊強(qiáng),歐陽文,谷友藝,張 迅

1. 信息工程大學(xué)，河南 鄭州 450001; 2. 78123部隊(duì)，四川 成都 610000; 3. 北京市遙感信息研究所，北京 100192

高原，地理上通常指海拔高度500 m以上的相對(duì)平坦或有一定起伏的地區(qū)，面積約占地球表面的45%，其含氧量低、冰雪覆蓋多的特點(diǎn)給人類活動(dòng)帶來諸多不便[1]。由于地表約有66.7%[2]被云層覆蓋，連續(xù)無云影像難以獲取，加之部分高原地區(qū)常年積雪、水汽多導(dǎo)致云覆蓋程度較平原更高，對(duì)其影像進(jìn)行去云處理在應(yīng)急救援等領(lǐng)域具有重大意義。當(dāng)發(fā)生諸如泥石流、地震、山體滑坡等自然災(zāi)害或需要進(jìn)行登山救援時(shí)，部分交通情況可能發(fā)生改變，無法應(yīng)用已有歷史影像分析判斷受災(zāi)情況、規(guī)劃救援道路，必須對(duì)現(xiàn)勢性強(qiáng)的實(shí)時(shí)或近實(shí)時(shí)影像進(jìn)行去云處理，實(shí)現(xiàn)應(yīng)急地圖的快速生產(chǎn)或應(yīng)急路線的快速規(guī)劃。

近年來，學(xué)者們對(duì)影像去云進(jìn)行了廣泛研究，提出的方法大致可分為4類：多時(shí)相法、多光譜法、圖像增強(qiáng)法及圖像修復(fù)法。前3類方法的前置條件多、穩(wěn)健性不強(qiáng)，比如多時(shí)相法需要不同時(shí)刻完全相同區(qū)域的影像，涉及圖像配準(zhǔn)操作并且時(shí)效性不強(qiáng)；多光譜法需要冗余的不同頻段影像支持；圖像增強(qiáng)法能提升可視效果，但對(duì)厚云去除收效甚微。圖像修復(fù)法分傳統(tǒng)的和基于機(jī)器學(xué)習(xí)的方法，傳統(tǒng)的圖像修復(fù)法直接利用本幅圖像視覺真實(shí)和語義上合理的其余部分對(duì)云覆蓋的部分進(jìn)行替換，如文獻(xiàn)[3]提出的基于樣本塊匹配算法，該算法結(jié)合了紋理合成和擴(kuò)散填充，但只適用于背景以低頻信息和重復(fù)性紋理為主的圖像。另一類圖像修復(fù)則基于機(jī)器學(xué)習(xí)，如文獻(xiàn)[4]針對(duì)Landsat影像提出了一種時(shí)空加權(quán)回歸(spatially and temporally weighted regression，STWR)模型，借助大量無云影像對(duì)不變相似像素的互補(bǔ)信息進(jìn)行最優(yōu)融合，從而生成連續(xù)的無云影像。近年來，深度學(xué)習(xí)技術(shù)為圖像問題帶來了新思路與新路徑，可利用訓(xùn)練CNN網(wǎng)絡(luò)學(xué)習(xí)到圖像中缺失區(qū)域與其他部分之間復(fù)雜的函數(shù)關(guān)系。如文獻(xiàn)[5]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(spatial temporal spectral CNN，STS-CNN)的統(tǒng)一時(shí)空譜框架，采用統(tǒng)一的深卷積神經(jīng)網(wǎng)絡(luò)和時(shí)空譜補(bǔ)充信息相結(jié)合進(jìn)行去云處理，能夠?qū)ODIS和Landsat衛(wèi)星影像進(jìn)行去云。

2014年文獻(xiàn)(Intriguing properties of neural networks.arXiv preprint arXiv:1312.6199,2013)首次提出深度學(xué)習(xí)對(duì)抗樣本的概念，隨后文獻(xiàn)(https:∥arxiv.org/abs/1511.06434)提出一種無監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)模型——生成對(duì)抗網(wǎng)絡(luò)(GAN)。該網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)組成，生成網(wǎng)絡(luò)用于合成缺失部分，而鑒別網(wǎng)絡(luò)負(fù)責(zé)對(duì)圖像質(zhì)量進(jìn)行判別，兩個(gè)網(wǎng)絡(luò)在與對(duì)方的對(duì)抗中提升自身的性能，實(shí)現(xiàn)影像數(shù)據(jù)特征分布的自主學(xué)習(xí)，很快成為國內(nèi)外學(xué)者們的研究焦點(diǎn)[7-9]。針對(duì)GAN訓(xùn)練過程不穩(wěn)定的現(xiàn)實(shí)，2016年文獻(xiàn)[10]針對(duì)GAN進(jìn)行了改進(jìn)并利用CNN的優(yōu)點(diǎn)，提出了深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional-generative adversarial networks，DC-GAN)，將CNN引入生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)模型當(dāng)中進(jìn)行無監(jiān)督訓(xùn)練，利用卷積網(wǎng)絡(luò)強(qiáng)大的特征提取能力來提高生成網(wǎng)絡(luò)的學(xué)習(xí)效果。在上述工作基礎(chǔ)上，2016年文獻(xiàn)[11]提出上下文編碼器-解碼器語義修復(fù)網(wǎng)絡(luò)(context encoder)，利用編碼器中的CNN來學(xué)習(xí)圖像中的語義特征，結(jié)合生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)樣本數(shù)據(jù)的特征分布，從而生成圖像的缺失部分，但該方法的修復(fù)結(jié)果缺乏精細(xì)的紋理細(xì)節(jié)，容易產(chǎn)生偽跡。

目前圖像修復(fù)法去云多是使用模擬云加云影像[12]、低空無人機(jī)和地基攝影影像[13]，在真實(shí)衛(wèi)星遙感影像上實(shí)現(xiàn)智能去云研究成果較少。本文數(shù)據(jù)集來自國產(chǎn)遙感衛(wèi)星天繪一號(hào)[14-15]，其影像比陸基獲取的影像覆蓋范圍更廣、目標(biāo)結(jié)構(gòu)特征更多樣、紋理細(xì)節(jié)特征不明顯。針對(duì)上述問題，本文提出了深度卷積最小二乘生成對(duì)抗網(wǎng)絡(luò)(deep convolutional least square-generative adversarial networks，DCLS-GAN)的遙感影像去云方法。試驗(yàn)證明，較傳統(tǒng)方法而言，本文方法去云處理不依賴高光譜、不需要多時(shí)相，實(shí)時(shí)性、穩(wěn)健性強(qiáng)，與文獻(xiàn)[11，16-17]方法的對(duì)比試驗(yàn)證明，本文方法從定性觀察和定量分析上都能得到較優(yōu)的云區(qū)修復(fù)效果，為衛(wèi)星遙感影像的智能去云工作提供了新的途徑。

1 試驗(yàn)數(shù)據(jù)

1.1 原始數(shù)據(jù)

本文的研究對(duì)象是高原地區(qū)，研究數(shù)據(jù)來自天繪一號(hào)衛(wèi)星2018—2019年拍攝的中國高原地區(qū)RGB彩色遙感影像?？紤]到不同地表類型、不同海拔高度以及不同時(shí)間段影像特征不同，為保證模型的泛化能力，選取涵蓋不同下墊面、不同季節(jié)、不同時(shí)段的遙感影像共900景。地理經(jīng)緯度范圍為28°35′E—125°35′E，8°25′N—65°25′N，涵蓋了高山、城鎮(zhèn)、冰川、雪地等不同下墊面情況。典型的影像類型如圖1所示。

圖1 高原地區(qū)典型地表影像Fig.1 Typical surface of plateau area in TH-1 image

1.2 數(shù)據(jù)集建立

(1) bmp影像生成。讀取原始數(shù)據(jù)文件，將tif格式四通道數(shù)據(jù)，保存為分辨率6000×6000的“.bmp”圖像。

(2) 影像裁切。原始遙感影像幅面較大，網(wǎng)絡(luò)訓(xùn)練時(shí)將影像裁切為448×448大小，共選取8828張影像。

(3) 影像掩膜。在無監(jiān)督預(yù)訓(xùn)練時(shí)使用白色矩形中心掩模模擬云覆蓋區(qū)域[13]，掩膜大小為影像長寬的一半，訓(xùn)練模型修復(fù)影像中間部分的信息，如圖2(b)所示；在遷移訓(xùn)練時(shí)使用可移動(dòng)云掩膜(不超過影像面積的一半)，重點(diǎn)提升模型修復(fù)圖像邊緣信息的能力，如圖2(c)所示。

圖2 2種不同類型的云掩膜Fig.2 Two kinds of cloud mask

(4) 數(shù)據(jù)集劃分。將裁切后的8828張影像按照18∶3∶1的比例劃分訓(xùn)練集、遷移訓(xùn)練集、測試集，得到訓(xùn)練集影像7195張，遷移訓(xùn)練影像1213張，測試集影像420張。

2 基于DCLS-GAN的去云網(wǎng)絡(luò)設(shè)計(jì)

針對(duì)傳統(tǒng)圖像修復(fù)的缺陷以及天繪一號(hào)遙感衛(wèi)星影像的特征，本文基于DC-GAN網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)最小二乘損失函數(shù)[18]與交叉熵?fù)p失的聯(lián)合損失函數(shù)，建立DCLS-GAN遙感影像去云方法，實(shí)現(xiàn)對(duì)高原地區(qū)天繪一號(hào)衛(wèi)星遙感影像的智能去云。首先在無云影像中使用矩形中心掩膜進(jìn)行無監(jiān)督預(yù)訓(xùn)練，而后使用可移動(dòng)掩膜做遷移訓(xùn)練，提升訓(xùn)練的穩(wěn)定性和生成結(jié)果的質(zhì)量；同時(shí)，引入雙線性插值和泊松編輯[19]作為后處理消除生成區(qū)域與背景間的顏色差異和云區(qū)邊緣修復(fù)時(shí)的偽跡，較好地保留了修復(fù)區(qū)域的細(xì)節(jié)特征。

2.1 總體流程

總體網(wǎng)絡(luò)訓(xùn)練流程圖3所示，生成網(wǎng)絡(luò)G的輸入為有云影像z，輸出生成影像G(z)，G(z)與無云原圖z′一起進(jìn)入鑒別網(wǎng)絡(luò)中進(jìn)行對(duì)比，經(jīng)過迭代訓(xùn)練，使得生成網(wǎng)絡(luò)生成的影像逐漸逼近真實(shí)影像，最終使判別網(wǎng)絡(luò)判斷不出生成影像的真?zhèn)?。利用?xùn)練好的模型進(jìn)行去云的流程如圖4所示，輸入有云影像，尋找云區(qū)的最大外接矩形，矩形內(nèi)部利用訓(xùn)練好的模型進(jìn)行生成并經(jīng)過雙線性插值優(yōu)化，無云部分利用原圖進(jìn)行替換，最后經(jīng)過泊松圖像編輯后處理得到預(yù)測結(jié)果。

圖3 DCLS-GAN網(wǎng)絡(luò)訓(xùn)練流程Fig.3 Framework of DCLS-GAN network training

圖4 訓(xùn)練完畢后去云操作流程Fig.4 Cloud removal framework with trained generator

GAN的網(wǎng)絡(luò)訓(xùn)練是二元極小極大博弈的過程，鑒別網(wǎng)絡(luò)D不斷學(xué)習(xí)真實(shí)無云影像和生成網(wǎng)絡(luò)生成的假圖像之間的區(qū)別并區(qū)分真假，而生成網(wǎng)絡(luò)不斷學(xué)習(xí)真實(shí)圖像的特征分布從而產(chǎn)生逼真圖像去欺騙鑒別網(wǎng)絡(luò)，如(1)式所示

D(G(z)))]}

(1)

式中，z為有云影像的集合;χ為對(duì)應(yīng)的無云原圖的集合;D(x)和D(G(z))分別為鑒別網(wǎng)絡(luò)對(duì)原圖和修復(fù)圖的分類標(biāo)簽值;E為期望值。GAN的訓(xùn)練過程即為對(duì)式(1)進(jìn)行聯(lián)合優(yōu)化，目的是使D將x識(shí)別為真(值為1)而將G(z)識(shí)別為假(值為0)，而G努力阻止D做出正確判斷。在不斷對(duì)抗學(xué)習(xí)下，G和D的性能都會(huì)得到提高，G最終能生成人眼無法分辨的接近真實(shí)的無云影像。

2.2 生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)

生成網(wǎng)絡(luò)基于編碼器-解碼器結(jié)構(gòu)，編碼器由5個(gè)卷積層組成，解碼器由5個(gè)轉(zhuǎn)置卷積層組成，負(fù)責(zé)提取原圖特征并生成預(yù)測圖。表1給出了生成網(wǎng)絡(luò)的詳細(xì)配置，其中conv、dconv、BN、stride和padding分別代表卷積、轉(zhuǎn)置卷積、批標(biāo)準(zhǔn)化、卷積步長和卷積核填0，conv4×4表示卷積核的大小為4×4，同理dconv4×4表示相同大小的核進(jìn)行轉(zhuǎn)置卷積，連接編碼器與解碼器的是與通道等寬的全連接層，并使用了步長為1的卷積模塊，用于減少網(wǎng)絡(luò)參數(shù)數(shù)量，其輸入維度為8，輸出維度為4000，ReLu[20]、tanh和Leaky ReLu[21]代表激活函數(shù)。

表1 生成網(wǎng)絡(luò)的結(jié)構(gòu)

鑒別網(wǎng)絡(luò)基于CNN結(jié)構(gòu)，由6個(gè)卷積層組成，負(fù)責(zé)判斷生成的圖像真?zhèn)??？紤]到池化操作會(huì)造成特征信息的丟失，本文在生成網(wǎng)絡(luò)、鑒別網(wǎng)絡(luò)中使用空洞卷積替換(Multi-scale context aggregation by dilated convolutions.arXiv preprint arXiv:1511.07122,2015)池化，在擴(kuò)大感受野的同時(shí)不丟失圖像的細(xì)節(jié)信息；利用BN操作使特征輸出歸一化，加速訓(xùn)練并使得網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定，但是文獻(xiàn)[13]指出，在網(wǎng)絡(luò)所有層都加上BN會(huì)使訓(xùn)練過程震蕩，在生成網(wǎng)絡(luò)G的輸出層不使用BN能有效避免該問題，本文采用了這一策略。鑒別網(wǎng)絡(luò)中的激活函數(shù)LeakyReLu，將輸出層最后的Sigmoid激活函數(shù)[22]結(jié)合到交叉熵?fù)p失中用防止梯度消失。鑒別網(wǎng)絡(luò)的參數(shù)設(shè)置如表2所示。

表2 鑒別網(wǎng)絡(luò)的結(jié)構(gòu)

2.3 損失函數(shù)

針對(duì)GAN訓(xùn)練過程過于自由而導(dǎo)致梯度消失或梯度爆炸等問題，許多學(xué)者提出了改進(jìn)的方法。文獻(xiàn)[23]提出WGAN模型，利用W距離代替JS散度并加入梯度懲罰來描述兩個(gè)分布之間的距離，文獻(xiàn)[18]提出了LS-GAN，利用最小二乘損失描述兩個(gè)分布之間的距離，能夠在兩個(gè)數(shù)據(jù)分布距離較遠(yuǎn)的情況下仍能反映距離的遠(yuǎn)近程度，防止因?yàn)镾igmoid損失處于飽和狀態(tài)以及JS散度為常數(shù)而導(dǎo)致的梯度為0的情況，解決訓(xùn)練的穩(wěn)定性問題，提高GAN生成圖像的質(zhì)量。鑒別網(wǎng)絡(luò)與生成網(wǎng)絡(luò)的最小二乘損失函數(shù)如式(2)、式(3)所示

(2)

(3)

式中，Pr是真實(shí)影像集的樣本分布；Pz是生成網(wǎng)絡(luò)產(chǎn)生的影像集樣本分布；D(x)和D(G(z))分別為鑒別網(wǎng)絡(luò)對(duì)原圖和修復(fù)圖的分類標(biāo)簽值。常數(shù)a、b分別表示生成圖片和真實(shí)圖片的標(biāo)記；c是生成網(wǎng)絡(luò)為了讓判別網(wǎng)絡(luò)認(rèn)為生成圖像是真實(shí)數(shù)據(jù)而定的值。文獻(xiàn)[18]指出，當(dāng)b-c=1，b-a=2時(shí)，目標(biāo)函數(shù)等價(jià)于皮爾森卡方散度(Pearsonχ2divergence)，一般取a=-1，b=1，c=0或a=-1，b=c=1。

本文令a=-1，b=1，鑒別網(wǎng)絡(luò)的損失函數(shù)如式(4)所示

(4)

令c=0，生成網(wǎng)絡(luò)的重建損失J(G)1為最小二乘損失，如式(5)所示

(5)

(6)

從而生成網(wǎng)絡(luò)的聯(lián)合損失函數(shù)如式(7)所示

J(G)tot=λ·J(G)1+(1-λ)·J(G)2

(7)

式中，λ為權(quán)值，文獻(xiàn)[13]經(jīng)過交叉驗(yàn)證，λ取0.001時(shí)效果最好，本文λ取0.001,1-λ為0.999。

2.4 雙線性插值與泊松編輯后處理

本文在云覆蓋區(qū)域進(jìn)行去云處理時(shí)，在輸出像點(diǎn)像素前使用了雙線性插值，利用待求點(diǎn)臨近的4個(gè)像素點(diǎn)的像素值進(jìn)行插值，得到待求像點(diǎn)的像素值，提高還原精度與可視效果。雙線性插值公式如式(8)所示

(8)

式中，Q11、Q21、Q12、Q22分別為像點(diǎn)(x,y)左下、右下、左上、右上相鄰的4個(gè)像點(diǎn)。

本文使用泊松圖像編輯作為后處理改善修復(fù)部分邊界的色彩差異，其主要思想是把原始含云影像的梯度信息賦予到生成影像上，使生成部分與整體影像更加相似。泊松方程如式(9)所示

(9)

2.5 網(wǎng)絡(luò)優(yōu)化算法步驟

在訓(xùn)練生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)時(shí)，先固定生成網(wǎng)絡(luò)，訓(xùn)練鑒別網(wǎng)絡(luò)，按照每訓(xùn)練1次生成網(wǎng)絡(luò)、訓(xùn)練5次鑒別網(wǎng)絡(luò)的策略，平衡最小二乘損失函數(shù)優(yōu)化下的DCLS-GAN訓(xùn)練的波動(dòng)。網(wǎng)絡(luò)優(yōu)化的算法步驟如表3所示。

2.5.1 參數(shù)設(shè)置

2.5.2 訓(xùn)練步驟

初始化生成網(wǎng)絡(luò)參數(shù)θ和判別網(wǎng)絡(luò)參數(shù)ω；

Whileθhas not converged do；

fort=0,…,Tddo；

ω←ω+lr·Adam(ω,gω)；

end for；

θ←θ-lr·Adam (θ,gθ)；

end while.

3 試驗(yàn)與分析

3.1 試驗(yàn)數(shù)據(jù)與平臺(tái)

訓(xùn)練數(shù)據(jù)集共8408張，劃分情況如表3所示，影像大小均為448×448；測試數(shù)據(jù)集420張，并額外使用50張真實(shí)云覆蓋的天繪一號(hào)衛(wèi)星影像作為無參考試驗(yàn)數(shù)據(jù)。試驗(yàn)硬件為聯(lián)想深度學(xué)習(xí)工作站，CPU主頻為2.1 GHz的英特爾Xeon處理器，顯卡為英偉達(dá)Titan xp圖形處理器，使用PyTorch1.0框架搭建深度學(xué)習(xí)模型。

表3 訓(xùn)練集劃分

3.2 訓(xùn)練過程與結(jié)果

訓(xùn)練采取“無監(jiān)督訓(xùn)練+遷移訓(xùn)練”的策略進(jìn)行,同時(shí)采取數(shù)據(jù)增強(qiáng)策略對(duì)輸入影像進(jìn)行隨機(jī)上下翻轉(zhuǎn)、水平翻轉(zhuǎn)。無監(jiān)督訓(xùn)練時(shí)，使用白色矩形中心掩膜影像進(jìn)行，完成白色矩形中心掩膜影像數(shù)據(jù)的訓(xùn)練后，保存預(yù)訓(xùn)練模型，在此基礎(chǔ)上采用隨機(jī)位置矩形掩膜的數(shù)據(jù)集進(jìn)行遷移訓(xùn)練，按相等概率將掩膜覆蓋在遷移訓(xùn)練數(shù)據(jù)集的左上、右上、左下、右下位置，提高特征學(xué)習(xí)的泛化能力，無監(jiān)督訓(xùn)練共進(jìn)行了200輪，遷移訓(xùn)練進(jìn)行了100輪。

圖5為無監(jiān)督訓(xùn)練過程與結(jié)果，圖5(a)為生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)的損失圖，圖5(b)為第1輪輸入影像，圖5(c)是第1輪訓(xùn)練的生成影像，圖5(d)為第200輪訓(xùn)練時(shí)的輸入影像，圖5(f)為第200輪訓(xùn)練的生成影像?？梢?，訓(xùn)練初始階段，影像修復(fù)質(zhì)量較差；訓(xùn)練200輪后，修復(fù)質(zhì)量已明顯提高，但此時(shí)網(wǎng)絡(luò)傾向于學(xué)習(xí)中心掩膜邊界附近的低層次特征，生成網(wǎng)絡(luò)對(duì)影像四周的特征利用不夠，仍具有邊界偽跡。圖5(g)為訓(xùn)練200輪的結(jié)果局部放大(修復(fù)部分位于影像中央)，此時(shí)人眼已難辨認(rèn)生成影像與原始影像的真假。隨著訓(xùn)練次數(shù)的增加，鑒別網(wǎng)絡(luò)判別真假樣本的能力越來越強(qiáng)而生成網(wǎng)絡(luò)的預(yù)測結(jié)果越來越接近真實(shí)樣本。

圖5 無監(jiān)督訓(xùn)練過程與結(jié)果圖Fig.5 Process and results of unsupervised-training

圖6為遷移訓(xùn)練過程與結(jié)果，圖6(a)為生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)的損失圖，圖6(b)為第1輪輸入影像，圖6(c)是第1輪訓(xùn)練的生成影像，圖6(d)為第100輪訓(xùn)練時(shí)的輸入影像，圖6(e)為第100輪訓(xùn)練的生成影像。圖6(c)可見，無監(jiān)督中心掩膜訓(xùn)練完畢后，對(duì)影像邊緣部分的特征學(xué)習(xí)還不夠好，所以在遷移訓(xùn)練初始階段，影像邊緣修復(fù)質(zhì)量較差；訓(xùn)練100輪后，修復(fù)質(zhì)量已明顯提高。圖6(g)為訓(xùn)練100輪的結(jié)果局部放大，此時(shí)人眼已難辨認(rèn)生成影像與原始影像的真假。隨著遷移訓(xùn)練次數(shù)的增加，鑒別網(wǎng)絡(luò)與生成網(wǎng)絡(luò)的損失趨于平穩(wěn)，且波動(dòng)較小，說明網(wǎng)絡(luò)已經(jīng)學(xué)習(xí)到訓(xùn)練數(shù)據(jù)集的特征，預(yù)測結(jié)果更加接近真實(shí)樣本。

圖6 遷移訓(xùn)練過程與結(jié)果Fig.6 Process and results of transfer-training

3.3 對(duì)比與分析

將模擬加云的測試影像輸入訓(xùn)練好的DCLS-GAN模型，得到初步去云結(jié)果，但生成的去云影像會(huì)在背景和邊界部分產(chǎn)生一些顏色差異和偽跡。本文采用泊松圖像編輯作為后處理方法，處理結(jié)果如圖7所示?？梢姡此蓤D像編輯可以有效去除重建區(qū)域內(nèi)部的對(duì)比度不一致以及重建區(qū)域與原圖拼接縫的偽跡問題。

圖7 泊松編輯后處理對(duì)比Fig.7 Comparison results of Poisson image editing

為驗(yàn)證本文方法的優(yōu)越性，采用對(duì)比試驗(yàn)的方法，選取2種經(jīng)典的非機(jī)器學(xué)習(xí)類圖像修復(fù)方法[16-17]以及原始Context Encoder網(wǎng)絡(luò)[11]與本文方法進(jìn)行對(duì)比，其中，Context Encoder網(wǎng)絡(luò)訓(xùn)練條件與本文方法一致，文獻(xiàn)[16—17]方法參數(shù)設(shè)置與原作一致。

首先使對(duì)測試集中的3類典型高原地表影像進(jìn)行測試，本文方法與對(duì)比方法的去云結(jié)果如圖8—圖10所示。

圖8 雪山的去云結(jié)果對(duì)比Fig.8 Comparison of processed results of snow mountain

觀察圖8—圖10，可以發(fā)現(xiàn)傳統(tǒng)方法在紋理平滑區(qū)域的修復(fù)效果視覺感受上較好，但修復(fù)結(jié)果不具備語義正確性，且效果穩(wěn)健性差，另外在修復(fù)區(qū)域四周的偽跡十分明顯，基于DC-GAN方法在視覺真實(shí)性和語義正確性上都遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)方法。

為了定量分析本文方法的效果，采用峰值信噪比(PSNR)[23]與結(jié)構(gòu)相似性(SSIM)[24]兩類影像質(zhì)量評(píng)價(jià)指標(biāo)對(duì)150張測試集影像(3種地表各50張)定量分析去云效果，結(jié)果如表4所示。PSNR值越大、SSIM值越接近1代表去云結(jié)果影像與原始影像越相似。從表4可知，本文方法的總體結(jié)果優(yōu)于對(duì)比方法。雖然在居民地的修復(fù)上本文方法PSNR值略低于Context Encoder，但Context Encoder修復(fù)的圖像紋理不正確(修復(fù)出的紋理屬于雪山紋理，如圖10第3、第4張影像所示)，與居民地紋理不符，總體色彩上本文方法更接近原圖；在冰川修復(fù)上SSIM值略低于傳統(tǒng)方法，其原因是大部分冰川表面比較平滑，所以傳統(tǒng)方法修復(fù)結(jié)果結(jié)構(gòu)上與原圖相似，但缺少紋理細(xì)節(jié)，且總體上白色偽跡較多(如圖9所示)。本文方法的總體修復(fù)結(jié)果在細(xì)節(jié)上優(yōu)于Context Encoder。

表4 測試集去云效果對(duì)比值

圖9 冰川的去云結(jié)果對(duì)比Fig.9 Comparison of processed results of glacier

圖10 居民地的去云結(jié)果對(duì)比Fig.10 Comparison of processed results of resident area

為進(jìn)一步驗(yàn)證本文方法的有效性，在定量指標(biāo)計(jì)算的基礎(chǔ)上，對(duì)20張真實(shí)云覆蓋的測試影像(448×448像素)進(jìn)行對(duì)比試驗(yàn)，選取5張含不同大小、不同形狀真云的影像對(duì)比如圖11所示。

圖11 典型地表的真實(shí)去云結(jié)果對(duì)比圖Fig.11 Comparison of cloud removal results in typical area with real cloud

由于測試數(shù)據(jù)集中真實(shí)含云影像無對(duì)應(yīng)的無云原圖作為參考，所以采用無參考的影像質(zhì)量評(píng)價(jià)方法作為評(píng)價(jià)指標(biāo)，本文采用自然影像無參考質(zhì)量評(píng)價(jià)算法(NIQE)[25]指標(biāo)作為評(píng)價(jià)依據(jù)，NIQE使用質(zhì)量完好的與測試數(shù)據(jù)同一分布訓(xùn)練圖像的圖像塊NSS特征擬合得到多元高斯(multivariate Gaussian)模型，進(jìn)而利用訓(xùn)練好的模型對(duì)測試圖像進(jìn)行評(píng)價(jià)，指標(biāo)越小代表與訓(xùn)練數(shù)據(jù)集的誤差越小、質(zhì)量越好。本文使用NIQE模型參數(shù)為：圖像塊(batchsize)=192×192，銳度閾值(sharpness threshold)=0.75，訓(xùn)練數(shù)據(jù)362張無云原圖由訓(xùn)練集中隨機(jī)抽取。試驗(yàn)結(jié)果見表5。

由圖11與表5可知，本文方法不僅在主觀目視效果上表現(xiàn)較好，且NIQE評(píng)價(jià)指標(biāo)優(yōu)于原始Context Encoder，驗(yàn)證了本文方法的優(yōu)越性。另外，在50張測試集上進(jìn)行了時(shí)間開銷對(duì)比，本文方法與對(duì)比方法對(duì)1張影像的平均去云時(shí)間開銷如表6所示。

表5 無參考影像質(zhì)量評(píng)價(jià)結(jié)果對(duì)比 Tab.5 Comparison of non-reference image quality evaluations

表6 不同算法時(shí)間開銷對(duì)比

傳統(tǒng)方法[16-17]未采用深度學(xué)習(xí)技術(shù)，無法學(xué)習(xí)到數(shù)據(jù)集的高級(jí)語義特征，其去云性能穩(wěn)健性不強(qiáng)。文獻(xiàn)[16]采用的是圖像金字塔重建修復(fù)法，耗時(shí)最長；文獻(xiàn)[17]采用的修復(fù)方法涉及特征點(diǎn)匹配，耗時(shí)也較長；本文方法由于加入了泊松圖像編輯后處理，耗時(shí)略高于原始Context Encoder。另外，本文方法訓(xùn)練350輪總耗時(shí)30 h 32 min，但是利用事先訓(xùn)練好的模型進(jìn)行去云處理時(shí)，處理速度遠(yuǎn)高于非深度學(xué)習(xí)方法，具有較高的去云效率。

4 結(jié) 論

長期以來，遙感影像去云是遙感圖像處理的研究熱點(diǎn)。本文針對(duì)高原高寒地區(qū)天繪一號(hào)衛(wèi)星遙感影像的去云處理，提出了一種DCLS-GAN去云方法，將衛(wèi)星影像去云和圖像修復(fù)聯(lián)系起來，基于深度卷積對(duì)抗生成網(wǎng)絡(luò)對(duì)云覆蓋區(qū)域進(jìn)行修復(fù)。在原始的DC-GAN中引入聯(lián)合最小二乘與交叉熵對(duì)抗損失的聯(lián)合損失函數(shù)，生成網(wǎng)絡(luò)基于Encoder-Decoder結(jié)構(gòu)，鑒別網(wǎng)絡(luò)基于CNN，生成的結(jié)果經(jīng)過雙線性插值處理后再經(jīng)過泊松圖像編輯后處理，在天繪一號(hào)衛(wèi)星高原地區(qū)影像數(shù)據(jù)集上得到的去云結(jié)果在目視效果與定量評(píng)價(jià)指標(biāo)與算法耗時(shí)上都取得了良好成績。試驗(yàn)結(jié)果表明：相比傳統(tǒng)非深度學(xué)習(xí)圖像修復(fù)方法與原始Context Encoder網(wǎng)絡(luò)，本文提出的DCLS-GAN模型能夠有效學(xué)習(xí)數(shù)據(jù)集的特征分布，聯(lián)合損失函數(shù)有助于提高去云重建的精度，泊松圖像后處理有助于平滑圖像，減少云區(qū)邊緣的偽跡、調(diào)整色彩分布，為高原高寒地區(qū)云雪混雜影像的去云處理提供了新的路徑。

本文所提出的去云算法還有進(jìn)一步改進(jìn)的空間。比如，當(dāng)影像中云覆蓋的部分超過影像大小一半時(shí)，生成的去云結(jié)果不佳，原因是云覆蓋了大部分影像信息，無法利用已知信息對(duì)其進(jìn)行重建。另外，去云重建區(qū)域內(nèi)的視覺真實(shí)性和語義一致性還有進(jìn)一步提高的空間。下一步研究的方向包括將后處理過程融入端到端網(wǎng)絡(luò)進(jìn)行訓(xùn)練以及將基于深度學(xué)習(xí)的自動(dòng)云檢測算法融入去云算法框架中，滿足實(shí)際工業(yè)生產(chǎn)需要。