改進(jìn)CGAN網(wǎng)絡(luò)的光學(xué)遙感圖像云去除方法

裴 傲，陳桂芬，李昊玥，王 兵

·農(nóng)業(yè)信息與電氣技術(shù)·

改進(jìn)CGAN網(wǎng)絡(luò)的光學(xué)遙感圖像云去除方法

裴 傲，陳桂芬※，李昊玥，王 兵

（吉林農(nóng)業(yè)大學(xué)信息技術(shù)學(xué)院，長(zhǎng)春 130118）

農(nóng)業(yè)生產(chǎn)中使用的光學(xué)遙感圖像在采集過(guò)程中時(shí)常受到云層的影響，導(dǎo)致獲取到的圖像清晰度低，影響地物信息的判讀和后續(xù)的使用。針對(duì)這一問(wèn)題，提出一種基于改進(jìn)條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Net-work，CGAN）的光學(xué)遙感圖像去云方法。首先，在原始CGAN的生成器中引入空間池化層，通過(guò)增加網(wǎng)絡(luò)的多尺度特征學(xué)習(xí)能力以提高生成圖像的細(xì)節(jié)信息；其次，在改進(jìn)CGAN網(wǎng)絡(luò)中加入回歸損失使生成圖像與真實(shí)圖像更加接近，進(jìn)一步提高生成效果。在光學(xué)遙感圖像數(shù)據(jù)集上的試驗(yàn)結(jié)果表明：相比原始CGAN，改進(jìn)CGAN生成的無(wú)云光學(xué)遙感圖像更接近真實(shí)無(wú)云光學(xué)遙感圖像，與原始CGAN相比，改進(jìn)CGAN在薄云和厚云光學(xué)遙感圖像上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）分別提升了1.64和1.05 dB，結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）分別提升了0.03和0.04。同時(shí)，相較于傳統(tǒng)的去云方法和深度學(xué)習(xí)的Pix2Pix方法，該方法在光學(xué)遙感圖像去云和保真上均取得了更好的效果。研究結(jié)果證明了改進(jìn)的CGAN方法實(shí)現(xiàn)光學(xué)遙感圖像去云的可行性，可為農(nóng)用光學(xué)遙感圖像的處理提供方法借鑒。

遙感；光學(xué)圖像；去云；條件生成對(duì)抗網(wǎng)絡(luò)；空間金字塔池化；多尺度特征提取

0 引 言

隨著遙感技術(shù)的迅速發(fā)展，光學(xué)遙感圖像在作物分類[1-2]、作物產(chǎn)量預(yù)測(cè)[3-4]、作物長(zhǎng)勢(shì)監(jiān)測(cè)[5]等農(nóng)業(yè)生產(chǎn)領(lǐng)域得到了廣泛的應(yīng)用，但是農(nóng)用的光學(xué)遙感圖像在采集過(guò)程中極易受到天氣的影響，尤其是云層的影響比較明顯。大氣中的云層可以分為厚云和薄云，薄云是指可以顯現(xiàn)出一部分地表信息的較薄的云層，厚云是指太陽(yáng)輻射無(wú)法穿透的完全遮住地物的云層。薄云的存在會(huì)使光學(xué)遙感圖像中的地物信息變得模糊不清，而厚云的存在會(huì)使地物信息完全缺失，這給光學(xué)遙感圖像的解譯和后續(xù)使用帶來(lái)了極大的困難。因此，光學(xué)遙感圖像去云處理的研究具有十分重要的意義。

目前，專家學(xué)者針對(duì)光學(xué)遙感圖像去云問(wèn)題進(jìn)行了廣泛的研究，已提出了很多解決方法。李洪利等[6]提出了一種高保真同態(tài)濾波的遙感圖像薄云去除方法；李超煒等[7]基于小波變換實(shí)現(xiàn)了全色遙感圖像中薄云的去除；趙孟銀等[8]通過(guò)相似像元替換去除了遙感圖像中的厚云；王睿等[9]提出了采用全變分模型的遙感圖像厚云去除方法；此外還有Markchom等[10]提出的HSI顏色空間去云方法，古今等[11]提出的低秩矩陣分解方法以及石曉旭等[12]提出的改進(jìn)RPCA方法等。以上這些傳統(tǒng)的光學(xué)遙感圖像去云方法雖然均在試驗(yàn)中取得了較好的結(jié)果，但仍存在薄云與厚云的處理方法不能通用、依賴先驗(yàn)知識(shí)、特征信息需手動(dòng)提取以及恢復(fù)后的圖像細(xì)節(jié)受損等問(wèn)題，進(jìn)而導(dǎo)致這些傳統(tǒng)的光學(xué)遙感圖像去云方法無(wú)法得到廣泛的推廣應(yīng)用。

近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)視覺(jué)研究有了重大的突破。2014年Goodfellow等[13]提出了生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Nets，GAN），GAN通過(guò)對(duì)抗學(xué)習(xí)能自主學(xué)習(xí)數(shù)據(jù)分布，具有良好的通用性和強(qiáng)大的調(diào)優(yōu)能力。但GAN無(wú)監(jiān)督的學(xué)習(xí)方式無(wú)法實(shí)現(xiàn)像素間的映射，生成的數(shù)據(jù)易失去限制和可控性。為此，Mirza等[14]于同年提出了條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Net-work，CGAN），加入條件信息對(duì)數(shù)據(jù)的生成加以控制。借助于監(jiān)督學(xué)習(xí)和對(duì)抗學(xué)習(xí)2種方式的聯(lián)合使用，CGAN方法使得模型能獲得更優(yōu)的處理效果。憑借這一特性，CGAN方法在圖像雨跡去除、圖像去霧等問(wèn)題上得到了廣泛的應(yīng)用，楊繼明等[15]針對(duì)極端天氣對(duì)碼頭集裝箱圖像的影響，提出了基于CGAN的去除雨雪痕跡方法；王云飛等[16]基于Msmall-Patch訓(xùn)練的條件生成對(duì)抗網(wǎng)絡(luò)方法對(duì)夜晚圖像中的霧進(jìn)行了去除；肖進(jìn)勝等[17]通過(guò)CGAN方法完成了霧霾場(chǎng)景的轉(zhuǎn)換；趙肖肖[18]利用Pix2Pix方法（一種基于CGAN的圖像轉(zhuǎn)換方法[19]）實(shí)現(xiàn)了高分辨率遙感圖像去霧，保證去霧后的圖像不會(huì)出現(xiàn)大幅度的失真等。本研究要處理的光學(xué)遙感圖像去云問(wèn)題與圖像雨跡去除、圖像去霧等問(wèn)題非常類似，受上述研究的啟發(fā)，本研究采用CGAN方法對(duì)光學(xué)遙感圖像進(jìn)行去云處理。但原始CGAN模型提取到的特征單一，忽略了不同尺度下特征的空間關(guān)系對(duì)圖像內(nèi)容的影響，導(dǎo)致去云后的光學(xué)遙感圖像較為模糊且有云影殘留。因此，本研究結(jié)合多尺度特征融合的思想對(duì)原始CGAN模型的生成器結(jié)構(gòu)進(jìn)行改進(jìn)，在生成器的特征提取網(wǎng)絡(luò)中引入了空間金字塔池化操作，使編碼路徑可以提取多尺度的圖像特征，并將多個(gè)解碼路徑的結(jié)果加以融合作為網(wǎng)絡(luò)的輸出，進(jìn)而豐富了去云后的光學(xué)遙感圖像中的地物細(xì)節(jié)。此外，為了使去云后的光學(xué)遙感圖像更接近真實(shí)無(wú)云的光學(xué)遙感圖像，本研究還在原始CGAN模型的對(duì)抗損失中加入了回歸損失，設(shè)計(jì)了對(duì)抗損失和回歸損失相結(jié)合的復(fù)合損失函數(shù)。本研究將通過(guò)改進(jìn)CGAN方法為光學(xué)遙感圖像去云效果的提高提供方法借鑒。

1 基于改進(jìn)CGAN的光學(xué)遙感圖像去云方法

1.1 CGAN原理

CGAN是GAN的一種擴(kuò)展模型，它在GAN網(wǎng)絡(luò)的生成器和判別器中均引入了額外的條件信息來(lái)指導(dǎo)數(shù)據(jù)的生成，彌補(bǔ)了GAN生成的數(shù)據(jù)不可控的不足。如果用代表網(wǎng)絡(luò)生成器的映射關(guān)系，代表網(wǎng)絡(luò)判別器的映射關(guān)系，代表網(wǎng)絡(luò)輸入的隨機(jī)噪聲（服從分布P），代表?xiàng)l件信息，代表真實(shí)數(shù)據(jù)（服從分布P），CGAN網(wǎng)絡(luò)[14]的優(yōu)化目標(biāo)函數(shù)如式（1）所示

1.2 多尺度特征融合和空間金字塔池化

圖像提取的特征信息可以分為低層特征和高層特征兩大類。其中，低層特征具有較高的分辨率，含有的位置信息和細(xì)節(jié)信息更多，但是由于經(jīng)過(guò)的卷積層少，語(yǔ)義性低。而高層特征具有更強(qiáng)的語(yǔ)義信息，但分辨率較低，感知細(xì)節(jié)的能力差。多尺度特征融合可以通過(guò)融合高層特征信息和低層的特征信息的方式對(duì)不同階段的特征信息進(jìn)行充分利用，從而使圖像中的地物細(xì)節(jié)得到較好的恢復(fù)以提高生成結(jié)果的精度。

為引入多尺度融合策略，本研究在CGAN網(wǎng)絡(luò)中采用He等[20]提出的空間金字塔池化方法對(duì)光學(xué)遙感圖像不同尺度的特征信息進(jìn)行收集并加以融合利用。具體操作如下：

1）通過(guò)池化將基礎(chǔ)網(wǎng)絡(luò)中卷積操作得到的特征圖（8×8大?。┻M(jìn)行1×1，2×2和4×4共3種不同尺度的劃分，并去除合并的過(guò)程，對(duì)3種不同分辨率的特征信息加以保留；

2）分別對(duì)池化后得到的3種不同尺度的特征圖使用反卷積操作上采樣到原分辨率大小的圖像，然后融合到一起作為網(wǎng)絡(luò)的輸出。

1.3 CGAN模型改進(jìn)

本研究通過(guò)結(jié)合CGAN網(wǎng)絡(luò)和金字塔池化結(jié)構(gòu)的特點(diǎn)構(gòu)建基于改進(jìn)CGAN的光學(xué)遙感圖像去云模型。改進(jìn)后的模型由生成器和判別器兩部分組成，生成器通過(guò)輸入有云的光學(xué)遙感圖像產(chǎn)生無(wú)云的光學(xué)遙感圖像。原始的CGAN網(wǎng)絡(luò)中生成器的輸入包括隨機(jī)向量和條件信息兩部分，而在CGAN網(wǎng)絡(luò)的輸入足夠復(fù)雜的情況下，輸入可以替代隨機(jī)向量的作用，因此本研究不引入隨機(jī)向量，僅將條件信息即有云的光學(xué)遙感圖像作為生成器的輸入。判別器通過(guò)學(xué)習(xí)輸入圖像對(duì)之間的分布差異對(duì)圖像對(duì)中無(wú)云遙感圖像的來(lái)源進(jìn)行判別。生成器和判別器兩者互相對(duì)抗，保持動(dòng)態(tài)平衡訓(xùn)練直到判別器無(wú)法判別輸入的無(wú)云光學(xué)遙感圖像來(lái)源于真實(shí)數(shù)據(jù)還是來(lái)源于生成器。整體結(jié)構(gòu)如圖1所示。

1.3.1 生成器

原始CGAN網(wǎng)絡(luò)模型中生成器采用的是Unet結(jié)構(gòu)[21]，雖然該結(jié)構(gòu)通過(guò)特征疊加的方式能對(duì)不同層次的特征進(jìn)行整合，但特征聚合程度低且提取到的特征單一，對(duì)于圖像信息的利用不充分。因此，本研究在其基礎(chǔ)上引入了空間金字塔池化層以獲得不同分辨率的特征圖，增加生成器網(wǎng)絡(luò)提取多尺度特征信息的能力。改進(jìn)后的生成器是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)[22]，包括特征提取網(wǎng)絡(luò)和尺度恢復(fù)網(wǎng)絡(luò)兩部分。

1）特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)由5個(gè)連續(xù)的卷積層和1個(gè)空間金字塔池化層構(gòu)成。圖像輸入網(wǎng)絡(luò)后先經(jīng)過(guò)連續(xù)的卷積層進(jìn)行初步的特征提取，每個(gè)卷積層卷積核的大小為3×3，激活函數(shù)使用LReLU（Leaky-ReLU）函數(shù)且每個(gè)卷積層后加入批量歸一化操作加速網(wǎng)絡(luò)的收斂，提高層與層之間的獨(dú)立性。此外，卷積的步長(zhǎng)設(shè)置為2以代替池化操作進(jìn)行下采樣，從而避免特征映射過(guò)程中信息的丟失。隨后將提取好的特征輸入到空間金字塔池化層中以獲取不同分辨率和精度的特征圖像，特征圖在增多的同時(shí)會(huì)帶來(lái)參數(shù)量增大的問(wèn)題，因此，本研究在多次嘗試后最終選取了1×1、2×2和4×4這3種不同的池化尺寸，并采用平均池化保留更多的背景信息。

2）尺度恢復(fù)網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)最終提取到1×1大小、2×2大小以及4×4大小共3種尺度的特征圖像。因此，尺度恢復(fù)網(wǎng)絡(luò)相應(yīng)地包含3條恢復(fù)路徑。1×1的特征圖所在的恢復(fù)路徑由8個(gè)上采樣單元組成；2×2的特征圖所在的恢復(fù)路徑由7個(gè)上采樣單元組成；4×4的特征圖所在的恢復(fù)路徑由6個(gè)上采樣單元組成。這3條恢復(fù)路徑雖然長(zhǎng)短不同，但均采用反卷積的方式進(jìn)行上采樣，并使用ReLU函數(shù)作為非線性函數(shù)。為了消減棋盤效應(yīng)，本研究中反卷積層的卷積核大小設(shè)置為4×4而非常用的3×3。實(shí)現(xiàn)上采樣后對(duì)3條路徑所得到的圖像執(zhí)行add操作，也就是對(duì)應(yīng)元素相加的方式進(jìn)行融合生成最終的圖像。相較于常用的通道連接（concatenate）方式，本研究采用的add操作在增加圖像的特征信息量的同時(shí)引入了更少的參數(shù)，從而節(jié)省了計(jì)算量。不同大小的特征圖在尺寸恢復(fù)的過(guò)程中還通過(guò)跳躍連接的方式融入了特征提取網(wǎng)絡(luò)路徑中對(duì)應(yīng)尺寸的特征圖，進(jìn)一步對(duì)特征信息加以利用。此外，深度神經(jīng)網(wǎng)絡(luò)很容易產(chǎn)生過(guò)擬合現(xiàn)象，因此本研究方法在尺度恢復(fù)網(wǎng)絡(luò)中引入了Dropout機(jī)制[23]來(lái)解決這一問(wèn)題。具體做法是在反卷積層和激活函數(shù)之間加入Dropout層，參數(shù)dropout_ratio的值設(shè)置為0.5，經(jīng)過(guò)Dropout層后50%的輸出值會(huì)被從網(wǎng)絡(luò)拋棄，即激活值置零，從而減小網(wǎng)絡(luò)的大小，有效防止過(guò)擬合，提升網(wǎng)絡(luò)的泛化能力。

圖1 改進(jìn)CGAN模型結(jié)構(gòu)

1.3.2 判別器

判別器的輸入為圖像對(duì)，圖像對(duì)是指將無(wú)云圖像與有云圖像通過(guò)contact操作進(jìn)行拼接后得到的結(jié)果。其中，無(wú)云圖像可以是真實(shí)圖像也可以是生成圖像。判別器的輸出為輸入的無(wú)云圖像是真實(shí)圖像的概率值。當(dāng)判別器認(rèn)定無(wú)云圖像為真實(shí)圖像時(shí)輸出為1，反之，當(dāng)判別器認(rèn)定無(wú)云圖像為生成圖像時(shí)輸出為0。

網(wǎng)絡(luò)總共5層，其中前4層是下采樣層，最后1層為判別層。圖像對(duì)輸入網(wǎng)絡(luò)后先通過(guò)連續(xù)的下采樣層進(jìn)行特征提取，下采樣層中的卷積核大小均為4×4，步幅均為2，為防止使用梯度下降法更新參數(shù)時(shí)出現(xiàn)梯度消失的情況[24]，對(duì)下采樣層的卷積操作進(jìn)行批量歸一化處理，并使用LReLU激活函數(shù)進(jìn)行非線性映射。每經(jīng)過(guò)一個(gè)下采樣層，圖像的長(zhǎng)寬就減少為原來(lái)的一半。最后在判別層使用Sigmoid函數(shù)輸出每個(gè)像素為真的概率，并使用交叉熵計(jì)算得到最終損失。

1.3.3 損失函數(shù)設(shè)計(jì)

無(wú)云光學(xué)遙感圖像的生成在本質(zhì)上是一個(gè)回歸問(wèn)題。為有效提升網(wǎng)絡(luò)的性能，改進(jìn)CGAN模型的損失函數(shù)在原對(duì)抗損失的基礎(chǔ)上加入了回歸損失項(xiàng)，具體計(jì)算如式（2）所示

式中代表改進(jìn)CGAN模型的損失；CGAN(,)為對(duì)抗損失；L1為回歸損失。對(duì)抗損失項(xiàng)用于提升判決器和生成器的準(zhǔn)確率，回歸損失項(xiàng)用于提升生成的去云光學(xué)遙感圖像與真實(shí)的無(wú)云光學(xué)遙感圖像的相似性。為固定常數(shù)，表示對(duì)抗損失和回歸損失的比重，調(diào)整的大小可以得到不同的訓(xùn)練結(jié)果，通過(guò)比較分析，本研究試驗(yàn)中的參數(shù)選100。

對(duì)抗損失采用的是交叉熵?fù)p失，計(jì)算方法如式（3）所示。

式中表示輸入的有云光學(xué)遙感圖像，表示真實(shí)的無(wú)云光學(xué)遙感圖像，(,)表示判別器判別輸入為有云光學(xué)遙感圖像與真實(shí)的無(wú)云光學(xué)遙感圖像對(duì)的概率，(,())表示判別器判別輸入為有云光學(xué)遙感圖像與生成的無(wú)云光學(xué)遙感圖像對(duì)的概率。

回歸損失主要有1損失和2損失2種。其中，1損失被稱為最小絕對(duì)值偏差（Least Absolute Deviations, LAD）或最小絕對(duì)值誤差（Least Absolute Error, LAE），用于計(jì)算目標(biāo)值與預(yù)測(cè)值之間絕對(duì)差值的總和。2損失被稱為最小平方誤差（Least Square Error, LSE），用于計(jì)算目標(biāo)值與預(yù)測(cè)值之間差值的平方和。相較于1損失，2損失對(duì)異常點(diǎn)更為敏感，會(huì)賦予異常點(diǎn)更大的損失值和梯度，容易造成訓(xùn)練的不穩(wěn)定和發(fā)散。因此本研究中的網(wǎng)絡(luò)選擇魯棒性更好的1損失作為回歸損失，其數(shù)學(xué)表達(dá)如式（4）所示。

式中表示輸入的有云光學(xué)遙感圖像，表示真實(shí)的無(wú)云光學(xué)遙感圖像，表示生成的無(wú)云光學(xué)遙感圖像，||t – G(i)||表示真實(shí)的無(wú)云光學(xué)遙感圖像與生成的無(wú)云光學(xué)遙感圖像的絕對(duì)差值，網(wǎng)絡(luò)的訓(xùn)練優(yōu)化過(guò)程可以表示為不斷減小L的過(guò)程。

1.4 模型訓(xùn)練

改進(jìn)CGAN模型的訓(xùn)練在Tensorflow框架下進(jìn)行，訓(xùn)練采用生成器和判別器交替訓(xùn)練的方式，具體操作如下：

1）初始化生成器和判別器2個(gè)網(wǎng)絡(luò)的參數(shù)；

2）將RICE數(shù)據(jù)集加載到模型中，利用生成器生成無(wú)云的光學(xué)遙感圖像，然后將生成器的參數(shù)固定，訓(xùn)練判別器的參數(shù)；

3）每當(dāng)判別器的參數(shù)更新5次時(shí)，生成器的參數(shù)更新1次；

4）經(jīng)過(guò)多次迭代更新，當(dāng)判別器無(wú)法區(qū)分輸入的無(wú)云光學(xué)遙感圖像來(lái)源于真實(shí)數(shù)據(jù)還是生成器時(shí)完成訓(xùn)練，此時(shí)判別器對(duì)所有輸入圖像的判別概率為0.5。

模型的整個(gè)訓(xùn)練使用Adam優(yōu)化算法對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行學(xué)習(xí)，學(xué)習(xí)率設(shè)置為0.000 2，動(dòng)量（momentum）設(shè)置為0.5，訓(xùn)練的批處理大小（batch size）設(shè)置為1，最大訓(xùn)練次數(shù)為200個(gè)epoch（全部訓(xùn)練數(shù)據(jù)完成1次運(yùn)算），測(cè)試間隔為1個(gè)epoch。

1.5 評(píng)價(jià)指標(biāo)

為了客觀、定量分析光學(xué)遙感圖像的去云效果，本研究采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）2種圖像質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行評(píng)估。其中，PSNR通過(guò)比較兩幅圖像對(duì)應(yīng)像素點(diǎn)之間像素值的誤差對(duì)圖像進(jìn)行評(píng)估，單位是 dB，PSNR值越高，說(shuō)明失真越小，效果越好。計(jì)算如式（5）所示。

式中和分別表示原始圖像和處理后圖像的像素值，和分別表示圖像的長(zhǎng)和寬。

SSIM從亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面度量圖像之間的相似性。與PSNR相比，SSIM更貼近于人眼的感受。SSIM值越接近1，處理后的圖像與原始圖像的亮度、對(duì)比度和結(jié)構(gòu)越相似。計(jì)算公式如公式（6）所示。

式中μ、μ分別表示和的平均值，σσ分別表示和的標(biāo)準(zhǔn)差，σ表示和的協(xié)方差，1和2為常數(shù)。

2 試驗(yàn)數(shù)據(jù)集

試驗(yàn)數(shù)據(jù)來(lái)自網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)集：RICE數(shù)據(jù)集，該數(shù)據(jù)集是Lin等[25]專門為訓(xùn)練深度學(xué)習(xí)方法處理去云問(wèn)題制備的光學(xué)遙感圖像集，由RICE1和RICE2子數(shù)據(jù)集構(gòu)成。其中，RICE1是薄云圖像集，包含從Google Earth上收集的500組（共計(jì)1000張）圖像，每組圖像包含2個(gè)大小為512×512的圖像，分別是有云光學(xué)遙感圖像和無(wú)云光學(xué)遙感圖像；RICE2是厚云圖像集，包含736組（共計(jì)2 208張）圖像，每組圖像包含3個(gè)大小為512×512的圖像，分別是有云光學(xué)遙感圖像、無(wú)云光學(xué)遙感圖像和云層遮罩圖像。本研究對(duì)RICE2數(shù)據(jù)集進(jìn)行試驗(yàn)時(shí)僅使用其中的有云光學(xué)遙感圖像和無(wú)云光學(xué)遙感圖像，RICE2數(shù)據(jù)集中包含的有云光學(xué)遙感圖像取自landsat8數(shù)據(jù)集，選取經(jīng)過(guò)輻射校正的全分辨率LandsatLook level-1產(chǎn)品，是由landsat8 OLI傳感器的波段4（red）、3（green）、2（blue）合成的自然真彩色圖像，無(wú)云光學(xué)遙感數(shù)據(jù)是手動(dòng)獲取的相同位置的無(wú)云圖像，與有云光學(xué)遙感圖像的獲取時(shí)間間隔小于15 d。試驗(yàn)時(shí)RICE1數(shù)據(jù)集中的500組圖像按照4∶1的比例劃分訓(xùn)練集與測(cè)試集，RICE2數(shù)據(jù)集中包含736組圖像，無(wú)法按照4：1的比例進(jìn)行劃分，因此根據(jù)實(shí)際情況對(duì)劃分比例做出調(diào)整，按照5∶3的比例劃分訓(xùn)練集與測(cè)試集。

3 結(jié)果與分析

為驗(yàn)證本研究提出的改進(jìn)CGAN模型的有效性，在選用的RICE數(shù)據(jù)集上進(jìn)行了對(duì)比試驗(yàn)。首先分析改進(jìn)CGAN模型中優(yōu)化的生成器網(wǎng)絡(luò)結(jié)構(gòu)和復(fù)合損失函數(shù)對(duì)模型性能的影響；然后對(duì)比改進(jìn)CGAN模型、原始CGAN模型、傳統(tǒng)的光學(xué)遙感圖像去云方法以及深度學(xué)習(xí)方法的去云效果。試驗(yàn)過(guò)程中傳統(tǒng)的光學(xué)遙感圖像去云方法均在Matlab軟件中實(shí)現(xiàn)，本文研究方法、原始CGAN模型以及深度學(xué)習(xí)方法均采用python語(yǔ)言在Tensorflow框架下進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

3.1 生成器網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化對(duì)模型性能影響

本研究的生成器采用帶有空間金字塔池化結(jié)構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)，相較于原始CGAN網(wǎng)絡(luò)模型所使用的Unet結(jié)構(gòu)，在增加網(wǎng)絡(luò)深度和寬度的同時(shí)增強(qiáng)了網(wǎng)絡(luò)的多尺度特征提取能力。圖2和圖3分別為改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)與原始網(wǎng)絡(luò)結(jié)構(gòu)去除薄云和厚云的質(zhì)量評(píng)估對(duì)比圖。

從圖2的結(jié)果中可知，在迭代次數(shù)較?。?50）的情況下使用本研究的生成器結(jié)構(gòu)與Unet結(jié)構(gòu)進(jìn)行薄云去除的效果差別不大，但隨著迭代次數(shù)的增加，使用本研究生成器結(jié)構(gòu)得到的PSNR值和SSIM值均高于使用Unet結(jié)構(gòu)。迭代次數(shù)為200（全部訓(xùn)練完成）時(shí)， Unet結(jié)構(gòu)得到的PSNR值為37.40 dB，SSIM值為0.95。而本研究生成器結(jié)構(gòu)得到的PSNR值為37.91 dB，SSIM值為0.97，比前者PSNR值提高0.51 dB，SSIM值提高0.02。

從圖3的結(jié)果中可知，針對(duì)厚云去除效果，迭代次數(shù)為200時(shí)，使用Unet結(jié)構(gòu)得到的PSNR值為29.91 dB，SSIM值為0.93，本研究生成器結(jié)構(gòu)得到的PSNR值為34.33 dB，SSIM值為0.96，比前者PSNR值提高4.42 dB，SSIM值提高了0.03。

注：PSNR為峰值信噪比；SSIM為結(jié)構(gòu)相似性。下同。

圖3 改進(jìn)網(wǎng)絡(luò)對(duì)去除厚云的效果影響

綜合分析薄云和厚云去除效果可知，相較于使用Unet結(jié)構(gòu)，使用本研究結(jié)構(gòu)可以得到更高的PSNR值與SSIM值，生成的無(wú)云光學(xué)遙感圖像質(zhì)量也相對(duì)更好。

3.2 損失函數(shù)優(yōu)化對(duì)模型性能影響

為了生成更高質(zhì)量的無(wú)云光學(xué)遙感圖像，本研究使用了對(duì)抗損失和回歸損失相結(jié)合的復(fù)合損失函數(shù)。在RICE數(shù)據(jù)集上對(duì)其有效性進(jìn)行驗(yàn)證，從表1的去云質(zhì)量評(píng)估結(jié)果中可以看出，本研究使用的復(fù)合損失函數(shù)在PSNR和SSIM上均有提升，在薄云和厚云上PSNR值分別提升0.66和1.32 dB，SSIM值分別提升0.01和0.04。

表1 不同損失函數(shù)的去云質(zhì)量評(píng)估結(jié)果

注：CGAN為對(duì)抗損失函數(shù)；CGAN + L1為加入1回歸損失的復(fù)合損失函數(shù)。下同。

Note:CGANis the anti-loss function;CGAN + L1is the compound loss function added with1 regression loss. Same below.

不同地形的光學(xué)遙感圖像在不同損失下的去云效果如圖4所示，相較于單獨(dú)使用對(duì)抗損失函數(shù)，加入了1回歸損失的復(fù)合損失函數(shù)生成的無(wú)云光學(xué)遙感圖像在圖像的亮度、對(duì)比度和顏色方面恢復(fù)的更好，去云區(qū)域中地物的細(xì)節(jié)信息也更為清晰，這是因?yàn)閺?fù)合損失函數(shù)可以使模型更為準(zhǔn)確的學(xué)習(xí)到有云和無(wú)云光學(xué)遙感圖像像素間的映射關(guān)系。在平原，使用對(duì)抗損失函數(shù)的PSNR值和SSIM值分別為23.32 dB和0.83，而復(fù)合損失函數(shù)分別為24.75 dB和0.84。在裸地，使用對(duì)抗損失函數(shù)的PSNR值和SSIM值分別為24.63 dB和0.91，而復(fù)合損失函數(shù)分別為30.00 dB和0.91。二者的SSIM值雖然相似，但是使用復(fù)合損失函數(shù)生成的無(wú)云光學(xué)遙感圖像具有更大的PSNR值，PSNR值越大，說(shuō)明處理后的圖像與真實(shí)圖像之間每個(gè)像素點(diǎn)的像素值越接近，圖像的失真越小。圖像質(zhì)量更高。

注：RCless為真實(shí)無(wú)云遙感圖像。下同。

綜合表1和圖4的結(jié)果可以發(fā)現(xiàn)，將1損失和對(duì)抗損失相結(jié)合得到的復(fù)合損失函數(shù)能有效提升改進(jìn)CGAN模型的訓(xùn)練效果，但由于1損失函數(shù)存在穩(wěn)定性較差，易陷入局部最優(yōu)解的問(wèn)題，因此，本研究選取5次重復(fù)試驗(yàn)結(jié)果加以對(duì)比，驗(yàn)證1損失函數(shù)對(duì)模型穩(wěn)定性的影響。5次重復(fù)試驗(yàn)的學(xué)習(xí)率、最大訓(xùn)練次數(shù)等參數(shù)設(shè)置保持相同，結(jié)果如表2所示。

表2 模型的穩(wěn)定性評(píng)估

由表2可知，RICE1（薄云）數(shù)據(jù)PSNR指標(biāo)的平均值為24.99 dB，方差值為0.007 0 dB；SSIM指標(biāo)的平均值為0.90，方差值為0.000 9。RICE2（厚云）數(shù)據(jù)PSNR指標(biāo)的平均值為22.79 dB，方差值為0.001 6 dB；SSIM指標(biāo)的平均值為0.82，方差值為0.0021。由此可見(jiàn)，加入的1損失函數(shù)對(duì)模型的穩(wěn)定性沒(méi)有太大的影響。

3.3 與其他方法對(duì)比

為驗(yàn)證本研究方法的改進(jìn)效果，將其與原始CGAN模型、傳統(tǒng)的光學(xué)遙感圖像去云方法以及深度學(xué)習(xí)方法進(jìn)行了對(duì)比。由于傳統(tǒng)的光學(xué)遙感圖像去云方法對(duì)薄云和厚云所采用的處理方法不同，因此試驗(yàn)分成兩部分。首先是在RICE1數(shù)據(jù)集上將改進(jìn)CGAN模型與原始CGAN、傳統(tǒng)光學(xué)遙感圖像薄云去云方法中經(jīng)典的同態(tài)濾波方法和小波變化方法以及文獻(xiàn)[18]中在遙感圖像去霧上取得較好效果的Pix2Pix方法進(jìn)行薄云去除的對(duì)比試驗(yàn)。其次在RICE2數(shù)據(jù)集上將改進(jìn)CGAN模型與原始CGAN、以及傳統(tǒng)光學(xué)遙感圖像厚云去云方法中具有代表性的全變分模型方法以及文獻(xiàn)[18]中的Pix2Pix方法進(jìn)行厚云去除的對(duì)比試驗(yàn)。

3.3.1 去除薄云效果對(duì)比

在RICE1數(shù)據(jù)集上對(duì)比了本研究方法與原始CGAN方法、同態(tài)濾波方法、小波變換方法以及Pix2Pix方法，5種方法的去云質(zhì)量評(píng)估結(jié)果如表3所示，去云效果如圖 5所示。

由表3可知，在PSNR和SSIM指標(biāo)上，本研究方法均優(yōu)于原始CGAN模型和傳統(tǒng)薄云遙感圖像去云方法（同態(tài)濾波方法、小波變換方法），且與深度學(xué)習(xí)方法（Pix2Pix方法）相比，本研究也取得了較好的結(jié)果，說(shuō)明本研究方法生成的無(wú)云遙感圖像質(zhì)量最佳，最接近于真實(shí)圖像。

注：CI為有云遙感圖像。

從圖5的對(duì)比效果中可以看出在對(duì)比的5中方法中本研究方法的去云效果最好，能有效去除薄云并較好的還原植被和山地的信息，植被的色彩更為真實(shí)，山脈的走勢(shì)和輪廓細(xì)節(jié)也能很好的體現(xiàn)。其中，同態(tài)濾波方法的去云效果最差，處理后的光學(xué)遙感圖像顏色出現(xiàn)嚴(yán)重失真，小波變換方法和原始CGAN模型方法相較于同態(tài)濾波方法在顏色失真問(wèn)題上有了一定的改善，但有較多的云層殘留。Pix2Pix方法是除本研究方法外效果最好的，但其去云后的光學(xué)遙感圖像在顏色上仍存在失真現(xiàn)象且有少量云影殘留。

3.3.2 去除厚云效果對(duì)比

在RICE2數(shù)據(jù)集上對(duì)比了本研究方法與原始CGAN方法、全變分模型方法和Pix2Pix方法，4種方法的去云質(zhì)量評(píng)估結(jié)果如表4所示，去云效果如圖6所示。

由表4可知，本研究方法在PSNR指標(biāo)和SSIM指標(biāo)上依舊獲得了最高的指標(biāo)值，分別為22.79 dB和0.82，證明了本研究方法去除光學(xué)遙感圖像中厚云的有效性。

從圖6的對(duì)比效果中可以看出原始CGAN方法、全變分模型和Pix2Pix方法在一定程度上能將厚云層覆蓋下的地物顯現(xiàn)出來(lái)，但圖像細(xì)節(jié)信息缺失且在原云層的覆蓋區(qū)域留有較多的偽影，而使用本研究方法去云后的光學(xué)遙感圖像沒(méi)有云層和偽影殘留，圖像中的地物特征也更為清晰，相較于其他3種方法，去除厚云的效果最好。

綜合在RICE1和RICE2數(shù)據(jù)集上的試驗(yàn)結(jié)果可知，本研究方法在薄云光學(xué)遙感圖像和厚云光學(xué)遙感圖像上均有良好的去云效果，且相較于原始CGAN方法去云效果有了大幅提高，在薄云和厚云光學(xué)遙感圖像上PSNR值分別提升了1.64和1.05 dB，SSIM值分別提升了0.03和0.04。此外，與傳統(tǒng)去云方法和Pix2Pix方法相比可以更為準(zhǔn)確的對(duì)光學(xué)遙感圖像中的地物信息進(jìn)行恢復(fù)，具有更好的去云效果。

圖6 不同地形下不同方法的去厚云效果

4 結(jié) 論

本研究結(jié)合多尺度融合的思想，構(gòu)建了一種基于改進(jìn)CGAN的光學(xué)遙感圖像去云模型，并對(duì)模型的有效性進(jìn)行驗(yàn)證，得到以下結(jié)論：

1）相較于原始CGAN模型中使用Unet結(jié)構(gòu)的生成器，改進(jìn)CGAN模型中使用的帶有空間金字塔池化結(jié)構(gòu)的生成器可以更好的提取圖像的特征信息，生成的無(wú)云光學(xué)遙感圖像的PSNR值和SSIM值更高，圖像質(zhì)量更好。

2）在原始CGAN模型的損失函數(shù)的基礎(chǔ)上加入1回歸損失函數(shù)可以提升模型的性能與訓(xùn)練效果，使得生成的無(wú)云光學(xué)遙感圖像與真實(shí)無(wú)云遙感圖像具有更高的結(jié)構(gòu)相似性；

3）本研究提出的改進(jìn)CGAN模型在RICE1（薄云）數(shù)據(jù)集上的PSNR值為24.99 dB，SSIM值為0.90，在RICE2（厚云）數(shù)據(jù)集上的PSNR值為22.79 dB，SSIM值為0.82。與原始CGAN方法和傳統(tǒng)光學(xué)遙感去云方法相比有明顯提升，與深度學(xué)習(xí)去云方法相比也有了一定的改善，而且圖像中云層信息的去除更為徹底，恢復(fù)的無(wú)云光學(xué)遙感圖像地物細(xì)節(jié)更為真實(shí)、清晰。

本研究方法目前只從生成器的角度做了改進(jìn)，所以在網(wǎng)絡(luò)性能方面仍存在較大的提升空間。在接下來(lái)的工作中將從多尺度判別器和感知損失的使用等方面對(duì)所提出方法加以優(yōu)化，從而達(dá)到更好的去云效果。

[1] 張鵬，胡守庚. 地塊尺度的復(fù)雜種植區(qū)作物遙感精細(xì)分類[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(20)：125-134. Zhang Peng, Hu Shougeng. Fine crop classification by remote sensing in complex planting areas based on field parcel[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 125-134. (in Chinese with English abstract)

[2] 解毅，張永清，荀蘭，等. 基于多源遙感數(shù)據(jù)融合和LSTM算法的作物分類研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(15)：129-137. Xie Yi, Zhang Yongqing, Xun Lan, et al. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129-137. (in Chinese with English abstract)

[3] 黃健熙，武思杰，劉興權(quán)，等. 基于遙感信息與作物模型集合卡爾曼濾波同化的區(qū)域冬小麥產(chǎn)量預(yù)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(4)：142-148. Huang Jianxi, Wu Sijie, Liu Xingquan, et al. Regional winter wheat yield forecasting based on assimilation of remote sensing data and crop growth model with Ensemble Kalman method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(4): 142-148. (in Chinese with English abstract)

[4] 劉煥軍，康苒，Susan Ustin，等. 基于時(shí)間序列高光譜遙感影像的田塊尺度作物產(chǎn)量預(yù)測(cè)[J]. 光譜學(xué)與光譜分析，2016，36(8)：2585-2589. Liu Huanjun, Kang Ran, Susan Ustin, et al. Study on the prediction of cotton yield within filed scale with time series hyperspectral imagery[J]. Spectroscopy and Spectral Analysis, 2016, 36(8): 2585-2589. (in Chinese with English abstract)

[5] 吳剛，彭要奇，周廣奇，等. 基于多光譜成像和卷積神經(jīng)網(wǎng)絡(luò)的玉米作物營(yíng)養(yǎng)狀況識(shí)別方法研究[J]. 智慧農(nóng)業(yè)，2020，2(1)：111-120. Wu Gang, Peng Yaoqi, Zhou Guangqi, et al. Recognition method for corn nutrient based on multispectral image and convolutional neural network[J]. Smart Agriculture, 2020, 2(1): 111-120. (in Chinese with English abstract)

[6] 李洪利，沈煥鋒，杜博，等. 一種高保真同態(tài)濾波遙感影像薄云去除方法[J]. 遙感信息，2011(1)：41-44，58. Li Hongli, Shen Huanfeng, Du Bo, et al. A High-fidelity method of removing thin cloud from remote sensing digital images based on homomorphic filtering[J]. Remote Sensing Information, 2011(1): 41-44, 58. (in Chinese with English abstract)

[7] 李超煒，鄧新蒲，趙昊宸. 基于小波分析的遙感影像薄云去除算法研究[J]. 數(shù)字技術(shù)與應(yīng)用，2017(6)：137-139．Li Chaowei, Deng Xinpu, Zhao Haochen. Thin cloud removal algorithm based on wavelet analysis for remote sensing images[J]. Digital Technology & Application, 2017(6): 137-139. (in Chinese with English abstract)

[8] 趙孟銀，鄭小慎，劉文靜. 基于相似像元替換的遙感影像厚云去除方法研究[J]. 計(jì)算機(jī)應(yīng)用研究，2016，33(11)：3509-3512. Zhao Mengyin, Zheng Xiaoshen, Liu Wenjing. Study of thick clouds removal from remotely sensed images based on similar pixel substitution approach[J]. Application Research of Computers, 2016, 33(11): 3509-3512. (in Chinese with English abstract)

[9] 王睿，黃微，胡南強(qiáng). 基于全變分模型的多時(shí)相遙感影像厚云去除算法[J/OL]. 計(jì)算機(jī)應(yīng)用, [2020-06-14]. http: //kns. cnki. net/kcms/detail/51. 1307. TP. 20191226. 1141. 004. html. Wang Rui, Huang Wei, Hu Nanqiang. Thick cloud removal algorithm for multi-temporal remote sensing images based on total variation model[J/OL]. Journal of Computer Applications, [2020-06-14]. http: //kns. cnki. net/kcms/detail/51. 1307. TP. 20191226. 1141. 004. html.

[10] Markchom T, Lipikorn R. Thin coud removal using local minimization and logarithm image transformation in HSI color space[C]// 2018 4th International Conference on Frontiers of Signal Processing (ICFSP). Poitiers, France: IEEE, 2018.

[11] 古今，何苗，王保云. 基于低秩矩陣分解的遙感圖像薄云去除方法[J]. 上海理工大學(xué)學(xué)報(bào)，2018，40(4)：323-329. Gu Jin, He Miao, Wang Baoyun. Application of low-rank matrix decomposition in the thin cloud removal from remote sensing images[J]. University of Shanghai for Science and Technology, 2018, 40(4): 323-329. (in Chinese with English abstract)

[12] 石曉旭，夏克文，王寶珠，等. 采用改進(jìn)RPCA的遙感影像去云算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2018，39(6)：1653-1658. Shi Xiaoxu, Xia Kewen, Wang Baozhu, et al. Cloud removal algorithm of remote sensing image via improved RPCA[J]. Computer Engineering and Design, 2018, 39(6): 1653-1658. (in Chinese with English abstract)

[13] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014: 2672-2680.

[14] Mirza M, Osindero S. Conditional generative adversarial nets[EB/OL].[2019-03-22]. https://arxiv. org/pdf/1411. 1784.

[15] 楊繼明，丁世宏. CGAN網(wǎng)絡(luò)在去除圖像雨雪痕跡中的應(yīng)用[J]. 揚(yáng)州大學(xué)學(xué)報(bào)(自然科學(xué)版)，2019，22(4)：26-29. Yang Jiming, Ding Shihong. Application of CGAN network for rain and snow removing in images[J]. Journal of Yangzhou University: Natural Science Edition, 2019, 22(4): 26-29. (in Chinese with English abstract)

[16] 王云飛, 王園宇. 基于Msmall-Patch訓(xùn)練的夜晚單幅圖像去霧算法--MP-CGAN[J].計(jì)算機(jī)應(yīng)用, 2020,40(3):865-871.Wang Yunfei, Wang Yuanyu. Research on night single image dehaze based on Msmall-Patch training--MP-CGAN[J]. Journal of Computer Application, 2020, 40(3):865-871.

[17] 肖進(jìn)勝，申夢(mèng)瑤，雷俊鋒，等. 基于生成對(duì)抗網(wǎng)絡(luò)的霧霾場(chǎng)景圖像轉(zhuǎn)換算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2020，43(1)：165-176. Xiao Jinsheng, Shen Mengyao, Lei Junfeng. Image conversion algorithm for haze scene based on generative adversarial networks[J]. Chinese Journal of Computers, 2020, 43(1): 165-176. (in Chinese with English abstract)

[18] 趙肖肖. 基于深度學(xué)習(xí)的高分辨率遙感圖像去霧方法研究[D]. 呼和浩特：內(nèi)蒙古工業(yè)大學(xué)，2019.Zhao Xiaoxiao. Research on High Resolution Remote Sensing Image Dehazing Method Based on Deep Learning[D]. Hohhot: Inner Mongolia University of Technology, 2019. (in Chinese with English abstract)

[19] Isola P, Zhu J, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii, USA: IEEE, 2017: 5967-5976.

[20] He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]// European Conference on Computer Vision, Zurich, Switzerland: Springer, 2014: 346-361.

[21] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image seg mentation[C]// Proceedings of the 18th International Conference Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241.

[22] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 39(4): 640-651.

[23] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[24] 王格格，郭濤，李貴洋. 多層感知器深度卷積生成對(duì)抗網(wǎng)絡(luò)[J]. 計(jì)算機(jī)科學(xué)，2019，46(9)：243-249. Wang Gege, Guo Tao, Li Guiyang. Multi-layer perceptron deep convolutional generative adversarial network[J]. Computer Science, 2019, 46(9): 243-1958. (in Chinese with English abstract)

[25] Lin D Y, Xu G L, Wang X K, et al. A remote sensing image dataset for cloud removal[J/OL]. Computer Vision and Pattern Recognition, [2019-01-03]. https://arxiv.org/pdf/ 1901.00600

Method for cloud removal of optical remote sensing images using improved CGAN network

Pei Ao, Chen Guifen※, Li Haoyue, Wang Bing

(C,130118,)

The optical remote sensing images used in agricultural production are often affected by clouds during the acquisition process. The sharpness of acquired images can also be reduced, and thereby the decreased clarity of image makes difficult to interpret feature information. This process has posed a great challenge on subsequent applications in agricultural production, such as crop growth detection, crop classification and yield prediction. In this study, a method for cloud removal was proposed using the improved Conditional Generative Adversarial Net-work (CGAN), in order to enhance the detecting resolution of remote sensing images. A mapping relationship between pixels of the cloud and cloudless data was established by training the CGAN. The transformation of remote sensing image can be completed from cloud to cloudless on this basis. Eventually, the cloud component can be effectively removed from the optical remote sensing images. This method can also realize the data restoration of some details in optical remote sensing images during imaging processing. Therefore, a general system of network structure can be used to remove thin and thick clouds in optical remote sensing images by using the improved model. The modified generator of network can be utilized to enhance the image quality of generated data, particularly resulted from the single feature extraction of the original CGAN. The specific procedure of image processing can be: firstly, a series of convolutions were used to extract the feature information of the input images. Then, the multi-scale feature maps were obtained from the feature information using the spatial pyramid pooling operation. Finally, these feature maps with different size were restored to the original size, and thereby mixed together to generate the final cloudless optical remote sensing images. The scale of feature extraction by the generator can significantly increase in this method. Accordingly, the resulting effect on the resolution of images can also increase significantly. In order to verify the cloud removal method, some experiments were performed using the same optical remote sensing image data sets. Three types of methods were selected to compare, including the original CGAN, traditional cloud removal algorithm, and the Pix2Pix method in deep learning. Two indicators, including the Peak Signal-to-Noise Ratio (PSNR) and the Structural SIMilarity (SSIM), were introduced to make a quantitative assessment of experimental results for better evaluation. The experimental results show that: 1) the proposed method can be applied to the removal of thin and thick cloud in optical remote sensing images, indicating high resolution in both types of cloud removal. 2) Compared with the original CGAN, the quality of generated cloudless image was similar to that of the real cloudless remote sensing image. In the removal of thin cloud using the improved CGAN model, the PSNR increased by 1.64 dB, and the SSIM value increased by 0.03, whereas in the thick cloud, the PSNR increased by 1.05 dB, and the SSIM value increased by 0.04. 3) Compared with the traditional cloud removal method, the improved CGAN model removed cloud layer more thoroughly in optical remote sensing image, indicating much more realistic color of the features in the optical remote sensing image. Compared with the Pix2Pix method, some details were better recovered, particularly the landscape in the generated cloudless optical remote sensing images. The PSNR and SSIM index values of remote sensing images have been improved accordingly. These results can prove that the improved CGAN is suitable to remove clouds from the optical remote sensing images. The findings can provide an insightful idea and promising method for the remote sensing image processing in modern agriculture.

remote sensing; optical image; cloud removal; conditional generative adversarial net-work; spatial pyramid pooling; multi-scale feature extraction

裴傲，陳桂芬，李昊玥，等. 改進(jìn)CGAN網(wǎng)絡(luò)的光學(xué)遙感圖像云去除方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(14)：194-202.doi：10.11975/j.issn.1002-6819.2020.14.024 http://www.tcsae.org

Pei Ao, Chen Guifen, Li Haoyue, et al. Method for cloud removal of optical remote sensing images using improved CGAN network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 194-202. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.14.024 http://www.tcsae.org

2020-03-25

2020-07-03

吉林省科技廳重點(diǎn)項(xiàng)目（20180201073SF）；吉林省教育廳重點(diǎn)項(xiàng)目（JJKH20200328KJ）

裴傲，研究方向?yàn)槿斯ぶ悄芘c計(jì)算機(jī)農(nóng)業(yè)應(yīng)用。Email：835115029@qq.com

陳桂芬，博士，教授，博士生導(dǎo)師，研究方向?yàn)槿斯ぶ悄芘c計(jì)算機(jī)農(nóng)業(yè)應(yīng)用。Email：guifchen@163.com

10.11975/j.issn.1002-6819.2020.14.024

TP391.41；TP183；S127

A

1002-6819(2020)-14-0194-09