基于GAN網(wǎng)絡(luò)的遙感圖像去云研究

黃廣銳 沈閏晗

摘要：主要研究了遙感圖像應(yīng)用中的重要問題，特別是云遮擋可能導(dǎo)致數(shù)據(jù)準(zhǔn)確性下降的情況。為了克服這一問題，采用了組卷積、多頭自注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)，構(gòu)建了一種端到端的遙感圖像去云網(wǎng)絡(luò)。通過在RICE數(shù)據(jù)集上的實(shí)驗(yàn)證明，研究的方法在解決云層遮擋問題方面表現(xiàn)顯著，成功生成了清晰且無云的遙感圖像。總體而言，為水利工程和遙感圖像處理領(lǐng)域提供了一種高效的解決方案，尤其在空間信息利用、計(jì)算和參數(shù)優(yōu)化方面具備明顯優(yōu)勢(shì)。

關(guān)鍵詞：遙感??生成對(duì)抗網(wǎng)絡(luò)??自注意力機(jī)制??去云

中圖分類號(hào)：TP751

Research?on?the?Cloud?Removal?of?Remote?Sensing?Images?Based?on?the?GAN?Network

HUANG?Guangrui??SHEN?Runhan

Zunyi?Survey?and?Design?Institute?of?Water?Conservancy?and?Hydropower?Co.，?Ltd.，?Zunyi，Guizhou?Province，?563000?China

Abstract：?This?article?mainly?studies?a?crucial?issue?in?the?application?of?remote?sensing?images，?especially?the?situation?that?cloud?occlusion?can?lead?to?the?degradation?of?data?accuracy.?In?order?to?address?this?problem，?this?article?uses?group?convolution，?the?multi-head?self-attention?mechanism?and?the?generative?adversarial?network?to?construct?an?end-to-end?cloud?removal?network?of?remote?sensing?images.?Experiments?on?the?RICE?dataset?demonstrate?that?the?proposed?approach?has?a?significant?effect?in?solving?the?problem?of?cloud?occlusion，?and?successfully?generates?clear?and?cloud-free?remote?sensing?images，?which?provides?an?effective?solution?for?the?field?of?hydraulic?engineering?and?remote?sensing?image?processing?overall，?and?especially?has?its?obvious?advantages?in?the?utilization，?computation?and?parameter?optimization?of?spatial?information.

Key?Words：?Remote?sensing；?Generative?adversarial?network；?Self-attention?mechanism；Cloud?removal

近年來，遙感圖像廣泛應(yīng)用于土地勘測(cè)等領(lǐng)域。然而，當(dāng)遙感影像受到云陰影污染時(shí)，地面覆蓋信息可能因稀疏而受到影響，甚至?xí)缓裰氐脑茖油耆趽酢Ｒ虼?，如何有效去除遙感圖像中的云陰影問題成為一個(gè)重要的研究課題。在處理云陰影問題時(shí)，薄云和厚云的區(qū)別需要得到充分考慮。去除薄云可以利用自然圖像去霧等方法，而厚云的去除相對(duì)較為困難，尤其是在大面積厚云的情況下。當(dāng)前的云去除方法主要可分為兩類，基于修復(fù)的方法通過patch搜索受云污染區(qū)域鄰近的有效像素，而基于多光譜的方法則利用同一多光譜圖像的無云帶來估計(jì)多云帶和無云帶之間的關(guān)系。然而，這些方法在處理厚云時(shí)存在一定難度。因此，本文引入了卷積神經(jīng)網(wǎng)絡(luò)和多頭自注意力機(jī)制，以提高對(duì)遙感影像的特征提取能力，特別是對(duì)云陰影孔洞的準(zhǔn)確提取。同時(shí)，通過引入對(duì)抗生成網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)無云圖像的生成，為解決遙感圖像云陰影問題提供了一種端到端的解決方案。

1相關(guān)工作

現(xiàn)有的云去除方法主要分為三類：傳統(tǒng)的基于統(tǒng)計(jì)學(xué)的方法、機(jī)器學(xué)習(xí)方法以及深度學(xué)習(xí)方法。傳統(tǒng)的基于統(tǒng)計(jì)學(xué)的方法包括主成分分析法（Principal?Component?Analysis，PCA）[1]、最小二乘法（least?sqaure?method，LSM）、多光譜指數(shù)法[2]、光譜角度匹配法[3]和閾值法。這些方法在特定場(chǎng)景和特定類型的云遮擋下表現(xiàn)各異，選擇適當(dāng)?shù)姆椒ㄐ杩紤]圖像特性和用戶需求。然而，傳統(tǒng)方法需要手工設(shè)計(jì)特征，在處理復(fù)雜的地物覆蓋和不同云遮擋類型時(shí)性能可能較差，對(duì)遙感圖像中復(fù)雜的非線性關(guān)系也較難處理。機(jī)器學(xué)習(xí)方法包括支持向量機(jī)（Support?Vector?Machine，SVM）[4]和隨機(jī)森林[5]，它們能適應(yīng)不同地物覆蓋和云遮擋類型，具有較好的泛化能力。機(jī)器學(xué)習(xí)方法通常能夠從訓(xùn)練數(shù)據(jù)中學(xué)到模式，且一些算法的決策過程相對(duì)透明，易于解釋和理解。然而，機(jī)器學(xué)習(xí)方法對(duì)數(shù)據(jù)質(zhì)量較為敏感，噪聲或異常值可能影響模型性能。深度學(xué)習(xí)方法如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional?Neural?Network，CNN）[6]在處理遙感圖像中表現(xiàn)出色，通過設(shè)計(jì)適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)，CNN能夠?qū)W習(xí)圖像中的特征，生成對(duì)抗網(wǎng)絡(luò)（Generative?Adversarial?Networks，GANs）[7]由生成器和鑒別器兩部分組成，通過對(duì)抗學(xué)習(xí)自主學(xué)習(xí)數(shù)據(jù)分布，具有通用性和調(diào)優(yōu)能力。例如：CGAN通過聯(lián)合使用監(jiān)督學(xué)習(xí)和對(duì)抗學(xué)習(xí)方式，使模型能夠獲得更優(yōu)的處理效果。這種特性使CGAN在圖像去雨、圖像去霧等問題上得到廣泛應(yīng)用。

2方法

本文設(shè)計(jì)了端到端基于多頭注意力去云網(wǎng)絡(luò)，它是一種encoder-decoder結(jié)構(gòu)，從網(wǎng)絡(luò)結(jié)構(gòu)上具體來說首先通過組卷積來提取特征圖，接著經(jīng)過了一個(gè)1×1步長為1的卷積，然后經(jīng)過了3×3步長為1的卷積，然后再依次經(jīng)過兩層組卷積，在encoder的最后一層，本文設(shè)計(jì)了多頭注意力模塊，能夠提取特征之間遠(yuǎn)距離的信息，接著便是decoder，同樣是經(jīng)過一個(gè)1×1卷積，一個(gè)3×3卷積，然后再通過兩個(gè)1×1卷積和一個(gè)3×3卷積，最后再經(jīng)過組卷積，最后輸出生成的結(jié)果，即去云的圖像，網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。因?yàn)樵趀ncoder-deocder網(wǎng)絡(luò)中，存在大量的冗余信息，本文引入了組卷積，能有效降低參數(shù)量。

2.1?組卷積

組卷積是卷積神經(jīng)網(wǎng)絡(luò)中的一種操作，它引入了組的概念。相比標(biāo)準(zhǔn)卷積操作，組卷積將輸入和輸出通道劃分為多個(gè)組，每組內(nèi)的通道共享一組卷積核。具體來說，將輸入通道和輸出通道分為G組，每組有相應(yīng)的輸入和輸出通道數(shù)。每組使用一組卷積核進(jìn)行卷積，這些卷積核分別處理組內(nèi)的通道，輸出是每個(gè)組內(nèi)通道卷積結(jié)果的疊加。這種設(shè)計(jì)降低了網(wǎng)絡(luò)參數(shù)量，提高了計(jì)算效率，特別適用于要求模型大小和計(jì)算效率的場(chǎng)景。通過選擇適當(dāng)?shù)慕M數(shù)量，可以在減少參數(shù)量的同時(shí)保持一定的網(wǎng)絡(luò)表達(dá)能力。

2.2?多頭自注意力機(jī)制

多頭自注意力機(jī)制是深度學(xué)習(xí)模型中處理序列數(shù)據(jù)的重要組件，尤其在自然語言處理和計(jì)算機(jī)視覺中廣泛應(yīng)用。最初引入于Transformer模型，它通過多個(gè)注意力頭的引入，提高了模型對(duì)序列中不同位置信息的捕捉能力。傳統(tǒng)自注意力機(jī)制通過將輸入序列的每個(gè)元素與所有其他元素關(guān)聯(lián)，捕捉序列內(nèi)部的長距離依賴關(guān)系。而多頭自注意力機(jī)制則通過多個(gè)頭學(xué)習(xí)不同的關(guān)注焦點(diǎn)，增強(qiáng)了對(duì)多種關(guān)系的感知能力。這使得模型能夠同時(shí)關(guān)注序列中的多個(gè)位置，更好地捕捉序列內(nèi)部的復(fù)雜關(guān)系。在遙感圖像去云任務(wù)中，多頭自注意力機(jī)制使網(wǎng)絡(luò)能夠更好地理解云覆蓋區(qū)域和無云區(qū)域之間的復(fù)雜關(guān)系，通過同時(shí)關(guān)注圖像不同位置的特征，有效地處理大范圍的上下文信息，對(duì)云的準(zhǔn)確去除至關(guān)重要。

2.3?生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）是一種深度學(xué)習(xí)模型，由生成器和鑒別器兩部分組成。生成器負(fù)責(zé)生成偽造的數(shù)據(jù)，而鑒別器則負(fù)責(zé)區(qū)分真實(shí)數(shù)據(jù)和生成器生成的偽造數(shù)據(jù)。二者通過對(duì)抗學(xué)習(xí)的方式共同提高性能，使生成器能夠生成更逼真的數(shù)據(jù)，而鑒別器則變得更加準(zhǔn)確。在遙感圖像去云中，生成對(duì)抗網(wǎng)絡(luò)可以被設(shè)計(jì)為生成無云的遙感圖像。在訓(xùn)練過程中，生成器努力生成看起來像真實(shí)無云圖像的圖像，而鑒別器努力區(qū)分真實(shí)無云圖像和生成器生成的圖像。這使得生成器學(xué)到去除云的特征，可以用于實(shí)際遙感圖像的去云。

3?實(shí)驗(yàn)

3.1實(shí)驗(yàn)數(shù)據(jù)集

深度學(xué)習(xí)方法在云去除領(lǐng)域應(yīng)用相對(duì)較少的一個(gè)重要原因是缺乏用于訓(xùn)練的數(shù)據(jù)集。因此為了促進(jìn)遙感圖像去云技術(shù)的研究，提供了一個(gè)名為Remote的開源數(shù)據(jù)集。RICE數(shù)據(jù)集[8]由兩個(gè)子集組成，分別是RICE1和RICE2。RICE1數(shù)據(jù)集包含500個(gè)數(shù)據(jù)樣本，其中包括多云圖像和無云圖像，分辨率為512×512。該數(shù)據(jù)集通過Google?Earth收集，并通過設(shè)置云層是否顯示來獲取。這一數(shù)據(jù)集的建立旨在為研究人員提供一個(gè)有針對(duì)性的、用于深度學(xué)習(xí)方法培訓(xùn)的資源，以推動(dòng)遙感圖像去云技術(shù)的發(fā)展。

3.2訓(xùn)練

關(guān)于RICE數(shù)據(jù)集的實(shí)驗(yàn)，本文采用了Nvidia?3060?12GB顯卡。在RICE1數(shù)據(jù)集中，實(shí)驗(yàn)選擇了400張圖像作為訓(xùn)練集，以及100張圖像作為測(cè)試集。在RICE2數(shù)據(jù)集中，實(shí)驗(yàn)選擇了500張圖像進(jìn)行訓(xùn)練，并使用150張圖像進(jìn)行測(cè)試。在訓(xùn)練模型的過程中，本研究將學(xué)習(xí)速率設(shè)置為0.000?3，批處理大小設(shè)置為1，epoch設(shè)置為500。同時(shí)，模型選擇了Adam優(yōu)化器，并設(shè)置了beta為0.000?1。這一實(shí)驗(yàn)設(shè)置旨在在有限的訓(xùn)練資源下，有效地訓(xùn)練模型并在測(cè)試集上獲得準(zhǔn)確的性能評(píng)估。

3.3結(jié)果

本文的去云網(wǎng)絡(luò)在遙感圖像去云任務(wù)中取得了顯著的成果，其效果展示如圖1所示。

通過提出的方法，本文成功解決了云層遮擋問題，為遙感圖像提供了清晰、無云的視野。在這一過程中，特別關(guān)注空間信息的考慮，使網(wǎng)絡(luò)能夠更好地預(yù)測(cè)和處理云層的遮擋情況?？傮w來說，本文的遙感圖像去云網(wǎng)絡(luò)在多個(gè)方面都展現(xiàn)了優(yōu)勢(shì)。其顯著效果、對(duì)空間信息的充分利用以及在計(jì)算和參數(shù)方面的優(yōu)化，為遙感圖像處理領(lǐng)域帶來了一種更為有效和可行的解決方案。

4結(jié)語

在本研究中，專注于解決遙感圖像中的云陰影問題，采用了卷積神經(jīng)網(wǎng)絡(luò)、多頭自注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)構(gòu)建端到端的遙感圖像去云網(wǎng)絡(luò)。通過實(shí)驗(yàn)證明，本文的方法顯著改善了遙感圖像的質(zhì)量，成功解決了云層遮擋問題。這一研究為遙感圖像實(shí)際應(yīng)用和遙感圖像處理提供了高效的解決方案，凸顯了在空間信息利用、計(jì)算和參數(shù)優(yōu)化方面的優(yōu)勢(shì)。未來，將繼續(xù)優(yōu)化模型，拓展數(shù)據(jù)集，以推動(dòng)遙感圖像處理技術(shù)的進(jìn)一步發(fā)展。

參考文獻(xiàn)

[1] 劉輝，謝天文.基于PCA與HIS模型的高分辨率遙感影像陰影檢測(cè)研究[J].遙感技術(shù)與應(yīng)用，2013（1）：7.

[2] 王茹月，周航宇.直方圖雙峰法在遙感影像水體提取中的研究與改進(jìn)[J].測(cè)繪通報(bào)，2023（9）：77-81.

[3] 葉昕，秦其明，王俊，等.結(jié)合數(shù)學(xué)形態(tài)學(xué)與多角度模板匹配的高分辨率遙感圖像救災(zāi)帳篷識(shí)別[J].測(cè)繪通報(bào)，2015（1）：4.

[4] 宋一明，鞠哲.一種基于動(dòng)態(tài)類中心模型選擇的模糊支持向量機(jī)[J].大連理工大學(xué)學(xué)報(bào)，2023，63（2）：199-204.

[5] 帥爽，張志，張?zhí)?，?特征優(yōu)化結(jié)合隨機(jī)森林算法的干旱區(qū)植被高光譜遙感分類方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2023，39（9）：287-293.

[6] 云濤，潘泉，郝宇航，等.基于HRRP時(shí)頻特征和多尺度非對(duì)稱卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別算法[J].?西北工業(yè)大學(xué)學(xué)報(bào)，2023，41（3）：537-545.

[7] 吳家皋，章仕穩(wěn)，蔣宇棟，等.基于狀態(tài)精細(xì)化長短期記憶和注意力機(jī)制的社交生成對(duì)抗網(wǎng)絡(luò)用于行人軌跡預(yù)測(cè)[J].計(jì)算機(jī)應(yīng)用，2023，43（5）：1565-1570.

[8]LIN?D，?XU?G，?WANG?X，?et?al.?A?Remote?Sensing?Image?Dataset?for?Cloud?Removal[J].?ArXiv，?abs，?2019，1901.00600.