航拍圖像去云方法研究綜述

徐 超,李從利,韋 哲,薛 松,章衛(wèi)華

(1.陸軍炮兵防空兵學(xué)院, 合肥 230000; 2.陸軍預(yù)備役工兵第1旅, 江蘇 徐州 221000)

0 引言

全球大約有2/3的地面被云層覆蓋[1],無論是衛(wèi)星遙感還是航空飛行器,對(duì)地觀察成像時(shí)常被復(fù)雜的云區(qū)所干擾,從而導(dǎo)致圖像的信息熵下降,嚴(yán)重影響圖像后續(xù)處理和使用。研究者們根據(jù)去云處理對(duì)象的不同,常將云區(qū)分為厚云和薄云2類,其中厚云具有強(qiáng)反射率和低透射率,完全阻擋了地表向衛(wèi)星傳感器的反射和輻射信號(hào),被其遮擋的數(shù)據(jù)基本不可用;薄云由于具有一定的透射率,地表的反射和輻射信號(hào)可以穿透薄云到達(dá)傳感器[2]。

因此,薄云雖然遮擋了一部分地物,但仍然能透過云層觀察部分地物特征,目前針對(duì)薄云去除的研究較為成熟,提出的方法近似于圖像去霧的方法[3]。而由于厚云對(duì)下方的地物處于完全遮蔽狀態(tài),因此可視為一個(gè)掩膜,針對(duì)厚云的去除方法,目前主要是將云區(qū)視為缺失區(qū)域?qū)崿F(xiàn)圖像恢復(fù)[3]。

隨著學(xué)者們?cè)谌ピ蒲芯恐械牟粩嗌钊?以及深度學(xué)習(xí)在圖像處理領(lǐng)域里的廣泛應(yīng)用,本文將去云方法分為:傳統(tǒng)的基于經(jīng)典理論的去云方法、智能化的基于深度學(xué)習(xí)的去云方法。此外對(duì)這2類方法又分別進(jìn)行了分類拓展。根據(jù)含云圖像重構(gòu)缺失信息時(shí)互補(bǔ)信息的來源不同,將傳統(tǒng)基于經(jīng)典理論方法分為以下4類:基于空間的方法[4-6]、基于光譜的方法[7-9]、基于時(shí)間的方法[10-11]和混合方法[12-13];基于經(jīng)典理論的去云方法能夠在一定程度上實(shí)現(xiàn)云區(qū)檢測(cè)、薄云和厚云的去除任務(wù)。然而,由于圖像去云是個(gè)典型的病態(tài)問題,數(shù)據(jù)中的任何一點(diǎn)變化都能導(dǎo)致圖像復(fù)原結(jié)果劇烈變化,而且往往伴隨著圖像顏色失真、去云部位仍有云痕跡等問題,具有一定的局限性。隨著深度學(xué)習(xí)的技術(shù)不斷發(fā)展,以及其在其他圖像處理領(lǐng)域里的成熟應(yīng)用,相應(yīng)的理論框架在圖像去云領(lǐng)域也得到了廣泛研究,出現(xiàn)了許多有意義的工作。本文依據(jù)采用了去云模型網(wǎng)絡(luò)的差異,將基于深度學(xué)習(xí)的去云方法分為以下3類:基于CNN的方法、基于GAN的方法、基于CE的方法。

本文首先對(duì)數(shù)據(jù)集進(jìn)行了介紹和分析,爾后對(duì)基于經(jīng)典理論的去云方法和基于深度學(xué)習(xí)的去云方法分別進(jìn)行詳細(xì)闡述,給出了評(píng)價(jià)指標(biāo),并展望了去云技術(shù)的未來發(fā)展趨勢(shì)。

1 常用數(shù)據(jù)集

目前已出現(xiàn)專門用于去云處理的公開數(shù)據(jù)集,但基本都是基于衛(wèi)星遙感成像的數(shù)據(jù)集,其中最出名的采樣衛(wèi)星有Landsat系列、Sentinel系列、高分系列等,依據(jù)這些衛(wèi)星提供的免費(fèi)數(shù)據(jù),學(xué)者們提出了大量富有特色的數(shù)據(jù)集,如:Landsat系列數(shù)據(jù)集、SEN12MS數(shù)據(jù)集、RICE 數(shù)據(jù)集、HRC_WHU數(shù)據(jù)集等。

1.1 Landsat系列數(shù)據(jù)集

Landsat系列數(shù)據(jù)集包括了L7_Irish[14]和L8_Biome[15],是由美國(guó)地質(zhì)調(diào)查局(USGS)、地球資源觀測(cè)和科學(xué)中心(EROS)創(chuàng)建。其中,L7數(shù)據(jù)集包含206個(gè)場(chǎng)景和相關(guān)的云掩模,其中有45個(gè)掩模被標(biāo)記為云和云陰影。這些場(chǎng)景按緯度區(qū)域分層,對(duì)每個(gè)掩模中的像素解釋為云、薄云或云陰影。L8數(shù)據(jù)集包含96個(gè)場(chǎng)景和相關(guān)的人工云掩模,其中有32個(gè)掩模被標(biāo)記為云和云陰影。這些場(chǎng)景中的每個(gè)像素都被標(biāo)記為云、薄云、云陰影或無云的天空。目前Landsat系列數(shù)據(jù)集可在USGS官網(wǎng)免費(fèi)下載。

1.2 SEN12MS數(shù)據(jù)集

SEN12MS數(shù)據(jù)集[16]由哨兵-1衛(wèi)星SAR圖像和哨兵-2衛(wèi)星光學(xué)圖像組成,依據(jù)哨兵-1(灰度)、哨兵-2(RGB通道)、 MODIS土地覆蓋集(灰度)3組完整的場(chǎng)景圖像轉(zhuǎn)換為視覺感知圖像,再依據(jù)遙感專家檢查篩選,去除掉無云的圖像,最后分割得到180 662個(gè)分辨率大小為256×256的樣本數(shù)據(jù)。SEN12MS數(shù)據(jù)集下載地址為:https://mediatum.ub.tum.de/1474000。

2020年,在文獻(xiàn)[16]數(shù)據(jù)集的基礎(chǔ)上改進(jìn)得到了SEN12MS-CR數(shù)據(jù)集[17],該數(shù)據(jù)集包含169個(gè)不重疊的含云區(qū)域,每個(gè)區(qū)域像素大小為5 200×4 000,對(duì)應(yīng)于52 km×40 km的地面覆蓋范圍,為了適應(yīng)深度學(xué)習(xí),將其分割為157 521個(gè)分辨率大小為256×256的樣本數(shù)據(jù)。該數(shù)據(jù)集下載地址為:https://paperswithcode.com/dataset/sen12ms-cr。

1.3 RICE數(shù)據(jù)集

隨著深度學(xué)習(xí)在去云領(lǐng)域的不斷發(fā)展,2019年,Lin等[18]首次提出了專門用于深度學(xué)習(xí)的數(shù)據(jù)集:遙感圖像云重新移動(dòng)數(shù)據(jù)集(RICE),該數(shù)據(jù)集由RICE1和RICE2等2個(gè)部分組成。其中,RICE1數(shù)據(jù)集收集自谷歌地球,包含500對(duì)圖像,每對(duì)圖像由同一地區(qū)不同時(shí)段的無云圖像和含云圖像組成,不重疊地統(tǒng)一分為分辨率大小為512×512的圖像;RICE2的數(shù)據(jù)來源于衛(wèi)星Landsat 8的陸地成像儀(OLI)和熱紅外傳感器(TIRS)數(shù)據(jù)集,由450組圖像組成,每組包含3張不重疊的分辨率大小為512×512的圖像,分別為無云的參考圖像、云圖和云掩碼圖像。RICE數(shù)據(jù)集下載地址為:https://github.com/BUPTLdy/RICE_DATASET。

1.4 HRC_WHU數(shù)據(jù)集

HRC_WHU數(shù)據(jù)集[19]是2019年武漢大學(xué)在研究中創(chuàng)建的一個(gè)高分辨率的云覆蓋驗(yàn)證數(shù)據(jù)集,含有來自谷歌地球的150幅高分辨率圖像,分為水域、植被、城市、冰雪和貧瘠地區(qū)等5類土地類型。由遙感圖像解譯領(lǐng)域的專家將衛(wèi)星圖像、航空攝影和地理信息系統(tǒng)數(shù)據(jù)疊加,對(duì)相關(guān)的參考云掩模進(jìn)行了數(shù)字化處理,已用于高分1號(hào)衛(wèi)星圖像云檢測(cè)方法的性能評(píng)估。HRC_WHU數(shù)據(jù)集下載地址為:http://sendimage.whu.edu.cn/en/mscff/。

目前的去云專用數(shù)據(jù)集基本都是通過衛(wèi)星遙感圖像創(chuàng)建的,飛機(jī)、無人機(jī)拍攝的航空數(shù)據(jù)集,比較經(jīng)典的有Real World數(shù)據(jù)集[20]、Det-Fly數(shù)據(jù)集[21]、MIDGARD數(shù)據(jù)集[22]等,但都是以目標(biāo)識(shí)別和目標(biāo)跟蹤為主,高精度、高質(zhì)量標(biāo)注的去云專用數(shù)據(jù)集需要進(jìn)一步完善和發(fā)展。

上述數(shù)據(jù)集之間的特點(diǎn)對(duì)比分析如表1所示。

表1 常用數(shù)據(jù)集的特點(diǎn)比較

2 基于經(jīng)典理論的去云方法

2.1 基于空間的方法

基于空間的方法是指待恢復(fù)云區(qū)與周邊圖像具有相似的上下文信息,利用周邊紋理和結(jié)構(gòu)推斷云區(qū)內(nèi)容。2011年,何凱明等[5]提出了一種利用先驗(yàn)統(tǒng)計(jì)的暗通道去除單圖像霧霾方法,可以用來去除薄云和霧霾。該方法通過獲取暗通道圖像、得出透射率、估計(jì)大氣光值,最后得到去云圖像。在此基礎(chǔ)上,文獻(xiàn)[23-25]分別從獨(dú)立亮度區(qū)域、添加低通高斯濾波器、添加修正項(xiàng)的方法進(jìn)行了優(yōu)化。該方法簡(jiǎn)單高效,但是在處理較厚云層和亮地表影像(如背景是雪地、白墻)時(shí)會(huì)失效。2021年,Cheng等[26]提出了一種結(jié)合了低秩和稀疏約束的暗通道先驗(yàn)法,暗通道先驗(yàn)用于消除薄云,稀疏和低秩約束分別用于在受云污染的圖像中找到厚云的位置和去除厚云,解決了厚云的去除問題。但此類方法都需要特定的先驗(yàn)場(chǎng)景,因此并不具備普適性。

為了解決該問題,有學(xué)者提出了基于圖像變換的方法,將遙感圖像中云和地面信息分開到不同的分量,可以對(duì)圖像中云的分量特征進(jìn)行矯正,實(shí)現(xiàn)遙感圖像的去云。Shen等[27]在2015年提出了基于獨(dú)立成分分析(ICA)的去云方法,該方法能夠?qū)⒒旌闲盘?hào)分離為互相獨(dú)立的信號(hào)的加權(quán)和,適用于具有卷云探測(cè)波段的光學(xué)數(shù)據(jù)。Lv等[28]在其基礎(chǔ)上提出了利用卷云探測(cè)波段與待去云波段單獨(dú)配對(duì)的方法,改進(jìn)了ICA云成分提取的精度及去云算法的效果。2019年,Xu等[29]提出一種基于噪聲調(diào)整主成分變換的去云算法(CR-NAPCT),該方法在經(jīng)過NAPCT變換后提取云成分,再通過修改云成分能夠有效去云。此類方法對(duì)于薄云有較好的生成效果,對(duì)于厚云難以提取其云分量,因此存在一定的局限性。

2018年,Wen等[30]將稀疏字典學(xué)習(xí)方法應(yīng)用于去云領(lǐng)域,提出一個(gè)雙魯棒主成分分析(RPCA)框架的云去除方法,一個(gè)普通RPCA用于初始的云區(qū)檢測(cè),一個(gè)鑒別RPCA用于對(duì)檢測(cè)到的云像素分配懲罰權(quán)值,從而實(shí)現(xiàn)云的去除和場(chǎng)景恢復(fù)。2019年,Zhang等[31]在文獻(xiàn)[30]的基礎(chǔ)上增加了一個(gè)從粗到細(xì)的框架,利用群稀疏性來去除衛(wèi)星圖像序列中的云。這2種方法既不需要無云參考圖像,也不需要特定的云檢測(cè)算法。

2.2 基于光譜的方法

基于光譜的方法是指依據(jù)不同光譜波長(zhǎng)固有的相關(guān)性和相似性,利用一部分能夠穿透云區(qū)的波段成像估計(jì)被遮擋的其他波長(zhǎng)的信息,最終生成無云圖像的方法,通常是為了去除薄云。Irish等[7-8]于2000年和2006年設(shè)計(jì)了自動(dòng)云覆蓋分析算法(ACCA),成為了美國(guó)本土區(qū)域的ETM+數(shù)據(jù)的標(biāo)準(zhǔn)云檢測(cè)算法。2012年,Zhu等[9]在ACCA算法的基礎(chǔ)上,提出了一種面向?qū)ο蟮脑茩z測(cè)方法(fmask),對(duì)場(chǎng)景中的像素進(jìn)行預(yù)標(biāo)記,動(dòng)態(tài)的確定閾值以驗(yàn)證這些標(biāo)記的真?zhèn)?從而識(shí)別云像素,完成云區(qū)的分割。2017年,Qiu等[32]在Fmask的基礎(chǔ)上提出了MFmask算法,提高了復(fù)雜地形區(qū)域的云及云影的檢測(cè)精度。2022年,王藍(lán)星等[33]提出了一種基于空譜隨機(jī)森林的方法,利用多光譜影像對(duì)高光譜影像進(jìn)行厚云去除,能獲得更高精度的云下信息重建?？傊?基于光譜的云檢測(cè)方法簡(jiǎn)便,計(jì)算效率高,但當(dāng)待恢復(fù)區(qū)域有大量云區(qū)時(shí),遙感數(shù)據(jù)的所有光譜波段都會(huì)受到不同程度的污染,導(dǎo)致光譜波段的完備程度不高,造成精度下降。同時(shí)此類方法對(duì)傳感器的精度和穩(wěn)定性都提出了更高的要求。

2.3 基于時(shí)間的方法

基于時(shí)間的方法又叫多時(shí)相法,是利用航空航天器能夠在不同時(shí)間段拍攝同一地區(qū)的特性,使用多時(shí)間圖像作為輸入。在時(shí)間圖像序列中,因?yàn)榈匚锸庆o止的,所以移動(dòng)狀態(tài)下的云很容易被檢測(cè)到,對(duì)檢測(cè)到的云區(qū)范圍進(jìn)行分割并將多次成像的像素值進(jìn)行互補(bǔ),從而生成無云圖像。

2008年,Tseng等[34]將云區(qū)替換成該地區(qū)無云時(shí)刻的圖像,按照增強(qiáng)原始圖像亮度和色度、提取云區(qū)、替換成無云區(qū)域三步生成無云圖像,成為多時(shí)相法去云經(jīng)典的算法之一。2014年,Li等[11]提出了2種多時(shí)態(tài)字典學(xué)習(xí)算法,首次將壓縮傳感技術(shù)(CS)用于定量遙感圖像恢復(fù),并擴(kuò)展了K-SVD和貝葉斯算法,實(shí)現(xiàn)了恢復(fù)厚云和云影污染的定量遙感圖像。2016年,Xu等[35]對(duì)多時(shí)態(tài)字典學(xué)習(xí)(MDL)法進(jìn)行了改進(jìn),在光譜域中分別學(xué)習(xí)有云區(qū)域(目標(biāo)數(shù)據(jù))和無云區(qū)域(參考數(shù)據(jù))的字典,然后結(jié)合從參考圖像獲得的系數(shù)和從目標(biāo)圖像學(xué)習(xí)到的字典來去云,可以很好地恢復(fù)被薄云或云影污染的數(shù)據(jù)。在此基礎(chǔ)之上,Xia等[36]于2022年提出一種改進(jìn)的基于MDL的去厚云方法,該方法以相鄰無云圖像為參考圖像,使用字典學(xué)習(xí)和稀疏表示方法從每個(gè)參考圖像中生成重建圖像,依據(jù)重建誤差確定權(quán)重,最后將其與原始未污染像素組合以產(chǎn)生最終重建結(jié)果,能夠準(zhǔn)確有效地重建受厚云污染的數(shù)據(jù)。

此外有學(xué)者利用矩陣補(bǔ)全算法去云,將含云的待處理圖像當(dāng)作信息缺失的矩陣,通過找到與已知項(xiàng)匹配的最低秩矩陣來填充,最終生成無云圖像。2016年,Wang等[10]提出一個(gè)包括云檢測(cè)階段和場(chǎng)景重建階段的2階段模型,設(shè)計(jì)了一種新的時(shí)間連續(xù)魯棒矩陣補(bǔ)全模型(TECROMAC)來處理衛(wèi)星圖像序列中的云,實(shí)現(xiàn)恢復(fù)地面目標(biāo)信息。2019年,Chen等[37]提出了一種針對(duì)時(shí)間序列遙感圖像的盲云和云影去除方法,將退化的圖像分解為低秩干凈的圖像組件和含云的稀疏組件,引入空間光譜總變化正則化方法,促進(jìn)云、云影分量的空間光譜連續(xù)性,得到準(zhǔn)確的位置信息。Li等[38]提出了一種非負(fù)矩陣分解和誤差修正方法(S-NMF-EC),利用基于時(shí)空非局部濾波器的數(shù)據(jù)融合模型,通過參考圖像和多個(gè)低分辨率圖像獲得無云融合參考圖像,然后通過非負(fù)矩陣分解去除云污染圖像的云覆蓋。

2.4 混合方法

混合方法結(jié)合了上述的若干種方法,通常以多時(shí)相法為基本框架,融合一部分光譜和空間信息用于彌補(bǔ)多時(shí)相法留下的小塊區(qū)域。與前文方法相比,混合方法可以接受較短的圖像序列和較低分辨率的多光譜數(shù)據(jù)作為輸入,能夠達(dá)到更好的去云效果。2006年,Melgani[12]提出2種新的通用方法來重建多時(shí)態(tài)多光譜圖像序列中被云遮擋的區(qū)域,對(duì)于給定序列的云污染圖像,每個(gè)缺失的測(cè)量區(qū)域通過一個(gè)無監(jiān)督的上下文預(yù)測(cè)過程進(jìn)行重建,得到一個(gè)適當(dāng)選擇的局部光譜-時(shí)間關(guān)系。2017年,Michael等[13]提出一種自適應(yīng)加權(quán)張量補(bǔ)全(AWTC)方法來恢復(fù)缺失數(shù)據(jù)的遙感圖像。該方法綜合利用空間、光譜和時(shí)間信息來建立一個(gè)新的加權(quán)張量循環(huán)正則化模型來恢復(fù)缺失的數(shù)據(jù),通過考慮空間、光譜和時(shí)間信息的貢獻(xiàn)來自適應(yīng)地確定權(quán)重。

相關(guān)算法的對(duì)比分析如表2所示?；诮?jīng)典理論的去云方法模型簡(jiǎn)單清晰,可解釋性強(qiáng)。但是隨著深度學(xué)習(xí)的發(fā)展,人們更加傾向于數(shù)據(jù)驅(qū)動(dòng)解決去云問題。

表2 基于經(jīng)典理論的去云方法比較與分析

3 基于深度學(xué)習(xí)的去云方法

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種具有局部連接、權(quán)重共享等特性的深層前饋神經(jīng)網(wǎng)絡(luò),作為深度學(xué)習(xí)的代表算法之一,應(yīng)用于去云工作十分可靠。2017年,Mateo-Garcia等[39]第一次將CNN技術(shù)用于空基航拍圖像去云,設(shè)計(jì)了一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu),用于多光譜圖像的云掩膜,其效果顯著優(yōu)于傳統(tǒng)方法,證明了CNN在去云任務(wù)中的強(qiáng)大力量。

Xie等[40]提出一種結(jié)合超像素分割和卷積神經(jīng)網(wǎng)絡(luò)的云檢測(cè)方法,如圖1所示,該方法改進(jìn)了簡(jiǎn)單的線性迭代聚類(SLIC)方法,將圖像分割成具有精確圖像邊界的超像素,設(shè)計(jì)了一個(gè)具有2個(gè)分支的深度卷積神經(jīng)網(wǎng)絡(luò),從每個(gè)超像素中提取多尺度特征,并將該超像素預(yù)測(cè)為厚云、薄云和非云等3個(gè)類別,通過對(duì)圖像中所有超像素的預(yù)測(cè),得到最終的云檢測(cè)結(jié)果,該方法擁有較好的精度和魯棒性。

圖1 兩分支的CNN架構(gòu)[40]

2019年,Yang等[41]在前人的基礎(chǔ)上,提出了一種基于CNN的云檢測(cè)網(wǎng)絡(luò)CDnet模型,該模型包括了編解碼器結(jié)構(gòu)、特征金字塔模塊(FPM)和邊界細(xì)化模塊(BR)3個(gè)部分,用特征金字塔結(jié)構(gòu)提取多尺度特征,用邊界細(xì)化結(jié)構(gòu)來優(yōu)化云區(qū)邊界的檢測(cè),編解碼器結(jié)構(gòu)逐步恢復(fù)與輸入圖像相同大小的分割結(jié)果。如圖2所示,該方法使用預(yù)先訓(xùn)練和修改后的ResNet-50網(wǎng)絡(luò)來提取特征。對(duì)于每個(gè)特征金字塔模塊,利用3×3卷積(包括512個(gè)濾波器、批處理歸一化和Relu激活函數(shù))來減少通道的數(shù)量和1個(gè)1×1卷積層來為每個(gè)類生成語(yǔ)義得分記分圖(scoremaps),之后通過一個(gè)邊界細(xì)化操作來細(xì)化融合結(jié)果。改進(jìn)后的融合結(jié)果通過上采樣和邊界細(xì)化操作,得到與輸入圖像相同大小的特征圖。該方法能夠生成相對(duì)詳細(xì)且清晰的邊界,提取多尺度上下文信息并且不損失分辨率和覆蓋范圍,在厚云的云區(qū)分割中具有較好的表現(xiàn)。

圖2 CDnet模型構(gòu)架

此外,研究者也提出了許多創(chuàng)造性的方法。Shao等[42]使用多尺度特征卷積神經(jīng)網(wǎng)絡(luò)模型(MF-CNN)學(xué)習(xí)圖像的多尺度全局特征,將特征學(xué)習(xí)過程中獲得的高級(jí)語(yǔ)言信息與低級(jí)空間信息相結(jié)合,提高了對(duì)薄云區(qū)域的識(shí)別能力。Wen等[43]提出了一種基于殘差通道注意力網(wǎng)絡(luò)的薄云去除方法,該方法在殘差學(xué)習(xí)路徑中引入了通道注意機(jī)制,同時(shí)實(shí)現(xiàn)了抑制薄云和增強(qiáng)地面場(chǎng)景細(xì)節(jié),有效避免了深層地面信息的丟失。Long等[44]提出了一種雙移位網(wǎng)絡(luò)(shift net)來去除多時(shí)相遙感圖像中的厚云。第1個(gè)移位網(wǎng)絡(luò)將多時(shí)相圖像歸一化,第2個(gè)移位網(wǎng)絡(luò)在U-Net中引入了Shift連接層和深度可分離卷積,這2個(gè)移位網(wǎng)絡(luò)不僅可以提高去云的視覺效果,還可以進(jìn)一步提高量化評(píng)價(jià)。Chen等[45]提出了一種時(shí)空神經(jīng)網(wǎng)絡(luò)(SNN),該網(wǎng)絡(luò)具有4個(gè)模塊:云檢測(cè)模塊、時(shí)空學(xué)習(xí)模塊、時(shí)空特征融合模塊和重建模塊,可以實(shí)現(xiàn)厚云的去除。

上述基于CNN的去云方法特點(diǎn)對(duì)比分析如表3所示。

表3 基于CNN的去云方法特點(diǎn)比較與分析

3.2 生成對(duì)抗網(wǎng)絡(luò)

2014年,Goodfellow等[46]第一次提出了生成對(duì)抗網(wǎng)絡(luò)模型(GAN),打開了博弈生成模型的大門。由于GAN可以生成高質(zhì)量仿真圖像,研究者們迅速發(fā)現(xiàn)其在去云研究中的巨大潛力。

朱清等[47]提出了一種基于GAN的遙感影像云檢測(cè)方法,利用GAN建立遙感影像到云掩膜之間的模型,并且考慮了云本身的形態(tài)特征,使用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像中的云進(jìn)行檢測(cè),但是該方法使用了遙感影像及對(duì)應(yīng)的云掩膜數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練,還是屬于監(jiān)督學(xué)習(xí)。2019年,Zou等[48]提出了一個(gè)由3個(gè)網(wǎng)絡(luò)組成的基于GAN的云區(qū)匹配模型,除了生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)之外加入一個(gè)云匹配網(wǎng)絡(luò),該網(wǎng)絡(luò)用于學(xué)習(xí)預(yù)測(cè)云的反射率和衰減,利用該網(wǎng)絡(luò)和GAN實(shí)現(xiàn)云檢測(cè)和去除,但是該方法未考慮到云的雙向透射和吸收作用,并且得到的結(jié)果分辨率很低。由于GAN屬于無監(jiān)督網(wǎng)絡(luò),生成器不夠穩(wěn)定,經(jīng)常會(huì)產(chǎn)生一些無意義的輸出。為此,很多學(xué)者都對(duì)傳統(tǒng)GAN進(jìn)行了改進(jìn)。

Enomoto等[49]第一個(gè)提出了基于cGAN的多光譜條件生成對(duì)抗網(wǎng)絡(luò)“McGANs”。如圖3所示,該方法將cGAN的輸入擴(kuò)展到多光譜圖像,以便能夠合并輸入的可見光圖像和較長(zhǎng)波長(zhǎng)的圖像,通過擴(kuò)展cGAN的輸入通道與多光譜圖像的兼容,可以輸出接近地面真相的圖像,為了避免偏置數(shù)據(jù)集對(duì)某些類別的過擬合,該方法引入t-SNE對(duì)每個(gè)類別的圖像進(jìn)行均勻采樣,從而改善訓(xùn)練數(shù)據(jù)集中的偏差問題。Grohnfeldt等[50]也提出了基于cGAN的去云架構(gòu),該架構(gòu)專門設(shè)計(jì)用來融合合成孔徑雷達(dá)和光學(xué)多光譜圖像數(shù)據(jù),以便從云污染的光譜測(cè)量中預(yù)測(cè)無云和無霧的光譜圖像。

圖3 McGANs模型的生成器構(gòu)架

Singh等[51]提出了一個(gè)結(jié)合循環(huán)對(duì)抗網(wǎng)絡(luò)(cycle-GAN)的Cloud-GAN模型來學(xué)習(xí)含云圖像和無云圖像之間的映射。該方法將薄云圖像轉(zhuǎn)換為無云RGB圖像,利用GAN的強(qiáng)大生成能力使該方法能夠生成足夠接近非云圖像的底層分布。其優(yōu)勢(shì)在于不需要配對(duì)的含云和無云訓(xùn)練數(shù)據(jù)集,對(duì)光譜信息源的需求也較低,但同時(shí)也丟失了大量原始背景的光譜信息。此外,Zheng等[3]提出一個(gè)2階段去云法,第1階段用U-Net模型進(jìn)行厚云云區(qū)分割和薄云去除,第2階段利用GAN去除厚云,取得了很好的效果;Ghozatlou等[52]結(jié)合多光譜向量轉(zhuǎn)化,提出了基于混合GAN的去云算法;韋哲等[53]將圖像去云領(lǐng)域擴(kuò)展到無人機(jī)拍攝圖像,結(jié)合詞袋檢索算法和注意力對(duì)齊機(jī)制,提出了一種基于深度卷積生成對(duì)抗網(wǎng)絡(luò)的兩階段厚云去除方法(DCGAN),都有了一定的發(fā)展。

上述基于GAN的去云方法特點(diǎn)對(duì)比分析如表4所示。

表4 基于GAN的去云方法特點(diǎn)比較與分析

3.3 卷積自編碼器網(wǎng)絡(luò)

卷積自編碼器是一種由自編碼器(AE)衍生出的模型結(jié)構(gòu)。通過基于上下文像素預(yù)測(cè)驅(qū)動(dòng)的無監(jiān)督的視覺特征的學(xué)習(xí)算法,根據(jù)圖像缺失區(qū)域周圍圖像的特征信息生成缺失內(nèi)容并保證修復(fù)圖像上下文的語(yǔ)義連貫性。

2018年,Malek等[54]提出一種基于自編碼器神經(jīng)網(wǎng)絡(luò)的方法,通過在無云圖像和云污染圖像之間建立模型關(guān)系,從而恢復(fù)多光譜圖像中含云區(qū)域的圖像信息,可以用于去除薄云。2019年,Sun等[55]提出了一個(gè)2階段的云感知生成網(wǎng)絡(luò)(CAGN),該方法結(jié)合了圖像嵌入繪制和圖像去噪技術(shù),第1階段是采用循環(huán)卷積網(wǎng)絡(luò)檢測(cè)云區(qū),第2階段是用自動(dòng)編碼器方法去除薄云。2020年,Hong等[56]將知識(shí)蒸餾法應(yīng)用于圖像去薄云領(lǐng)域,提出一種利用異質(zhì)任務(wù)模擬提取圖像去薄云知識(shí)的網(wǎng)絡(luò)。其中,教師網(wǎng)絡(luò)是一個(gè)自編碼器,用來重建無薄云圖像。學(xué)生網(wǎng)絡(luò)以教師網(wǎng)絡(luò)的編碼特征為指導(dǎo)信息,利用過程導(dǎo)向機(jī)制使中間結(jié)果與自編碼器網(wǎng)絡(luò)相似。

綜上,基于深度學(xué)習(xí)的去云方法,無論是在云區(qū)檢測(cè)、薄云去除和厚云去除都表現(xiàn)得更為突出,這直接反映在圖像的去云效果上。

4 評(píng)價(jià)指標(biāo)

不同的算法應(yīng)用于不同的場(chǎng)景,不同的模型、不同的參數(shù)會(huì)導(dǎo)致處理結(jié)果迥異。衡量不同方法的好壞,除了利用人的主觀視覺感知外,還必須采取合適的量化指標(biāo)。通常情況下,研究者們將圖像質(zhì)量評(píng)價(jià)指標(biāo)直接用于圖像去云的效果評(píng)價(jià),按照是否存在清晰的參考圖像,圖像去云評(píng)價(jià)指標(biāo)可分為全參考型指標(biāo)和無參考型指標(biāo)2大類。

4.1 全參考型指標(biāo)

全參考型評(píng)價(jià)指標(biāo)選擇無云的、能夠清晰反映地物信息的圖像作為參考圖像,通過比較去云后的修復(fù)圖像與參考圖像之間的差異,來獲得去云后圖像質(zhì)量評(píng)估結(jié)果。最常使用的方法是峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)。

4.1.1峰值信噪比(PSNR)

峰值信噪比是一種經(jīng)典的評(píng)價(jià)圖像質(zhì)量的指標(biāo)體系。基于誤差敏感程度,從像素層面來評(píng)價(jià)復(fù)原圖像的效果。由于它的衡量依據(jù)只是信號(hào)的最大值和背景噪音,與人眼看到的視覺品質(zhì)無法做到完全一致,因此作為評(píng)價(jià)指標(biāo)有較強(qiáng)的局限性。

4.1.2結(jié)構(gòu)相似度(SSIM)

結(jié)構(gòu)相似性指數(shù)[57]是一種用于量化2幅圖像間的結(jié)構(gòu)相似性的指標(biāo),它仿照人類視覺系統(tǒng)(HVS),實(shí)現(xiàn)了對(duì)圖像的局部結(jié)構(gòu)變化的自適應(yīng)感知。SSIM將圖像量化為亮度、對(duì)比度以及結(jié)構(gòu)3個(gè)屬性,用均值、方差、協(xié)方差來分別對(duì)應(yīng)估計(jì)相似程度。該方法體現(xiàn)了對(duì)圖像結(jié)構(gòu)的敏感程度,往往和PSNR互為補(bǔ)充,同時(shí)出現(xiàn)。

4.1.3其他經(jīng)典指標(biāo)

除了最常見的PSNR和SSIM方法外,還有一些研究者采用了其他評(píng)價(jià)指標(biāo),比如:以多尺度方法為基礎(chǔ),結(jié)合不同分辨率和觀察條件下的圖像細(xì)節(jié),得到信息量加權(quán)的結(jié)構(gòu)相似性法(IW-SSIM)[58]。后來又發(fā)展出VIF[59]算法,該算法由源模型、失真模型和HVS模型3部分組成,使用高斯尺度混合在小波域?qū)ψ匀粓D像進(jìn)行建模。

4.2 無參考型指標(biāo)

無參考型指標(biāo)也稱為盲評(píng)價(jià)指標(biāo),由于該評(píng)價(jià)指標(biāo)無需清晰的去云參考圖像,因此使得無參考評(píng)價(jià)指標(biāo)具有更好的適用性。常見的指標(biāo)有:①基于特征統(tǒng)計(jì)的模型。圖像熵(image entropy)。圖像熵是統(tǒng)計(jì)圖像特征信息的一種指標(biāo),由圖像灰度分布聚集特征的信息量大小,反映了圖像所包含的信息量,越大的圖像熵證明該圖像所包含的信息量越多。然而,圖像熵受到噪聲的影響較大,常被用作輔助度量。②基于自然場(chǎng)景統(tǒng)計(jì)模型。NIQE模型[60]是一種基于空域自然場(chǎng)景統(tǒng)計(jì)(NSS)模型的圖像質(zhì)量評(píng)價(jià)算法。該算法通過提取自然場(chǎng)景圖像的“質(zhì)量感知”統(tǒng)計(jì)特征進(jìn)行建模,且無需參考圖像及人類主觀評(píng)價(jià)分?jǐn)?shù)。③基于深度學(xué)習(xí)的評(píng)價(jià)指標(biāo)。深度學(xué)習(xí)的發(fā)展也給圖像盲評(píng)價(jià)指標(biāo)提供了發(fā)展思路,Wei等[61]提出了一種將排序?qū)W習(xí)和回歸學(xué)習(xí)相結(jié)合的評(píng)估模型,該模型由幾個(gè)逐層下采樣的CNN組成,通過圖像分類任務(wù)訓(xùn)練網(wǎng)絡(luò),利用該網(wǎng)絡(luò)將特征回歸到SSIM中,實(shí)現(xiàn)了與SSIM相接近的效果。此外,MUSIQ等[62]結(jié)合深度學(xué)習(xí)的方法也起到了很好的效果。

設(shè)計(jì)一個(gè)滿足去云目的的評(píng)價(jià)指標(biāo)對(duì)于提升去云算法本身效能有很大的促進(jìn)作用,目前,該方向的工作仍有很大的提升空間。

5 結(jié)論

本文針對(duì)航拍圖像去云問題,詳細(xì)介紹了基于經(jīng)典理論的去云方法和基于深度學(xué)習(xí)的去云方法,并分析了各方法的模型特點(diǎn)和應(yīng)用領(lǐng)域?？傮w來看,圖像去云技術(shù)發(fā)展較為迅速,獲得了大量研究成果,但也有一些問題需要研究者們進(jìn)一步研究。

1) 提高去云結(jié)果的可解釋性。去云后的圖像常常伴有顏色失真、云區(qū)殘留、語(yǔ)義缺損等情況,難以準(zhǔn)確反映云區(qū)內(nèi)地物的特征。可通過詞袋檢索、光流技術(shù)、知識(shí)圖譜等技術(shù),設(shè)計(jì)更合適且輕便的算法,實(shí)現(xiàn)信息來源的可追溯性。

2) 實(shí)現(xiàn)應(yīng)用場(chǎng)景的自適應(yīng)。設(shè)計(jì)通用的去云算法模型,該模型能夠自動(dòng)區(qū)分衛(wèi)星遙感和航空無人機(jī)、單光譜和多光譜、不同天氣、復(fù)雜地形等不同場(chǎng)景環(huán)境,并且僅使用少量樣本,便能自適應(yīng)的移植到其他圖像處理任務(wù),為多領(lǐng)域應(yīng)用提供解決方案。

3) 模型的級(jí)聯(lián)與優(yōu)化。將tramsformer、擴(kuò)散模型等深度學(xué)習(xí)中的新理論、新技術(shù)應(yīng)用到去云領(lǐng)域中,加強(qiáng)模型級(jí)聯(lián),打破領(lǐng)域壁壘。同時(shí)加強(qiáng)算法優(yōu)化,不斷提升云區(qū)檢測(cè)的準(zhǔn)確性與去云效果的可視化。

4) 處理與評(píng)價(jià)一體化。構(gòu)建通用的客觀評(píng)價(jià)指標(biāo)體系,對(duì)去云中的各種畸變進(jìn)行監(jiān)控,并將結(jié)果及時(shí)反饋到去云模型中,實(shí)時(shí)指導(dǎo)模型參數(shù)的選擇及優(yōu)化,提高算法的實(shí)時(shí)性和自動(dòng)化。