基于卷積神經(jīng)網(wǎng)絡(luò)的場(chǎng)景級(jí)云分類(lèi)算法

于志成, 張 曄, 楊秉新, 李 濤

(北京空間機(jī)電研究所, 北京 100094)

0 引 言

遙感技術(shù)因其能夠快速、及時(shí)、便捷的提供多種對(duì)地觀測(cè)、跟蹤、定位和導(dǎo)航等各種服務(wù),在國(guó)防現(xiàn)代化和經(jīng)濟(jì)建設(shè)等各個(gè)方面發(fā)揮了越來(lái)越重要的作用,帶來(lái)巨大的軍事效益、社會(huì)效益和經(jīng)濟(jì)效益[1]。不同行業(yè)使用遙感圖像的目的不盡相同,以風(fēng)云系列為代表的氣象衛(wèi)星主要用于拍攝云圖,以分析天氣和氣候變化;陸地勘測(cè)衛(wèi)星主要用于拍攝地表,為國(guó)土、林業(yè)、環(huán)保等行業(yè)應(yīng)用提供數(shù)據(jù)支撐,但對(duì)于非氣象類(lèi)遙感衛(wèi)星,如果拍攝區(qū)域上空存在較多的厚云,遙感相機(jī)所拍攝遙感圖像中的有效地表信息量就會(huì)減少,大量下傳此類(lèi)圖像將嚴(yán)重浪費(fèi)衛(wèi)星對(duì)地?cái)?shù)傳資源,因此如何消除云對(duì)光學(xué)遙感圖像衛(wèi)星數(shù)據(jù)的影響,分析判斷遙感圖像的可利用程度就成為了一個(gè)非常重要的研究方向[2]。

遙感圖像可利用程度劃分實(shí)質(zhì)上屬于效率管理,在航天光學(xué)遙感器設(shè)計(jì)中,避免云覆蓋影響陸地勘測(cè)衛(wèi)星使用效能的最好的辦法就是在軌對(duì)云覆蓋情況進(jìn)行定量化、分等級(jí)的評(píng)估分類(lèi),進(jìn)而判斷所拍攝圖像的可利用程度。具體來(lái)說(shuō),就是在軌對(duì)未知遙感圖像信息進(jìn)行有效的特征提取,通過(guò)定性和定量的分析,在軌預(yù)估遙感圖像被云覆蓋的嚴(yán)重程度,定量化的劃分等級(jí),在遙感圖像通過(guò)數(shù)傳發(fā)送給地面接收系統(tǒng)前,根據(jù)不同等級(jí)采取有效的措施,避免可利用程度較低的遙感數(shù)據(jù)占用數(shù)傳資源[3]。對(duì)于分類(lèi)的標(biāo)準(zhǔn),主要是遙感圖像中云覆蓋的區(qū)域能否正常提供地表的真實(shí)有效的信息,或者能提供多少有效信息,以及信息的可用性和有效性。因此,針對(duì)遙感有云圖像的準(zhǔn)確、有效的分類(lèi)準(zhǔn)則,以及高效、精確的分類(lèi)算法是在軌云判需要解決的2個(gè)關(guān)鍵問(wèn)題[4]。

目前已有很多學(xué)者針對(duì)遙感圖像的云覆蓋問(wèn)題做了很多研究,多數(shù)的研究集中在確定整幅遙感圖像中云遮擋的各種情況所占比重,結(jié)合遙感圖像的實(shí)際應(yīng)用場(chǎng)景,對(duì)遙感圖像的可利用程度進(jìn)行等級(jí)的劃分,并給星載計(jì)算機(jī)以確定的閾值,進(jìn)而判斷是否需要在軌實(shí)施有效措施。郁凡和陳渭民根據(jù)不同類(lèi)型的云在紅外和可見(jiàn)光波段的不同光譜特性,能夠檢測(cè)7種主要云類(lèi)及晴空區(qū)[5];馬芳等探討了常用通道閾值云檢測(cè)方法,并嘗試建立了紅外分裂通道差值法和通道綜合運(yùn)算法的云檢測(cè)方法[6];何全軍等將不同云的大氣輻射特性與MODIS數(shù)據(jù)的光譜特性相結(jié)合,綜合考慮可見(jiàn)光的反射率、紅外波段的亮溫值及亮溫差等方面,提出了一種多光譜綜合的云檢測(cè)方法[7]。但上述算法的研究更關(guān)注“云”占整幅圖像的比例問(wèn)題,即更關(guān)注像素級(jí)分類(lèi)的精度,而這類(lèi)算法帶來(lái)的弊端是,一旦該比例低于圖像可利用的閾值,則整幅圖像都不能得以數(shù)據(jù)下傳,這樣會(huì)浪費(fèi)掉很多其實(shí)整幅圖像云量占比很大、但局部地區(qū)信息卻清晰可見(jiàn)的圖像[8]。因此,本文首先將一景整幅圖像拆分成若干局部場(chǎng)景,并針對(duì)局部場(chǎng)景提出一種新的云覆蓋度等級(jí)場(chǎng)景分類(lèi)準(zhǔn)則,利用該準(zhǔn)則進(jìn)一步提出基于深度卷積網(wǎng)絡(luò)的云圖像場(chǎng)景分類(lèi)算法,最終實(shí)現(xiàn)整幅衛(wèi)星遙感圖像可利用程度的分塊精細(xì)分類(lèi)。與傳統(tǒng)判斷整幅圖像是否下傳的方法相比,本文提出的算法可以為衛(wèi)星數(shù)據(jù)下傳提供更精細(xì)的指示信息,從而實(shí)現(xiàn)圖像信息利用最大化。

1 云覆蓋度等級(jí)的場(chǎng)景分類(lèi)準(zhǔn)則

本文針對(duì)遙感圖像可利用程度分類(lèi)問(wèn)題,重點(diǎn)關(guān)注遙感圖像的云覆蓋程度這個(gè)重要因素,以云的厚度能否影響遙感相機(jī)獲取地面信息,以及是否能通過(guò)算法對(duì)云進(jìn)行去除并恢復(fù)出部分地面圖像作為判斷依據(jù),提出將遙感圖像局部場(chǎng)景分為4個(gè)類(lèi)別,3個(gè)等級(jí),最終根據(jù)裁定的等級(jí)要求,來(lái)判斷是否能夠作為有效遙感圖像數(shù)據(jù)下傳使用。具體準(zhǔn)則中,將云圖像按照覆蓋程度一共分為4類(lèi):即厚云完全覆蓋,厚云部分覆蓋,薄云覆蓋,無(wú)云覆蓋,根據(jù)圖像是否有下傳的必要又分為3個(gè)等級(jí):可直接下傳、可條件下傳、不可下傳[9],具體如表1所示。

表1 遙感圖像云覆蓋度分類(lèi)等級(jí)

其中,零覆蓋度為完全無(wú)云覆蓋的遙感圖像,是陸地勘測(cè)行業(yè)遙感應(yīng)用領(lǐng)域重點(diǎn)使用的數(shù)據(jù),需要盡量多、盡量快的下傳到地面,或者進(jìn)一步在軌檢測(cè)圖像中的目標(biāo);低覆蓋度,即有較少厚云覆蓋,或者被薄云覆蓋,可透過(guò)薄云云層看到部分云層下的地物信息,這類(lèi)圖像中含有一定的有價(jià)值信息,可以下傳到地面后經(jīng)過(guò)云去除等圖像增強(qiáng)算法處理后進(jìn)一步使用;中覆蓋度,即較多區(qū)域被厚云覆蓋,這類(lèi)情況則需要根據(jù)實(shí)際情況判斷,滿(mǎn)足閾值的認(rèn)為有利用價(jià)值的再進(jìn)行下傳;而高覆蓋度的遙感圖像,即幾乎全部被厚云覆蓋,則已基本無(wú)法獲取任何有效的地面信息,可以考慮在軌丟棄,不再下傳。各覆蓋度等級(jí)對(duì)應(yīng)的圖片示例如圖1所示。

(a)—高覆蓋度; (b)—中覆蓋度; (c)—低覆蓋度; (d)無(wú)云覆蓋圖1 各覆蓋度等級(jí)對(duì)應(yīng)的圖片示例Fig.1 Image examples corresponding to each coverage level

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的云圖像場(chǎng)景分類(lèi)

圖2 面向場(chǎng)景級(jí)云覆蓋圖像塊分類(lèi)流程圖Fig.2 Scene oriented cloud cover image block classification flow chart

深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks)的特征提取能力已經(jīng)席卷了整個(gè)圖像分類(lèi)領(lǐng)域,由于CNN分類(lèi)網(wǎng)絡(luò)避免了對(duì)圖像復(fù)雜的人工設(shè)計(jì)特征工作,可以直接輸入原始圖像,依靠其超強(qiáng)的特征提取能力,通過(guò)迭代過(guò)程中不斷優(yōu)化網(wǎng)絡(luò)所需參數(shù),直接在輸出端的分類(lèi)器獲得準(zhǔn)確的分類(lèi)結(jié)果,而體現(xiàn)了極高的實(shí)用價(jià)值[10]。因此,筆者將CNN圖像分類(lèi)引入云覆蓋遙感圖像的場(chǎng)景分類(lèi)研究中,配合所提出定義的4類(lèi)有利于機(jī)器學(xué)習(xí)的場(chǎng)景類(lèi)型,可以準(zhǔn)確對(duì)筆者所需的面向不同云覆蓋等級(jí)的圖像塊進(jìn)行準(zhǔn)確的場(chǎng)景分類(lèi)[11],原理如圖2所示。

2.1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層(convolutional)、池化層(max pool)、全連接層(fully connected)和1個(gè)輸出層或分類(lèi)器(softmax)組成。每層由多個(gè)二維平面塊組成,每個(gè)平面塊由多個(gè)獨(dú)立神經(jīng)元組成。網(wǎng)絡(luò)通過(guò)逐層的特征提取學(xué)習(xí)輸入圖像的高層特征,然后將其輸入到分類(lèi)器中對(duì)結(jié)果進(jìn)行分類(lèi)。CNN是將卷積運(yùn)算引入到深度學(xué)習(xí)模型,屬于多層前饋神經(jīng)網(wǎng)絡(luò)模型,但與傳統(tǒng)不同的是它的輸入是二維模式,可以直接處理二維模式,其連接權(quán)是二維權(quán)矩陣,稱(chēng)為卷積核,基本操作是二維離散卷積和池化。簡(jiǎn)單地說(shuō),CNN就是能夠自動(dòng)的對(duì)于1張圖片學(xué)習(xí)出最好的卷積核以及這些卷積核的組合方式。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展主要得益于海量數(shù)據(jù)以及多種隱藏層神經(jīng)元的提出,主要的隱藏層神經(jīng)元操作描述如下[12]:

1) 卷積操作conv(convolutional):卷積操作使用滑動(dòng)窗口分割原始圖像,在每個(gè)滑窗內(nèi)使用相同的參數(shù)進(jìn)行線(xiàn)性計(jì)算得到輸出圖像。在1張圖像上使用一個(gè)卷積核的進(jìn)行卷積運(yùn)算的計(jì)算如式(1):

(1)

2) 批規(guī)范化操作bnorm(batch normalization):批規(guī)范化操作通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)隱藏層的輸出進(jìn)行歸一化處理防止反向傳播過(guò)程中的梯度彌散,加速神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)的收斂速度[13]。其計(jì)算如式(2):

(2)

3) 修正線(xiàn)性操作ReLU(rectified linear unit):修正線(xiàn)性操作是網(wǎng)絡(luò)中使用到的激活函數(shù),其計(jì)算如公式(3)所示:

yh,w,c=max{0,xh,w,c}

(3)

其中,x∈RW×H×C為輸入圖像;y∈RW×H×C為輸出圖像。

4) 最大池化mp(max pool):最大池化操作采用滑動(dòng)窗口分割圖像,在每個(gè)滑窗內(nèi)取最大值作為輸出,其計(jì)算如公式(4)所示:

(4)

其中,x∈RW×H×C為輸入圖像;y∈RW×H×C為輸出圖像;f∈RW×H×C為滑窗大小,窗口每次滑動(dòng)1個(gè)窗口大小的步長(zhǎng)。

5) 全連接操作FC(fully connected):全連接操作對(duì)輸入圖像的所有數(shù)據(jù)進(jìn)行加權(quán)求和的線(xiàn)性運(yùn)算,可以通過(guò)卷積操作的方式來(lái)實(shí)現(xiàn)。公式(1)中窗口大小f∈RW×H×C修改為f∈RW×H×C即可將卷積操作變?yōu)槿B接操作。

卷積層后一般接入池化層來(lái)減小數(shù)據(jù)量,通過(guò)池化把輸入的特征圖像分割為不重疊的矩形區(qū)域,而對(duì)相應(yīng)的矩形區(qū)域做運(yùn)算,常見(jiàn)的有最大池化和均值池化。經(jīng)過(guò)交替的卷積層和池化層之后,已經(jīng)獲得了高度抽象的特征圖像,全連接層把得到的多個(gè)特征映射轉(zhuǎn)化為一個(gè)特征向量以完全連接的方式輸出,最后對(duì)提取的特征進(jìn)行分類(lèi)。

卷積神經(jīng)網(wǎng)絡(luò)工作原理,即在卷積神經(jīng)網(wǎng)絡(luò)中,通過(guò)神經(jīng)網(wǎng)絡(luò)的梯度反向傳播算法實(shí)現(xiàn)對(duì)參數(shù)的學(xué)習(xí)訓(xùn)練,屬于有監(jiān)督學(xué)習(xí)[14]。在進(jìn)行學(xué)習(xí)訓(xùn)練過(guò)程中,輸入信號(hào)的訓(xùn)練輸出和實(shí)際輸出會(huì)有一定誤差,誤差在梯度下降算法中逐層傳播,逐層更新網(wǎng)絡(luò)參數(shù)。假設(shè)樣例(x,y)的損失函數(shù)為C(W,b;x,y),如式(5)。

(5)

為防止過(guò)擬合,需增加L2范數(shù),如式(6)。

(6)

其中,hW,b(x)為輸入樣本x經(jīng)過(guò)CNN后的輸出,y為樣本的標(biāo)簽真值,λ為控制強(qiáng)度。為了使代價(jià)函數(shù)盡可能的小,因此需要不斷更新每一層的權(quán)重W和偏置項(xiàng)b,任意一層(假設(shè)為γ層)的權(quán)重更新如式(7)。

(7)

2.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)并不是一種特定的機(jī)器學(xué)習(xí)模型,而是一種優(yōu)化技巧。理論上,機(jī)器學(xué)習(xí)任務(wù)要求測(cè)試集和訓(xùn)練集有相同的概率分布,然而在某些應(yīng)用中,通常會(huì)出現(xiàn)缺乏足夠大的有針對(duì)性的數(shù)據(jù)集來(lái)滿(mǎn)足特定訓(xùn)練任務(wù)的情況。遷移學(xué)習(xí)提出可以在一個(gè)通用的大數(shù)據(jù)集上進(jìn)行一定量的訓(xùn)練后,再用針對(duì)性的小數(shù)據(jù)集進(jìn)一步強(qiáng)化訓(xùn)練。遷移學(xué)習(xí)的思想允許人們利用現(xiàn)有的模型加上少量數(shù)據(jù)和訓(xùn)練時(shí)間,取得較好的結(jié)果。如VGG網(wǎng)絡(luò)將224×224×3維數(shù)據(jù)轉(zhuǎn)化為4 096維,提高每一個(gè)維度的信息量,降低了計(jì)算資源的消耗[4]。

由于云覆蓋圖像數(shù)據(jù)集中樣本數(shù)量有限,目前已有的云圖像數(shù)據(jù)集與ImageNet庫(kù)相比都相差甚遠(yuǎn),且受到硬件條件的限制,很難完全重新訓(xùn)練一個(gè)完整的神經(jīng)網(wǎng)絡(luò),并且將其的權(quán)重訓(xùn)練到最優(yōu)。同時(shí),從卷積網(wǎng)絡(luò)的本質(zhì)上來(lái)看,不同的卷積網(wǎng)絡(luò)就是一個(gè)圖像特征提取器,其中淺層卷積網(wǎng)絡(luò)主要實(shí)現(xiàn)的是低級(jí)視覺(jué)特征的提取,深層卷積網(wǎng)絡(luò)才實(shí)現(xiàn)高級(jí)的語(yǔ)義特征提取,無(wú)論任何場(chǎng)景分類(lèi)主要區(qū)別都在于深層的高級(jí)語(yǔ)義特征,而淺層提取的點(diǎn)、線(xiàn)、面等低級(jí)特征都為共性特征,因此可以認(rèn)為前面卷積網(wǎng)絡(luò)層和池化層幾乎都是訓(xùn)練好的,保持初始權(quán)重不變,針對(duì)不同的分類(lèi)任務(wù),替換最后一層全連接層的維數(shù)為目標(biāo)分類(lèi)的類(lèi)別數(shù)。綜上,本文采用基于ImageNet數(shù)據(jù)集(1 000類(lèi)、一千萬(wàn)張圖像)訓(xùn)練好的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí),將全連接層的維度改成4(與云覆蓋圖像的種類(lèi)數(shù)相同),重新訓(xùn)練其權(quán)重,使得重新訓(xùn)練好的網(wǎng)絡(luò)模型更適用于云覆蓋數(shù)據(jù)集,從而實(shí)現(xiàn)精度比較高的圖像分類(lèi)效果。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)描述

數(shù)據(jù)庫(kù)是學(xué)習(xí)和評(píng)估傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。數(shù)據(jù)庫(kù)包括訓(xùn)練樣本,測(cè)試樣本和相應(yīng)標(biāo)簽,訓(xùn)練樣本通過(guò)訓(xùn)練卷積核參數(shù)來(lái)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的特征,通常情況下,訓(xùn)練樣本越多、越豐富,其訓(xùn)練出的卷積神經(jīng)網(wǎng)絡(luò)就能夠提取更合適的抽象特征,識(shí)別精度也更高。測(cè)試樣本旨在檢測(cè)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別能力。測(cè)試樣本通常是訓(xùn)練樣本以外的樣本,以測(cè)試卷積神經(jīng)網(wǎng)絡(luò)的泛化能力。數(shù)據(jù)庫(kù)開(kāi)發(fā)實(shí)際上是訓(xùn)練樣本和測(cè)試樣本的構(gòu)建,樣本標(biāo)簽通常是手動(dòng)標(biāo)記完成的,所有圖片都需要逐一標(biāo)記。本文中的訓(xùn)練樣本和測(cè)試樣本實(shí)際上是遙感圖像。在本文中使用的云場(chǎng)景樣本遙感圖像為衛(wèi)星拍攝,每幅圖像的尺寸為12 280×10 000。

如表2所示,本文所使用遙感數(shù)據(jù)的拍攝地點(diǎn)位于寧夏自治區(qū),地物范圍包括城市、農(nóng)田、植被、江河等典型地物類(lèi)型,拍攝時(shí)間分別為2014年3月、5月、9月、11月,上述4組數(shù)據(jù)的圖像大小為12 280×10 000,分辨率為2米,四組數(shù)據(jù)都有被云覆蓋的情況,但云覆蓋量不同,本實(shí)驗(yàn)選取4組時(shí)間不同、光照情況不同的數(shù)據(jù)制作樣本數(shù)據(jù)庫(kù)。下述所有實(shí)驗(yàn)中,將裁取300×300圖像作為一個(gè)基本圖像塊單元,進(jìn)行場(chǎng)景識(shí)別。

表2 遙感數(shù)據(jù)庫(kù)信息Tab.2 Remote sensing database information

由于搜集的樣本具有隨機(jī)性,且重復(fù)人工標(biāo)定工作量過(guò)大,為了盡量避免過(guò)度擬合的情況,本文對(duì)樣本做如下劃分:將80%的圖像分到主訓(xùn)練集,保留10%的樣本用于訓(xùn)練模型驗(yàn)證,剩下的10%樣本作為測(cè)試集,用來(lái)準(zhǔn)確預(yù)測(cè)分類(lèi)器的實(shí)際分類(lèi)性能。

仿真環(huán)境方面,硬件平臺(tái)使用惠普工作站搭配GTX1080顯卡對(duì)深度學(xué)習(xí)算法進(jìn)行加速;軟件方面使用Matlab開(kāi)發(fā)環(huán)境配合MatconvNet工具包實(shí)現(xiàn)網(wǎng)絡(luò)模型的搭建、訓(xùn)練和驗(yàn)證。

3.2 基于輻射預(yù)處理改善的云圖像場(chǎng)景分類(lèi)

表3 原始云覆蓋圖像分類(lèi)精度Tab.3 Classification accuracy of original cloud cover images

在上文制作的云覆蓋圖像數(shù)據(jù)集中,按照本文提出的云覆蓋場(chǎng)景分類(lèi)準(zhǔn)則,以圖1中定義的4種不同類(lèi)別的圖像為標(biāo)準(zhǔn),從數(shù)據(jù)集中選取相應(yīng)類(lèi)別圖像作為訓(xùn)練樣本。為了保證模型訓(xùn)練精度,最終選取的訓(xùn)練樣本數(shù)量達(dá)到1 982個(gè),測(cè)試樣本數(shù)量為200個(gè)。經(jīng)過(guò)模型訓(xùn)練和驗(yàn)證后,云覆蓋圖像局部圖像塊的場(chǎng)景分類(lèi)實(shí)驗(yàn)結(jié)果如圖3和表3所示。

圖3 預(yù)處理之前的分類(lèi)精度Fig.3 Classification accuracy before preprocessing

通過(guò)對(duì)比分析表3和圖3中的數(shù)據(jù)可以看出,不同類(lèi)別樣本的分類(lèi)結(jié)果的差異性比較明顯:無(wú)云覆蓋圖像的分類(lèi)精度比較高,得到的分類(lèi)結(jié)果比較好;低覆蓋度圖像的分類(lèi)錯(cuò)誤率比較高。同時(shí),由于不同圖像的對(duì)比度和亮度可能存在一定的差別,導(dǎo)致在相同的分類(lèi)標(biāo)準(zhǔn)下,也會(huì)出現(xiàn)分類(lèi)錯(cuò)誤的情況。因此,在對(duì)原始圖像的預(yù)處理中,應(yīng)先將圖像的亮度和對(duì)比度進(jìn)行統(tǒng)一化處理,然后再訓(xùn)練網(wǎng)絡(luò)模型。

從訓(xùn)練集中選出用于預(yù)測(cè)的4類(lèi)圖像,利用遙感圖像中像元的灰度值分別統(tǒng)計(jì)其亮度范圍,統(tǒng)計(jì)完成后,再采用圖像灰度變換函數(shù)對(duì)圖像的亮度進(jìn)行折中處理,直接改變圖像的對(duì)比度,以選取均值范圍附近的亮度值。

圖4 預(yù)處理之前的亮度Fig.4 Brightness before preprocessing

圖5 預(yù)處理之后的圖像亮度Fig.5 Brightness after preprocessing

類(lèi)別高覆蓋度中覆蓋度低覆蓋度無(wú)云覆蓋精度/%92.1492.3392.2992.49

通過(guò)對(duì)比分析圖4和圖5可以看出,經(jīng)過(guò)處理后,圖像的其亮度范圍一致性更好,也不再會(huì)出現(xiàn)過(guò)亮或過(guò)暗的現(xiàn)象,而且對(duì)比度也得到了統(tǒng)一,改善了樣本自身的誤差,也直接影響到后續(xù)圖像分類(lèi)的結(jié)果。分類(lèi)結(jié)果見(jiàn)表4。

圖6 預(yù)處理后的精度對(duì)比折線(xiàn)圖Fig.6 Comparison of broken lines after pretreatment

通過(guò)分析上述數(shù)據(jù)可以發(fā)現(xiàn),與原始圖像的分類(lèi)結(jié)果相比,圖像預(yù)處理在一定程度上提高了訓(xùn)練集圖像的分類(lèi)精度,而且整體的變化幅度明顯變小。在將遙感圖像按云覆蓋程度分為4類(lèi)的情況下,因?yàn)槭谦@取地面有效信息的1個(gè)主要參考,所以比較關(guān)注厚云與薄云的分類(lèi)。在這里,需要注意的是:如果分類(lèi)器沒(méi)有將厚云分到薄云中,也就是說(shuō)整個(gè)過(guò)程是正確的。分類(lèi)器的作用是提高識(shí)別云層厚度,由此進(jìn)一步提高整體精度,依此下一步展開(kāi)針對(duì)樣本優(yōu)化的實(shí)驗(yàn)分析。

表5 數(shù)據(jù)集優(yōu)化后的云覆蓋圖像場(chǎng)景分類(lèi)精度Tab.5 Cclassification accuracy after data set optimization

3.3 訓(xùn)練樣本數(shù)據(jù)優(yōu)化對(duì)于云圖像場(chǎng)景分類(lèi)的影響分析

在前面開(kāi)展的實(shí)驗(yàn)的基礎(chǔ)上,對(duì)數(shù)據(jù)集中的樣本進(jìn)行優(yōu)化,主要通過(guò)肉眼找出容易分類(lèi)錯(cuò)誤的圖片,將其剔除,同時(shí)增加數(shù)據(jù)集的樣本數(shù)量(由原有的1 980張?jiān)黾又? 172張),并對(duì)其進(jìn)行更細(xì)致的分類(lèi)。之后,重復(fù)上述訓(xùn)練和測(cè)試等實(shí)驗(yàn)步驟,得到的分類(lèi)精度如表5～表7所示。

表6 優(yōu)化數(shù)據(jù)集增加樣本數(shù)量下的精度

表7 原數(shù)據(jù)集增加樣本數(shù)量下的精度

圖7 樣本數(shù)目改變以及樣本重新選取精度曲線(xiàn)圖Fig.7 Accuracy after datasets expanded and data set optimization

上述實(shí)驗(yàn)通過(guò)增加訓(xùn)練樣本數(shù)量和優(yōu)化數(shù)據(jù)集中的樣本2個(gè)方面的工作,來(lái)驗(yàn)證其對(duì)分類(lèi)精度的影響。從實(shí)驗(yàn)數(shù)據(jù)可以看出,單純?cè)黾訕颖緮?shù)量并不能直接影響到分類(lèi)精度。經(jīng)認(rèn)真分析后,主要原因是本實(shí)驗(yàn)中只有4類(lèi)樣本,類(lèi)別較少,因此受到樣本數(shù)量的影響也較小,無(wú)法體現(xiàn)樣本數(shù)量與分類(lèi)精度之間的關(guān)系。同時(shí),在實(shí)驗(yàn)過(guò)程中,考慮到星上有限的硬件資源和處理能力,最終確定了比較合適的樣本量,并通過(guò)實(shí)驗(yàn)進(jìn)一步證明在實(shí)際選取樣本的過(guò)程中,需要針對(duì)特定衛(wèi)星的數(shù)據(jù)進(jìn)行多次的優(yōu)化組合篩選,以提高分類(lèi)精度。

3.4 不同卷積網(wǎng)絡(luò)對(duì)于云圖像場(chǎng)景分類(lèi)的影響

表8 Inception V2網(wǎng)絡(luò)下的分類(lèi)精度Tab.8 Accuracy of Inception V2

表9 InceptionV3網(wǎng)絡(luò)下的精度Tab.9 Accuracy of Inception V3

本文考慮了云覆蓋圖像塊的場(chǎng)景分類(lèi)要考慮在軌實(shí)現(xiàn)的可能性,既要保證精度滿(mǎn)足要求,又要兼顧星上有限的硬件資源,網(wǎng)絡(luò)深度不能太大,因此在場(chǎng)景分類(lèi)常用的Lenet-5、Alexnet、GoogleNet、VGG等網(wǎng)絡(luò)中,本文選取了2014年Google提出的GoogleNet網(wǎng)絡(luò)(也叫Inception)。該網(wǎng)絡(luò)主要通過(guò)“降維”(卷積分解的一種)來(lái)提升性能,同時(shí)盡量減少計(jì)算參數(shù)的數(shù)量和內(nèi)存的占用?？紤]到網(wǎng)絡(luò)鄰近的激活單元高度相關(guān),因此聚合之前進(jìn)行降維可以得到類(lèi)似于局部特征的東西。Inception網(wǎng)絡(luò)是全卷積,卷積計(jì)算變少也就意味著計(jì)算量變小,這些多出來(lái)的計(jì)算資源可以來(lái)增加filter-bank的尺寸大小。本文針對(duì)Inception兩種不同的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)精度分析實(shí)驗(yàn),采用的均是經(jīng)過(guò)輻射預(yù)處理,但并未做數(shù)據(jù)刪減優(yōu)化的數(shù)據(jù)集,進(jìn)行的對(duì)比實(shí)驗(yàn)結(jié)果如表8、表9所示。

圖8 2種不同網(wǎng)絡(luò)下識(shí)別分類(lèi)精度對(duì)比曲線(xiàn)Fig.8 Accuracy of two different networks

綜合分析數(shù)據(jù)表8、表9的數(shù)據(jù)和圖8的曲線(xiàn),可以看出inception V3網(wǎng)絡(luò)的分類(lèi)精度要優(yōu)于inceptionV2網(wǎng)絡(luò)的分類(lèi)精度,因此可以說(shuō)明,對(duì)于本次遙感云場(chǎng)景分類(lèi),inceptionV3網(wǎng)絡(luò)更加適用。

inceptionV2網(wǎng)絡(luò)的特點(diǎn)是卷積核大,計(jì)算量也是成平方的增加。比如有一個(gè)5×5的卷積核,可以將其分成2次3×3卷積,這樣輸出的尺寸就一樣了。雖然5×5的卷積可以捕捉到更多的鄰近關(guān)聯(lián)信息,但2個(gè)3×3組合起來(lái),其“視野”就和5×5相同了。分解之后,訓(xùn)練的參數(shù)從5×5=25變成了2×3×3=18。

另外,相對(duì)于V2網(wǎng)絡(luò),V3網(wǎng)絡(luò)加深了網(wǎng)絡(luò)深度,從原來(lái)V2中的二維的卷積結(jié)構(gòu)變成了2個(gè)一維的卷積結(jié)構(gòu),即原本3×3的網(wǎng)絡(luò)結(jié)構(gòu)變成了3×1與1×3兩個(gè),這樣的好處,既可以加速計(jì)算(多余的計(jì)算能力可以用來(lái)加深網(wǎng)絡(luò)),又可以將1個(gè)conv拆成2個(gè)conv,使得網(wǎng)絡(luò)深度進(jìn)一步增加,增加了網(wǎng)絡(luò)的非線(xiàn)性。同時(shí),網(wǎng)絡(luò)輸入從V2網(wǎng)絡(luò)的224×224變?yōu)榱薞3網(wǎng)絡(luò)的299×299,更加精細(xì)設(shè)計(jì)了35×35/17×17/8×8的模塊。所以在inceptionV3卷積神經(jīng)網(wǎng)絡(luò)下的分類(lèi)精度更加高。

4 總 結(jié)

本文基于不同云覆蓋程度提出了新的4個(gè)遙感云覆蓋圖像場(chǎng)景類(lèi)別,并對(duì)應(yīng)3個(gè)級(jí)別來(lái)對(duì)衛(wèi)星下傳信息進(jìn)行精確指示,并依據(jù)該準(zhǔn)則提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像場(chǎng)景分類(lèi)算法,可最終實(shí)現(xiàn)衛(wèi)星圖像的局部場(chǎng)景精細(xì)云判。相比較傳統(tǒng)的整圖是否下傳,可以為衛(wèi)星數(shù)據(jù)下傳提供更精細(xì)的指示信息,實(shí)現(xiàn)圖像信息利用最大化。實(shí)驗(yàn)分析充分考慮了未來(lái)算法在軌實(shí)現(xiàn)的可行性,選擇了合適的網(wǎng)絡(luò)和樣本數(shù)據(jù)量,本文最終得到以下結(jié)論,為以后在軌實(shí)現(xiàn)云判功能奠定基礎(chǔ):1)輻射預(yù)處理可以整體改善圖像的輻射亮度分布情況,并且可最終提高云覆蓋圖像場(chǎng)景分類(lèi)精度;2)針對(duì)本文場(chǎng)景定義類(lèi)別,當(dāng)數(shù)據(jù)樣本達(dá)到2 000左右,繼續(xù)增加數(shù)量對(duì)分類(lèi)精度的提升不明顯,但樣本精細(xì)篩選還可以提高分類(lèi)精度;3)通過(guò)分析對(duì)比多種卷積神經(jīng)網(wǎng)絡(luò),證明GooglenetV3網(wǎng)絡(luò)既滿(mǎn)足相對(duì)較低的復(fù)雜度,又滿(mǎn)足高精度檢測(cè),更適合用于未來(lái)在軌遙感圖像云檢測(cè)應(yīng)用。