遙感場(chǎng)景分類(lèi)的批處理協(xié)方差神經(jīng)網(wǎng)絡(luò)方法

鄭天佑，王 強(qiáng)

(哈爾濱工業(yè)大學(xué)航天學(xué)院，哈爾濱 150001)

0 引 言

隨著星載成像傳感器的快速發(fā)展，越來(lái)越多的在軌衛(wèi)星，例如GeoEye-1,WorldView-3和ZY-3均能夠捕獲高分辨率遙感圖像。利用遙感圖像進(jìn)行場(chǎng)景分類(lèi)的應(yīng)用范圍正逐步擴(kuò)大。遙感圖像場(chǎng)景分類(lèi)的結(jié)果不僅能夠進(jìn)行目標(biāo)檢測(cè)定位，而且有助于對(duì)特定檢測(cè)目標(biāo)的有效識(shí)別和深入決策。盡管衛(wèi)星獲得的遙感圖像分辨率高，但是復(fù)雜的場(chǎng)景信息、特征信息給遙感場(chǎng)景分類(lèi)帶來(lái)了極大困難。傳統(tǒng)的遙感場(chǎng)景分類(lèi)任務(wù)，主要依賴(lài)于人工設(shè)計(jì)特征結(jié)合傳統(tǒng)分類(lèi)算法，比如通過(guò)主成分分析(Principal component analysis, PCA)算法融合遙感圖像來(lái)提高圖像空間分辨率，再利用支持向量機(jī)(Support vector machine, SVM)算法整合設(shè)計(jì)特征，這些方法一直備受眾多研究者的關(guān)注。隨著人工智能深度學(xué)習(xí)算法的發(fā)展，更多基于深度神經(jīng)網(wǎng)絡(luò)的算法被引入到遙感圖像場(chǎng)景分類(lèi)問(wèn)題中，并且較大地提升了分類(lèi)準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)作為深度神經(jīng)網(wǎng)絡(luò)中研究最充分的方法，其模型被廣泛應(yīng)用到自然場(chǎng)景分類(lèi)中，例如VGGNets，ResNets和DenseNets。

對(duì)于擁有充足數(shù)據(jù)樣本的自然場(chǎng)景數(shù)據(jù)集，訓(xùn)練后的CNN通常能夠獲得優(yōu)于傳統(tǒng)識(shí)別算法的分類(lèi)精度。但是，現(xiàn)有的CNN在應(yīng)用于遙感圖像場(chǎng)景分類(lèi)時(shí)，尚存在很多待改進(jìn)之處。首先，遙感圖像的數(shù)據(jù)采集需要結(jié)合星載成像設(shè)備進(jìn)行，由于采集難度大、設(shè)備成本高，采集到的數(shù)據(jù)并不能像自然場(chǎng)景圖像一樣以百萬(wàn)個(gè)計(jì)數(shù)，這就導(dǎo)致了使用大參數(shù)的CNN進(jìn)行遙感場(chǎng)景分類(lèi)時(shí)收斂不足，存在欠擬合現(xiàn)象；其次，遙感圖像是衛(wèi)星在不同光照條件下采集的數(shù)據(jù)，存在局部區(qū)域光照變化強(qiáng)烈的問(wèn)題，也會(huì)出現(xiàn)圖像中局部包含無(wú)關(guān)特征的問(wèn)題。上述現(xiàn)象都會(huì)影響最終的分類(lèi)精度。

針對(duì)CNN在遙感圖像場(chǎng)景分類(lèi)中存在的數(shù)據(jù)量不足、局部光照強(qiáng)度變化、局部存在無(wú)關(guān)特征的問(wèn)題，本文提出一種基于批處理的協(xié)方差層來(lái)替代現(xiàn)有CNN中的卷積層。同時(shí)將神經(jīng)網(wǎng)絡(luò)模型在ImageNet上進(jìn)行預(yù)訓(xùn)練，通過(guò)遷移學(xué)習(xí)來(lái)進(jìn)一步提高遙感場(chǎng)景分類(lèi)任務(wù)的分類(lèi)精度。

1 協(xié)方差對(duì)于遙感圖像場(chǎng)景分類(lèi)的改進(jìn)

星載成像采集的遙感場(chǎng)景圖像，由于高空拍攝，不可避免地存在局部光照強(qiáng)度的變化，以及每個(gè)類(lèi)別圖像中都會(huì)存在與分類(lèi)場(chǎng)景無(wú)關(guān)的特征，這些局部光強(qiáng)變化以及局部無(wú)關(guān)特征都會(huì)降低CNN的分類(lèi)精度。

1.1 協(xié)方差算法對(duì)局部光強(qiáng)變化的適應(yīng)性

卷積層作為CNN中的主要運(yùn)算層，對(duì)輸入特征圖進(jìn)行濾波，其輸出值表示卷積核與輸入的相關(guān)性。通過(guò)逐層濾波，CNN能夠聚焦于類(lèi)別相關(guān)的區(qū)域，通過(guò)全連接層調(diào)整輸出的概率分布，完成分類(lèi)。卷積層每個(gè)卷積核的運(yùn)算可以表示為：

(1)

式中：(,)為輸出特征圖中坐標(biāo)為(,)處的值；為輸入特征圖；為卷積核；卷積核中各點(diǎn)坐標(biāo)用(,)表示；卷積核的尺寸為×。從式(1)可以看出，卷積算法在計(jì)算卷積核與輸入圖像的相關(guān)性時(shí)，并沒(méi)有剔除輸入圖像在×區(qū)域的均值，因此，其均值的取值范圍會(huì)影響最終的計(jì)算結(jié)果。卷積算法受局部光強(qiáng)變化的影響可以表示為：

(2)

式中:(,)表示理想情況下無(wú)光強(qiáng)變化影響的卷積核運(yùn)算；(,)表示實(shí)際情況下有光強(qiáng)變化影響的卷積核運(yùn)算；表示局部光強(qiáng)變化的均值?？梢?jiàn)隨著局部光強(qiáng)的變化，由卷積算法得出的相關(guān)性會(huì)發(fā)生改變。

在CNN中，對(duì)輸入圖像進(jìn)行正則化的數(shù)據(jù)增廣和對(duì)網(wǎng)絡(luò)層進(jìn)行正則化的批歸一化方法(Batch normalization, BN)均針對(duì)整體尺寸的輸入進(jìn)行歸一化，而對(duì)局部區(qū)域的變化缺乏歸一化能力，因此引入?yún)f(xié)方差算法以改善其性能。協(xié)方差算法分別減去輸入特征圖和卷積核的均值，可以表示為：

(3)

本文針對(duì)卷積算法和協(xié)方差算法在局部光強(qiáng)變化的適應(yīng)性方面進(jìn)行了對(duì)比實(shí)驗(yàn)，如圖1所示。圖1選擇了存在局部光強(qiáng)變化的飛機(jī)圖像進(jìn)行實(shí)驗(yàn)，選取圖像中的一架飛機(jī)作為特征，該特征作為特征核與原圖分別進(jìn)行卷積和協(xié)方差運(yùn)算。如圖1所示，協(xié)方差算法能夠在與飛機(jī)特征相關(guān)的位置獲得較大值，如圖中高亮區(qū)域，而卷積算法則在整個(gè)光照明亮區(qū)域獲得較大值，圖中大范圍區(qū)域呈現(xiàn)高亮，已經(jīng)難以分辨飛機(jī)的位置。

圖1 局部光強(qiáng)變化圖像中協(xié)方差算法和卷積算法定位特征能力比較

1.2 協(xié)方差算法對(duì)局部無(wú)關(guān)特征的魯棒性

導(dǎo)致由卷積算法計(jì)算的相關(guān)性產(chǎn)生偏差的另一原因是遙感圖像中局部無(wú)關(guān)特征的均值過(guò)大，即式(2)中的過(guò)大。然而，從式(3)可以看出，協(xié)方差算法能夠減去局部無(wú)關(guān)特征的均值，從而消除過(guò)大產(chǎn)生的影響，保證(,)=(,)。

為了驗(yàn)證協(xié)方差算法對(duì)于無(wú)關(guān)特征的魯棒性，本節(jié)給出了協(xié)方差算法和卷積算法在存在局部無(wú)關(guān)特征的圖像中定位相關(guān)特征能力的比較，如圖2所示。圖2選擇了遙感場(chǎng)景分類(lèi)中常見(jiàn)的4類(lèi)場(chǎng)景，由于高空拍攝，圖像中均包含無(wú)關(guān)特征，例如河流圖像中包含沙地，船的圖像中包含房屋，橋的圖像中包含草地，以及網(wǎng)球場(chǎng)的圖像中包含停車(chē)場(chǎng)。與分類(lèi)相關(guān)的部分區(qū)域被選為特征核與原圖分別進(jìn)行卷積和協(xié)方差的運(yùn)算，從圖2可以看出，協(xié)方差算法能夠在與分類(lèi)相關(guān)的位置獲得較大值，如圖中的高亮區(qū)域。卷積算法由于受到無(wú)關(guān)特征影響，會(huì)在與分類(lèi)無(wú)關(guān)的區(qū)域獲得較大值，圖中高亮區(qū)域與實(shí)際分類(lèi)目標(biāo)之間存在偏差。

根據(jù)以上兩個(gè)小節(jié)的分析，從圖1可以看出協(xié)方差算法對(duì)于局部光強(qiáng)變化的適應(yīng)性，從圖2可以看出協(xié)方差算法對(duì)局部無(wú)關(guān)特征的魯棒性。因此，協(xié)方差算法在遙感圖像場(chǎng)景分類(lèi)任務(wù)中，能夠應(yīng)對(duì)卷積算法難以應(yīng)對(duì)的局部特征問(wèn)題，提高神經(jīng)網(wǎng)絡(luò)的分類(lèi)精度。CNN中的卷積層并不是單純的使用卷積算法，還需要針對(duì)多個(gè)輸入通道進(jìn)行整合，因此，在CNN中引入?yún)f(xié)方差算法也需要針對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。

圖2 協(xié)方差算法和卷積算法在存在局部無(wú)關(guān)特征圖像中對(duì)特征定位能力的比較

2 批處理協(xié)方差神經(jīng)網(wǎng)絡(luò)

根據(jù)以上分析，協(xié)方差算法能夠很好地解決遙感圖像場(chǎng)景分類(lèi)中存在的局部特征均值變化問(wèn)題。將協(xié)方差算法引入CNN中并替換原有卷積算法將有助于提升遙感場(chǎng)景分類(lèi)的效果。本章將介紹把協(xié)方差算法整合進(jìn)神經(jīng)網(wǎng)絡(luò)的具體方法。

2.1 批處理協(xié)方差層

在CNN算法中，可以用3×3大小的卷積核逐漸覆蓋任意尺寸的特征圖。對(duì)于含有個(gè)通道的遙感圖像，其卷積層可表示為：

(4)

式中：(,)為輸出特征圖中坐標(biāo)為(,)的值；為輸入通道數(shù)；為第個(gè)通道的輸入特征圖；為第個(gè)輸入通道的卷積核；卷積核的尺寸為×。由于協(xié)方差算法是實(shí)現(xiàn)局部特征歸一化的有效方法，可以將卷積算法替換為協(xié)方差算法，并保證協(xié)方差算法中的均值覆蓋通道×大小的區(qū)域，即批處理協(xié)方差，可以表示為：

(5)

(6)

從式(6)可以看出，批處理協(xié)方差層通過(guò)剔除輸入特征圖中個(gè)×尺寸的均值來(lái)計(jì)算相關(guān)性。圖3將批處理協(xié)方差層與傳統(tǒng)歸一化層的結(jié)構(gòu)進(jìn)行對(duì)比，圖中,分別表示特征圖的長(zhǎng)寬尺寸，為一次性輸入圖像的數(shù)量(Batch)，與分別表示特征圖的輸入與輸出通道數(shù)。雖然批處理協(xié)方差層與傳統(tǒng)歸一化層都進(jìn)行了歸一化操作，但兩者選擇的維度不同。歸一化層是針對(duì)整體尺寸×進(jìn)行歸一化，其中批歸一化(BN)是針對(duì)每個(gè)通道的張圖進(jìn)行歸一化，實(shí)例歸一化(Instance norm)是針對(duì)每個(gè)通道的每張圖進(jìn)行歸一化，層歸一化(Layer norm)是針對(duì)全通道的每張圖進(jìn)行歸一化。而批處理協(xié)方差層則是針對(duì)全通道的局部尺寸×進(jìn)行歸一化，這使得批處理協(xié)方差層能有效地進(jìn)行局部歸一化，可以更好地應(yīng)對(duì)局部特征均值變化帶來(lái)的影響。從圖3也可看出，批處理協(xié)方差層計(jì)算了三個(gè)維度的數(shù)據(jù)均值，因此可以看作一種3D協(xié)方差層。

圖3 批處理協(xié)方差層和傳統(tǒng)歸一化層比較

將CNN的卷積層用批處理協(xié)方差層替換，即可得到批處理協(xié)方差神經(jīng)網(wǎng)絡(luò)(CovNN)。圖4對(duì)比了CNN和CovNN的結(jié)構(gòu)，可見(jiàn)，批處理協(xié)方差層可以通過(guò)替換現(xiàn)有的多數(shù)CNN中的卷積層，形成新的神經(jīng)網(wǎng)絡(luò)。

圖4 卷積神經(jīng)網(wǎng)絡(luò)和批處理協(xié)方差神經(jīng)網(wǎng)絡(luò)

2.2 CovNN的訓(xùn)練

本節(jié)主要介紹CovNN的訓(xùn)練過(guò)程，包括前向傳播、損失反向傳遞和梯度更新。

..前向傳播

為了利用現(xiàn)有CNN的GPU加速算法，將式(6)轉(zhuǎn)化為全部可用卷積運(yùn)算表示的形式。式(6)可表示為：

(7)

式中：為一個(gè)×大小的全1卷積核。式(7)可以進(jìn)一步改寫(xiě)成卷積的計(jì)算方式：

(8)

..損失反向傳遞

通過(guò)式(8)可以將批處理協(xié)方差層轉(zhuǎn)化為卷積運(yùn)算，使得CovNN的前向傳播與CNN相近，CovNN的損失反向傳遞也與CNN具有相似性。假設(shè)是第層獲得的反傳損失，如果第層是批處理協(xié)方差層，則經(jīng)過(guò)第層的反傳損失可以表示為：

(9)

(10)

(11)

式(11)描述了CovNN批處理協(xié)方差層的損失反傳，CovNN中其他層保留CNN損失反傳算法。

..梯度更新

合適的梯度更新算法有助于CovNN的快速收斂并且獲得良好的分類(lèi)精度，隨機(jī)梯度下降常被選為梯度更新算法。批處理協(xié)方差層中每個(gè)核的梯度更新可以表示為：

(12)

(13)

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證CovNN在衛(wèi)星采集的遙感圖像場(chǎng)景分類(lèi)數(shù)據(jù)集中對(duì)于局部光強(qiáng)變化的適應(yīng)性和對(duì)于局部無(wú)關(guān)特征的魯棒性，本文選取了2個(gè)常見(jiàn)的遙感場(chǎng)景分類(lèi)數(shù)據(jù)集，即AID(Aerial image dataset)數(shù)據(jù)集和NWPU-RESISC45數(shù)據(jù)集。將現(xiàn)有表現(xiàn)優(yōu)異的CNN模型中的卷積層替換為批處理協(xié)方差層，用以形成對(duì)應(yīng)的CovNN。由于遙感場(chǎng)景分類(lèi)數(shù)據(jù)集相對(duì)于超大參數(shù)的神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)量仍有不足，本文引入ImageNet自然場(chǎng)景數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，通過(guò)遷移學(xué)習(xí)的方式，對(duì)遙感場(chǎng)景分類(lèi)進(jìn)行再訓(xùn)練。

3.1 遙感場(chǎng)景分類(lèi)數(shù)據(jù)集介紹

AID和NWPU-RESISC45均是從融合了衛(wèi)星遙感圖像和地理信息的3D地球圖像中采集整理獲得的。這兩個(gè)數(shù)據(jù)集類(lèi)別廣泛，但由于圖像尺寸較大，不同類(lèi)別圖像之間又存在相似性，提高了場(chǎng)景分類(lèi)問(wèn)題的難度，部分圖像如圖5所示。

圖5 遙感場(chǎng)景分類(lèi)數(shù)據(jù)集中圖像實(shí)例

AID數(shù)據(jù)集：包含有裸地、密集住宅、棒球場(chǎng)、橋、中心場(chǎng)館、教堂、火車(chē)站、商業(yè)區(qū)、高架橋、沙漠、儲(chǔ)油罐、農(nóng)場(chǎng)、森林、工業(yè)區(qū)、牧場(chǎng)、中等密度住宅區(qū)、沙灘、山地、公園、停車(chē)場(chǎng)、操場(chǎng)、池塘、港口、旅游區(qū)、河流、學(xué)校、廣場(chǎng)、體育場(chǎng)、稀疏住宅區(qū)、機(jī)場(chǎng)。數(shù)據(jù)集包括30個(gè)類(lèi)別總計(jì)10000張圖片，每張圖片的分辨率是600×600。

NWPU-RESISC45數(shù)據(jù)集：包含有飛機(jī)、機(jī)場(chǎng)、棒球場(chǎng)、籃球場(chǎng)、海灘、橋梁、叢林、教堂、圓形農(nóng)田、云、商業(yè)區(qū)、密集住宅、沙漠、森林、高速公路、高爾夫球場(chǎng)、地面田徑場(chǎng)、港口、工業(yè)地區(qū)、交叉口、島、湖、草地、中型住宅、移動(dòng)房屋公園、山、立交橋、宮殿、停車(chē)場(chǎng)、鐵路、火車(chē)站、矩形農(nóng)田、河、環(huán)形交通樞紐、跑道、海、船舶、雪山、稀疏住宅、體育場(chǎng)、儲(chǔ)水箱、網(wǎng)球場(chǎng)、露臺(tái)、火力發(fā)電站和濕地。數(shù)據(jù)集包含有45個(gè)不同場(chǎng)景，每個(gè)場(chǎng)景包含700張圖片，總計(jì)31500張圖片，每張圖片的分辨率是256×256。

3.2 基于CovNN的神經(jīng)網(wǎng)絡(luò)模型及預(yù)訓(xùn)練

CNN模型從最初的LeNet模型發(fā)展到后來(lái)的深層神經(jīng)網(wǎng)絡(luò)，其分類(lèi)精度也隨著層數(shù)與參數(shù)的增加而逐步提升。VGGNets通過(guò)合理地堆疊卷積層，獲得19層卷積的深度。隨著網(wǎng)絡(luò)的繼續(xù)加深，梯度消失問(wèn)題逐漸加重，使得CNN難以訓(xùn)練收斂，因此，殘差網(wǎng)絡(luò)(ResNets)被提出以改善深層神經(jīng)網(wǎng)絡(luò)的梯度反傳能力。DenseNets在此基礎(chǔ)上，提出了一種更廣泛的殘差網(wǎng)絡(luò)結(jié)構(gòu)，并且提高了在ImageNet上的分類(lèi)精度。通過(guò)將神經(jīng)網(wǎng)絡(luò)中的卷積層替換為批處理協(xié)方差層，VGGCovNets，ResCovNets和DenseCovNets分別為現(xiàn)階段常用的CNN模型的CovNN版本。

基于CNN的研究已經(jīng)證明，CNN中參數(shù)的初始化值將影響最終的收斂結(jié)果，進(jìn)而影響分類(lèi)精度。用一個(gè)更大的數(shù)據(jù)集訓(xùn)練的CNN參數(shù)可以賦予CNN一個(gè)更好的初值，有助于提升CNN的分類(lèi)精度。這一點(diǎn)對(duì)于CovNN也同樣適用。通過(guò)星載成像系統(tǒng)采集的遙感圖像也屬于自然場(chǎng)景圖像，由于采集圖像難度大、成本高，導(dǎo)致最終用于訓(xùn)練的數(shù)據(jù)集大小有限，因此充分利用現(xiàn)有的自然場(chǎng)景數(shù)據(jù)集將有助于進(jìn)一步提高CovNN在遙感場(chǎng)景分類(lèi)中的精度。本文引入ImageNet數(shù)據(jù)集做預(yù)訓(xùn)練，為遙感場(chǎng)景分類(lèi)任務(wù)的CovNN設(shè)置初值。

ImageNet是一個(gè)包含有128萬(wàn)張自然場(chǎng)景圖像的大型數(shù)據(jù)集，數(shù)據(jù)集被細(xì)分為1000個(gè)常見(jiàn)生活場(chǎng)景，圖像的尺寸為224×224。VGGCovNets，Res-CovNets和DenseCovNets模型中的大量參數(shù)正需要ImageNet這種量級(jí)的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練來(lái)更好地收斂。在利用ImageNet進(jìn)行訓(xùn)練時(shí)，圖像數(shù)據(jù)被歸一化到[0～1]范圍內(nèi)，并且進(jìn)行了數(shù)據(jù)增廣。訓(xùn)練使用隨機(jī)梯度下降算法更新梯度，循環(huán)次數(shù)為100次，初始學(xué)習(xí)率為0.1，在第40次和第70次分別變?yōu)?.01和0.001，采用測(cè)試的最佳結(jié)果計(jì)算該模型的識(shí)別錯(cuò)誤率，列于表1中。由表1可見(jiàn)，CovNN的各模型均能夠提升分類(lèi)精度。

由于ImageNet包含有豐富的數(shù)據(jù)，CovNN網(wǎng)絡(luò)的性能和其在ImageNet上取得的分類(lèi)精度是息息相關(guān)的。同時(shí)，遙感場(chǎng)景分類(lèi)數(shù)據(jù)集和ImageNet數(shù)據(jù)集都是基于自然場(chǎng)景的數(shù)據(jù)集，因此，在ImageNet上表現(xiàn)好的模型，在遙感場(chǎng)景分類(lèi)任務(wù)上也具有優(yōu)勢(shì)。在表1中，DenseCovNet-121模型獲得最佳的分類(lèi)效果，因此選擇DenseCovNet-121作為遙感場(chǎng)景分類(lèi)的模型，并將其在ImageNet訓(xùn)練得到的參數(shù)權(quán)重作為模型的預(yù)訓(xùn)練初值。

表1 CNN模型和CovNN模型在ImageNet上的識(shí)別錯(cuò)誤率

3.3 遙感場(chǎng)景分類(lèi)評(píng)價(jià)指標(biāo)

由于遙感場(chǎng)景分類(lèi)數(shù)據(jù)集中經(jīng)常存在類(lèi)別分布不均衡的問(wèn)題，如果簡(jiǎn)單地求取每個(gè)類(lèi)別的準(zhǔn)確率再求平均值，少數(shù)類(lèi)的結(jié)果將對(duì)最終結(jié)果產(chǎn)生較為嚴(yán)重的影響。因此，本文使用召回率作為遙感場(chǎng)景分類(lèi)模型的評(píng)估指標(biāo)，每類(lèi)的召回率可以表示為：

(14)

式中：表示每類(lèi)的召回率;表示每類(lèi)的真正例，即正樣本被預(yù)測(cè)正確的數(shù)量；表示每類(lèi)的假負(fù)例，即正樣本被預(yù)測(cè)錯(cuò)誤的數(shù)量。針對(duì)遙感場(chǎng)景分類(lèi)所有類(lèi)別的召回率可以表示為：

(15)

式中：表示數(shù)據(jù)集的總類(lèi)別數(shù)。召回率能夠更好地評(píng)價(jià)一個(gè)模型針對(duì)遙感場(chǎng)景數(shù)據(jù)集的所有類(lèi)別的分類(lèi)能力。

3.4 實(shí)驗(yàn)參數(shù)設(shè)定

數(shù)據(jù)集被隨機(jī)劃分為訓(xùn)練集和測(cè)試集，AID的訓(xùn)練集占整體的20%和50%，NWPU-RESISC45的訓(xùn)練集占整體的10%和20%，剩下為測(cè)試集。同時(shí)為了減少整個(gè)網(wǎng)絡(luò)的內(nèi)存消耗，所有圖像的分辨率被調(diào)整為224×224。

模型使用DenseCovNet-121，訓(xùn)練次數(shù)被設(shè)定為400次，每經(jīng)過(guò)一次訓(xùn)練進(jìn)行一次測(cè)試，每批次輸入圖像為64張。每張輸入圖像均經(jīng)過(guò)數(shù)據(jù)增廣的方式進(jìn)行擴(kuò)展，以獲得更好的分類(lèi)效果，實(shí)驗(yàn)中采用的數(shù)據(jù)增廣方式有：色彩轉(zhuǎn)換、明暗調(diào)節(jié)、對(duì)比度調(diào)節(jié)和銳度變化。模型進(jìn)行了10次測(cè)試，取平均值作為最終的分類(lèi)結(jié)果。本文所有模型均使用GeForce RTX 3090，24 GB顯存的GPU設(shè)備。網(wǎng)絡(luò)模型的程序使用Pytorch開(kāi)發(fā)。

3.5 實(shí)驗(yàn)?zāi)Ｐ捅憩F(xiàn)

本文選取了近幾年用于遙感場(chǎng)景分類(lèi)中表現(xiàn)較好的CNN算法：CaffeNet,GoogLeNet,D-CNN with VGGNet-16,TEX-TS-Net和DenseNet (with 3D GAP)與本文的DenseCovNet-121模型進(jìn)行比較。分別針對(duì)兩個(gè)數(shù)據(jù)集、不同訓(xùn)練集比例進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見(jiàn)表2和表3。

表2 AID數(shù)據(jù)集上不同模型召回率比較

對(duì)于AID數(shù)據(jù)集，經(jīng)過(guò)10次重復(fù)實(shí)驗(yàn)后，計(jì)算平均召回率以及標(biāo)準(zhǔn)偏差，其中DenseCovNet-121的召回率最高。相比于基于傳統(tǒng)卷積層DenseNet改進(jìn)的DenseNet (with 3D GAP)，DenseCovNet-121仍有著不錯(cuò)的提升，這符合前文的分析，即批處理協(xié)方差層通過(guò)減少局部特征均值變化的影響來(lái)提高分類(lèi)精度，而這種影響在AID數(shù)據(jù)集中是廣泛存在的。

對(duì)于NWPU-RESISC45數(shù)據(jù)集，經(jīng)10次重復(fù)實(shí)驗(yàn)后，計(jì)算平均召回率以及標(biāo)準(zhǔn)偏差。由表3可知，DenseCovNet-121的召回率最高，與現(xiàn)有表現(xiàn)優(yōu)秀的DenseNet (with 3D GAP)比較仍有優(yōu)勢(shì)。這符合前文分析，即CovNN中的批處理協(xié)方差層能有效改善數(shù)據(jù)集中圖像存在的局部特征均值變化影響，同樣這類(lèi)問(wèn)題在NWPU-RESISC45數(shù)據(jù)集中是廣泛存在的，也是CNN難以處理的。同時(shí)，提高訓(xùn)練集的比率也有助于提高模型的召回率。

表3 NWPU-RESISC45數(shù)據(jù)集上不同模型召回率比較

4 結(jié) 論

針對(duì)衛(wèi)星遙感圖像場(chǎng)景分類(lèi)中局部區(qū)域光強(qiáng)變化和局部存在無(wú)關(guān)特征的問(wèn)題，本文提出了一種使用批處理協(xié)方差層的神經(jīng)網(wǎng)絡(luò)(CovNN)模型。該模型能夠?qū)斎霐?shù)據(jù)的局部區(qū)域進(jìn)行歸一化，從而提高模型的分類(lèi)精度。本文研究了協(xié)方差對(duì)局部特征均值變化影響的消除能力，通過(guò)將CNN的卷積層替換為批處理協(xié)方差層，可以將CNN轉(zhuǎn)化為CovNN；描述了CovNN中批處理協(xié)方差層的正傳、反傳和梯度更新細(xì)節(jié)。通過(guò)遷移學(xué)習(xí)的方式，引入ImageNet數(shù)據(jù)集作為遙感場(chǎng)景分類(lèi)數(shù)據(jù)集的補(bǔ)充。通過(guò)在典型衛(wèi)星遙感數(shù)據(jù)集AID和NWPU-RESISC45的實(shí)驗(yàn)研究，證明了本文所提方法能夠有效解決遙感場(chǎng)景分類(lèi)中局部區(qū)域光強(qiáng)變化和局部存在無(wú)關(guān)特征的問(wèn)題，從而明顯提高分類(lèi)精度。