高分影像場景分類的半監(jiān)督深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

楊秋蓮，劉艷飛，丁樂樂，孟凡效

天津市勘察設(shè)計(jì)院集團(tuán)有限公司，天津 300000

隨著IKONOS、Worldview系列、高分系列、高景一號等高分辨率遙感衛(wèi)星的成功發(fā)射，高分辨率遙感數(shù)據(jù)已經(jīng)成為對地精細(xì)觀測的重要數(shù)據(jù)來源[1-3]。相較于中低分辨率遙感影像，高分影像呈現(xiàn)出了更豐富的空間細(xì)節(jié)信息，使得地物目標(biāo)的精確解譯成為可能。目前高分影像的分類基本實(shí)現(xiàn)了從基于像素的分類到面向?qū)ο蟮姆诸愞D(zhuǎn)變，極大地提高了分類精度[4-6]。遙感場景是由語義目標(biāo)以某種空間分布構(gòu)成的具有高層語義的復(fù)雜影像區(qū)域。因此即使獲得如建筑、道路等精細(xì)地物目標(biāo)識別結(jié)果，在獲取如工業(yè)區(qū)、居民區(qū)等高層語義方面仍無能為力。為獲取高層場景語義信息，如何跨越底層特征與高層場景語義之間存在的“語義鴻溝”，實(shí)現(xiàn)高分影像到高層場景語義之間的映射，是當(dāng)前高分影像分類的一個熱點(diǎn)問題[7-10]。

為克服“語義鴻溝”問題，國內(nèi)外研究學(xué)者相繼展開了面向高分辨率遙感影像場景分類的方法的研究，目前已經(jīng)發(fā)展出了基于語義目標(biāo)的場景分類方法[11-12]，基于中層特征的場景分類方法[13-15]和基于深度特征的場景分類方法[16-20]?；谡Z義目標(biāo)的場景分類方法構(gòu)建了一種“自底向上”的場景分類框架，首先對遙感影像進(jìn)行語義目標(biāo)提取，然后對語義目標(biāo)的空間關(guān)系進(jìn)行建模獲得最終的場景表達(dá)特征，如文獻(xiàn)[11]利用彈力直方圖統(tǒng)計(jì)目標(biāo)之間的位置關(guān)系作為場景表達(dá)特征用于分類。然而這種方法依賴于語義目標(biāo)的提取精度和空間關(guān)系構(gòu)建。不同于基于語義目標(biāo)的場景分類方法，基于中層特征的方法不需要場景中目標(biāo)的先驗(yàn)信息，直接對場景表達(dá)特征進(jìn)行建模，典型的方法包括詞袋模型[21-22]、主題模型[13-14]等。

然而以上兩類方法都需要手工設(shè)計(jì)特征，依賴專家先驗(yàn)。深度學(xué)習(xí)作為一種數(shù)據(jù)驅(qū)動的學(xué)習(xí)框架，可以自動地從數(shù)據(jù)中學(xué)習(xí)本質(zhì)特征，已經(jīng)被成功應(yīng)用于目標(biāo)檢測、人臉識別等領(lǐng)域，由于其強(qiáng)大的特征學(xué)習(xí)能力，已經(jīng)被應(yīng)用于高分影像場景分類。其中按照網(wǎng)絡(luò)類型主要可以分為自編碼模型[23-24]和深度卷積神經(jīng)網(wǎng)絡(luò)模型[25-27]。在基于自編碼模型的場景分類方法中，采用編碼—解碼的3層結(jié)構(gòu)逐層對深度網(wǎng)絡(luò)每一層進(jìn)行預(yù)訓(xùn)練以獲得良好的參數(shù)初始化。然而這類方法由于編碼—解碼結(jié)構(gòu)的存在，訓(xùn)練深度網(wǎng)絡(luò)時往往需要大量時間。相較于基于自編碼的場景分類方法，基于卷積神經(jīng)網(wǎng)絡(luò)的方法不需要編碼—解碼結(jié)構(gòu)，直接對整個網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得廣泛研究。如文獻(xiàn)[28]為了提高深度卷積網(wǎng)絡(luò)特征的辨別性，通過構(gòu)建正負(fù)樣本對并引入度量學(xué)習(xí)使得正樣本對在特征空間彼此接近，負(fù)樣本對彼此遠(yuǎn)離。文獻(xiàn)[29]提出LPCNN，從數(shù)據(jù)中進(jìn)行切片來增加訓(xùn)練數(shù)據(jù)的個數(shù)和多樣性，提高場景分類精度。

基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法往往需要大量的標(biāo)注數(shù)據(jù)用于網(wǎng)絡(luò)模型的訓(xùn)練，當(dāng)標(biāo)注樣本有限時，其學(xué)習(xí)到的特征表達(dá)泛化能力有限。針對標(biāo)注數(shù)據(jù)有限條件下的遙感場景分類任務(wù)，目前已經(jīng)發(fā)展出了基于無監(jiān)督深度學(xué)習(xí)方法[23-24,30]、基于領(lǐng)域自適應(yīng)的方法[31-33]、基于半監(jiān)督深度學(xué)習(xí)方法[34-37]。在這3大類方法中，無監(jiān)督深度學(xué)習(xí)方法和領(lǐng)域自適應(yīng)方法往往不需要標(biāo)記數(shù)據(jù)，然而這兩類方法學(xué)習(xí)得到特征表達(dá)能力有限，場景分類精度較低。相較于基于無監(jiān)督深度學(xué)習(xí)方法和領(lǐng)域自適應(yīng)方法，基于半監(jiān)督深度學(xué)習(xí)方法可以同時利用有限標(biāo)注樣本和大量未標(biāo)記樣本訓(xùn)練模型，有效提高模型泛化能力，具有較高分類精度。目前國內(nèi)外學(xué)者已經(jīng)對基于半監(jiān)督深度學(xué)習(xí)場景分類方法開展了系列研究。文獻(xiàn)[34]基于度量學(xué)習(xí)框架將未標(biāo)記樣本納入到深度網(wǎng)絡(luò)的訓(xùn)練過程中，根據(jù)標(biāo)記樣本在深度特征空間計(jì)算類別中心，并利用類別中心有效距離范圍內(nèi)的未標(biāo)記樣本參與類別中心的校正，使得同類樣本向其對應(yīng)類別中心靠攏。文獻(xiàn)[35]為提高模型的辨別性，利用標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)訓(xùn)練對抗網(wǎng)絡(luò)，并用對抗網(wǎng)絡(luò)中的辨別網(wǎng)絡(luò)用于最終的場景分類任務(wù)。文獻(xiàn)[37]將協(xié)同訓(xùn)練引入到半監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)場景分類中，利用標(biāo)記訓(xùn)練樣本分別訓(xùn)練兩個不同的網(wǎng)絡(luò)，同時利用驗(yàn)證集訓(xùn)練一個辨別網(wǎng)絡(luò)，隨后使用3個網(wǎng)絡(luò)同時對未標(biāo)記數(shù)據(jù)做預(yù)測，當(dāng)3個網(wǎng)絡(luò)對同一樣本的預(yù)測一致時將其加入到訓(xùn)練集中，用于模型的訓(xùn)練。然而以上方法訓(xùn)練過程較為復(fù)雜，涉及多個網(wǎng)絡(luò)的訓(xùn)練。

針對有限標(biāo)注數(shù)據(jù)下模型泛化能力下降問題，本文將自學(xué)習(xí)半監(jiān)督算法(self-training)應(yīng)用到網(wǎng)絡(luò)模型的訓(xùn)練，提出了一種端到端的半監(jiān)督深度卷積高分影像場景分類方法(3sCNN)。相較于已有方法，本文提出的方法僅需訓(xùn)練單個網(wǎng)絡(luò)，訓(xùn)練過程簡單，便于實(shí)現(xiàn)：首先，利用標(biāo)記樣本對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；然后，利用得到的網(wǎng)絡(luò)對未標(biāo)記樣本進(jìn)行預(yù)測得到未標(biāo)記樣本的預(yù)測標(biāo)簽和對應(yīng)的置信度，將置信度高的樣本作為真實(shí)標(biāo)簽數(shù)據(jù)加入標(biāo)記樣本數(shù)據(jù)中進(jìn)行模型訓(xùn)練。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的高分辨率影像場景分類

基于卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類基本流程包括數(shù)據(jù)預(yù)處理、深度特征提取和特征分類3個部分。

在數(shù)據(jù)預(yù)處理階段，主要對輸入原始影像進(jìn)行歸一化操作，在本文中采用簡單的除以255操作，將影像像素值落在[0,1]區(qū)間。同時為了增加數(shù)據(jù)的多樣性，在訓(xùn)練階段隨機(jī)地對數(shù)據(jù)進(jìn)行平移、旋轉(zhuǎn)等操作。

深度特征提取階段利用卷積神經(jīng)網(wǎng)絡(luò)對經(jīng)過數(shù)據(jù)預(yù)處理的影像逐層的進(jìn)行特征提取。其中卷積神經(jīng)網(wǎng)絡(luò)的主要包含卷積層、池化層、全連接層和分類器層等。在特征提取過程中，對于第i層網(wǎng)絡(luò)layi，其前一層的輸出zi-1作為本層的輸入得到本層輸出特征zi，隨后輸出到下一層作為輸入，重復(fù)特征提取過程

zi=layi(zi-1)

(1)

式中，layi可以是卷積層、池化層或者是全連接層等。

在深度特征提取階段，利用多元分類器SoftMax對得到的深度特征進(jìn)行分類，輸出待分類樣本的類別分布概率。

雖然基于卷積神經(jīng)網(wǎng)絡(luò)的場景分類方法已經(jīng)被成功應(yīng)用于遙感影像場景分類，并獲得廣泛關(guān)注，然而作為一種數(shù)據(jù)驅(qū)動的監(jiān)督學(xué)習(xí)模型，其訓(xùn)練過程往往需要大量的標(biāo)注數(shù)據(jù)。當(dāng)訓(xùn)練樣本有限時其深度特征泛化能力衰減，分類精度降低。針對這個問題，本文提出了半監(jiān)督深度卷積神經(jīng)網(wǎng)絡(luò)用于高分辨率遙感影像場景分類。

2 高分影像場景分類的半監(jiān)督深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法

本文提出的方法流程如圖1所示，其過程主要包括數(shù)據(jù)預(yù)處理、深度特征提取和分類，標(biāo)記數(shù)據(jù)集更新。

圖1 基于自學(xué)習(xí)半監(jiān)督深度卷積神經(jīng)網(wǎng)絡(luò)的高分影像場景分類流程Fig.1 Framework of high spatial resolution imagery scene classification based on semi-supervised CNNs

為增加數(shù)據(jù)的多樣性，在數(shù)據(jù)預(yù)處理階段對輸入的每一張影像進(jìn)行隨機(jī)切塊作為樣本輸入，并且對得到的影像快進(jìn)行隨機(jī)旋轉(zhuǎn)。

本文采用殘差網(wǎng)ResNet-50[38]用于特征提取和分類。在殘差網(wǎng)中，其通過在低層網(wǎng)絡(luò)和高層網(wǎng)絡(luò)之間建立跨越連接(skip connection)來保證低層網(wǎng)絡(luò)向高層網(wǎng)絡(luò)的信息流通和避免梯度彌散導(dǎo)致的深度網(wǎng)絡(luò)訓(xùn)練收斂困難問題，如圖2(a)所示為含有跨越連接的ResNet Block，構(gòu)成了殘差網(wǎng)絡(luò)的基本邏輯單元。殘差網(wǎng)絡(luò)通過堆疊多個ResNet Block構(gòu)建深度網(wǎng)絡(luò)，如圖2(b)所示為ResNet-50的網(wǎng)絡(luò)結(jié)構(gòu)圖，其中nX表示將n個ResNet Block堆疊在一起。

對于給定的輸入影像，ResNet-50通過逐層特征提取得到對應(yīng)的特征向量，并將特征輸入到分類器SoftMax進(jìn)行深度特征分類，得到一個樣本的類別概率分布

(2)

式中，p(y=i|x)代表輸入圖像x屬于類別i的預(yù)測概率；c代表場景分類中類別個數(shù)。在訓(xùn)練階段，通過最大化樣本被正確分類的概率來為網(wǎng)絡(luò)參數(shù)更新提供監(jiān)督信息，目標(biāo)損失函數(shù)為式(3)

(3)

式中，n為參與訓(xùn)練的樣本個數(shù);yt,i為樣本t的類別編碼，當(dāng)且僅當(dāng)樣本t屬于類別i時yt,i取1，否則取0。

圖2 ResNet-50Fig.2 ResNet-50

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)通過最小化式(3)來訓(xùn)練網(wǎng)絡(luò)參數(shù)，然而當(dāng)高分辨率遙感標(biāo)記數(shù)據(jù)有限時，模型的泛化能力受到限制。針對這一問題，本文采用自學(xué)習(xí)機(jī)制在卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中加入標(biāo)記數(shù)據(jù)集更新操作，增加可用于訓(xùn)練的標(biāo)記圖像數(shù)量。

首先在有限標(biāo)注數(shù)據(jù)集上進(jìn)行iter_thrd次迭代預(yù)訓(xùn)練，使得深度網(wǎng)絡(luò)具有初步的場景識別能力。在標(biāo)記數(shù)據(jù)更新階段，利用預(yù)訓(xùn)練的網(wǎng)絡(luò)對未標(biāo)記數(shù)據(jù)集進(jìn)行推斷預(yù)測，得到每一個未標(biāo)記樣本屬于某一類的最大概率，并將其作為置信度。對于未標(biāo)記數(shù)據(jù)，如果其置信度大于閾值con_thrd，則將其加入到訓(xùn)練集中作為標(biāo)記數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)參數(shù)的訓(xùn)練。對于未標(biāo)記數(shù)據(jù)，將其用于模型訓(xùn)練時，其對應(yīng)得目標(biāo)函數(shù)為

(4)

Lsum=Lcls+λ(t)Lsemi

(5)

式中，Lsum為總的目標(biāo)函數(shù)；λ(t)為未標(biāo)記數(shù)據(jù)樣本參與訓(xùn)練的權(quán)重，其定義如式(6)

(6)

在本文方法具體實(shí)現(xiàn)中，在每一次網(wǎng)絡(luò)參數(shù)更新迭代時，從標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)同時隨機(jī)采樣一批數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，計(jì)算標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)的類別概率分布，然后根據(jù)式(3)、式(4)、式(5)計(jì)算目標(biāo)函數(shù)。具體的偽代碼如下。

算法1 3sCNN算法

輸入：卷積網(wǎng)絡(luò)Net，學(xué)習(xí)率lr,未標(biāo)記數(shù)據(jù)集Ud，標(biāo)記數(shù)據(jù)集Ld，最大迭代次數(shù)iter

輸出：訓(xùn)練得到的網(wǎng)絡(luò)net

fori=1:iter do:

sample batch of labeled dataL_batch fromLd

sample batch of unlabeled dataU_batch fromUd

FeedL_batch andU_batch to net

Compute the loss according to the equation (3)—(5)

Update the parameters of net

end

本文方法相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，僅是增加了一個未標(biāo)記數(shù)據(jù)讀取分支和一個閾值篩選步驟。相較于已有的半監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)場景分類方法，本文算法是一個端到端的半監(jiān)督訓(xùn)練過程，簡單易行，便于實(shí)現(xiàn)。

3 試驗(yàn)與分析

3.1 試驗(yàn)設(shè)置

為驗(yàn)證本文算法的有效性，本文采用UCM[39]、Google of SIRI-WHU[14]和NWPU-RESISC45[19]3個場景分類數(shù)據(jù)集進(jìn)行試驗(yàn)測試。其中UCM數(shù)據(jù)集包含21個場景類別，每個類別具有100張場景影像，每張影像大小為256×256，空間分辨率為0.304 8 m(1 ft)。Google of SIRI-WHU數(shù)據(jù)集包含12個場景類別，每個類別具有200張影像，每張影像大小200×200，空間分辨率為2 m。NWPU-RESISC45具有45個場景類別，每類具有700張影像，大小為256×256，空間分辨率為30～0.2 m。圖3、圖4、圖5分別給出了3個數(shù)據(jù)集的代表樣本。為驗(yàn)證本文方法在標(biāo)記樣本有限的情況下的提升卷積神經(jīng)網(wǎng)絡(luò)泛化能力的有效性，在每一個數(shù)據(jù)集試驗(yàn)中，僅從該數(shù)據(jù)集抽取3%的影像數(shù)據(jù)作為標(biāo)記數(shù)據(jù)集，抽取70%的影像數(shù)據(jù)作為未標(biāo)記數(shù)據(jù)集，剩余的數(shù)據(jù)作為測試樣本。每次試驗(yàn)重復(fù)5次，記錄5次試驗(yàn)的平均分類精度作為最終的分類精度。試驗(yàn)中利用經(jīng)過在ImageNet數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練的ResNet-50進(jìn)行網(wǎng)絡(luò)的初始化并在3個數(shù)據(jù)集上微調(diào)，其中不采用本文提出的半監(jiān)督訓(xùn)練方法進(jìn)行微調(diào)的ResNet-50作為對比方法，記為Baseline-ResNet50。在本文試驗(yàn)中，訓(xùn)練迭代次數(shù)設(shè)置為2000，學(xué)習(xí)率為0.000 1。

圖3 UCM數(shù)據(jù)集Fig.3 UCM data set

圖4 Google of SIRI-WHU數(shù)據(jù)集Fig.4 Google of SIRI-WHU data set

3.2 試驗(yàn)結(jié)果與分析

表1給出了在置信度閾值con_thrd為0.2，迭代訓(xùn)練閾值iter_thrd為300的條件下，本文提出的半監(jiān)督算法3sCNN與對比方法在3個數(shù)據(jù)集上的分類結(jié)果。從表1可以看出，本文半監(jiān)督算法可以有效地提高高分辨率場景分類精度，在3%標(biāo)記數(shù)據(jù)集和70%未標(biāo)記數(shù)據(jù)集參與訓(xùn)練的情況下，相比于Baseline-ResNet50，提出的3sCNN在3個數(shù)據(jù)集上的分類精度分別提高了7.4%、4.7%和3.2%，有效地證明了所提算法的有效性。

圖5 NWPU-RESISC45數(shù)據(jù)集Fig.5 NWPU-RESISC45 data set

表1 場景分類精度對比情況Tab.1 The scene classification accuracy comparison

表2、表3分別給出了提出的3sCNN與已有半監(jiān)督的方法在UCM和NWPU-RESISC45數(shù)據(jù)集上的對比情況，其中x%～y%代表參與訓(xùn)練的標(biāo)記數(shù)據(jù)的占數(shù)據(jù)集整體的x%，未標(biāo)記數(shù)據(jù)集占比y%。本文按照與對比方法相同的數(shù)據(jù)配置進(jìn)行試驗(yàn)，其中在5%～95%和80%～20%的設(shè)置中，測試數(shù)據(jù)也作為未標(biāo)記數(shù)據(jù)參與訓(xùn)練。從表2、表3可以看出本文提出的方法在同樣配置下可以取得最優(yōu)的分類結(jié)果。相較于文獻(xiàn)[37]、文獻(xiàn)[35]中的方法需要訓(xùn)練多個網(wǎng)絡(luò)，本文提出的方法可以獲得更優(yōu)的分類精度，且僅需要訓(xùn)練一個網(wǎng)絡(luò)，訓(xùn)練簡單，便于實(shí)現(xiàn)。

表3 與已有方法在NWPU-RESISC45上對比情況Tab.3 Compared with published results with NWPU-RESISC45

為了進(jìn)一步驗(yàn)證未標(biāo)記數(shù)據(jù)集在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的作用，本文通過控制參與訓(xùn)練的未標(biāo)記數(shù)據(jù)樣本個數(shù)，對比不同未標(biāo)記樣本個數(shù)下3個數(shù)據(jù)集的場景分類精度，對比情況如表4所示，其中分別對比了當(dāng)參與訓(xùn)練的未標(biāo)記個數(shù)占總樣本數(shù)0%(即等價于Baseline-ResNet50)、20%、50%和70%下的場景分類精度。從表4可以看出在未標(biāo)記數(shù)據(jù)集的樣本個數(shù)逐漸從0%升至70%時，場景分類精度也隨之逐步提升，證明了提出的半監(jiān)督場景算法3sCNN可以有效利用未標(biāo)記樣本參與模型訓(xùn)練，提高模型的泛化能力。圖6比較了Baseline-ResNet50和3sCNN在Google of SIRI-WHU測試數(shù)據(jù)集上的混淆矩陣。如圖6所示，所提出的3sCNN在7類上取得了最好的分類效果，減少了港口、公園、裸地等類別的誤分類。對于池塘這一類別，相比于對比方法Baseline-ResNet50，本文方法的3sCNN精度由0.975衰減至0.775，造成這一現(xiàn)象的原因主要是在提出的半監(jiān)督方法中，會對未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)測，然后將高置信度未標(biāo)記樣本作為標(biāo)記數(shù)據(jù)加入到訓(xùn)練集中用于模型的訓(xùn)練，因此未標(biāo)記數(shù)據(jù)的預(yù)測質(zhì)量會影響到訓(xùn)練數(shù)據(jù)的準(zhǔn)確度，當(dāng)有錯誤的高置信度樣本被作為標(biāo)記數(shù)據(jù)用于訓(xùn)練網(wǎng)絡(luò)模型時，會降低網(wǎng)絡(luò)的預(yù)測準(zhǔn)確度。如圖7所示，本文測試了Baseline-ResNet50和3sCNN在未標(biāo)記數(shù)據(jù)集上的分類情況，可以看出Baseline-ResNet50在池塘這一類別上的精度(0.96)高于3sCNN(0.91)，這也說明了3sCNN在池塘這一類別上選用了錯誤的高置信度未標(biāo)記樣本參與模型訓(xùn)練，降低了模型對該類別樣本的識別能力。

表4 不同未標(biāo)記樣本下場景分類精度對比情況Tab.4 Scene classification accuracy with different training sample ratio

圖6 Baseline-ResNet50和3sCNN對Google of SIRI-WHU測試數(shù)據(jù)的混淆矩陣Fig.6 The confusion matrix of Baseline-ResNet50 and 3sCNN with Google of SIRI-WHU

3.3 參數(shù)分析

在本文提出的方法中，存在迭代閾值iter_thrd和置信度閾值con_thrd需要指定。為研究迭代閾值iter_thrd和置信度閾值con_thrd對分類精度的影響，本文分別令iter_thrd={0,300,600,900,1200,1500,1800}，con_thrd={0,0.2,0.4,0.6,0.8}進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果如圖8、圖9所示。從圖8中可知，對于UCM和NWPU-RESISC45數(shù)據(jù)，當(dāng)置信度取值為0.2時獲得最優(yōu)分類精度，對于Google of SIRI-WHU數(shù)據(jù)集，當(dāng)置信度閾值取值為0.4時獲得最優(yōu)精度。對于3個數(shù)據(jù)集來說當(dāng)置信度閾值大于0時，場景分類精度有所提升，并在0.2和0.4取得最優(yōu)結(jié)果，說明通過設(shè)置閾值可以有效控制選入未標(biāo)記樣本的質(zhì)量，避免預(yù)測錯誤的樣本參與到模型的訓(xùn)練中。繼續(xù)增加置信度閾值精度開始出現(xiàn)下降，造成這一現(xiàn)象的原因可能是置信度非常高的樣本其與原本的訓(xùn)練集樣本具有較高的相似性，將其加入訓(xùn)練集用于模型訓(xùn)練時，其帶來的信息量較為有限。圖9給出了迭代閾值iter_thrd對場景分類精度的影響，從圖9可以看出，當(dāng)?shù)撝祻?增加至300時，分類精度提升，當(dāng)該閾值繼續(xù)增加時，分類精度出現(xiàn)下降，造成這一現(xiàn)象的原因可能是標(biāo)記數(shù)據(jù)本身數(shù)據(jù)量少，過多的迭代次數(shù)造成了過擬合現(xiàn)象。當(dāng)?shù)撝等≈?00時，本文提出的方法在3個數(shù)據(jù)集上獲得最佳分類精度。

圖7 Baseline-ResNet50和3sCNN對Google of SIRI-WHU中未標(biāo)記數(shù)據(jù)的混淆矩陣Fig.7 The confusion matrix of Baseline-ResNet50 and 3sCNN computed on the unlabeled dataset from Google of SIRI-WHU

圖8 置信度閾值對場景分類的影響Fig.8 The influence of con_thrd on scene classification accuracy

圖9 迭代閾值對場景分類的影響Fig.9 The influence of iter_thrd on scene classification accuracy

4 結(jié)束語

在基于卷積神經(jīng)網(wǎng)絡(luò)用于高分辨率遙感影像場景分類時，針對標(biāo)記數(shù)據(jù)有限情況下卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難，特征泛化能力衰減問題，本文將自學(xué)習(xí)半監(jiān)督算法應(yīng)用到網(wǎng)絡(luò)模型的訓(xùn)練，提出了一種端到端的自學(xué)習(xí)半監(jiān)督深度卷積高分影像場景分類方法，在利用有限標(biāo)記數(shù)據(jù)訓(xùn)練的同時，對未標(biāo)記數(shù)據(jù)進(jìn)行標(biāo)記預(yù)測并將高置信度樣本作為標(biāo)記數(shù)據(jù)加入到訓(xùn)練集中進(jìn)行模型的訓(xùn)練。試驗(yàn)表明本文算法可以有效提升分類精度本文方法在訓(xùn)練過程中需要加入高置信度未標(biāo)記樣本參與模型訓(xùn)練，通過設(shè)置置信度閾值來保證加入樣本預(yù)測標(biāo)簽的正確性。然而過高的閾值會導(dǎo)致選用的樣本所攜帶的有效信息較為有限，影響分類精度的進(jìn)一步提升，在未來的工作中，將在保證未標(biāo)記樣本標(biāo)簽正確率的同時考慮待基于差異性衡量樣本信息量，選用攜帶更多有效信息的高置信度樣本參與模型的訓(xùn)練，進(jìn)一步提升場景分類精度。