小樣本學(xué)習(xí)在高分遙感影像分類(lèi)與識(shí)別中的應(yīng)用

胡 娟，楊厚群，杜欣然，王漢洋

(海南大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，?？?570228)

0 引 言

遙感影像應(yīng)用在測(cè)繪地理信息[1]、監(jiān)測(cè)環(huán)境質(zhì)量[2]、識(shí)別地物特征與分類(lèi)[3]等方面具有重大意義，成為近年來(lái)地球影像識(shí)別研究的熱點(diǎn)。隨著深度學(xué)習(xí)算法的不斷發(fā)展與完善，遙感影像的分類(lèi)與識(shí)別也越來(lái)越精確。但是，深度學(xué)習(xí)基于大量數(shù)據(jù)[4]，而遙感影像的許多應(yīng)用領(lǐng)域缺乏足夠的樣本數(shù)據(jù)，這使得遙感影像的分類(lèi)與識(shí)別極易出現(xiàn)過(guò)擬合、模型泛化性能差等問(wèn)題。關(guān)于小樣本學(xué)習(xí)的魯棒性和可擴(kuò)展性[5]研究較多，將小樣本學(xué)習(xí)跟遙感影像分類(lèi)與識(shí)別結(jié)合起來(lái)，通過(guò)學(xué)習(xí)一定類(lèi)別的大量數(shù)據(jù)后，模型只需少量樣本就能快速學(xué)習(xí)出新類(lèi)別，在一定程度上減少過(guò)擬合。

本文通過(guò)研究對(duì)比小樣本學(xué)習(xí)的發(fā)展現(xiàn)狀和遙感影像應(yīng)用需求，給出系統(tǒng)性的總結(jié)。首先介紹小樣本學(xué)習(xí)的方法和現(xiàn)狀，以及小樣本學(xué)習(xí)的應(yīng)用領(lǐng)域；其次通過(guò)分析遙感影像處理存在的問(wèn)題，說(shuō)明結(jié)合小樣本學(xué)習(xí)處理遙感影像問(wèn)題的優(yōu)勢(shì)，最后展望了該領(lǐng)域的未來(lái)研究方向。本文的主要貢獻(xiàn)如下：

1)總結(jié)歸納小樣本學(xué)習(xí)方法，按模型從整體上分成生成模型和對(duì)抗模型兩大類(lèi)分別進(jìn)行梳理；

2)指出遙感影像處理的特殊性，分析小樣本學(xué)習(xí)應(yīng)用到遙感影像分類(lèi)與識(shí)別上的突出特點(diǎn)；

3)對(duì)小樣本學(xué)習(xí)方法處理遙感影像分類(lèi)與識(shí)別研究作出展望。

1 小樣本學(xué)習(xí)

自2000年數(shù)字圖像測(cè)試[6]首次被提出以來(lái)，圖像識(shí)別逐漸發(fā)展為深度學(xué)習(xí)的一個(gè)重要分支。目前，其成果在人臉識(shí)別、基因分析數(shù)據(jù)、作物病害識(shí)別、醫(yī)療圖像、真?zhèn)舞b定等研究中使用較多。這些領(lǐng)域?qū)嶋H積累的數(shù)據(jù)樣本量遠(yuǎn)不能滿(mǎn)足深度學(xué)習(xí)對(duì)訓(xùn)練數(shù)據(jù)的要求。小樣本學(xué)習(xí)目的是在樣本量較少時(shí)學(xué)習(xí)出泛化能力強(qiáng)的分類(lèi)器，以更小的內(nèi)存占用率得出與最新基準(zhǔn)測(cè)試一樣好的性能[7]。當(dāng)訓(xùn)練和測(cè)試數(shù)據(jù)來(lái)自相同的分布時(shí)，區(qū)分學(xué)習(xí)方法的分類(lèi)效果固然很好，但以源域標(biāo)記訓(xùn)練數(shù)據(jù)，學(xué)習(xí)出一種在具有不同分布的目標(biāo)域上表現(xiàn)良好的分類(lèi)器[8]也同樣重要。例如，基于大量源域圖像集合的半監(jiān)督設(shè)置來(lái)支持標(biāo)簽傳播[9-13]、訓(xùn)練分類(lèi)器。

在沒(méi)有足夠數(shù)據(jù)的情況下，訓(xùn)練出能夠提取相對(duì)準(zhǔn)確的特征提取器往往很困難[14-18]。小樣本學(xué)習(xí)涉及數(shù)據(jù)處理和樣本識(shí)別[19-23]，在處理小樣本問(wèn)題時(shí)常見(jiàn)思路有兩種：一是改進(jìn)算法以適應(yīng)小樣本環(huán)境，通常這種方式需要具有對(duì)研究領(lǐng)域的專(zhuān)業(yè)知識(shí)和經(jīng)驗(yàn)，存在較大的局限性；二是對(duì)已有數(shù)據(jù)樣本進(jìn)行處理，通過(guò)某種方式進(jìn)行數(shù)據(jù)增強(qiáng)——對(duì)已有數(shù)據(jù)集做微小調(diào)整，如壓縮、裁剪或翻轉(zhuǎn)等操作來(lái)擴(kuò)充數(shù)據(jù)。基于模型所用計(jì)算方法的不同，針對(duì)小樣本學(xué)習(xí)的模型可歸結(jié)為生成模型和判別模型兩種。

生成模型是根據(jù)數(shù)據(jù)學(xué)習(xí)輸入和輸出聯(lián)合概率分布P(x,y)之后求出后驗(yàn)概率分布P(y|x)[24]。作為預(yù)測(cè)的模型，生成模型通常收斂速度較快，因?yàn)槁?lián)合分布能夠提供更多的信息；但同時(shí)意味著更多的樣本量和計(jì)算量。判別模型由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(x) 或者條件概率分布P(y|x)。作為預(yù)測(cè)的模型，判別方法只關(guān)注給定輸入x應(yīng)得到什么樣的輸出y。因此能夠節(jié)省計(jì)算資源并有效分辨類(lèi)間差異特征，準(zhǔn)確率比生成模型高，但往往無(wú)法反映訓(xùn)練數(shù)據(jù)本身的特性。小樣本學(xué)習(xí)的模型分類(lèi)見(jiàn)表1。

表1 小樣本學(xué)習(xí)的模型分類(lèi)Tab.1 Model classification for fewshot learning

1.1 小樣本學(xué)習(xí)方法

深度學(xué)習(xí)在諸多領(lǐng)域中成功應(yīng)用的基礎(chǔ)是豐富的標(biāo)記樣本數(shù)據(jù)和計(jì)算資源，反襯出小樣本學(xué)習(xí)研究進(jìn)展緩慢。小樣本問(wèn)題是深度學(xué)習(xí)研究方法實(shí)際應(yīng)用時(shí)的關(guān)鍵性難題之一。小樣本學(xué)習(xí)在文本分析的應(yīng)用較為成熟，如基于記憶的嵌入學(xué)習(xí)方法[25-30]、用于多標(biāo)簽文本分類(lèi)的小樣本和零標(biāo)注方法[31]以及短文本分類(lèi)框架[32]等，甚至在法律助理系統(tǒng)中小樣本學(xué)習(xí)也發(fā)揮出至關(guān)重要的作用[33]；此外，如行人重識(shí)別[34]，用無(wú)標(biāo)記軌跡的方法提高卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)特征表示識(shí)別能力的單標(biāo)注學(xué)習(xí)行人重識(shí)別[35]等，也是基于小樣本的方法。文本和語(yǔ)音信息在日常生活中往往具有上下文聯(lián)系，有助于小樣本學(xué)習(xí)模型的訓(xùn)練。

小樣本學(xué)習(xí)中基于生成的方法，是通過(guò)生成數(shù)據(jù)來(lái)改變數(shù)據(jù)量，從而將小樣本問(wèn)題轉(zhuǎn)化為一般分類(lèi)問(wèn)題。不同于在原圖像基礎(chǔ)上做簡(jiǎn)單旋轉(zhuǎn)、平移、對(duì)稱(chēng)等操作的傳統(tǒng)數(shù)據(jù)擴(kuò)充方式，也不同于通過(guò)對(duì)比度變換、添加噪聲等簡(jiǎn)單圖像處理手段，生成對(duì)抗網(wǎng)絡(luò)(generative adversarial nets，GAN)可通過(guò)博弈生成語(yǔ)義相同但具備不同姿態(tài)、屬性的新樣本。GAN主要分為數(shù)據(jù)擴(kuò)充生成對(duì)抗網(wǎng)絡(luò)和元生成對(duì)抗網(wǎng)絡(luò)。利用GAN[36-40]可以幫助小樣本分類(lèi)器學(xué)習(xí)更清晰的決策邊界，即使用生成數(shù)據(jù)填充特征空間。此外，相應(yīng)的研究還包括了采取自動(dòng)擴(kuò)充和搜索改進(jìn)的數(shù)據(jù)擴(kuò)充策略[41]、EDA(easy data augmentation, EDA)數(shù)據(jù)增強(qiáng)技術(shù)[17]、利用已有的圖像去生成新的圖像[42]來(lái)做數(shù)據(jù)擴(kuò)充等，通過(guò)不同形式數(shù)據(jù)變換達(dá)到數(shù)據(jù)增強(qiáng)目的。文獻(xiàn)[43]總結(jié)了幾種類(lèi)型的方法實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)：利用半監(jiān)督學(xué)習(xí)和transductive learning等流信息學(xué)習(xí)one-shot模型；利用預(yù)訓(xùn)練模型借用近似類(lèi)別的數(shù)據(jù)來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù)集，合成新標(biāo)簽訓(xùn)練數(shù)據(jù)；通過(guò)GAN來(lái)學(xué)習(xí)合成模型等。一些研究提出對(duì)稱(chēng)編解碼結(jié)構(gòu)把視覺(jué)特征映射到語(yǔ)義空間，利用屬性引導(dǎo)增強(qiáng)。這些方法重點(diǎn)體現(xiàn)在適時(shí)加入遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)方法進(jìn)行引導(dǎo)、解決小樣本的分類(lèi)決策邊界的問(wèn)題。

判別模型中基于度量學(xué)習(xí)[44]的方法以及基于元學(xué)習(xí)的方法[28,29,45-55]發(fā)展較快。圖1為度量學(xué)習(xí)網(wǎng)絡(luò)框架，通過(guò)樣本特征嵌入、獲取表示特征和特征度量最終實(shí)現(xiàn)分類(lèi)。其原理是基于距離對(duì)樣本分布進(jìn)行建模：縮減相同類(lèi)別樣本距離，增大不同類(lèi)別樣本距離，將特征嵌入一定的度量空間。度量學(xué)習(xí)網(wǎng)絡(luò)主要分為三種：原型網(wǎng)絡(luò)[56]、孿生網(wǎng)絡(luò)[57]和關(guān)系網(wǎng)絡(luò)[58]。在產(chǎn)生原型時(shí)使用未標(biāo)記的例子來(lái)增強(qiáng)網(wǎng)絡(luò)[59]、將網(wǎng)絡(luò)中一個(gè)分類(lèi)器推廣到訓(xùn)練集中測(cè)試新類(lèi)[60]、針對(duì)新數(shù)據(jù)排列輸入之間的相似性和來(lái)自未知分布全新類(lèi)的學(xué)習(xí)暹羅神經(jīng)網(wǎng)絡(luò)方法[61]以及將未標(biāo)記的樣本映射到已標(biāo)記的支持集中標(biāo)記[62]，上述方法促進(jìn)了度量學(xué)習(xí)的發(fā)展。然而，度量學(xué)習(xí)的研究已經(jīng)處于瓶頸期，原因在于實(shí)驗(yàn)設(shè)置方面存在多種缺陷：實(shí)驗(yàn)比較不合理、測(cè)試集標(biāo)簽存在問(wèn)題以及評(píng)價(jià)指標(biāo)不合理等。

圖1 度量網(wǎng)絡(luò)Fig.1 Metric network

判別模型中基于元學(xué)習(xí)可以有效地針對(duì)數(shù)據(jù)分布進(jìn)行靈活調(diào)整來(lái)適應(yīng)模型訓(xùn)練。使用元網(wǎng)絡(luò)[63]來(lái)學(xué)習(xí)跨任務(wù)知識(shí)并通過(guò)快速參數(shù)化來(lái)轉(zhuǎn)移其歸納偏差以實(shí)現(xiàn)快速泛化?；陂L(zhǎng)短時(shí)記憶(long-short term memory, LSTM)的元學(xué)習(xí)模型[59]用于訓(xùn)練分類(lèi)器的精確優(yōu)化算法，允許快速收斂。此后的擴(kuò)展模型不可知元學(xué)習(xí)[64](model-agnostic meta-learning, MAML)用于在無(wú)標(biāo)注數(shù)據(jù)存在的情況下快速適應(yīng)新的分類(lèi)任務(wù)。MAML既可以適應(yīng)沒(méi)有任何標(biāo)注示例的新任務(wù)，也可擴(kuò)展到半監(jiān)督的小樣本學(xué)習(xí)場(chǎng)景。導(dǎo)向傳播網(wǎng)絡(luò)[65](transductive propagation network, TPN)能利用數(shù)據(jù)中流形結(jié)構(gòu)的圖構(gòu)造模塊，學(xué)習(xí)將標(biāo)簽從有標(biāo)注的實(shí)例傳播到?jīng)]有標(biāo)注的測(cè)試實(shí)例。元學(xué)習(xí)方法在不斷的改進(jìn)優(yōu)化中逐步克服已有問(wèn)題，從各個(gè)方面有效緩解數(shù)據(jù)規(guī)模小的問(wèn)題。

圖2 關(guān)系網(wǎng)絡(luò)Fig.2 Relation network

1.2 小樣本數(shù)據(jù)的特征提取

特征提取階段是進(jìn)行影像識(shí)別時(shí)最為關(guān)鍵的一環(huán)，由于可用數(shù)據(jù)相對(duì)較少，特征提取對(duì)小樣本而言尤為重要?；陬?lèi)間距離的條件GAN方法[66]運(yùn)用最大期望算法對(duì)原始樣本中的缺失值進(jìn)行填充，并在生成網(wǎng)絡(luò)中加入類(lèi)間區(qū)分度信息，克服類(lèi)內(nèi)和類(lèi)間生成樣本難以區(qū)分的問(wèn)題；端到端學(xué)習(xí)框架提取更健壯的跨域多模態(tài)表示[67]能將自動(dòng)編碼器與跨領(lǐng)域?qū)W習(xí)標(biāo)準(zhǔn)(即最大平均差異損失)相結(jié)合，學(xué)習(xí)語(yǔ)義和視覺(jué)特征的聯(lián)合(包括標(biāo)注和非標(biāo)注數(shù)據(jù))嵌入，應(yīng)用于單樣本學(xué)習(xí)和小樣本圖像識(shí)別和檢索。

小樣本數(shù)據(jù)的特征維數(shù)相對(duì)于其樣本數(shù)量而言較多帶來(lái)特征降維問(wèn)題。特征選擇對(duì)樣本數(shù)據(jù)中的不相關(guān)和冗余性特征起過(guò)濾作用，提高數(shù)據(jù)集中可用數(shù)據(jù)的質(zhì)量，可最大限度減少訓(xùn)練過(guò)程中使用的計(jì)算資源，達(dá)到加快數(shù)據(jù)挖掘的效果。基于互信息的過(guò)濾型特征選擇方法[68]和采用MIFS(MI-haled feature selection)算法計(jì)算選出最大相關(guān)性的特征以降低數(shù)據(jù)集維度的方法[69]是兩種較為經(jīng)典的方法，前者同時(shí)考慮相關(guān)性與冗余性，后者通過(guò)計(jì)算篩選出最大相關(guān)性特征。此外，在分析小樣本數(shù)據(jù)時(shí)，結(jié)合貝葉斯模型[27,70-79]同樣能從單一訓(xùn)練例子中學(xué)習(xí)新類(lèi)別，將先驗(yàn)知識(shí)從先前學(xué)習(xí)的類(lèi)別遷移到新的類(lèi)別，可更好地對(duì)所提取特征進(jìn)行關(guān)聯(lián)分析。

1.3 小樣本圖像分類(lèi)

深度學(xué)習(xí)的小樣本分類(lèi)與識(shí)別模型的優(yōu)化主要基于數(shù)據(jù)增強(qiáng)和模型泛化。數(shù)據(jù)增強(qiáng)技術(shù)能在一定程度上增加樣本數(shù)量，提高模型泛化性。但過(guò)擬合現(xiàn)象依舊存在，甚至某些數(shù)據(jù)增強(qiáng)手段可能會(huì)污染樣本。盡管結(jié)合生成模型和遷移學(xué)習(xí)的訓(xùn)練可提高準(zhǔn)確率，但基于詞袋模型[38,39,80](bag-of-words, BoW)的小樣本圖像分類(lèi)不具備通用性。傳統(tǒng)的基于梯度的非線性?xún)?yōu)化技術(shù)應(yīng)用于小樣本數(shù)據(jù)通常會(huì)出現(xiàn)問(wèn)題[40]，基于梯度[42,43]的元學(xué)習(xí)方法可利用梯度下降來(lái)學(xué)習(xí)各種任務(wù)之間的共性。殘差網(wǎng)絡(luò)[81]在圖像分類(lèi)上取得很好的效果，是因?yàn)槠浜诵臍埐顗K既能減輕網(wǎng)絡(luò)層數(shù)負(fù)擔(dān)，又能在網(wǎng)絡(luò)的任何位置插入，緩解梯度爆炸等問(wèn)題。

由于小樣本學(xué)習(xí)往往只關(guān)注目標(biāo)的分類(lèi)問(wèn)題，一旦學(xué)習(xí)到的模型對(duì)源數(shù)據(jù)類(lèi)別不適用，將帶來(lái)災(zāi)難性遺忘的后果。使用特定的損失函數(shù)來(lái)緩解該問(wèn)題，如EWC(elastic weight consolidation)模型[82]將當(dāng)前任務(wù)的重要性權(quán)重引入其中，或者添加到蒸餾神經(jīng)網(wǎng)絡(luò)[83]，用來(lái)保證網(wǎng)絡(luò)更新前后不過(guò)多影響新任務(wù)輸出的特征來(lái)克服災(zāi)難性遺忘。使用關(guān)系網(wǎng)絡(luò)[84](relation network, RN)通過(guò)計(jì)算查詢(xún)圖像和每個(gè)新類(lèi)的少數(shù)例子之間的關(guān)系分?jǐn)?shù)來(lái)對(duì)新類(lèi)進(jìn)行圖像分類(lèi)，無(wú)需進(jìn)一步更新網(wǎng)絡(luò)。采取對(duì)數(shù)據(jù)集的操作如使用LSTM控制器和注意機(jī)制來(lái)保證寫(xiě)入到抽象內(nèi)存的數(shù)據(jù)與查詢(xún)示例相關(guān)聯(lián)[85]，引入基于屬性的分類(lèi)來(lái)解決訓(xùn)練類(lèi)和測(cè)試類(lèi)不相交時(shí)的目標(biāo)分類(lèi)問(wèn)題[86]，以及直接訓(xùn)練示例嵌入層激活的適當(dāng)比例獲取印記權(quán)重向量[87]等方法解決災(zāi)難性遺忘，會(huì)帶來(lái)計(jì)算量的增加。

視頻影像的分類(lèi)涉及到動(dòng)態(tài)圖像的捕捉和識(shí)別，某一個(gè)對(duì)象或者某種狀態(tài)都可看成是單樣本，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)的要求相對(duì)較高，這一應(yīng)用的進(jìn)步也帶動(dòng)小樣本圖像分類(lèi)的發(fā)展。例如，將可變長(zhǎng)度的視頻序列編碼為固定大小的矩陣表示形式的多顯著性嵌入算法[88]；基于注意力的小樣本分類(lèi)權(quán)重生成器的對(duì)象識(shí)別系統(tǒng)[89]；基于全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的單樣本視頻對(duì)象分割(one-shot video object segmentation, OSVOS)[90]方法；采用匹配網(wǎng)絡(luò)的單樣本學(xué)習(xí)技術(shù)提出基于示例的動(dòng)作檢測(cè)方法[91]等，視頻分類(lèi)主要方向是對(duì)于樣本數(shù)據(jù)的擴(kuò)充。此外， 共現(xiàn)分析(co-occurrence statistics, COSTA)[92]結(jié)合知識(shí)遷移并使用共現(xiàn)矩陣來(lái)定義權(quán)重，指出零標(biāo)注分類(lèi)器可以用作小樣本學(xué)習(xí)的先驗(yàn)條件。類(lèi)似的方法還包括：在零標(biāo)注學(xué)習(xí)場(chǎng)景中引入圖像和標(biāo)簽嵌入兼容性[75]、從單個(gè)示例學(xué)習(xí)對(duì)象分類(lèi)器[93]、利用語(yǔ)義嵌入和分類(lèi)關(guān)系來(lái)預(yù)測(cè)分類(lèi)器的圖卷積網(wǎng)絡(luò)(graph convolutional network, GCN)[94]、使用源數(shù)據(jù)構(gòu)建大量模型庫(kù)[95]后通過(guò)分類(lèi)器來(lái)使目標(biāo)數(shù)據(jù)回歸到模型庫(kù)中。若作為小樣本學(xué)習(xí)的先驗(yàn)條件，移植到小樣本下作為參考，或能在一定程度上降低學(xué)習(xí)新類(lèi)別的訓(xùn)練難度。

2 小樣本學(xué)習(xí)方法應(yīng)用于遙感影像分類(lèi)與識(shí)別

遙感影像分類(lèi)與識(shí)別領(lǐng)域存在普遍性與特殊性。其普遍性在于遙感影像是一類(lèi)圖像，對(duì)圖像的處理已有相對(duì)成熟的方法和體系，如深度信念網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等；其特殊性在于遙感影像是一種特殊的圖像，影像信息量大但細(xì)節(jié)針對(duì)性不強(qiáng)，因?yàn)樵谟跋癖澈罅粲写罅啃畔?，如地理坐?biāo)、矢量數(shù)據(jù)，并且很可能涉及一些敏感信息。因此，遙感影像數(shù)據(jù)必然需要經(jīng)過(guò)預(yù)處理。與此同時(shí)，對(duì)于某些地物特征或者識(shí)別物的識(shí)別，必然存在小樣本問(wèn)題。綜合小樣本學(xué)習(xí)在各領(lǐng)域的應(yīng)用，可以確定小樣本學(xué)習(xí)應(yīng)用于遙感影像領(lǐng)域極有研究?jī)r(jià)值。

無(wú)論是基于ImageNet、CIFAR10/100、AFW等數(shù)據(jù)集的計(jì)算機(jī)視覺(jué)研究，還是基于MSAR、CNMER、CAIL2018等數(shù)據(jù)集的自然語(yǔ)言處理研究，深度學(xué)習(xí)的方法、模型之所以迅速發(fā)展緣于類(lèi)別多樣、數(shù)據(jù)規(guī)模龐大的樣本集合。對(duì)于遙感影像，公開(kāi)且便于模型訓(xùn)練的數(shù)據(jù)集相當(dāng)匱乏。這導(dǎo)致研究者使用的都是從不同渠道獲得的非開(kāi)源數(shù)據(jù)庫(kù)，其他研究人員既無(wú)從復(fù)現(xiàn)結(jié)果也很難作為實(shí)際研究參考，造成研究理論和實(shí)驗(yàn)方法對(duì)比困難，這在很大程度上減緩了深度學(xué)習(xí)應(yīng)用于遙感影像處理的進(jìn)展。

2.1 高分遙感影像分類(lèi)與識(shí)別

遙感影像的分類(lèi)與識(shí)別存在較多問(wèn)題[96]。其一，遙感影像數(shù)據(jù)集存在數(shù)量不足及質(zhì)量不高等問(wèn)題：一是數(shù)據(jù)集樣本少，由于研究者獲取數(shù)據(jù)來(lái)源不足以及處理數(shù)據(jù)成本高，收集實(shí)驗(yàn)數(shù)據(jù)需花費(fèi)大量精力；二是數(shù)據(jù)尺度不同，不同數(shù)據(jù)獲取方式所得遙感影像數(shù)據(jù)尺度有差別，如不同地物特征尺度不同，而常見(jiàn)的機(jī)器學(xué)習(xí)模型多難以處理多尺度數(shù)據(jù)；三是數(shù)據(jù)因遠(yuǎn)距離獲取而包含噪聲，且包含大范圍復(fù)雜場(chǎng)景，使得區(qū)分度不明顯，進(jìn)行多場(chǎng)景分類(lèi)時(shí)導(dǎo)致精度降低；四是數(shù)據(jù)分布不均衡，類(lèi)間不均衡，類(lèi)內(nèi)也不均衡。其二，遙感影像不同于常規(guī)圖像，使用現(xiàn)有模型多無(wú)法處理到影像本身包含的多層信息，導(dǎo)致關(guān)鍵的細(xì)節(jié)信息被忽略，故深度學(xué)習(xí)通用模型很難直接用于遙感影像處理。

深度學(xué)習(xí)理論針對(duì)激活函數(shù)、參數(shù)初始化、過(guò)擬合問(wèn)題等多方面的研究越來(lái)越完善，結(jié)合深度學(xué)習(xí)模型的影像分類(lèi)取得越來(lái)越多的成果。但隨著網(wǎng)絡(luò)模型深度的增加，梯度彌散問(wèn)題也越來(lái)越嚴(yán)重。深度殘差網(wǎng)絡(luò)(deep residual network, ResNet)用殘差塊代替深度神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)層，使得網(wǎng)絡(luò)深度可跨越性地增加到上千層，同時(shí)還能在一定程度上改善深度網(wǎng)絡(luò)梯度彌散的問(wèn)題。小樣本數(shù)據(jù)的梯度彌散問(wèn)題與過(guò)擬合存在聯(lián)系[97]，若僅考慮改善梯度彌散問(wèn)題，并不一定能同時(shí)減少過(guò)擬合。此外，與中、低分辨率影像相比，高分辨率遙感影像表現(xiàn)出明顯的分辨率差異、復(fù)雜的失真和可重復(fù)的紋理等特點(diǎn)。因此，通過(guò)多級(jí)相似模型[98]解決關(guān)鍵點(diǎn)錯(cuò)誤匹配的問(wèn)題，基于尺度可變區(qū)域合并的分割算法[99]解決不同地理對(duì)象大小相差較大的問(wèn)題，可為高分遙感影像處理提供思路[100]。

2.2 結(jié)合小樣本學(xué)習(xí)的高分遙感影像分類(lèi)與識(shí)別

遙感影像分類(lèi)與識(shí)別是生產(chǎn)實(shí)踐中的重要環(huán)節(jié)，特別是影像的分類(lèi)精度，是進(jìn)行其他統(tǒng)計(jì)分析的必要前提和條件。分類(lèi)精度與分類(lèi)過(guò)程中的數(shù)據(jù)預(yù)處理、樣本選擇、波段選擇、分類(lèi)算法等諸多因素密切相關(guān)。在多種因素的影響下，模型分類(lèi)精度最終表現(xiàn)具有不確定性。目前，能夠兼顧整個(gè)分類(lèi)過(guò)程的影響，提高模型整體分類(lèi)精度的方法和技術(shù)很少[101]。

針對(duì)遙感影像數(shù)據(jù)的特點(diǎn)，特征提取可考慮“多源數(shù)據(jù)+空間特征+時(shí)序特征”相結(jié)合，充分利用影像數(shù)據(jù)的特殊性及時(shí)間關(guān)聯(lián)性。常規(guī)影像分類(lèi)模型設(shè)計(jì)方法，如支持向量機(jī)與最近鄰算法都能較好地區(qū)分傳統(tǒng)影像。若基于深度學(xué)習(xí)模型進(jìn)行特征提取，通過(guò)訓(xùn)練模型提取所需特征，則是由模型區(qū)分最佳模型得到最終分類(lèi)[102]?；趯\生網(wǎng)絡(luò)的時(shí)空注意神經(jīng)網(wǎng)絡(luò)[103]，加入自注意力機(jī)制來(lái)對(duì)時(shí)空關(guān)系進(jìn)行建模，自我注意模塊計(jì)算任意兩個(gè)像素在不同時(shí)間和位置之間的注意權(quán)重，并使用它們來(lái)生成更具區(qū)別性的特征。通過(guò)“通道注意”[104]選擇最具判別性的濾波器(特征)，并引入“領(lǐng)域特定遷移學(xué)習(xí)”，利用不同分辨率的遙感數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練來(lái)緩解數(shù)據(jù)稀缺問(wèn)題。這些研究表明，通過(guò)加入注意力機(jī)制可獲得更具區(qū)分性的特征。

樣本及波段選擇決定了影像處理的粒度。遙感影像分類(lèi)包括基于底層特征如形狀大小、顏色、紋理的場(chǎng)景分類(lèi)方法，基于中層特征如視覺(jué)詞袋模型、概率模型的場(chǎng)景分類(lèi)方法，以及基于高層特征如語(yǔ)義信息的場(chǎng)景分類(lèi)方法。一些研究方法的主要思路從利用已有模型和已公開(kāi)數(shù)據(jù)集兩個(gè)方面展開(kāi)：其一是通過(guò)已獲取的遙感影像數(shù)據(jù)訓(xùn)練得出深度卷積神經(jīng)網(wǎng)絡(luò)模型模型，經(jīng)過(guò)微調(diào)后或直接應(yīng)用在遙感影像的場(chǎng)景分類(lèi)中；其二是基于目前已公開(kāi)遙感影像場(chǎng)景數(shù)據(jù)集自主設(shè)計(jì)和訓(xùn)練出不同于已有模型的新卷積神經(jīng)網(wǎng)絡(luò)[100]。例如，將CNN和高分遙感影像的紋理特征集成在一起[31]的灰度共生矩陣紋理特征提取方法可減少訓(xùn)練樣本和參數(shù)；差分增強(qiáng)密集注意卷積神經(jīng)網(wǎng)絡(luò)[105]則是結(jié)合空間上下文，利用類(lèi)別信息豐富的高層特征來(lái)指導(dǎo)低層特征的選擇；基于稀疏編碼的空間金字塔最大池化模型的零樣本學(xué)習(xí)算法[106]可獲取尺度不變特征完成圖像的屬性預(yù)測(cè)，基于多尺度特征和集成遷移學(xué)習(xí)的細(xì)粒度圖像分類(lèi)算法[107-108]可以分別提取不同尺度的特征圖并訓(xùn)練得到較高的分類(lèi)準(zhǔn)確率；通過(guò)各自的卷積神經(jīng)網(wǎng)絡(luò)來(lái)達(dá)到減少訓(xùn)練數(shù)據(jù)的目的[109-111]，利用GAN來(lái)解決生成圖像建模，從復(fù)雜的數(shù)據(jù)集(例如ImageNet)中生成高分辨率、多樣本的問(wèn)題。

由于遙感影像的特殊性，分類(lèi)算法選擇涉及諸多因素。對(duì)高分、高光譜影像分類(lèi)而言，普遍存在數(shù)據(jù)維度高、數(shù)據(jù)樣本少的問(wèn)題。相關(guān)研究包括：對(duì)高光譜的光譜通道降維，通過(guò)波段選擇和特征變換提取光譜特征，并選擇針對(duì)小樣本的分類(lèi)器用于分類(lèi)；融合高光譜影像的空間信息增加樣本的穩(wěn)定性，減少數(shù)據(jù)中的噪聲影響，結(jié)合地物的空間特征和光譜特征信息緩解“維數(shù)災(zāi)難”；設(shè)計(jì)激活函數(shù)PRetanh用于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)中的高光譜數(shù)據(jù)處理[108]；通過(guò)主成分變換方法消除光譜冗余信息[109]；通過(guò)三維卷積計(jì)算進(jìn)行高光譜影像的三維空間特征和光譜特征的提取[110]；采用全卷積層和無(wú)池化層的網(wǎng)絡(luò)有效提取小樣本光譜特征，獲得較高的影像分類(lèi)性能[111]。而結(jié)合殘差網(wǎng)絡(luò)的思想加入殘差塊對(duì)高光譜影像進(jìn)行分類(lèi)，也可緩解影像數(shù)據(jù)高維、小樣本所帶來(lái)的問(wèn)題。這些特征提取的研究思路與方法，可以借鑒到高分遙感影像上。對(duì)于高分(very high resolution, VHR)遙感影像而言，結(jié)合語(yǔ)義分割模型DeepLabv3與基于對(duì)象的圖像分析(object-based image analysis, OBIA)相結(jié)合的VHR影像語(yǔ)義分割方法[112]可增強(qiáng)影像解釋能力，結(jié)合YOLO v4和隨機(jī)森林算法[113]與改進(jìn)條件隨機(jī)場(chǎng)[114]的方法可用于縮短對(duì)所分類(lèi)影像的提取時(shí)間。密集殘差神經(jīng)網(wǎng)絡(luò)[115](dense residual neural network, DR-Net)明顯提升建筑物提取準(zhǔn)確率；金字塔自注意網(wǎng)絡(luò)[116](pyramid self-attention network, PISANet)利用局部特征、全局特征和綜合特征降低網(wǎng)絡(luò)復(fù)雜度。這些研究方法表明，特征提取方式和提取時(shí)間是高分遙感影像分類(lèi)面臨的主要挑戰(zhàn)。

2.3 小樣本學(xué)習(xí)在高分遙感影像分類(lèi)與識(shí)別的發(fā)展

應(yīng)用注意力機(jī)制和遷移學(xué)習(xí)，小樣本學(xué)習(xí)在遙感影像識(shí)別與分類(lèi)研究中有較大的提升空間和推廣價(jià)值。小樣本學(xué)習(xí)由于訓(xùn)練樣本量較少，模型從訓(xùn)練集中提取信息相對(duì)有限；而注意力機(jī)制通過(guò)權(quán)重分配可有針對(duì)性地提取所需的必要信息。因此在有限的訓(xùn)練樣本下可以通過(guò)注意力機(jī)制來(lái)提取對(duì)影像具有更強(qiáng)表示性的特征,即對(duì)分類(lèi)效果產(chǎn)生明顯影響的關(guān)鍵特征。小樣本學(xué)習(xí)的目標(biāo)是希望通過(guò)神經(jīng)網(wǎng)絡(luò)等模型讓機(jī)器去模擬甚至學(xué)會(huì)跟人類(lèi)相近的學(xué)習(xí)方式和泛化能力。人類(lèi)之所以能在識(shí)別過(guò)程中無(wú)須大量樣本就對(duì)物體、影像等具備很強(qiáng)的識(shí)別能力，關(guān)鍵之一就是利用視覺(jué)注意力——一旦獲取主體特征就能迅速識(shí)別。注意力機(jī)制之所以被普遍使用，其原因之一是其能夠提高神經(jīng)網(wǎng)絡(luò)的可解釋性[95]。在各類(lèi)不同應(yīng)用場(chǎng)景下，研究者提出的軟、硬注意力機(jī)制[96]、自注意力機(jī)制[97]以及相互注意力機(jī)制[98]等注意力模型，因其直觀性、通用性以及可解釋性對(duì)小樣本影像分類(lèi)任務(wù)作出了諸多貢獻(xiàn)。

給定源域與對(duì)應(yīng)學(xué)習(xí)任務(wù)、目標(biāo)域與對(duì)應(yīng)學(xué)習(xí)任務(wù)，通過(guò)遷移學(xué)習(xí)獲取源域及其學(xué)習(xí)任務(wù)中的知識(shí)提升目標(biāo)域中預(yù)測(cè)函數(shù)的性能。遷移學(xué)習(xí)的應(yīng)用不限于特定領(lǐng)域，只要所研究問(wèn)題滿(mǎn)足遷移學(xué)習(xí)場(chǎng)景即可。遷移學(xué)習(xí)不僅可以借助預(yù)訓(xùn)練模型進(jìn)一步學(xué)習(xí)，還可以基于樣本遷移、特征遷移和關(guān)系遷移達(dá)到同樣目的。當(dāng)源域與目標(biāo)域重疊、特征眾多時(shí)可基于樣本實(shí)現(xiàn)遷移；只有一部分重疊時(shí)可實(shí)現(xiàn)基于特征遷移，最終通過(guò)特征變換的方式互相遷移以減少源域和目標(biāo)域之間的差距。最常用的基于模型的遷移則是源域和目標(biāo)域共享學(xué)習(xí)方法的參數(shù)或超參數(shù)?；陉P(guān)系的遷移是因?yàn)樵谟蚧蛘呷蝿?wù)之間樣本之間的某些關(guān)系是相似的。結(jié)合遷移學(xué)習(xí)思想與元學(xué)習(xí)的策略進(jìn)行小樣本數(shù)據(jù)的訓(xùn)練，可得到表示性更強(qiáng)的遷移特征。

綜上，小樣本學(xué)習(xí)方法在遙感影像處理時(shí)相對(duì)其他方法有較好的效果。

3 未來(lái)研究展望

針對(duì)當(dāng)前高分遙感影像分類(lèi)與識(shí)別存在的問(wèn)題，未來(lái)研究工作可考慮從以下4方面著手：

1)建設(shè)公共遙感實(shí)驗(yàn)數(shù)據(jù)集和統(tǒng)一的評(píng)估標(biāo)準(zhǔn)。當(dāng)使用不同的數(shù)據(jù)采集方式或者不同的遙感信息源時(shí)，制作出來(lái)的遙感數(shù)據(jù)集規(guī)格和數(shù)據(jù)尺寸存在較大差異，使得數(shù)據(jù)預(yù)處理更加困難。因此制定統(tǒng)一的遙感公共數(shù)據(jù)集標(biāo)準(zhǔn)對(duì)遙感影像研究和應(yīng)用至關(guān)重要。

2)提高算法的泛化能力。首先，由于受到成像時(shí)間、位置和平臺(tái)的差異而導(dǎo)致的域偏移的影響，模型的學(xué)習(xí)性能需要在小樣本條件下足夠穩(wěn)健。其次，尋找可行的單樣本學(xué)習(xí)不僅可以運(yùn)用于具有固定類(lèi)型的特定對(duì)象類(lèi)別，而且能以快速的適應(yīng)能力推廣到多個(gè)對(duì)象的學(xué)習(xí)任務(wù)中。

3)增強(qiáng)算法的魯棒性以提高承受標(biāo)簽噪聲能力。針對(duì)數(shù)據(jù)尺度不同問(wèn)題，采取多尺度融合方式提取獲得適合影像處理需要的特征尺度圖；針對(duì)噪聲問(wèn)題采取對(duì)訓(xùn)練集數(shù)據(jù)同步添加噪聲來(lái)抑制噪聲對(duì)影像處理結(jié)果的影響；至于數(shù)據(jù)分布不均衡問(wèn)題，考慮模型集成結(jié)合使用多個(gè)模型方法，在影像處理不同階段分別使用不同的模型而非一個(gè)模型貫穿到底。

4)使用GAN和感知損失生成細(xì)節(jié)豐富的影像。利用GAN擴(kuò)充和加強(qiáng)遙感影像數(shù)據(jù)的細(xì)節(jié)，通過(guò)對(duì)抗訓(xùn)練挖掘影像數(shù)據(jù)的更多信息，能夠避免高分辨率影像缺乏紋理細(xì)節(jié)信息的問(wèn)題。