基于三元采樣圖卷積網(wǎng)絡(luò)的半監(jiān)督遙感圖像檢索

馮孝鑫 王子健 吳 奇*

①(上海交通大學電子信息與電氣工程學院 上海 200240)

②(香港大學化學系 香港 999077)

1 引言

近年來由于遙感衛(wèi)星數(shù)量的增多，導致遙感圖像的數(shù)據(jù)量正在以指數(shù)級增長，這對遙感數(shù)據(jù)庫的設(shè)計提出了新的挑戰(zhàn)。圖像檢索是遙感數(shù)據(jù)庫的基本功能，如何在遙感圖像數(shù)據(jù)庫中準確地對給定查詢圖像的相關(guān)圖進行檢索是當下遙感圖像數(shù)據(jù)庫一個重要的研究內(nèi)容?；趦?nèi)容的圖像檢索(Content-Based Image Retrieval, CBIR)正在成為具有海量圖像的大型遙感數(shù)據(jù)庫值得深入探索的技術(shù)問題。

為了實現(xiàn)準確的CBIR，國內(nèi)外相關(guān)研究提出了多種基于深度學習的圖像檢索方法，特別是基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的圖像檢索方法以其強大特征提取能力受到了廣泛的關(guān)注[1]。例如，Ye等人[2]提出了一個兩階段模型，首先通過CNN提取圖像特征，再根據(jù)特征空間中的加權(quán)距離計算圖像的相似度來評估數(shù)據(jù)庫圖像與給定查詢圖像的相似性。為了實現(xiàn)可擴展和高精度的圖像檢索，Roy等人[3]提出了一種基于度量學習的深度哈希網(wǎng)絡(luò)以學習遙感圖像的哈希碼。該網(wǎng)絡(luò)將圖像的三元組作為輸入，驅(qū)動度量學習并得到嵌入空間。目前，將三元組與三元組損失函數(shù)[4]結(jié)合使用是訓練深度度量學習模型的常用方法。三元組即由一個錨點樣本、一個與錨點樣本同類別的正樣本以及一個來自其余類別的負樣本組成的一組訓練樣本。由三元組損失驅(qū)動的深度模型旨在減小同類圖像樣本在度量空間中的距離并增大不同類圖像的距離。學習得到的嵌入空間的有效性在一定程度上取決于所選擇的三元組。因此，選擇合適的三元組有助于提高度量學習模型最終的圖像檢索性能。

目前一些研究表明[5]，基于度量空間(空間中語義相似的圖像彼此接近)的深度度量學習方法在遙感圖像檢索任務(wù)中具有顯著效果，尤其是基于三元組的度量學習方法。其優(yōu)化目標是在最小化錨點與其正樣本之間的特征距離的同時最大化錨點與負樣本之間的特征距離，最終使得正樣本比負樣本更接近錨點樣本。如果三元組中的錨點樣本與正樣本之間的距離小于錨點樣本與負樣本之間的距離，則該三元組被視為困難三元組(Hard Triplet)。反之，如果三元組中的錨點樣本與正樣本之間的距離大于錨點樣本與負樣本之間的距離，則該三元組被視為簡單三元組(Easy Triplet)。圖1展示了三元組的度量學習和度量空間更新過程。其中，圖像Xp和Xn分別作為正樣本和負樣本圖像，與錨點圖像Xa共同構(gòu)成困難三元組。圖像樣本之間的距離表征了圖像樣本之間的相似度。在三元組損失的驅(qū)動下，該三元組更新度量空間后，Xp被拉近Xa得到Xp′，而Xn則 被疏遠Xa得到Xn′。

圖1 三元組與度量學習

隨機三元組采樣算法(R a n d o m T r i p l e t Sampling, RTS)指在訓練樣本中采用隨機選擇的方式根據(jù)樣本類別標簽構(gòu)建三元組的方法，由于數(shù)據(jù)的類內(nèi)相似性和類間相似性差異，通過此種方法構(gòu)建的三元組有很大比例為簡單三元組。在訓練中，如果使用簡單三元組組成的樣本集合，將導致計算損失時梯度值小，收斂速度慢。因此，選擇利用構(gòu)建困難三元組組成的樣本集合進行訓練能夠獲得更高損失值與梯度值，從而有效地加速模型參數(shù)的更新。

三元組深度度量學習算法的研究主要包含三元組損失函數(shù)改進和三元組采樣算法優(yōu)化兩個方面。針對三元組損失函數(shù)的研究中，Zhang等人[6]基于focal loss對現(xiàn)有的三元組損失函數(shù)進行了改進，賦予困難三元組更高的權(quán)重。Kim等人[7]提出了新的用于姿態(tài)估計的三元組損失，其保留了嵌入空間中與標簽空間的距離比。部分研究同樣聚焦于提出具有加權(quán)策略的三元組[8,9]，增強困難樣本在訓練中的效果。Wang等人[9]提出了多類別N對損失函數(shù)的三元組損失函數(shù)。Zhang等人[10]引入了Dual-anchor三元組損失函數(shù)，除了三元組損失的目標之外，該損失函數(shù)同時增加了給定錨點與正樣本和負樣本之間的距離。Wu等人[11]證明當使用相同的采樣算法時，使用不同改進損失函數(shù)的深度學習模型能夠得到相似的精度水平。

目前遙感圖像領(lǐng)域的大多數(shù)方法在選擇三元組中樣本圖像中并未考慮到所選擇三元組中樣本圖像的性質(zhì)，主要利用上文中提到的隨機三元組采樣算法[11]。而在計算機視覺領(lǐng)域的研究中，三元組選擇的重要性則被更廣泛的研究[12]。例如，Xuan等人[13]提出了一種三元組選擇算法，為每個錨點樣本選擇最接近的簡單正樣本(Easy positive)和最接近的困難負樣本(Hard negative)。Yuan等人[14]提出HDC (Hard-aware Deeply Cascaded)嵌入方法。對于每個錨點和一個選定的正樣本，HDC選擇多個難度級別的負樣本來構(gòu)建不同的三元組。其中，難度級別根據(jù)嵌入空間中的距離定義。上述兩種算法無法有效學習正類中的難樣本。而Yang等人[15]則通過將正樣本圖像與該批次中的所有負類圖像對組合對困難正樣本進行了研究。Ge等人[16]同樣提出了一種困難三元組選擇方法，該方法為整個數(shù)據(jù)集構(gòu)建圖像特征的類級層次樹，并遞歸合并視覺上相似的類，基于錨點圖像和不同圖像類對之間通過分層樹計算的距離來選擇三元組。然而，這類算法往往需要在整個數(shù)據(jù)集或大批量樣本中采樣困難三元組，效率較低且網(wǎng)絡(luò)泛化性差，易陷入局部最優(yōu)?？梢园l(fā)現(xiàn)，現(xiàn)有主流三元組算法在困難三元組采樣上仍存在不足，因此，本文聚焦于提出一種更合理有效的困難三元組采樣算法。

目前，大多數(shù)基于三元組的方法根據(jù)圖像類別選擇樣本從而構(gòu)建三元組。然而，此類有監(jiān)督的學習方式意味著需要大量有標注圖像[17]。在實際的遙感圖像應(yīng)用中，獲取大量的有標注遙感圖像是一件耗時、耗力、標注難度極大的工作。近期的部分研究已經(jīng)證明，通過基于圖結(jié)構(gòu)的半監(jiān)督方式學習圖像表征以及學習不同圖像之間的關(guān)系有著顯著效果[18]?；趫D結(jié)構(gòu)的半監(jiān)督學習的主要思想是通過將訓練圖像的標簽借助圖結(jié)構(gòu)(其中節(jié)點表示圖像，邊描述圖像之間的關(guān)系)傳播到未標注的圖像節(jié)點上。近年來已出現(xiàn)一系列通過深度神經(jīng)網(wǎng)絡(luò)來提取和利用圖結(jié)構(gòu)特征的方法，其中，圖卷積網(wǎng)絡(luò)(Graph Convolutional Network, GCN)是最具代表性的一種方法。圖卷積網(wǎng)絡(luò)是由Duvenaud等人[19]提出的，GCN被定義為在圖結(jié)構(gòu)化數(shù)據(jù)上實現(xiàn)端到端學習的一種卷積神經(jīng)網(wǎng)絡(luò)。之后，Jiang等人提出Graph Learning Convolutional Network，以獲得用于半監(jiān)督學習的最佳圖表示。Bruna等人[20]使用平滑譜乘子在圖上構(gòu)建了Spectral-based深度神經(jīng)網(wǎng)絡(luò)。此外，Kipf等人[21]首次采用GCN進行半監(jiān)督分類。

在遙感領(lǐng)域，Kang等人[22]提出一種基于圖網(wǎng)絡(luò)的多標簽遙感圖像分類與檢索方法，通過圖結(jié)構(gòu)對多標簽遙感圖像的標簽依賴性和場景相關(guān)性進行建模。Chaudhuri等人[23]基于學習遙感圖像的判別特征空間提出了Siamese GCN模型，以實現(xiàn)圖像檢索。該模型由兩個GCN組成，用于測量一對圖嵌入樣本之間的相似性。孿生GCN架構(gòu)實現(xiàn)了相應(yīng)樣本度量空間的學習。然而，由于僅考慮樣本對，孿生GCN架構(gòu)難以充分捕獲具有復雜語義內(nèi)容的遙感圖像存在的高階相關(guān)性。計算機視覺領(lǐng)域近期提出了一種度量學習算法框架，其使用一種三元組驅(qū)動的有監(jiān)督度量學習框架來學習圖之間的距離[24]，通過比較圖編輯距離(Graph Edit Distance, GED)的近似值，將三元組損失直接應(yīng)用于圖樣本之間。上述幾種代表性算法均為有監(jiān)督算法，由于需要大量有標注的圖像，限制了其在遙感圖像檢索領(lǐng)域的適用性?？梢园l(fā)現(xiàn)，基于度量學習的主流算法在遙感半監(jiān)督場景下普遍存在局限性，無法有效學習無標注數(shù)據(jù)。因此，本文聚焦于提出一種基于圖卷積網(wǎng)絡(luò)的半監(jiān)督三元組算法，并應(yīng)用于遙感圖像檢索。

綜上可以看出，遙感領(lǐng)域以三元組算法為代表的度量學習方法主要存在兩方面的局限性，一是困難三元組采樣有效性不足，二是三元組算法無法用于半監(jiān)督學習。為解決以上問題，準確表征遙感圖像內(nèi)容以及評估不同圖像之間的相似性關(guān)系，本文提出了一種新的用于半監(jiān)督遙感圖像檢索的三元采樣圖卷積網(wǎng)絡(luò)。提出的方法在兩個遙感數(shù)據(jù)集上開展了實驗驗證。實驗結(jié)果說明了提出方法的可行性。此外，通過與基于三元組的近期深度度量學習方法相比，所提出的方法在準確學習度量空間方面的優(yōu)越性得到了驗證。

基于以上考慮，本文提出的遙感圖像檢索方法的主要創(chuàng)新點如下：

(1) 考慮到遙感圖像檢索的復雜性，提出了基于三元圖卷積網(wǎng)絡(luò)(Triplet Graph Convolutional Network, TGCN)的度量學習方法，以刻畫遙感圖像具有的復雜語義以及不同圖像之間存在相似性關(guān)系；

(2) 考慮到三元組采樣方式對度量學習效果的影響，提出了基于圖的三元組采樣(Graph-based Triplet Sampling, GTS)算法，通過圖結(jié)構(gòu)選擇最有效的三元組，從而提升度量學習模型訓練效率和精度；

(3) 考慮到遙感應(yīng)用中標注樣本稀缺的問題，提出了半監(jiān)督三元組算法，通過對圖的無標注節(jié)點分配偽標簽，并進一步用于構(gòu)建三元組輔助訓練，從而提升算法半監(jiān)督場景下的性能。

本文的結(jié)構(gòu)如下：第2節(jié)介紹三元采樣圖卷積網(wǎng)絡(luò)的結(jié)構(gòu)和算法原理；第3節(jié)給出實驗設(shè)計、實驗結(jié)果及分析，并在兩個遙感數(shù)據(jù)集上進行實驗。通過與當前主要度量學習算法的對比，在半監(jiān)督場景下驗證了所提出算法的優(yōu)越性；第4節(jié)對本文進行了總結(jié)。

2 三元采樣圖卷積網(wǎng)絡(luò)

2.1 三元圖卷積網(wǎng)絡(luò)

本文所提出的基于三元采樣圖卷積網(wǎng)絡(luò)由具有基于圖的三元組采樣GTS算法的TGCN組成。其中，TGCN包含3個結(jié)構(gòu)相同的網(wǎng)絡(luò)，彼此共享參數(shù)并以端到端的方式進行訓練(見圖2)。每個網(wǎng)絡(luò)由一個基于ResNet的CNN和一個3層GCN組成。給定一批訓練圖像X={xt}t=1,...,T，CNN作為嵌入網(wǎng)絡(luò)，通過嵌入函數(shù)φ(·)獲 得每個圖像xt ∈X的特征嵌入φ(xt)。具體來說，將一組由輸入圖像中錨點、正類和負類圖像(根據(jù)標簽相似性隨機選擇)構(gòu)成的三元組分別輸入各自對應(yīng)的CNN網(wǎng)絡(luò)φa，φ+和φ?中，輸出得到三元組對應(yīng)的特征嵌入，將該特征嵌入分別用于構(gòu)建圖Ga，G+和G?的初始節(jié)點。各圖其余節(jié)點使用來自X的剩余訓練圖像(包括標注和未標注圖像)構(gòu)建。

圖2 三元采樣圖卷積網(wǎng)絡(luò)

圖3給出了圖結(jié)構(gòu)的詳細構(gòu)建方式，圖結(jié)構(gòu)Ga=(Va,Ea)以 錨點和來自X的其余圖像作為初始節(jié)點進行構(gòu)建。其中，vi ∈V代表第i個節(jié)點，eij=(vi,vj)∈E代表一個連接vi和vj的 邊。圖Ga的第i個 節(jié)點vi ∈V初始狀態(tài)為圖像嵌入特征?(xi)和圖像標簽li的o n e-h o t 編碼hi的拼接向量，即vi=(?(xi),hi)。

圖3 圖構(gòu)建方式

圖的節(jié)點屬性用節(jié)點特征矩陣Z ∈Rn×d表示，其中zv ∈Rd是節(jié)點v的特征向量。

A ∈Rn×n是鄰接矩陣，其中Aij表示vi和vj的連通性?；卩徑雨P(guān)系，標簽信息通過圖結(jié)構(gòu)從標注圖像傳播到未標注圖像。

其中，Θ∈Rd×l表示網(wǎng)絡(luò)第k個卷積層中的可學習參數(shù)，ρ表示leaky-ReLU激活函數(shù)。

在每個GCN層之前，通過由3層神經(jīng)網(wǎng)絡(luò)Fθ參數(shù)化的對稱函數(shù)ψθ從節(jié)點的當前隱藏狀態(tài)中學習得到鄰接矩陣A。兩個節(jié)點的相似度根據(jù)節(jié)點的特征距離得到，表示為

與圖Ga類 似，用同樣的方式構(gòu)建圖G+和G?并將其分別作為正類圖樣本和負類圖樣本。之后將構(gòu)建的圖輸入到GCN中，GCN通過圖卷積操作對圖特征進行學習，并對標簽進行傳播，輸出得到圖嵌入。

最終，構(gòu)建的TGCN通過三元組損失進行優(yōu)化，該損失函數(shù)由GCN提供的圖嵌入作為三元組樣本輸入。

2.2 基于圖卷積的三元組采樣

為了訓練基于三元組的深度度量學習模型，選擇信息豐富且有效的三元組至關(guān)重要。選擇三元組的常用方法是基于類標簽相似性對圖像進行隨機選擇，即在與錨點相同的類中隨機選擇正類圖像，并在任何其他類別中隨機選擇負類圖像。這種隨機三元組采樣算法可能會獲得許多簡單三元組。由于簡單三元組在訓練過程中不會引起網(wǎng)絡(luò)參數(shù)的顯著變化而導致訓練效果較差[5]。為了避免該問題，本小節(jié)提出GTS算法，通過TGCN中訓練的圖卷積網(wǎng)絡(luò)在圖結(jié)構(gòu)中度量不同節(jié)點之間的相似關(guān)系，從而針對錨點圖像節(jié)點在圖上其余節(jié)點中選擇對應(yīng)的困難正樣本與困難負樣本節(jié)點。通過該方式構(gòu)建困難三元組，能夠使模型準確地學習不同類別之間的本質(zhì)差異[4]。具體的采樣算法如下：

通過以上方式，困難正樣本圖像可被自動選擇用于構(gòu)建三元組。困難負樣本圖像的選擇可以通過相同的方式來實現(xiàn)。困難三元組的損失函數(shù)計算為

此外，本文的圖像檢索是通過在由TGCN構(gòu)建的圖嵌入空間中使用的k-最近鄰算法實現(xiàn)的，即獲取查詢圖像并計算查詢圖像與所有存檔圖像之間的相似度函數(shù)以找到與查詢最相似的k個圖像。

2.3 半監(jiān)督三元組

基于三元組損失的度量學習是一種需要依賴于樣本標簽信息的有監(jiān)督學習。其通過樣本標簽劃分正樣本和負樣本，因此無法有效地利用大量的無標注訓練樣本。為此，本節(jié)在模型中引入基于圖卷積的半監(jiān)督三元組算法，通過GCN對Graph中由無標注訓練樣本構(gòu)成的節(jié)點分配正類或負類的偽標簽，將該樣本也用于組建三元組Graph并用于GCN度量學習。偽標簽準確度也會隨訓練迭代次數(shù)增加而提高，最終通過利用大量的無標注訓練樣本以進一步提升檢索的準確性。具體的策略如下：

對于每個batch中的錨點圖像xa，選擇部分正 類 圖 像Xp={xp}p=1,2,...,k， 負 類 圖 像Xn={xn}n=1,2,...,k以 及無標注圖像Xunlabel={xu}u=1,2,...,k組建mini-batch，通過CNN嵌入網(wǎng)絡(luò)生成初始節(jié)點特征并構(gòu)建圖Gu輸入GCN中，根據(jù)輸出的圖節(jié)點特征與邊特征計算對應(yīng)無標注圖像的偽標簽lu。lu的公式為

3 實驗

3.1 實驗設(shè)置

實驗在兩個不同的遙感數(shù)據(jù)集上進行。第1個數(shù)據(jù)集是Aerial Image Dataset (AID)[25]，由10000張圖像組成，包含30個類別。第2個數(shù)據(jù)集是NWPU-RESISC45[26]，該數(shù)據(jù)集包含31500張圖像的大型遙感數(shù)據(jù)集，共包含45個類別。對于這兩個數(shù)據(jù)集，隨機選擇每類圖像的70%和10%分別構(gòu)建訓練集和查詢集，其余圖像用于構(gòu)建測試集。本文中圖像檢索與分類任務(wù)均基于模型學習的特征進行。驗證集圖像輸入訓練完成的模型以構(gòu)建存檔特征庫，測試集圖像輸入訓練完成的模型以輸出圖像檢索的查詢圖像特征或圖像分類的測試樣本特征。本文中存檔特征與測試樣本特征維度均為64 維。

實驗中，對于訓練集，標注圖像比例分為設(shè)置為5%，15%和20%3種，其余圖像則被視為未標注的訓練圖像。用于構(gòu)建圖的初始節(jié)點特征是通過在ImageNet上預訓練的ResNet18模型[27]獲得的。來自上述兩個數(shù)據(jù)集的輸入圖像被統(tǒng)一調(diào)整為256像素×256像素。訓練中使用了RandomGrayscale,ColorJitter和RandomHorizontalFlip3種數(shù)據(jù)增強算法。訓練的Batchsize設(shè)置為16，三元組損失的閾值m設(shè)置為0.2。隨機梯度下降(Stochastic Gradient Descent, SGD)優(yōu)化器被用于更新梯度。此外，初始學習率設(shè)置為0.001，每30個epoch衰減0.5倍。在實驗中，使用歐幾里得距離作為K-最近鄰算法的相似度度量指標。實驗在由2個NVIDIA Tesla P100 GPU組成的集群上進行。

為了評估所提出的基于RTS(表示為TGCNRTS)和GTS(表示為TGCN-GTS)的TGCN模型的有效性，提出的算法與以下4種度量學習和半監(jiān)督學習算法進行比較：(1)基于三元組損失和Batch All Triplet Mining (BATM)的深度度量學習方法(DML)[27]；(2)D-CNN[28]；(3)SNCA[29]；(4)HRS2DML[30]。

實驗的檢索結(jié)果是針對不同的標注訓練數(shù)據(jù)率(Labeled Training Data Rates, LTDR)呈現(xiàn)的，例如10%LTDR表示使用了總圖像數(shù)量的10%作為有標注的訓練圖像。我們使用對前40幅檢索得到圖像的平均精度(mean Average Precision, mAP)作為檢索效果的評價指標。圖4展示了DML與提出的TGCN-RTS和TGCN-GTS3種算法在AID數(shù)據(jù)集上的檢索圖像示例。實例中查詢圖像為airport類，分別展示了從數(shù)據(jù)庫中檢索到的第1, 5, 9, 13和17幅圖像。

3.2 實驗結(jié)果

從圖4(b)可以看出，DML錯誤地檢索到了部分與查詢圖像無關(guān)的圖像(第13和第17張分別屬于commercial和railwaystation類)。與之相比，本文提出的TGCN-RTS和TGCN-GTS方法檢索到了語義上更相似的圖像。圖4(c)展示了TGCN-RTS的檢索結(jié)果，只有第17個檢索到的圖像與查詢圖像屬于不同的類別。而在圖4(d)中，TGCN-GTS檢索到的所有圖像都來自與查詢圖像相同的類別。由此驗證了，相比于RTS, GTS對TGCN模型的訓練能夠起到更好的提升效果。

圖4 圖像檢索結(jié)果對比

表1展示了各算法在AID和NWPU-RESISC45兩個數(shù)據(jù)集上獲得的檢索前40幅圖像的mAP。所有結(jié)果都表明TGCN在半監(jiān)督場景下明顯優(yōu)于DML,D-CNN, SNCA為代表的度量學習算法。以AID數(shù)據(jù)集上的實驗結(jié)果為例，當LTDR分別為5%，10%和20%時，TGCN-RTS算法與DML算法相比檢索mAP分別提高了9.76%, 8.37% 和 1.69%(見表1)。該實驗結(jié)果顯著地表明通過圖卷積網(wǎng)絡(luò)能夠?qū)W習到更好的數(shù)據(jù)結(jié)構(gòu)性信息以及能夠有效地利用未標注圖像，驗證了本文提出算法性能的優(yōu)越性。

從表1還可以看出，TGCN-GTS在所有LTDR上的表現(xiàn)都明顯優(yōu)于TGCN-RTS，例如，在AID數(shù)據(jù)集上，對于5%, 10%和20%的LTDR，分別為14.00%, 10.03%和8.78%。表1在NWPU-RESISC45數(shù)據(jù)集上也取得了類似的效果。TGCN-RTS和TGCN-GTS之間的差異表明了三元組采樣算法對最終檢索準確度的重要性，相比于隨機采樣三元組，選擇困難三元組能夠顯著地提高度量學習模型最終的圖像檢索性能。通過橫向?qū)Ρ?種不同標注比例下的實驗結(jié)果可以發(fā)現(xiàn)，TGCN-GTS算法在標注比例較低的半監(jiān)督場景下性能提升更為顯著。DML能夠利用三元組損失有效學習高判別性的度量空間，然而，由于其無法有效利用無標注訓練數(shù)據(jù)，在半監(jiān)督場景下存在局限性。而HRS2DML為代表的半監(jiān)督算法則無法有效建模細粒度遙感場景圖像的類內(nèi)差異性和類間相似性，訓練數(shù)據(jù)標注比例越低則其學習各場景類別特征相關(guān)性的效果下降越多。與之相比，本文的TGCN-GTS算法一方面能夠根據(jù)圖結(jié)構(gòu)的節(jié)點相關(guān)性對無標注數(shù)據(jù)分配偽標簽，另一方面能夠利用困難三元組學習細粒度遙感數(shù)據(jù)集的難樣本，利用有限的數(shù)據(jù)學習高判別性的度量空間。因此，在標注比例較低的半監(jiān)督場景中TGCN-GTS的優(yōu)勢更明顯。

需要指出的是，提出的TGCN模型實現(xiàn)的圖像檢索準確率的提升是以訓練階段的計算復雜度略有增加為代價的。表2對比了TGCN-RTS, TGCNGTS和DML3種模型的網(wǎng)絡(luò)參數(shù)量(Number of Parameters, NP)和浮點運算次數(shù)(Floating-point Operations, FLOPS)。通過分析表格，可以發(fā)現(xiàn)TGCN的NP和FLOPS與DML的比較接近。NP的增加是因為GCN引入了相關(guān)網(wǎng)絡(luò)參數(shù)。而FLOPS增加的主要包括以下2個原因：(1)與DML相比，GCN包含更多可學習的參數(shù)；(2)GTS算法涉及選擇困難三元組需要額外的計算量。值得注意的是，F(xiàn)LOPS與訓練的離線過程相關(guān)，因此不會影響檢索過程所需的在線計算時間。

表2 算法模型復雜度比較

為了進一步分析提出的GTS算法的性能，圖5給出通過t分布隨機鄰域嵌入(t-Distributed Stochastic Neighbor Embedding, t-SNE)將選擇的三元組從度量空間投影到2維空間中的結(jié)果。通過分析該圖可以發(fā)現(xiàn)，與RTS選擇的圖像樣本相比，GTS采樣的triplet樣本分布有以下特征：(1)正樣本和負樣本分布互相接近，視覺上互相重疊；(2)正樣本和負樣本呈現(xiàn)緊湊的聚類分布，主要由于以下2個原因。一方面GTS算法根據(jù)圖結(jié)構(gòu)中的相似性信息選擇困難三元組，從而在度量空間中錨點與正樣本距離較遠而與負樣本較近，此類困難正樣本和困難負樣本相互之間具有較難區(qū)分的高相似性。因此，在特征空間的2維映射下呈現(xiàn)相互重疊的位置關(guān)系。另一方面，對于每一個錨點樣本，選擇的困難正樣本和困難負樣本均屬于難樣本，而對于每一類錨點，其所有對應(yīng)的困難負樣本圖像均具有與該類別圖像相似度較高的特征，從而在特征空間中呈現(xiàn)聚類分布。因此，GTS算法相比于RTS有著更好的特征區(qū)分能力。

圖5 triplet樣本t-SNE 2維映射圖

4 結(jié)束語

本文提出了一種針對半監(jiān)督遙感圖像檢索問題的三元采樣圖卷積網(wǎng)絡(luò)，其由三元圖卷積網(wǎng)絡(luò)TGCN以及基于圖的三元組采樣GTS算法組成。TGCN提供了對遙感圖像復雜語義內(nèi)容及其相似性的更完整和詳細的表征。GTS提供了基于圖的更優(yōu)的樣本采樣方式以提升提高度量學習模型訓練效率和性能。在兩個遙感數(shù)據(jù)集上得到的測試結(jié)果表明，提出的TGCN-GTS由于其高精度的度量學習能力，顯著地提高圖像檢索的準確性。鑒于三元采樣圖卷積網(wǎng)絡(luò)在表征遙感圖像復雜語義信息及學習具有更高特征區(qū)分度的度量空間上的潛在優(yōu)越性，未來應(yīng)進一步探索其在多標簽遙感圖像檢索或分類領(lǐng)域內(nèi)的應(yīng)用。