相似度矩陣輔助遙感圖像無監(jiān)督哈希跨模態(tài)關(guān)聯(lián)

李浩然，熊偉，崔亞奇，顧祥岐，徐平亮

（海軍航空大學(xué) 信息融合研究所，煙臺(tái) 264001）

0 引言

近年來，隨著星載和機(jī)載等遙感探測(cè)手段的不斷豐富，獲取到的遙感數(shù)據(jù)類型更加多樣、數(shù)據(jù)規(guī)模不斷擴(kuò)大，有力帶動(dòng)了遙感領(lǐng)域跨模態(tài)關(guān)聯(lián)方法的發(fā)展?？缒B(tài)檢索任務(wù)是指根據(jù)給定模態(tài)中的查詢樣本，然后從其他模態(tài)中檢索出與其相關(guān)的數(shù)據(jù)，多模態(tài)數(shù)據(jù)通常包括圖像、文本、視頻、音頻等［1］。而遙感圖像和文本是情報(bào)信息的重要組成部分，遙感圖像與文本信息之間關(guān)聯(lián)關(guān)系的建立對(duì)多源情報(bào)數(shù)據(jù)的有效利用有著重要的意義，兩者的相互印證有助于進(jìn)一步提高獲取情報(bào)信息的可靠性。

隨著深度學(xué)習(xí)的不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)越來越廣泛應(yīng)用于獲取不同模態(tài)的特征表示，實(shí)現(xiàn)將跨模態(tài)信息映射到同一特征空間中，有助于解決不同模態(tài)間的“異構(gòu)鴻溝”問題。然而，現(xiàn)有的遙感圖像文本跨模態(tài)關(guān)聯(lián)方法多為基于實(shí)值表示學(xué)習(xí)，雖然關(guān)聯(lián)效果較好但由于這類方法存儲(chǔ)計(jì)算消耗大、效率低，故無法適應(yīng)大規(guī)模快速檢索任務(wù)的需求。

哈希方法實(shí)現(xiàn)檢索速度快、效率高，隨著當(dāng)今遙感數(shù)據(jù)類型和規(guī)模的增長(zhǎng)，在遙感跨模態(tài)領(lǐng)域受到越來越多的關(guān)注。近年來深度學(xué)習(xí)與哈?？缒B(tài)方法的結(jié)合，使得獲取不同模態(tài)的特征表示更加高效，而且無監(jiān)督的哈希跨模態(tài)關(guān)聯(lián)方法無須標(biāo)簽信息就可實(shí)現(xiàn)關(guān)聯(lián)，在解決跨模態(tài)關(guān)聯(lián)問題上展現(xiàn)出更大的優(yōu)勢(shì)。但現(xiàn)有無監(jiān)督深度哈?？缒B(tài)方法仍存在一些問題，通常分別對(duì)跨模態(tài)的相似度信息進(jìn)行學(xué)習(xí)，而且沒有標(biāo)簽信息輔助，會(huì)造成模型無法正確有效地獲取不同模態(tài)之間的語義關(guān)聯(lián)關(guān)系。此外，深度哈希方法大多通過深度神經(jīng)網(wǎng)絡(luò)獲取的原始特征直接生成哈希碼，生成的哈希特征難以獲得令人滿意的辨別性信息。

針對(duì)上述問題，本文提出了一種相似度矩陣輔助遙感圖像無監(jiān)督哈希跨模態(tài)關(guān)聯(lián)方法，利用遙感圖像和文本的原始特征和哈希特征分別構(gòu)造對(duì)應(yīng)的相似度矩陣，再通過矩陣損失函數(shù)的約束用原始特征構(gòu)造的相似度矩陣來指導(dǎo)哈希特征相似度矩陣的生成，以捕獲潛在的語義相關(guān)性盡可能保留與原始特征的語義相似性，減小生成哈希特征后的語義信息損失，并與無監(jiān)督對(duì)比學(xué)習(xí)的方法相結(jié)合，增強(qiáng)學(xué)習(xí)特征表示的判別性，進(jìn)一步了提高無監(jiān)督哈希跨模態(tài)關(guān)聯(lián)檢索的性能。

1 相關(guān)工作

1.1 遙感圖像跨模態(tài)關(guān)聯(lián)

隨著大規(guī)模多模態(tài)數(shù)據(jù)的不斷豐富，跨模態(tài)關(guān)聯(lián)檢索方法在遙感領(lǐng)域的發(fā)展得到了更多關(guān)注［2］。文獻(xiàn)［3］提出了一種用于遙感數(shù)據(jù)的新的跨模態(tài)信息關(guān)聯(lián)檢索模型，模型重于從不同的輸入模式中學(xué)習(xí)統(tǒng)一的、有區(qū)別的嵌入空間，并可以用于單模態(tài)和跨模態(tài)信息檢索場(chǎng)景。MAO Guo 等［4］提出了一種視覺-語音關(guān)聯(lián)學(xué)習(xí)網(wǎng)絡(luò)，并構(gòu)建了用于圖像和語音關(guān)聯(lián)的數(shù)據(jù)集，驗(yàn)證了遙感圖像與語音數(shù)據(jù)之間關(guān)聯(lián)關(guān)系構(gòu)建的可能性。文獻(xiàn)［5］基于不同模態(tài)信息間潛在的語義一致性，提出了一種通用的跨模態(tài)遙感信息關(guān)聯(lián)學(xué)習(xí)方法，通過共同空間的構(gòu)建實(shí)現(xiàn)了多種模態(tài)數(shù)據(jù)的相互檢索。也有很多學(xué)者開始關(guān)注遙感圖像與文本之間的關(guān)聯(lián)問題，文獻(xiàn)［6］設(shè)計(jì)了語義對(duì)齊模塊，通過利用注意機(jī)制以增強(qiáng)遙感圖像和文本之間的對(duì)應(yīng)關(guān)系，然后通過設(shè)計(jì)的門函數(shù)過濾盡可能多的不必要信息。針對(duì)遙感多模態(tài)檢索任務(wù)中的多尺度性和目標(biāo)冗余問題，文獻(xiàn)［7］設(shè)計(jì)了一種非對(duì)稱多模態(tài)特征匹配網(wǎng)絡(luò)實(shí)現(xiàn)跨模態(tài)遙感圖像檢索。文獻(xiàn)［8］一種基于融合的關(guān)聯(lián)學(xué)習(xí)模型用于遙感圖像與文本間的跨模態(tài)檢索，通過跨模態(tài)融合網(wǎng)絡(luò)的設(shè)計(jì)提高跨模態(tài)信息之間的語義相關(guān)度。現(xiàn)有的遙感圖像跨模態(tài)檢索方法可以根據(jù)特征表示學(xué)習(xí)的方法不同分為基于實(shí)值表示和二進(jìn)制表示兩大類［9］，而上述模型大多為基于實(shí)值表示學(xué)習(xí)的跨模態(tài)關(guān)聯(lián)方法。

1.2 哈?？缒B(tài)關(guān)聯(lián)方法

哈希跨模態(tài)關(guān)聯(lián)方法又可分為有監(jiān)督和無監(jiān)督兩種，在計(jì)算機(jī)視覺領(lǐng)域?qū)缒B(tài)哈希關(guān)聯(lián)方法的研究更為廣泛，文獻(xiàn)［10］提出了一種端到端深度跨模態(tài)哈希方法，將特征學(xué)習(xí)和哈希碼學(xué)習(xí)集成到同一框架中。文獻(xiàn)［11］提出了一種用于跨模態(tài)檢索的多任務(wù)一致性保持對(duì)抗性哈希方法，通過利用標(biāo)簽信息學(xué)習(xí)一致的不同模態(tài)特征表示，用對(duì)抗性學(xué)習(xí)策略強(qiáng)化跨模態(tài)信息的語義一致性。文獻(xiàn)［12］將矩陣分解和拉普拉斯約束結(jié)合到網(wǎng)絡(luò)訓(xùn)練中，顯式約束哈希碼以保持原始數(shù)據(jù)的鄰域結(jié)構(gòu)，優(yōu)化特征學(xué)習(xí)和二值化過程。文獻(xiàn)［13］基于不同模態(tài)的鄰域信息構(gòu)建聯(lián)合語義相似度矩陣，該矩陣同時(shí)集成了多模態(tài)相似信息，提出了跨模態(tài)檢索的深度聯(lián)合語義重構(gòu)哈希法。文獻(xiàn)［14］通過構(gòu)造聯(lián)合模態(tài)相似矩陣和基于分布的相似性決策和加權(quán)方法，充分保留了實(shí)例間的跨模態(tài)語義關(guān)聯(lián)信息。文獻(xiàn)［15］提出了一種用于無監(jiān)督跨模態(tài)檢索的多路徑生成對(duì)抗哈希方法，該方法充分利用生成對(duì)抗網(wǎng)絡(luò)GAN 的無監(jiān)督表示學(xué)習(xí)能力捕獲跨模態(tài)數(shù)據(jù)的底層流形結(jié)構(gòu)，實(shí)現(xiàn)多種模態(tài)信息關(guān)聯(lián)。由于不需要人工標(biāo)注節(jié)省了大量人力物力，無監(jiān)督方法越來越受到更多地關(guān)注，上述除了文獻(xiàn)［10］和文獻(xiàn)［11］為有監(jiān)督哈希方法外，其他方法都為無監(jiān)督方法。跨模態(tài)哈希方法在遙感領(lǐng)域的研究相對(duì)較少，文獻(xiàn)［16］研究了基于哈希網(wǎng)絡(luò)的SAR 與光學(xué)圖像之間的遙感跨模態(tài)檢索，通過引入圖像轉(zhuǎn)換的策略豐富了圖像信息的多樣性。文獻(xiàn)［17］提出了一種新的無監(jiān)督對(duì)比哈希算法用于解決遙感圖像與文本間的跨模態(tài)關(guān)聯(lián)問題，算法主要通過利用設(shè)計(jì)的一個(gè)多目標(biāo)損失函數(shù)來進(jìn)行無監(jiān)督的跨模態(tài)表示學(xué)習(xí)。但無監(jiān)督哈希方法在實(shí)值的二值化過程中會(huì)導(dǎo)致部分語義信息的損失以及原有結(jié)構(gòu)被破壞［18］，而且沒有充分考慮模態(tài)內(nèi)數(shù)據(jù)結(jié)構(gòu)和模態(tài)間鄰域結(jié)構(gòu)的匹配關(guān)聯(lián)，因此對(duì)不同模態(tài)間語義一致性的挖掘及優(yōu)化計(jì)算等仍是目前研究的一個(gè)重要方向。

2 模型方法

本文所提方法的總體框架如圖1 所示，分為處理遙感圖像和文本數(shù)據(jù)的兩個(gè)結(jié)構(gòu)相類似的網(wǎng)絡(luò)模型分支。對(duì)于各模態(tài)信息的處理，首先通過對(duì)應(yīng)模態(tài)的特征提取深度神經(jīng)網(wǎng)絡(luò)模型（ImgNet、TxtNet）獲得遙感圖像和文本的原始特征表示（Original feature），再通過哈希模塊（Hash module）學(xué)習(xí)得到相應(yīng)的哈希特征表示（Hash feature）。為了在哈希方法學(xué)習(xí)過程中盡可能保持不同模態(tài)信息間的語義相關(guān)性，分別構(gòu)造了原始特征和哈希特征的相似度矩陣，通過原始特征相似度矩陣指導(dǎo)哈希特征相似度矩陣的學(xué)習(xí)，減小哈希學(xué)習(xí)過程的語義信息損失，并與對(duì)比學(xué)習(xí)相結(jié)合以進(jìn)一步挖掘不同模態(tài)信息間潛在的語義相關(guān)性。模型整體主要通過相似度矩陣損失（Similarity matrix loss）以及對(duì)比損失（Contrastive loss）的約束進(jìn)行關(guān)聯(lián)關(guān)系的學(xué)習(xí)，以進(jìn)一步提高最終哈希特征模態(tài)間的語義相關(guān)性，實(shí)現(xiàn)對(duì)遙感圖像文本跨模態(tài)信息之間關(guān)聯(lián)關(guān)系的無監(jiān)督學(xué)習(xí)。

圖1 本文方法框架Fig.1 The structure of the proposed model

2.1 特征提取

各模態(tài)特征提取過程首先通過深度神經(jīng)網(wǎng)絡(luò)分別獲取遙感圖像和文本信息的原始特征表示，然后再進(jìn)一步輸入到哈希模塊中學(xué)習(xí)相應(yīng)的哈希特征表示。在本文提出的基準(zhǔn)方法中，遙感圖像的特征表示通過使用卷積神經(jīng)網(wǎng)絡(luò)模型Resnet-18［19］提取，最后經(jīng)全連接層得到輸出維度與文本特征表示相同的遙感圖像特征表示向量，文本的特征表示采用自然語言處理領(lǐng)域的BERT［20］模型，將輸出的最后四層隱藏狀態(tài)求和得到最終的文本特征表示，特征向量的維度為768 維。在哈希網(wǎng)絡(luò)模型的學(xué)習(xí)訓(xùn)練階段，遙感圖像和文本特征提取網(wǎng)絡(luò)模型的權(quán)重保持凍結(jié)，而且用于這兩種模態(tài)的特征提取模型可以靈活替換。得到跨模態(tài)原始特征表示進(jìn)一步輸入到哈希模塊中進(jìn)行哈希特征的學(xué)習(xí)，通常方法的轉(zhuǎn)化過程會(huì)使用符號(hào)函數(shù)將特征轉(zhuǎn)換為“-1”和“+1”的形式，但這會(huì)造成神經(jīng)網(wǎng)絡(luò)模型在反向傳播過程出現(xiàn)梯度消失的問題，導(dǎo)致模型無法訓(xùn)練。因此在訓(xùn)練過程中，本文方法在哈希模塊由兩層全連接層構(gòu)成并采用反正切函數(shù)作為最后一層的激活函數(shù)［21］，使得最后輸出類哈希編碼的形式的哈希特征表示。哈希模塊的目的是通過哈希函數(shù)的學(xué)習(xí)從遙感圖像和文本原始語義特征信息生成準(zhǔn)確的哈希特征表示，在這過程中不同模態(tài)中語義信息相似的實(shí)例能夠表示成相似的哈希碼。

2.2 相似度矩陣構(gòu)造

無監(jiān)督跨模態(tài)哈希方法無法通過標(biāo)簽獲得不同模態(tài)間的關(guān)聯(lián)信息，但從深度神經(jīng)網(wǎng)絡(luò)中提取的特征中包含著豐富的語義信息。文獻(xiàn)［12，22］已經(jīng)證明，學(xué)習(xí)保留原始特征數(shù)據(jù)鄰域結(jié)構(gòu)的二進(jìn)制碼能夠有效改進(jìn)深度哈希網(wǎng)絡(luò)的無監(jiān)督訓(xùn)練，哈希特征相似度矩陣反映了哈希碼在漢明空間中的鄰域結(jié)構(gòu)。所以本文分別利用原始特征表示和哈希特征表示構(gòu)造相似度矩陣，通過原始特征之間的相似度與哈希特征之間的相似度的語義對(duì)齊來輔助增強(qiáng)不同模態(tài)語義信息間的相關(guān)性，提高無監(jiān)督哈希方法的關(guān)聯(lián)效果。

對(duì)于每個(gè)批次樣本，遙感圖像和文本對(duì)分別經(jīng)ImgNet、TxtNet 獲得相應(yīng)的原始特征表示，進(jìn)一步經(jīng)正則化處理后表示為I，T，其中遙感圖像特征表示文本特征表示。然后采用計(jì)算余弦相似度的方法來構(gòu)造這兩種模態(tài)特征表示模態(tài)內(nèi)以及模態(tài)間的相似度矩陣，用于描述遙感圖像與文本的原始鄰域結(jié)構(gòu)信息及跨模態(tài)間的語義關(guān)系。遙感圖像模態(tài)內(nèi)的相似度矩陣表示為文本模態(tài)的相似度矩陣為兩種模態(tài)間的相似度矩陣為，其中的定義分別為

不同模態(tài)的相似度矩陣通?；檠a(bǔ)充，通過將遙感圖像相似矩陣、文本相似矩陣以及兩模態(tài)間的相似度矩陣SF融合成一個(gè)模態(tài)間聯(lián)合相似矩陣，以獲得對(duì)不同模態(tài)實(shí)例之間語義關(guān)系的準(zhǔn)確描述。表示為

式中，α，β，γ為權(quán)衡參數(shù)，α+β+γ=1，α，β，γ≥0，用于調(diào)節(jié)不同模態(tài)鄰域關(guān)系的重要性。

同樣，對(duì)于遙感圖像與文本經(jīng)哈希模塊得到的哈希特征，采用與原始特征表示構(gòu)建相似度矩陣同樣的計(jì)算方式，可以獲得對(duì)應(yīng)模態(tài)內(nèi)及模態(tài)間哈希特征相似度矩陣，能夠描述不同模態(tài)信息哈希特征間的相關(guān)關(guān)系鄰域結(jié)構(gòu)。如模態(tài)間的哈希特征相似度矩陣表示為SH=cos(HI，HT)，其中的元素由遙感圖像i和文本j對(duì)應(yīng)的哈希特征計(jì)算

通常二進(jìn)制哈希碼對(duì)應(yīng)的語義描述往往會(huì)偏離特征的語義描述，導(dǎo)致模型效果的下降。通過構(gòu)造的聯(lián)合模態(tài)相似矩陣來指導(dǎo)哈希相似度矩陣的生成，學(xué)習(xí)原始數(shù)據(jù)鄰域結(jié)構(gòu)，使得到哈希特征具有較高的實(shí)例間原始語義相關(guān)度，最終的二值哈希碼能夠盡可能保留更多地語義信息，可有效改進(jìn)深度哈希網(wǎng)絡(luò)模型的無監(jiān)督訓(xùn)練［12］。

2.3 損失函數(shù)

為了有效地進(jìn)行無監(jiān)督跨模態(tài)哈希學(xué)習(xí)，本文設(shè)計(jì)了一個(gè)新的損失函數(shù)組合，通過對(duì)比損失與相似度矩陣損失的相互結(jié)合，增強(qiáng)哈希表示的判別性，提高了模型關(guān)聯(lián)檢索的準(zhǔn)確性。

對(duì)比損失可以有效提高無監(jiān)督表示學(xué)習(xí)能力，在本文模型中，采用歸一化溫度尺度交叉熵目標(biāo)函數(shù)［23-24］進(jìn)行對(duì)比損失的計(jì)算。在對(duì)比損失中主要考慮遙感圖像文本對(duì)模態(tài)間的對(duì)比損失，匹配圖文對(duì)的特征表示在共同特征空間的距離盡可能近，不匹配的圖文對(duì)距離盡可能遠(yuǎn)離，通過使用對(duì)比損失來使匹配的遙感圖像和文本之間的語義信息對(duì)齊。模態(tài)間對(duì)比學(xué)習(xí)能夠使遙感圖像和文本之間的互信息最大化，進(jìn)一步發(fā)掘跨模態(tài)信息潛在的關(guān)聯(lián)關(guān)系，使模型學(xué)習(xí)到的特征更具判別性增強(qiáng)模型表征學(xué)習(xí)能力。模態(tài)間的對(duì)比損失可定義為

式中，S(u，v)=exp(cos(u，v)/τ)，cos(u，v)=為余弦相似度，τ為溫度系數(shù)，M為批次大小。

相似度矩陣損失通過利用構(gòu)造的相似度矩陣，同時(shí)考慮模態(tài)內(nèi)以及模態(tài)間哈希特征的相似度信息與原始特征的相似度信息語義對(duì)齊。通過最小化原始特征與哈希特征相似度矩陣之間的重構(gòu)誤差來學(xué)習(xí)原始特征的鄰域結(jié)構(gòu)，發(fā)掘模態(tài)內(nèi)及模態(tài)間潛在的語義相關(guān)性，以彌補(bǔ)轉(zhuǎn)化為哈希特征后語義信息的不足。本文所提方法的相似度矩陣損失設(shè)計(jì)為

式中，η為權(quán)衡參數(shù)，其設(shè)置能夠使相似度矩陣間的語義對(duì)齊更加靈活。通過模態(tài)內(nèi)及模態(tài)間相似度矩陣的語義對(duì)齊，盡可能學(xué)習(xí)保留遙感圖像文本原始特征的鄰域結(jié)構(gòu)關(guān)系，充分挖掘潛在語義相關(guān)信息，更好地建立不同模態(tài)間的關(guān)聯(lián)關(guān)系。

最終的總體損失函數(shù)是對(duì)比損失函數(shù)和相似度矩陣損失的加權(quán)和為

式中，λ，μ為平衡兩損失之間關(guān)系的超參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

在本文實(shí)驗(yàn) 中，使用UCM 數(shù)據(jù) 集［25］和RSICD 數(shù)據(jù)集［26］，RSICD 數(shù)據(jù)集 包含31 類共10 921 幅 遙感影像，每幅影像包含5 句對(duì)應(yīng)的文本描述，UCM 數(shù)據(jù)集包含2 100 張21 類遙感圖像，每張圖像同樣有5 句相關(guān)的文本描述。兩個(gè)數(shù)據(jù)集中遙感圖像及對(duì)應(yīng)文本描述的部分樣例如圖2 中所示。在訓(xùn)練過程中，每張圖片只使用一個(gè)隨機(jī)選擇的文本描述，輸入圖像的大小為224×224，遙感圖像的特征提取采用預(yù)訓(xùn)練的Resnet-18，文本描述的特征提取使用預(yù)訓(xùn)練模型‘bert-base-uncased’提取。批大小設(shè)置為256，學(xué)習(xí)率設(shè)為0.000 3，共訓(xùn)練100 次，訓(xùn)練時(shí)采用Adam 優(yōu)化器。損失函數(shù)中超參數(shù)分別設(shè)置為α=0.25，β=0.25，γ=0.5，η=1.5，λ=0.001，μ=0.1。實(shí)驗(yàn)在PyTorch 框架下進(jìn)行編譯，模型在搭載一塊GeForce RTX 2080Ti GPU 的工作站上運(yùn)行。

圖2 數(shù)據(jù)集中遙感圖像及對(duì)應(yīng)的文本描述Fig.2 Remote sensing image and corresponding captions from the datasets

為有效評(píng)估所提出的方法，在實(shí)驗(yàn)中進(jìn)行了遙感圖像檢索文本以及文本檢索的關(guān)聯(lián)檢索任務(wù)，采用均值平均準(zhǔn)確率mAP 作為模型的評(píng)價(jià)指標(biāo)，mAP 是評(píng)價(jià)模型關(guān)聯(lián)檢索性能的常用指標(biāo)，其定義為

式中，N是查詢集的大小，ri是與查詢樣本i相關(guān)的項(xiàng)數(shù)，k是數(shù)據(jù)庫中的樣本數(shù)。

在本文實(shí)驗(yàn)中，采用前20 個(gè)檢索到的樣本的均值平均準(zhǔn)確率（表示為mAP@20）作為模型的評(píng)價(jià)指標(biāo)，Top-k 的準(zhǔn)確率P(k)是通過按與查詢樣本的漢明距離排序的返回前k個(gè)樣本的準(zhǔn)確率計(jì)算，定義為

式中，rel(i)是一個(gè)樣本相關(guān)性指示符，如果查詢和檢索到的樣本相匹配，則該指示符等于1，否則為0。漢明距離是由兩個(gè)二進(jìn)制碼中不同位的個(gè)數(shù)定義的，漢明排序用于哈希值的排序，它根據(jù)查詢和檢索樣本之間的漢明距離對(duì)檢索到的樣本進(jìn)行排序。這里P(k)較大的值對(duì)應(yīng)更好的檢索結(jié)果。

3.2 對(duì)比實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提方法的有效性，在數(shù)據(jù)集RSICD 和UCM 上將其與文獻(xiàn)［17，28］中的方法DUCH 以及幾種不同的跨模態(tài)哈?；鶞?zhǔn)方法進(jìn)行了對(duì)比，分別為CPAH［11］、DJSRH［13］、JDSH［14］。為了保證對(duì)比的公平，對(duì)比實(shí)驗(yàn)數(shù)據(jù)劃分與文獻(xiàn)［17］保持一致，數(shù)據(jù)集通過隨機(jī)選擇分為訓(xùn)練集、查詢集和檢索集（分別為50%、10%和40%），在相同的實(shí)驗(yàn)設(shè)置下訓(xùn)練模型。表1 和表2 分別展示了本文方法在RSICD 和UCMerced 數(shù)據(jù)集上使用mAP@20 評(píng)估圖像到文本和文本到圖像檢索兩種任務(wù)與上述基準(zhǔn)方法的對(duì)比結(jié)果，實(shí)驗(yàn)對(duì)比了四種不同哈希碼長(zhǎng)度B=16，32，64，128。

表1 RSICD 數(shù)據(jù)集上不同方法的mAP@20 比較Table 1 The mAP@20 comparison of different methods on the RSICD dataset

表2 UCM 數(shù)據(jù)集上不同方法的mAP@20 比較Table 2 The mAP@20 comparison of different methods on the UCM dataset

通常哈希碼位數(shù)越多模型效果越好，因?yàn)槠淇梢源鎯?chǔ)的語義信息更豐富。在RSICD 數(shù)據(jù)集上，除在B=64 時(shí)圖像檢索文本任務(wù)的mAP@20 低于基準(zhǔn)方法的DUCH 方法，在其他情況下均優(yōu)于其他對(duì)比算法，而且在哈希位數(shù)少的情況下模型的優(yōu)勢(shì)更明顯，例如當(dāng)B=16 時(shí)與DUCH 方法相比，在兩種檢索任務(wù)上mAP@20 分別提升了2.4%、3.9%，而當(dāng)B=128 時(shí)對(duì)應(yīng)提升分別為0.3%、2.4%。在UCM 數(shù)據(jù)集上，除了當(dāng)B=64，128 時(shí)圖像檢索文本任務(wù)的mAP@20 低于DUCH 方法外，在其他情況下本文方法在不同哈希碼長(zhǎng)度下的兩種檢索任務(wù)上與無監(jiān)督的方法DJSRH，JDRH，DUCH 相比均取得了最好的mAP@20 分?jǐn)?shù)，而且優(yōu)勢(shì)相對(duì)比較明顯。而與有監(jiān)督方法CPAH 相比，在哈希嗎位數(shù)為16 和32 時(shí)本文方法優(yōu)于該方法，尤其在哈希碼長(zhǎng)度為16 時(shí)優(yōu)勢(shì)更為明顯，但在哈希碼位數(shù)為64 和128 時(shí)與方法CPAH 還有一定差距。分析兩個(gè)表中數(shù)據(jù)可以得出，在哈希碼位數(shù)較少時(shí)本文方法的優(yōu)勢(shì)相對(duì)更明顯，這更好地說明的本文方法的有效性，哈希碼位數(shù)較少時(shí)其能夠存儲(chǔ)的信息有限，因此在哈希碼轉(zhuǎn)化過程中位數(shù)較少時(shí)的語義信息損失可能會(huì)更嚴(yán)重，哈希碼位數(shù)較多時(shí)其本身可存儲(chǔ)的語義信息更加豐富，所以模型對(duì)其提升效果相對(duì)有限。而本文模型的設(shè)計(jì)能夠使得到的哈希特征中盡可能保留更多的語義信息，減少原始特征轉(zhuǎn)化為哈希特征時(shí)的語義損失，使得生成的哈希碼中可保留更具辨別性的語義信息，且在哈希碼位數(shù)少時(shí)更有效，使得關(guān)聯(lián)結(jié)果更加準(zhǔn)確，更適于大規(guī)模遙感圖像文本間的準(zhǔn)確關(guān)聯(lián)檢索任務(wù)。

對(duì)比算法文獻(xiàn)中僅把數(shù)據(jù)集的50%用作模型訓(xùn)練學(xué)習(xí)可能不夠充分，為充分學(xué)習(xí)遙感圖像文本間的關(guān)聯(lián)關(guān)系并進(jìn)一步檢驗(yàn)本文模型的有效性，我們對(duì)數(shù)據(jù)集劃分比例進(jìn)行了優(yōu)化。進(jìn)行優(yōu)化后數(shù)據(jù)集訓(xùn)練集與測(cè)試集的比例為7∶3，并在相同的實(shí)驗(yàn)條件及劃分下與遙感領(lǐng)域最新提出無監(jiān)督跨模態(tài)哈希關(guān)聯(lián)檢索方法DUCH 進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果對(duì)比如表3 所示。此外，我們將遙感圖像原始特征提取采用的預(yù)訓(xùn)練Resnet-18替換為預(yù)訓(xùn)練的vit［27］后進(jìn)行模型效果的對(duì)比，一方面能夠驗(yàn)證模型的靈活性及有效性，另一方面也可進(jìn)一步探索遙感圖像特征提取網(wǎng)絡(luò)模型對(duì)最終關(guān)聯(lián)檢索效果的影響。

表3 方法優(yōu)化后實(shí)驗(yàn)結(jié)果對(duì)比（mAP@20）Table 3 The mAP@20 comparison of different methods after optimization

從表3 可以看出，當(dāng)僅對(duì)數(shù)據(jù)集劃分比例優(yōu)化后模型對(duì)各模態(tài)特征表示的學(xué)習(xí)更充分，而本文方法與DUCH 方法的效果對(duì)比提升也更加明顯，且在兩個(gè)數(shù)據(jù)集上不同任務(wù)下的mAP@20 指標(biāo)均優(yōu)于DUCH 方法，說明了改變后模型學(xué)習(xí)到的語義信息更加豐富，也進(jìn)一步驗(yàn)證了本文方法的有效性。本文方法同樣在B=16 和32 時(shí)的效果提升最為顯著，再次說明本文所提方法能更好地保留原始語義相關(guān)性，能夠在哈希學(xué)習(xí)過程中減小語義損失，實(shí)現(xiàn)更準(zhǔn)確的關(guān)聯(lián)檢索。此外，當(dāng)遙感圖像特征提取模型采用預(yù)訓(xùn)練的vit 時(shí)，所提方法在兩種任務(wù)的各個(gè)指標(biāo)上都會(huì)有更進(jìn)一步的提高，模型整體性能都有進(jìn)一步提升，說明了原始特征提取模塊對(duì)模型效果同樣有重要影響，同時(shí)也驗(yàn)證了本文模型的靈活性及可擴(kuò)展性，可根據(jù)需要設(shè)計(jì)替換相關(guān)模塊，使模型在應(yīng)用時(shí)能夠靈活調(diào)整。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文模型中各損失函數(shù)設(shè)置發(fā)揮的作用，進(jìn)行消融實(shí)驗(yàn)對(duì)不同損失函數(shù)的有效性進(jìn)行檢驗(yàn)。我們?cè)诓煌４a長(zhǎng)度下都進(jìn)行了模型簡(jiǎn)化實(shí)驗(yàn)，以充分檢驗(yàn)所提模型的整體性能，在本文中兩種數(shù)據(jù)集劃分比例上的實(shí)驗(yàn)結(jié)果如表4 和表5 中所示，其中，“Lm+Lc”表示本文的完整方法，采用對(duì)比損失與相似度矩陣損失的加權(quán)組合（λ=0.001，μ=0.1）；“Lm”表示模型僅使用相似度矩陣損失（λ=0，μ=1）；“Lc”模型只采用對(duì)比損失（λ=1，μ=0）。

表4 消融實(shí)驗(yàn)結(jié)果（50%訓(xùn)練）Table 4 Ablation experiment results（50%training）

分析模型的消融實(shí)驗(yàn)結(jié)果可以看出，在僅使用一種損失的情況下，雖然在部分任務(wù)中的指標(biāo)可以達(dá)到較好的效果，但由于部分語義信息的損失造成模型的整體性能并不理想。同樣這在哈希碼長(zhǎng)度較小時(shí)表現(xiàn)得更為突出，而本文模型中通過相似度矩陣損失與對(duì)比損失的加權(quán)結(jié)合，使得模型在哈希學(xué)習(xí)過程中能夠保留更多模態(tài)內(nèi)及模態(tài)間的語義相關(guān)信息，且能夠使學(xué)習(xí)的哈希特征更判別性，提高了模型整體關(guān)聯(lián)檢索的性能，實(shí)驗(yàn)驗(yàn)證表明本文所提方法是有效的。為更直觀的對(duì)比分析模型簡(jiǎn)化實(shí)驗(yàn)，將表4 和表5 中的實(shí)驗(yàn)結(jié)果分別繪制在圖3 和圖4 中。

表5 消融實(shí)驗(yàn)結(jié)果（70%訓(xùn)練）Table 5 Ablation experiment results（70%training）

圖3 消融實(shí)驗(yàn)結(jié)果（50%訓(xùn)練）Fig.3 Ablation experiment results（50% training）

圖4 消融實(shí)驗(yàn)結(jié)果（70%訓(xùn)練）Fig.4 Ablation experiment results（70% training）

3.4 參數(shù)分析實(shí)驗(yàn)

本小節(jié)主要對(duì)損失函數(shù)（式（8））中的兩個(gè)平衡參數(shù)λ和μ進(jìn)行分析，以探究不同參數(shù)設(shè)置對(duì)算法性能的影響。我們?cè)跀?shù)據(jù)集RSICD 上（50%訓(xùn)練）分析兩個(gè)超參數(shù)對(duì)關(guān)聯(lián)效果的影響，先將μ的值固定為0.1，λ的取值分別為0.1，0.01，0.001，0.000 1 時(shí)，在不同哈希碼長(zhǎng)度得到的實(shí)驗(yàn)結(jié)果如圖5 所示，從結(jié)果可以看出當(dāng)λ=0.001 時(shí)模型的效果最好。同樣，將λ的值固定為0.001，μ的取值分別為1，0.1，0.01，0.001 時(shí)，在不同哈希碼長(zhǎng)度得到的實(shí)驗(yàn)結(jié)果如圖中所示，可以看出當(dāng)μ=0.1 時(shí)模型的性能達(dá)到最佳。因此，在μ=0.1 且λ=0.001 時(shí)，兩種損失能夠更好地結(jié)合，使得本文方法達(dá)到最優(yōu)的關(guān)聯(lián)效果。

圖5 不同參數(shù)設(shè)置下的模型性能（mAP@20）Fig.5 Model performance under different parameter settings（mAP@20）

4 結(jié)論

本文提出了一種相似度矩陣輔助遙感圖像無監(jiān)督哈希跨模態(tài)關(guān)聯(lián)方法，通過構(gòu)建相似度矩陣損失來對(duì)齊哈希特征與原始特征的語義信息，并與對(duì)比學(xué)習(xí)方法相結(jié)合，以增強(qiáng)最終哈希特征的語義相關(guān)性，減小哈希碼轉(zhuǎn)化過程的語義信息損失。損失函數(shù)采用相似度矩陣損失與對(duì)比損失的加權(quán)和，兩者的結(jié)合有效提高了無監(jiān)督跨模態(tài)哈希關(guān)聯(lián)的準(zhǔn)確性，更適用于大規(guī)模跨模態(tài)遙感圖像關(guān)聯(lián)檢索任務(wù)，而且在遙感領(lǐng)域的兩個(gè)基準(zhǔn)數(shù)據(jù)集上驗(yàn)證了所提方法的有效性。但模型原始特征提取模塊的設(shè)計(jì)對(duì)各模態(tài)的語義信息豐富性考慮不夠充分，相似度矩陣的計(jì)算方式相對(duì)較簡(jiǎn)單，將來工作可以作進(jìn)一步改進(jìn)以提高關(guān)聯(lián)的準(zhǔn)確性。