基于深度特征的質(zhì)量感知旋轉(zhuǎn)艦船模板匹配算法

王澤瑞，陳 實(shí)

（1.中國科學(xué)院 國家空間科學(xué)中心 復(fù)雜航天系統(tǒng)電子信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100190；2.中國科學(xué)院大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100049）

0 概述

低軌遙感衛(wèi)星在農(nóng)田監(jiān)測、城市規(guī)劃、災(zāi)害預(yù)警等領(lǐng)域發(fā)揮著巨大作用［1］。隨著航天技術(shù)的進(jìn)步和遙感衛(wèi)星的發(fā)展，針對高分辨率衛(wèi)星遙感靜態(tài)圖片進(jìn)行定時(shí)偵察已經(jīng)難以滿足實(shí)際應(yīng)用的需求，需要實(shí)時(shí)動態(tài)跟蹤遙感圖像［2］。我國現(xiàn)在已經(jīng)開展多個(gè)高分辨率地球偵察衛(wèi)星重大專項(xiàng)，但其無法獲取長時(shí)間高價(jià)值的關(guān)于目標(biāo)的動態(tài)數(shù)據(jù)，極大制約著遙感衛(wèi)星在應(yīng)急情況下的監(jiān)視跟蹤能力［3］。

本文面向未來大規(guī)模低軌遙感星座，期望實(shí)現(xiàn)衛(wèi)星針對同一高價(jià)值目標(biāo)的跨星接力跟蹤，實(shí)現(xiàn)效果是以衛(wèi)星的重訪時(shí)間為間隔來不斷更新目標(biāo)的狀態(tài)和軌跡，而這個(gè)過程的關(guān)鍵是接力衛(wèi)星根據(jù)目標(biāo)模板匹配出高價(jià)值目標(biāo)，統(tǒng)一兩段遙感視頻中跟蹤目標(biāo)的編號［4］。本文使用模板匹配方法克服在衛(wèi)星接力過程中目標(biāo)圖像產(chǎn)生的非剛性形變，實(shí)現(xiàn)對同一目標(biāo)的接力跟蹤。針對艦船尺寸差異大而產(chǎn)生的影響，本文引入雙級特征融合模塊，提高不同尺寸目標(biāo)特征的適應(yīng)性；針對環(huán)境變化對模板匹配產(chǎn)生的影響，引入質(zhì)量感知模板匹配模塊，克服前后兩顆拍攝衛(wèi)星的環(huán)境變化以及當(dāng)前環(huán)境對匹配過程的干擾；針對算法生成的目標(biāo)框中目標(biāo)占比較小的問題，引入細(xì)粒度艦船角度定位模塊，通過生成旋轉(zhuǎn)目標(biāo)框來提高目標(biāo)在模板中的占比。

1 模板匹配方法

在計(jì)算機(jī)視覺算法中，識別目標(biāo)圖像是否包含特定的目標(biāo)或圖像特征是一個(gè)基本問題［5］。在此場景中，衛(wèi)星需要從一幅模板中提取目標(biāo)特征，然后在不同視角、不同拍攝時(shí)間下的另一幅目標(biāo)圖像中定位出相似特征的位置，因此，使用模板匹配方法是一種有效的手段［6］。模板匹配分為基于傳統(tǒng)特征的模板匹配方法和基于深度特征的模板匹配方法［7］。

1.1 傳統(tǒng)特征模板匹配

傳統(tǒng)模板匹配是使用像素級特征來完成的，獲得圖像特征的方法通常是人工定義的數(shù)學(xué)公式，例如通過計(jì)算強(qiáng)度不連續(xù)點(diǎn)的高斯函數(shù)來分析圖像結(jié)構(gòu)［8］。為了避免匹配結(jié)果受到光照變化的影響，文獻(xiàn)［9］提出使用歸一化互相關(guān)（NCC）或更復(fù)雜的廣義拉普拉斯距離。但是，這些方法依賴于將模板圖像中的強(qiáng)度值與目標(biāo)圖像滑塊中相應(yīng)位置的強(qiáng)度值進(jìn)行比較，因此，視角變化、部分遮擋等非剛性形變導(dǎo)致的目標(biāo)圖像以及模板的外觀不同均會對相似度評價(jià)結(jié)果產(chǎn)生嚴(yán)重影響［10］。因此，基于傳統(tǒng)特征的目標(biāo)匹配不適用于跨星目標(biāo)接力跟蹤。

1.2 深度特征模板匹配

基于深度特征的模板匹配方法主要分為兩類：一類方法［11-13］是通過神經(jīng)網(wǎng)絡(luò)建立模板與目標(biāo)圖像之間的特定轉(zhuǎn)換關(guān)系，這種方法大多需要大量的參數(shù)，并且難以處理遮擋等非剛性形變，不適合資源受限的星上環(huán)境；另一類方法［14-17］是增強(qiáng)模板匹配算法的魯棒性，通過設(shè)計(jì)新的相似性度量方法來減少復(fù)雜場景的干擾。由于深度特征可以提高模板匹配算法對視角變化的容忍度［18］，因此此類模板匹配方法更適合解決跨星模板匹配問題。

但是，基于深度特征的模板匹配算法在處理遙感艦船目標(biāo)時(shí)存在以下不足：1）艦船目標(biāo)尺寸差異較大，匹配算法受尺寸差異影響，使得定位效果不穩(wěn)定［19］；2）匹配算法所生成的目標(biāo)框并不是旋轉(zhuǎn)框，并不適合直接作為下一個(gè)接力衛(wèi)星的模板［20］。

2 設(shè)計(jì)思路

針對衛(wèi)星星座高價(jià)值目標(biāo)連續(xù)跟蹤問題，本文提出衛(wèi)星星座接力跟蹤處理流程，如圖1 所示。首先，第一顆衛(wèi)星根據(jù)拍攝到的遙感圖像進(jìn)行目標(biāo)檢測，提取出需要接力跟蹤的高價(jià)值目標(biāo)，并將目標(biāo)模板和位置信息發(fā)送給接力衛(wèi)星；然后，接力衛(wèi)星在指定區(qū)域內(nèi)利用模板定位出唯一的高價(jià)值目標(biāo)；最后，更新目標(biāo)模板并發(fā)送給下一個(gè)接力衛(wèi)星。

為解決接力衛(wèi)星定位到唯一高價(jià)值目標(biāo)的問題，本文提出一種模板匹配方法，稱為Rotated QATM，如圖2 所示，該方法包括輔助結(jié)構(gòu)和主干網(wǎng)絡(luò)2 個(gè)部分。主干網(wǎng)絡(luò)并不限于VGG19，大部分可以提取出深層和淺層特征的網(wǎng)絡(luò)都可以應(yīng)用，這增加了算法的適應(yīng)性。輔助結(jié)構(gòu)包括3 個(gè)部分，分別為雙級特征融合模塊、質(zhì)量感知模板匹配模塊和細(xì)粒度艦船角度定位模塊。算法首先通過一個(gè)特征提取網(wǎng)絡(luò)從定量旋轉(zhuǎn)的目標(biāo)圖像和模板中提取出不同層次的特征圖，再將特征圖進(jìn)行歸一化并拼接生成與圖像等大的源自模板和目標(biāo)圖像的雙層特征圖｛P1，P2｝，不同旋轉(zhuǎn)角度會投影到不同的特征空間，獨(dú)立進(jìn)行相似度評估；然后在雙層特征圖上使用基于QATM［14］的匹配方法生成相似度熱力；接著在定位船只時(shí)根據(jù)區(qū)域內(nèi)相似度分布生成目標(biāo)位置，根據(jù)模板旋轉(zhuǎn)角度的置信度序列得到目標(biāo)框的旋轉(zhuǎn)角度。目標(biāo)框坐標(biāo)由目標(biāo)位置和旋轉(zhuǎn)角度共同計(jì)算得出，這也是后續(xù)衛(wèi)星跟蹤的起始目標(biāo)框。

圖2 Rotated QATM 方法流程Fig.2 Procedure of the Rotated QATM method

為降低艦船目標(biāo)尺寸差異較大對模板匹配帶來的影響，本文選擇深層與淺層搭配使用的特征進(jìn)行匹配。低層的CNN 更加關(guān)注細(xì)節(jié)，學(xué)習(xí)到的特征基本上是顏色、邊緣、輪廓等低層特征［21］。高層CNN視野逐漸擴(kuò)大，進(jìn)而關(guān)注目標(biāo)的整體［22］。本文通過引入不同層次的特征信息，在新的特征空間使模板特征更具辨別性，同時(shí)提高對外觀變化的容忍度。不同層次特征關(guān)注的視野不同，更加適合對尺寸差異較大的艦船目標(biāo)進(jìn)行模板匹配。

在模板匹配過程中，模板的質(zhì)量對匹配效果的影響十分顯著［23］。如果模板本身就含有冗余的環(huán)境信息，這不僅會影響定位的精度還會增加匹配過程的計(jì)算量。為解決艦船在生成目標(biāo)框像素中占比較低的問題，同時(shí)使得模板匹配算法的輸出可以直接作為接力模板，本文引入細(xì)粒度艦船角度定位模塊，通過模板在不同角度與目標(biāo)圖像進(jìn)行匹配，生成角度維度和位置維度的概率序列。本文使用不同角度的模板進(jìn)行相互競爭以完成角度的粗匹配，再根據(jù)貝葉斯公式，利用角度的置信度序列對置信度最高的角度進(jìn)行修正，最后計(jì)算出艦船角度的細(xì)粒度信息，生成旋轉(zhuǎn)的目標(biāo)框［24］。

3 質(zhì)量感知旋轉(zhuǎn)艦船模板匹配算法

3.1 雙級特征融合模塊

雙級特征融合模塊數(shù)據(jù)處理流程如圖3 所示，對于給定的任意大小的輸入圖像，主干網(wǎng)絡(luò)輸出一個(gè)離散的特征集合，即2 個(gè)層次特征｛P1，P2｝。本文以VGG19［25］為例，VGG19 網(wǎng) 絡(luò)第1 層的通 道數(shù)為64，后面每層都進(jìn)行了翻倍，最多為512 個(gè)通道。算法使用的是第1 層和第4 層的輸出，通道數(shù)分別是64 層和512 層。在輸出層數(shù)不變的情況下，該模塊根據(jù)輸入圖像的大小將不同層次輸出的目標(biāo)特征調(diào)整為同一個(gè)卷積層輸出的大小。如果圖像較大，則每一層的輸出將抽樣到較高層次的大小，以減少計(jì)算量；如果圖像較小，則使用雙線性插值的方法調(diào)整到較低層次的大小，以增加信息量，提高匹配的準(zhǔn)確率。為了公平起見以及不失一般性，本文使用經(jīng)過ImageNet 訓(xùn)練的CNN 作為特征提取網(wǎng)絡(luò)，這樣既完成了艦船的特征提取，又可以與現(xiàn)在普遍使用的匹配算法進(jìn)行公平對比。雙級特征融合模塊通過神經(jīng)網(wǎng)絡(luò)將圖像投影到另一個(gè)維度的空間，并做好了數(shù)據(jù)對齊等前期工作，目的是使得每一個(gè)像素都有512+64 個(gè)該位置的特征表示，為相似度度量以及質(zhì)量感知模板匹配提供每一個(gè)位置的特征表示。

圖3 雙級特征融合模塊結(jié)構(gòu)Fig.3 Dual-level feature fusion module structure

3.2 質(zhì)量感知模板匹配模塊

在計(jì)算模板和滑動窗口之間的相似度時(shí)，如表1所示，其中，t是模板，s是搜索圖像S特征圖上的滑塊。對于每一對s和t來說，針對組成它們的特征點(diǎn)之間的相似度，質(zhì)量感知模板匹配方法考慮了4 種不同的模板匹配場景，具體為：“1-1”匹配表示精確匹配，即2 個(gè)匹配特征是雙方獨(dú)有的，在評價(jià)指標(biāo)中對相似度貢獻(xiàn)最高；“1-N”和“M-1”表示這幾對特征是同一個(gè)類型的，從而導(dǎo)致了多對相似度較高的匹配，這表示會有混淆；“M-N”表示s和t中有多對特征點(diǎn)的匹配相似度較高，這種匹配對于評價(jià)指標(biāo)的貢獻(xiàn)是沒有意義的。在上述4 種匹配情況中，只有“1-1”匹配被認(rèn)為是高質(zhì)量的匹配。

表1 模板匹配情況和對應(yīng)的理想分?jǐn)?shù)Table 1 Template matching and corresponding ideal scores

“1-1”匹配代表模板與滑動窗口之間特異性的相似度。本文將匹配的點(diǎn)的數(shù)量取倒數(shù)，用來修正每個(gè)點(diǎn)相似度計(jì)算的輸出。經(jīng)過對每個(gè)特征點(diǎn)進(jìn)行匹配后，在S中找到最優(yōu)匹配區(qū)域作為整體匹配質(zhì)量最大化的位置。對匹配進(jìn)行定量表達(dá)，如式（1）所示：

為了使得評分指標(biāo)可以適用于模板匹配的相似度計(jì)算，質(zhì)量感知模板匹配方法定義L（t|s）來評估s對t的相似度得分。s和t分別是匹配圖像和模板上的滑塊，設(shè)fs和ft是經(jīng)過卷積后的滑塊特征表示，ρ（·）是2 個(gè)特征之間的余弦相似度度量。給定一個(gè)目標(biāo)圖像上的滑塊s，L（t|s）計(jì)算如式（2）所示：

上述似然函數(shù)可以解釋為當(dāng)前模板t的特征與模板圖像上的每個(gè)滑塊s的特征在匹配質(zhì)量方面的排序，這個(gè)過程就是尋找目標(biāo)圖像中每個(gè)特征與幾個(gè)模板中的特征相匹配，進(jìn)而得到1/N的值。同理，還可以得到L（s|t），即每個(gè)模板的特征與幾個(gè)目標(biāo)圖像的特征相似，進(jìn)而得到1/M的值。本文將QATM 評價(jià)指標(biāo)定義為s在T中匹配和t在S中匹配的相似度乘積，如式（3）所示：

S和T之間的QATM 匹配評價(jià)得分就是目標(biāo)出現(xiàn)的置信度，得分表最大值所在的位置就是目標(biāo)出現(xiàn)的中心位置，如式（4）所示：

3.3 細(xì)粒度艦船角度定位模塊

在定位過程中，本文設(shè)計(jì)一種新的基于概率總和的目標(biāo)定位方法，如圖4 所示?？紤]到周圍像素的相似度也會影響目標(biāo)匹配定位的效果，因此，該方法在熱力圖上使用與模板相同大小的1 矩陣進(jìn)行一次卷積運(yùn)算，然后尋找置信度和最大值的點(diǎn)，即預(yù)測目標(biāo)出現(xiàn)的中心點(diǎn)。

為了定位艦船的旋轉(zhuǎn)角度，引入一種面向角度的計(jì)算方案，稱為旋轉(zhuǎn)角度定位方法。經(jīng)過位置定位過程，現(xiàn)在不同角度的熱力圖都會得到一個(gè)位置坐標(biāo)以及相對應(yīng)的置信度，即得到了一組與角度相關(guān)的置信度數(shù)組，接下來就可以利用貝葉斯公式，通過置信度數(shù)組確定艦船的細(xì)粒度角度。為了充分使用質(zhì)量感知模塊的計(jì)算結(jié)果，本文定義的修正函數(shù)如下：

其中：p1、p2分別為最高的置信度和次高的置信度；Aangle_max1、Aangle_max2分別代表置信度最高的旋轉(zhuǎn)角度和次高的旋轉(zhuǎn)角度。Aang就是修正后的目標(biāo)旋轉(zhuǎn)的細(xì)粒度角度，在圖5 中代表旋轉(zhuǎn)角度∠α。

圖5 旋轉(zhuǎn)角度定位方法Fig.5 Rotation angle positioning method

在中心位置上根據(jù)模板的大小生成起始框，然后再以中心位置為原點(diǎn)，經(jīng)過旋轉(zhuǎn)角度∠α的修正得到坐標(biāo)的位置，如圖5 所示。本文使用具有5 個(gè)參數(shù)的O=（x，y，w，h，∠α）表示預(yù)測目標(biāo)框的邊界，通過這5 個(gè)參數(shù)可以得到每個(gè)候選區(qū)域的4 個(gè)頂點(diǎn)坐標(biāo)集合v=（v1，v2，v3，v4）。?α 是v1相對于水平框頂部中點(diǎn)（x，y-h/2）的偏移量，根據(jù)對稱性，?β表示v2相對于右中點(diǎn)（x+w/2，y）的偏移量。因此，4 個(gè)頂點(diǎn)坐標(biāo)可以表示為：

利用上述表示方式，通過確定外接矩形的參數(shù)（x，y，w，h）和推斷其中的旋轉(zhuǎn)角度∠α，可以實(shí)現(xiàn)精確的角度推測和定位。

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)數(shù)據(jù)集與評價(jià)指標(biāo)

收集同一艘艦船在不同時(shí)刻、不同光照和不同觀測條件下的照片較難。本文制作HRSC2016_matching 數(shù)據(jù)集，數(shù)據(jù)來源為官方遙感目標(biāo)檢測數(shù)據(jù)集HRSC2016。HRSC2016 數(shù)據(jù)集由西北工業(yè)大學(xué)于2016 年發(fā)布，數(shù)據(jù)取自于Google Earth，其中，共 有1 061 張圖像，圖像大小為300×300～1 500×900 像素，共有2 976 個(gè)目標(biāo)對。具體來說，本文根據(jù)標(biāo)注將目標(biāo)切片裁剪下來，作為用于匹配的目標(biāo)模板，形成模板與目標(biāo)圖像的匹配對。數(shù)據(jù)集中存在關(guān)于同一艘艦船目標(biāo)的多組照片，本文將同一個(gè)目標(biāo)的匹配對的模板進(jìn)行相互交換和匹配。對于每一對匹配對，目標(biāo)圖像和模板都帶有一個(gè)OBB 標(biāo)注格式的標(biāo)注文件以及與之相對應(yīng)的模板圖片。

為了充分展示Rotated QATM 算法的優(yōu)勢，實(shí)驗(yàn)采用預(yù)測框與標(biāo)注目標(biāo)框的重疊度（IoU）作為精度度量。IoU 計(jì)算公式如下：

其中：|?|用來計(jì)算區(qū)域內(nèi)的像素個(gè)數(shù)；Rtruth和Rest分別為將模板T定位在目標(biāo)圖像S中產(chǎn)生的地面真值和估計(jì)的目標(biāo)框。

AP50 和AP75 分別代表匹配對的IoU 大于50 或75 的數(shù)量占整體的百分比。ROC 曲線下的面積（Area-Under-Curve，AUC）的物理意義則是平均準(zhǔn)確率。本文將IoU 大于75 的匹配對視為準(zhǔn)確匹配，以此可以計(jì)算數(shù)據(jù)集的召回率，計(jì)算公式如下：

其中：TP表示正確確定目標(biāo)位置而且IoU 大于75 的數(shù)量；FN表示低于閾值且沒有生成目標(biāo)框的數(shù)量。

4.2 實(shí)驗(yàn)設(shè)置

為驗(yàn)證本文Rotated QATM 算法的有效性以及合理性，共進(jìn)行2 組實(shí)驗(yàn)。實(shí)驗(yàn)1 通過比較Rotated QATM 與不同匹配算法在艦船模板匹配上的表現(xiàn)，驗(yàn)證本文算法的有效性；實(shí)驗(yàn)2 通過比較選用不同卷積層的算法的性能，以此說明淺層信息與深層信息搭配使用比單層信息匹配更有優(yōu)勢以及網(wǎng)絡(luò)深度不能過深的合理性。實(shí)驗(yàn)環(huán)境為CPU Intel Core i7，主頻為2.93 GHz，內(nèi)存為4 GB，操作系統(tǒng)為Windows 10，神經(jīng)網(wǎng)絡(luò)框架為TensorFlow。

4.3 定量分析

4.3.1 Rotated QATM 性能分析

為了對Rotated QATM 的性能進(jìn)行分析，本文在HRSC2016_matching 數(shù)據(jù)集上對其進(jìn)行廣泛的定量和定性評估，將Rotated QATM 與DDIS、SIFT 進(jìn)行比較。本文使用的基礎(chǔ)方法來自于2019 年CVPR 收錄的文獻(xiàn)中的QATM 方法，該方法通過排序來評估所有匹配對的質(zhì)量，針對局部相似的特征干擾進(jìn)行了優(yōu)化；DDIS 是2017 年CVPR 收錄的文獻(xiàn)中提到的方法，該方法提出一種相似性度量方法，針對形變多樣性相似性進(jìn)行優(yōu)化，對復(fù)雜形變、顯著的背景雜波和遮擋具有魯棒性，是經(jīng)典的特征層匹配方法；SIFT 特征點(diǎn)具有很好的尺度不變性和旋轉(zhuǎn)不變性，是傳統(tǒng)特征中應(yīng)用最廣泛的代表之一。

由于QATM 和DDIS 匹配算法的目標(biāo)框不具備角度信息，為了公平起見，給這2 個(gè)算法都加入細(xì)粒度艦船角度定位模塊。圖6 所示為2 976 對模板圖像對上4 種算法的ROC 曲線。

圖6 4 種算法的準(zhǔn)確率曲線Fig.6 Accuracy curves of four algorithms

從圖6 可以看到，使用特征圖進(jìn)行模板匹配的QATM 和DDIS 的ROC 曲線都是緩慢下降的。由于HRSC2016_matching 是一個(gè)全場景數(shù)據(jù)集并包含各種干擾，因此ROC 曲線下降緩慢說明算法針對所有的環(huán)境具有相似的匹配能力，算法具有很強(qiáng)的普適性。與此產(chǎn)生對比的是，SIFT 算法準(zhǔn)確率會快速下降，這表明SIFT 算法只對一部分匹配對有效果，算法魯棒性不強(qiáng)。QATM 算法通過對每一對特征點(diǎn)的相互相似度進(jìn)行排名，減少重復(fù)出現(xiàn)某一類特征的干擾，更加專注特異性的目標(biāo)匹配，最終取得了優(yōu)于DDIS 的效果。Rotated QATM、DDIS、SIFT 和QATM（baseline）在全數(shù)據(jù)集上平均單個(gè)匹配任務(wù)的計(jì)算時(shí)間分別是178 ms、229 ms、53 ms 和126 ms，雖然Rotated QATM 的時(shí)間復(fù)雜度略高于QATM（baseline）和SIFT，但是滿足在衛(wèi)星過頂時(shí)間內(nèi)完成高價(jià)值目標(biāo)模板匹配任務(wù)的需求，能夠統(tǒng)一兩段遙感視頻中跟蹤目標(biāo)的編號。

4 種算法在艦船模板匹配數(shù)據(jù)集上得到的PR 曲線如圖7 所示。從圖7 可以看出，Rotated QATM 的平均召回率為78.4%，相比QATM（baseline）、DDIS、SIFT 的平均召回率分別提高了3.1%、30.6%、16.2%。

圖7 4 種算法的PR 曲線對比Fig.7 Comparison of PR curves of four algorithms

從表2 中的AUC、AP50、AP75 可以看出，Rotated QATM 相比對比算法更準(zhǔn)確。在使用深度融合特征時(shí)，Rotated QATM 的AUC 比QATM（baseline）、DDIS、SIFT 分別提高了約9.5、16.0、17.5 個(gè)百分點(diǎn)，AP75 分別提升了21.1、30.5、6.9 個(gè)百分點(diǎn)。這說明單層特征難以應(yīng)對艦船尺寸的復(fù)雜情況，未提供足夠的立體的多種維度信息，將淺層紋理信息與深層語義信息搭配使用的網(wǎng)絡(luò)性能更優(yōu)。

表2 模板匹配算法性能比較結(jié)果Table 2 Performance comparison results of template matching algorithms

4.3.2 不同特征層融合性能分析

模板匹配方法處理的對象大多是單層特征，或者是像素級的處理過程，這些特征信息不夠豐富，難以應(yīng)對復(fù)雜的環(huán)境變化以及艦船尺寸的多樣化特性。為此，本文引入多層特征信息進(jìn)行融合匹配，并優(yōu)化特征層的選擇。為了定量分析雙級特征融合模塊帶來的精度變化和深層與淺層特征搭配使用的優(yōu)勢，實(shí)驗(yàn)對比單層的特征匹配算法與深層和淺層信息相結(jié)合的匹配算法的準(zhǔn)確率，比較結(jié)果通過ROC 曲線進(jìn)行展示，如圖8 所示。Rotated QATM（superficial）和 Rotated QATM（deep）分別代表經(jīng)過神經(jīng)網(wǎng)絡(luò)第1 層卷積模塊和第4 層卷積模塊后輸出的特征值；Rotated QATM（middle）使用的是第2 層和第3 層融合特征；Rotated QATM（block 1+block 4）和Rotated QATM（block 1+block 3）使用的是第1 層與第3 層以及第1 層與第4 層的融合特征。

表3 所示為本文方法通過不同特征層融合后的關(guān)鍵評價(jià)指標(biāo)具體數(shù)值。從中可以看出，雙級特征融合匹配的AP75 比單層特征分別提高了10.5、22.5 個(gè)百分點(diǎn)，Rotated QATM（block 1+block 4）比Rotated QATM（block 2+block 3）和Rotated QATM（block 1+block 3）分別提高了21.1、8.9 個(gè)百分點(diǎn)。對于深層特征做單層匹配，由于特征過于抽象，幾何特征信息量太少，因此匹配結(jié)果最差。對于本數(shù)據(jù)集而言，第1 層和第4 層的搭配效果最好，既能夠克服視角變化時(shí)對同一目標(biāo)確認(rèn)相同身份的問題，又做到目標(biāo)之間身份不混淆，同時(shí)適應(yīng)艦船尺寸的多樣性，因此，其對環(huán)境變化的適應(yīng)性最強(qiáng)。

4.4 定性分析

針對目標(biāo)環(huán)境變化、觀察視角變化的匹配場景以及綜合場景，從網(wǎng)絡(luò)中下載一些具有挑戰(zhàn)性的匹配圖像對，分別使用SIFT、DDIS、QATM（baseline）以及本文的Rotated QATM 算法進(jìn)行對比實(shí)驗(yàn)，結(jié)果如圖9 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML版）。每組圖片第1 列是模板，第2 列是目標(biāo)圖像以及劃定的綠色目標(biāo)框，第3 列是計(jì)算出的特征圖或熱力圖，第4 列是匹配結(jié)果，藍(lán)色或紅色是預(yù)測框。圖9（a）是針對環(huán)境變化選擇的匹配對，模板是出港后有云層遮擋的圖片，時(shí)間是傍晚，目標(biāo)圖像則是在港口，時(shí)間是下午。圖9（b）是針對觀察視角變化的匹配對，2 張圖片分別選擇艦船目標(biāo)的前側(cè)和后側(cè)。整體來看，DDIS 針對環(huán)境干擾進(jìn)行了優(yōu)化，QATM針對視角變化進(jìn)行了優(yōu)化，SIFT 特征具有良好的尺度不變性和旋轉(zhuǎn)不變性，3 種對比算法相互比較雖然各有優(yōu)勢，但是準(zhǔn)確率與Rotated QATM 算法依然存在明顯差距。圖9（c）模板是航拍我國國產(chǎn)003 航母建造時(shí)的場景，船只尾部有起重架遮擋，目標(biāo)圖像是衛(wèi)星拍攝的航母試水場景，前后分別基于航拍和衛(wèi)星圖像且岸邊環(huán)境有很大的變化，產(chǎn)生了較強(qiáng)的干擾，包括遮擋、顯著形變、背景雜波和尺度變化。從檢測結(jié)果圖中可以明顯看出Rotated QATM 更準(zhǔn)確，熱力圖噪聲最小。傳統(tǒng)的SIFT 算法可以很快提取出模板圖像和目標(biāo)圖像的特征點(diǎn)，但是由于光照和視角的變化使得SIFT 特征點(diǎn)難以進(jìn)行匹配。QATM算法通過提取出熱力圖并在圖上進(jìn)行相似度推算來確定目標(biāo)的位置。從熱力圖上可以看出，DDIS 算法提取出的熱力圖噪聲很大，而Rotated QATM 提取出的熱力圖最干凈，目標(biāo)匹配位置更為準(zhǔn)確。上述結(jié)果驗(yàn)證了本文關(guān)于匹配信息來源的特征層選擇的猜想，即淺層特征更多的是差異性的紋理信息，深層特征則包含更多的共同性的語義信息，同時(shí)驗(yàn)證了質(zhì)量感知模板匹配模塊可以同時(shí)應(yīng)對環(huán)境變化、視角變化的疊加影響，提高了定位的準(zhǔn)確度。在圖9 中，Rotated QATM 最后的匹配結(jié)果IoU 達(dá)到0.886。

圖9 3 組存在典型干擾的匹配對的實(shí)驗(yàn)結(jié)果Fig.9 Experimental results of three paired pairs with typical interference

5 結(jié)束語

本文針對跨星高價(jià)值目標(biāo)模板匹配問題，提出一種基于深度特征的質(zhì)量感知旋轉(zhuǎn)艦船模板匹配算法Rotated QATM。該算法采用雙級特征融合模塊，同時(shí)提取淺層的紋理信息和深層的語義信息，解決了在跨星跟蹤時(shí)因艦船尺寸多樣和環(huán)境變化所導(dǎo)致的模板匹配定位不準(zhǔn)確的問題。設(shè)計(jì)質(zhì)量感知模板匹配模塊，減少相似的環(huán)境因素以及目標(biāo)產(chǎn)生非剛性形變時(shí)對匹配過程產(chǎn)生的干擾。設(shè)計(jì)細(xì)粒度艦船角度定位模塊，提高匹配的準(zhǔn)確率，同時(shí)得到準(zhǔn)確的艦船方向信息，為星間接力跟蹤創(chuàng)造條件。實(shí)驗(yàn)結(jié)果表明，Rotated QATM 在數(shù)據(jù)集HRSC2016_matching上的AUC 是0.81，AP75 是0.78，能夠有效提高艦船目標(biāo)匹配的準(zhǔn)確率。目前衛(wèi)星星座的任務(wù)規(guī)劃需要通過設(shè)計(jì)調(diào)度算法來優(yōu)化衛(wèi)星的資源配置，因此，下一步考慮將模板匹配算法和衛(wèi)星調(diào)度算法相結(jié)合，同時(shí)進(jìn)行輕量化網(wǎng)絡(luò)設(shè)計(jì)，以實(shí)現(xiàn)低能耗和高精度的衛(wèi)星星座跨星接力跟蹤。