基于分段組合特征降維的交叉視角目標(biāo)定位研究

劉 琳，趙化啟

（佳木斯大學(xué)信息電子技術(shù)學(xué)院，佳木斯 154007）

0 引言

交叉視角目標(biāo)定位是根據(jù)參考圖像找到無人機圖像中目標(biāo)位置的過程。交叉視角目標(biāo)定位技術(shù)具有廣闊的應(yīng)用前景，能夠?qū)崿F(xiàn)無人機定位、導(dǎo)航以及事件檢測等任務(wù)［1-3］。早期的圖像地理定位任務(wù)是通過查詢圖像與帶地理標(biāo)簽的街景圖像匹配來完成的［4-5］，然而由于帶地理標(biāo)記的圖像大部分集中在城市地標(biāo)中，從而限制了該方法的應(yīng)用。Lin 等［6］最早提出了交叉視角圖像匹配，并制作了包含地面圖像、航空圖像以及地面屬性圖像的數(shù)據(jù)集，圖像定位成功率為17%。而后學(xué)者們也提出了基于地面圖像與航空圖像的地理定位數(shù)據(jù)集［7-8］。目前基于深度學(xué)習(xí)的方法已經(jīng)廣泛應(yīng)用于交叉視角目標(biāo)匹配任務(wù)，比如Liu 等［8］提出了OriCNN，提高了所學(xué)特征的分辨性； Hu 等［9］提出了CVM-Net，使用完全卷積層提取局部圖像特征并結(jié)合Net-VLAD［10］將其編碼為圖像全局描述符?？紤]到地面圖像與航空圖像存在差異，Zheng 等［11］提出了University-1652 數(shù)據(jù)集，該數(shù)據(jù)集包括了三個視角的數(shù)據(jù)，包含了無人機圖像、衛(wèi)星圖像以及地面圖像，能夠更好地學(xué)習(xí)視角不變特征，彌補了不同數(shù)據(jù)間外觀的差異。Wang 等［12］提出了LPN（local pattern network）網(wǎng)絡(luò)，充分利用了圖像相鄰區(qū)域的上下文信息，提高了交叉視角目標(biāo)定位的精度。薛朝輝等［13］提出了一種融合NetVLAD 和三元神經(jīng)網(wǎng)絡(luò)的交叉視角圖像定位方法，取得了較高的定位精度。

雖然基于深度學(xué)習(xí)的方法在交叉視角目標(biāo)定位上取得了較好的效果，但是存在學(xué)習(xí)所得特征維度過高、區(qū)分性不足的缺點，這會影響交叉視角目標(biāo)定位的速度和精度。因此，針對上述問題，本文先通過Resnet-50 網(wǎng)絡(luò)選取實例損失［14］作為損失函數(shù)，選取University-1652數(shù)據(jù)集的無人機圖像及衛(wèi)星圖像進行訓(xùn)練得到特征提取模型。另外，圖像經(jīng)過特征提取后，提出了一種分段組合降維方案對圖像全局特征進行降維，保留了特征的主要信息并降低了特征維度，最終提高了交叉視角目標(biāo)的檢測精度和速度。

1 基于迭代降維的交叉視角圖像定位

1.1 整體框架

本文所提方法整體框架如圖1所示，包括了訓(xùn)練以及檢測兩個步驟。其中訓(xùn)練網(wǎng)絡(luò)為Resnet-50 網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)為無人機圖像和衛(wèi)星圖像，并選取實例損失作為損失函數(shù)進行訓(xùn)練得到特征提取模型。在檢測階段，將目標(biāo)圖像（無人機圖像）和衛(wèi)星圖像數(shù)據(jù)庫輸入到特征提取模型，得到512維的全局圖像特征，基于主成分分析（PCA）方法提出了一種迭代特征降維方案對特征進行降維，最后將兩者特征進行相似性比對得到目標(biāo)圖像的匹配圖像。

1.2 特征提取網(wǎng)絡(luò)

本文選取ResNet-50［15］作為網(wǎng)絡(luò)的主干，其中ResNet 是一種殘差神經(jīng)網(wǎng)絡(luò)，主要思想是在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中加入殘差學(xué)習(xí)，這樣可以避免在網(wǎng)絡(luò)模型層數(shù)加深后出現(xiàn)學(xué)習(xí)退化問題。殘差網(wǎng)絡(luò)結(jié)構(gòu)的應(yīng)用，在避免上述問題出現(xiàn)的同時使得網(wǎng)絡(luò)系統(tǒng)性能得到一定提升。由此可見，ResNet-50 是一種簡單易用、性能優(yōu)化、內(nèi)部結(jié)構(gòu)提供更小卷積內(nèi)核的殘差學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。本文所用到的ResNet-50 的網(wǎng)絡(luò)結(jié)構(gòu)組成是通過49 個卷積層和1 個全連接層組成的。其中，從輸入到輸出分別由5 個階段組成，第1階段是對輸入的預(yù)處理操作，后4個階段是由結(jié)構(gòu)相似的Bottleneck 組成。第2 階段的Bottleneck數(shù)量是3 個；第3 階段的Bottleneck 數(shù)量是4 個；第4 階段的Bottleneck 數(shù)量是6 個；第5 階段的Bottleneck數(shù)量是3個。

1.3 損失函數(shù)

了解語義關(guān)系，本文需要一個目標(biāo)來消除不同視角間的差距。因為所提供的數(shù)據(jù)集為每個目標(biāo)地點提供了多個圖像，所以可以將每個地點視為一個類來訓(xùn)練分類模型。鑒于圖像語言雙向檢索的最新發(fā)展，采用一種稱為實例損失的分類損失進行訓(xùn)練。其主要思想是共享分類器可以將獲取到的不同圖像映射到同一個共享特征空間。我們將xs、xd和xg表示為位置c的三個圖像，其中xs、xd和xg分別是衛(wèi)星視圖圖像、無人機視圖圖像和地面視圖圖像。給定來自兩個視圖的圖像對{xs,xd}，基本實例損失可以表述為

其中，Wshare是最后一個分類層的權(quán)重。p（c）是對c類的預(yù)測可能性。與傳統(tǒng)的分類損失不同，共享權(quán)重對高級特征提供了軟約束。其中，可以把W看作一個線性分類器。優(yōu)化后，不同的特征空間與分類空間對齊。在本文所研究內(nèi)容中，通過進一步擴展基本實例丟失處理不同來源的數(shù)據(jù)。例如，如果提供了一個以上的視圖，則只需要包括一個以上的條件項：

1.4 基于分段組合的降維方案

分段組合降維是基于PCA（principal component analysis）完成的，包括了特征分段與特征組合兩部分。首先，通過對特征進行劃分，可以得到若干特征子集，對若干特征子集分別進行PCA 降維，最后將降維后的特征子集匯集到一起得到分段降維結(jié)果。然后，是特征組合，在特征分段部分設(shè)置不同的劃分維度，可以得到不同維度的特征子集，將這若干個不同維度的特征子集匯集到一起進行二次降維，得到最終降維結(jié)果。PCA降維過程如下：

設(shè)查詢圖像經(jīng)過特征提取模型所得的特征維度為M維，數(shù)據(jù)可以表示為X=(X1,X2,…,XM)，其中Xk是一個N*1維的列向量，則X是一個N*M的矩陣，降維后的低維度輸出是f(f＜＜M)。其主要步驟為如下幾個部分：

（1）去除平均值。

式中，i= 1,2,…,N;k= 1,2,…,M。

（2）計算原始數(shù)據(jù)集高維數(shù)據(jù)均值的標(biāo)準(zhǔn)矩陣。

（3）計算協(xié)方差矩陣。

（4）計算協(xié)方差矩陣的特征值λ1,λ2,…,λM，其中前一個λ取值是遠(yuǎn)大于后一個的取值，以及其對應(yīng)的特征向量a1,a2,…,aM，并且將求得的特征值進行排序，依次是從大到小進行排序，相對應(yīng)的特征向量也會隨著特征值的大小順序進行依次排列；通過特征值的具體數(shù)值可以計算主成分所包含的貢獻率ηi和累計貢獻率ω。

（5）取最大的f個特征值(f＜＜M)，將其對應(yīng)的特征向量a1,a2,…,af組成一個轉(zhuǎn)換矩陣B=[a1,a2,…,af]，利用以下公式計算得到原始目標(biāo)檢測視圖數(shù)據(jù)X降至f維的數(shù)據(jù)Y。

通過以上變換之后，原始特征中的絕大部分信息都可以排在前面的數(shù)個主成分分量中，其他比較靠后分量所包含的信息基本就是噪聲，所以PCA算法在一定程度上也起到了降噪的作用。

2 實驗分析

2.1 實驗數(shù)據(jù)集

本文選用University-1652 數(shù)據(jù)集進行實驗，University-1652 數(shù)據(jù)集包含了72 所大學(xué)的1652座大學(xué)建筑作為目標(biāo)，包含了無人機圖像、地面圖像以及衛(wèi)星圖像。其中，作者使用谷歌地球提供的3D 模型來模擬無人機相機，通過改變視角來收集模擬圖像作為無人機圖像，通過Google 地圖來收集目標(biāo)建筑的街景圖像作為地面圖像。最后，每個目標(biāo)建筑平均有1張衛(wèi)星圖像、54張無人機圖像及3.38張真實街景圖像。選取其中1402 座具有完整數(shù)據(jù)的目標(biāo)建筑進行實驗，將1402組圖像劃分為不重復(fù)的訓(xùn)練集和測試集，剩余250組圖像作為噪聲干擾輔助訓(xùn)練。

2.2 評價準(zhǔn)則

Recall@K 是對首個匹配圖位置敏感的評估協(xié)議，并可以使用到圖庫里只有一個真實匹配圖的測試集的情況。但是，在University-1652數(shù)據(jù)集中，圖庫有許多視點不一致的實際匹配圖像，使得Recall@K 無法準(zhǔn)確表示出其他地面圖像的匹配程度。所以，在Recall@K 的基礎(chǔ)上，也采用平均精度（AP）。平均精度（AP）實際上真正表示的是精度召回（PR）曲線下面的面積之和，能得到圖庫中所有地面的實際圖像。針對Recall@K，主要計算AP并給出所有查詢的平均AP的數(shù)值。在對University-1652數(shù)據(jù)集進行PCA降維后，其主要的評價仍然考慮上述給出的幾個重點標(biāo)準(zhǔn)，體現(xiàn)出對原始數(shù)據(jù)創(chuàng)新降維后各個評價的數(shù)值變化。

其中，AP（average precision）為平均精準(zhǔn)率，具體是（某一個類別）每個樣本的精確率求和/樣本總數(shù)N。

Recall@K 為預(yù)測正確的相關(guān)結(jié)果占所有相關(guān)結(jié)果的比例：

2.3 實驗結(jié)果

實驗選取101張衛(wèi)星圖像作為目標(biāo)圖像，與衛(wèi)星圖像對應(yīng)的無人機圖像作為待匹配圖像，通過訓(xùn)練的特征模型得到整體特征分別用query_f 和gallery_f 來表示。其中目標(biāo)圖像的特征維度是101*512，待匹配圖像的特征維度是5022*512。設(shè)置分段降維實驗以及分段組合降維實驗來驗證本文所提方法的有效性。

2.3.1 分段降維實驗

通過對特征進行劃分，可以得到若干特征子集，對若干特征子集分別進行PCA 降維，最后將降維后的特征子集匯集到一起得到最終的特征降維結(jié)果。如圖2所示，實驗分別選取劃分后特征子集維度為3、4、5、10、15、20、25、30、35、40、45、50 維進行對比，評價指標(biāo)為AP 和Recall。以特征子集維度為3 維為例，是將原特征中相鄰的3 個維度降成1 維，并以類推，直至完成整體特征降維。未進行降維時，AP 為47.5%、Recall@1 為40.66%、Recall@5 為71.51%、Recall@10 為83.71%、Recall@top1 為52.55%。使用經(jīng)過降維后的特征進行評價時，指標(biāo)均優(yōu)于未降維的特征。其中，將特征劃分子集維度為20 維時，效果能達到最好，其AP 為49.48%、Recall@1為42.81%、Recall@5為72.94%、Recall@10 為84.35%、Recall@top1 為54.62%。圖3、圖4 分別為不同分段數(shù)降維后的Recall@1和AP 評價結(jié)果，可以直觀看出將特征劃分子集維度為20維時，效果能達到最好。

圖2 不同分段數(shù)降維后的整體評價結(jié)果

圖3 不同分段數(shù)降維后的Recall@1評價結(jié)果

圖4 不同分段數(shù)降維后的AP評價結(jié)果

2.3.2 分段組合降維實驗

在上面分段降維實驗的基礎(chǔ)上，再進一步對不同維度的特征子集進行整合降維。具體為，首先按照2.3.1 節(jié)描述，將整體特征劃分為子集維度為3、4、5的子集，分別對這三個維度的特征子集進行降維，隨后三個降維后的特征子集匯合到一起進行二次降維。本節(jié)實驗選取了子集為3、4、5，20、25、30，25、30、35 和30、35、40 維度的特征子集進行實驗，整體結(jié)果如圖5 所示，二次降維結(jié)果仍然比未降維特征要好，其中子集維度為3、4、5進行二次降維的實驗結(jié)果最優(yōu)。圖6為不同維度整合二次降維后的Recall@1 評價指標(biāo)，從中可以看出經(jīng)過二次降維后Recall@1 的數(shù)值均高于分段降維的實驗結(jié)果，其中子集維度為3、4、5 的Recall@1 值最高為44.92%。圖7 不同維度整合二次降維后的AP評價指標(biāo)，從中可以看出經(jīng)過二次降維后AP的數(shù)值均高于分段降維的實驗結(jié)果，其中子集維度為3、4、5 的AP 值最高為51.42%，達到了最高精度。

圖5 不同維度整合二次降維后的整體評價結(jié)果

圖6 不同維度整合二次降維后的Recall@1評價指標(biāo)

圖7 不同維度整合二次降維后的AP評價指標(biāo)

3 結(jié)語

針對交叉視角目標(biāo)定位任務(wù)，本文首先通過Resnet-50 網(wǎng)絡(luò)，并選取實例損失作為損失函數(shù)，選取University-1652數(shù)據(jù)集的無人機圖像及衛(wèi)星圖像進行訓(xùn)練得到特征提取模型。然后，圖像經(jīng)過特征提取后，本文提出了一種分段組合降維方案對圖像全局特征進行降維，保留了特征的主要信息并降低了特征維度。實驗表明分段降維后的AP 和Recall@1 對比原始特征進行匹配分別提升了1.04 倍和1.05 倍。在分段組合降維對比原始特征匹配的AP 和Recall@1 分別提升了1.08 倍和1.1 倍。實驗結(jié)果表明，通過分段組合降維方案能夠有效提高交叉視角目標(biāo)定位精度。