結(jié)構知識驅(qū)動的遙感影像飛機型號識別方法

馮源 肖志峰

（武漢大學測繪遙感信息工程國家重點實驗室，湖北 武漢 430079）

飛機目標型號識別是遙感影像目標識別中的一個重要分支，在遙感影像的軍民應用領域有著廣泛運用。近年來，得益于深度學習算法和影像處理技術的飛速發(fā)展，飛機目標型號識別技術有了長足進步，但仍然有較大的提升空間。

遙感影像中影響飛機型號識別精度的因素有很多 ：影像噪聲、背景復雜、旋轉(zhuǎn)角度過大、形狀相似、細分類數(shù)據(jù)缺乏等等。為解決這些問題而誕生的研究數(shù)不勝數(shù)，其中較具代表性的方法可以分成兩大類：端到端識別和雙階段識別。端到端識別往往通過搭建深度神經(jīng)網(wǎng)絡直接對飛機圖像實現(xiàn)分類。Diao 等首次使用深度置信網(wǎng)絡解決飛機識別問題，但僅能在小范圍型號中保持較高精度[1]。Fu 等提出了多類激活映射方法，能夠充分利用飛機結(jié)構特征[2]。Yi 等關注飛機的局部和多級特征，將多級注意力機制引入類型識別網(wǎng)絡[3]。

端到端方法有一個共同的缺點——無法確保訓練集以外飛機型號的識別精度。因此，雙階段識別方法應運而生。雙階段識別往往通過特征提取和型號分類兩個階段實現(xiàn)識別。在型號分類器的選擇上，輕量化且高效的機器學習方法備受青睞。但在特征提取器上經(jīng)歷了從Hu 矩[4]、傅里葉描述子[5]、SIFT[6]等傳統(tǒng)人工特征到基于深度學習特征的演變。傳統(tǒng)人工特征因為缺乏對噪聲和復雜背景的魯棒性而被淘汰，基于深度學習的特征在最近十年逐步成為研究熱點。Zhao等開了運用關鍵點檢測思想解決飛機細粒度識別的先河，其方法改善了以往方法的數(shù)據(jù)敏感性問題[7]。后續(xù)的研究基于關鍵點檢測思想做了許多嘗試，進一步表明通過關鍵點檢測預測坐標和方向可以輔助分割模型提取精確的飛機輪廓[8]。Zhang 等使用生成對抗網(wǎng)絡從無類型標注數(shù)據(jù)集學習關鍵點特征表示飛機[9]。雖然這些方法均在不同程度上緩解了數(shù)據(jù)敏感性問題，但是在面對困難樣本和繁多型號時仍然有不小的改進空間。

為了解決上述問題，本文在現(xiàn)有基于關鍵點檢測的飛機識別方法上更進一步。首先搭建了一個融合熱力圖回歸和坐標回歸的飛機關鍵點檢測模型，設計鄰域回歸模塊以限制離群點。隨后，提出了一種結(jié)構知識驅(qū)動的飛機型號識別方法，從精確的關鍵點坐標出發(fā)提取結(jié)構特征，實現(xiàn)飛機目標細粒度識別。實驗表明，該方法兼具精度和可靠性，在低數(shù)據(jù)量下仍能保持較好表現(xiàn)。

1 結(jié)構知識驅(qū)動的識別模型的構建

1.1 飛機結(jié)構建模

基于關鍵點檢測思想的識別方法一般需要根據(jù)識別目標的特點，人為設計關鍵點分布方案，賦予各個關鍵點具體的語義特征。此前一些運用關鍵點檢測思想的飛機識別方法往往僅定義較少數(shù)量的關鍵點，或?qū)⑸倭筷P鍵點作為細粒度識別的輔助手段[7-9]。與這些方法不同的是，本文將關鍵點作為飛機型號識別的主要依據(jù)。而在眾多飛機型號中，存在許多細節(jié)上形態(tài)較為相似的型號，應用少量關鍵點無法體現(xiàn)結(jié)構上的細微差別，難以區(qū)分此類型號。為此，本文基于飛機結(jié)構特點，定義足夠數(shù)量的關鍵點以保留飛機結(jié)構細節(jié)特征，設計了如圖1 所示的適應主流飛機型號的87 點關鍵點分布方案。

圖1 87點飛機關鍵點分布方案

考慮到主流飛機型號的結(jié)構特點，本文劃分了四個主要的飛機結(jié)構：機身、機翼、翼上發(fā)動機、尾翼。在確保關鍵點能夠描述結(jié)構細節(jié)的前提下，各個飛機結(jié)構包含的關鍵點按照如下分配，其中存在部分點同時從屬于多個結(jié)構：

機身：點0-8，33-37，50-54，79-86；

機翼：點8-29，58-79；

翼上發(fā)動機：點9-23，64-78；

尾翼：點37-50。

部分飛機型號存在相當大的結(jié)構差異，以發(fā)動機布置方式為例，有翼上、機身等多種形式，發(fā)動機數(shù)量則有雙發(fā)、四發(fā)、六發(fā)等，僅僅憑借少量關鍵點難以實現(xiàn)此類結(jié)構差異的區(qū)分[7]。為此，本文著重增加了關鍵點的數(shù)量，使關鍵點定義能夠適應多種飛機型號的結(jié)構差異情況，對于發(fā)動機布置方式和數(shù)量都有較強的適應性（如圖2 所示）。相比以往關鍵點定義方法，這種自適應性也保證了本文方法能夠描述更多的飛機結(jié)構細節(jié)特征。

圖2 關鍵點定義對不同飛機型號的適應

1.2 飛機結(jié)構提取模型

通過檢測具有結(jié)構語義特征的關鍵點提取飛機結(jié)構，需要構建飛機關鍵點檢測模型?；谧鴺嘶貧w和基于熱力圖回歸是關鍵點檢測的兩大主流方法。基于坐標回歸的方法直接預測關鍵點坐標，速度快但精度有限；基于熱力圖回歸的方法通過多通道的熱力圖預測關鍵點所在位置的概率，間接預測關鍵點位置，精度較高但速度慢，且存在部分點嚴重偏離附近點的離群點問題?？紤]到以上方法的特點，本文結(jié)合坐標回歸和熱力圖回歸的優(yōu)勢，添加鄰域回歸模塊，設計了如圖3 所示的飛機關鍵點檢測模型。

圖3 中，檢測模型采用經(jīng)典卷積神經(jīng)網(wǎng)絡ResNet-101[10]作為主干網(wǎng)絡，提取輸入飛機圖像的特征信息。特征信息分別經(jīng)過熱力圖回歸模塊、坐標回歸模塊以及領域回歸模塊輸出最大概率網(wǎng)格、相對網(wǎng)格原點的偏移坐標X，Y 和鄰近關鍵點的偏移坐標Xi，Yi。熱力圖回歸模塊采用N 通道1×1 卷積，將原始輸入圖像劃分為7×7 個尺寸相同的正方形網(wǎng)格，通過熱力圖預測每個網(wǎng)格中某一關鍵點的出現(xiàn)概率，從而大致預測關鍵點位置。其中，N 為關鍵點總數(shù)，本文中N=87。

與先前研究中的許多熱力圖回歸關鍵點檢測網(wǎng)絡不同，該網(wǎng)絡的熱力圖預測僅需劃分較為稀疏的網(wǎng)格，減小了計算量，在低分辨率的熱力圖上實現(xiàn)快速的網(wǎng)格級關鍵點位置預測。坐標回歸模塊采用2N 通道1×1 卷積，在熱力圖預測概率最大的網(wǎng)格基礎上，預測關鍵點相對于該網(wǎng)格坐標原點的偏移坐標，得到關鍵點的確切位置，在部分遮擋情況下仍具備較好的輪廓聯(lián)想能力。鄰域回歸模塊采用2N×M 通道1×1 卷積，讓待預測關鍵點鄰近的關鍵點參與對該關鍵點的位置預測，輸出鄰近關鍵點相對于該關鍵點所在網(wǎng)格坐標原點的位置偏移，從而達成對該關鍵點的位置約束，減輕與周圍點嚴重偏離的離群點現(xiàn)象。其中，M 為參與計算的鄰近關鍵點數(shù)量，本文取M=40，那么每個關鍵點的位置會被它距離最近的40 個點所約束。輸出網(wǎng)格和坐標后，模型將計算損失，以損失的加權和作為網(wǎng)絡訓練的優(yōu)化目標，其損失函數(shù)見下式[11]：

式中，LH、LC和LN分別表示熱力圖回歸、坐標回歸和鄰域回歸的損失，βC和βN分別表示坐標回歸和鄰域回歸的損失權重，本文取經(jīng)驗值βC=0.1，βN=0.1。Sijk和是關鍵點在單個網(wǎng)格上歸一化后的概率真實值和預測值；oijkl和是關鍵點與其所在網(wǎng)格坐標原點的歸一化后的偏移真實值和預測值；nijkml和和是鄰近關鍵點與單個預測關鍵點所在網(wǎng)格坐標原點的歸一化后的偏移真實值和預測值。Sijk=1意味著只讓實際具有關鍵點的網(wǎng)格參與計算。

最后，在熱力圖輸出的具有最大概率的網(wǎng)格中，網(wǎng)絡將對應的坐標偏移換算成實際關鍵點坐標。該坐標與鄰近點預測的坐標偏移在經(jīng)過直接的平均融合后，將作為模型的預測關鍵點坐標。

1.3 結(jié)構知識驅(qū)動的飛機型號識別

1.3.1 基于結(jié)構顯著差別的離散特征過濾

目前全球飛機型號種類繁多，比較不同型號間飛機結(jié)構細微差異是一個計算量較大的過程，將輸入飛機圖像與所有型號進行比較顯然是不現(xiàn)實的，會造成計算資源和時間上的浪費。經(jīng)過對大量飛機型號的比較分析，本文認為在遙感影像下，飛機結(jié)構具有三個較為顯著的離散判別特征 ：機翼有無、發(fā)動機位置分布、發(fā)動機數(shù)量，透過它們可以反映不同型號間結(jié)構的顯著差別。根據(jù)這些特征，本文設計了如下的顯著差別判別方式：

式中，Aw和Af分別表示飛機單側(cè)機翼面積和機身面積，Ae1和Ae2分別表示機翼上靠近機身側(cè)的第一個發(fā)動機和第二個發(fā)動機的面積。這些面積可由關鍵點檢測模型預測的關鍵點坐標通過向量積算法求得。Twf表示翼身面積比閾值，Tew表示發(fā)動機機翼面積比閾值，Tee表示發(fā)動機間面積比閾值，這三個閾值需要根據(jù)具體研究的飛機樣本量和型號人為確定。本文在充分比較數(shù)據(jù)集中各型號的三個面積比值后，取經(jīng)驗值Twf=0.01，Tew=0.01，Tee=3。

經(jīng)過上述離散特征過濾，模型可以通過預測的關鍵點坐標快速劃分固定翼飛機和直升機、翼吊式和尾吊式飛機、雙發(fā)和四發(fā)以上飛機等類別，實現(xiàn)粗粒度的型號類別劃分，以緩解型號繁多導致的識別低效率問題。

1.3.2 融合全局和部件結(jié)構連續(xù)特征的模板匹配

模板匹配是一種在目標細粒度識別中得到廣泛運用的算法，能夠檢測出輸入圖像和模板圖像的細節(jié)差別。本文識別模型將部件輪廓視作飛機結(jié)構的連續(xù)性特征，融合飛機全局和部件結(jié)構相似度，采用模板匹配方法實現(xiàn)結(jié)構連續(xù)特征的相似度計算，具體計算方式如下：

式中，SA表示總和相似度，p 表示參與模板匹配計算的部件總數(shù)。SG和Si分別表示全局相似度和各部件相似度，使用相關系數(shù)算法計算：

式中，，Tx',y'和Tx'',y''表示模板圖像中某個像素灰度值和其他像素灰度值。。Ix',y'和Ix'',y''表示輸入圖像中某個像素灰度值和其他像素灰度值。w 和h 代表模板圖像寬高，輸入圖像須調(diào)整大小與之保持一致。

通過結(jié)構連續(xù)特征相似度計算，識別模型可以從型號知識庫中找出與輸入飛機形態(tài)無論是全局還是各部件都最為相似的飛機型號，從而實現(xiàn)細粒度的飛機型號識別。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

根據(jù)飛機型號先驗知識，本文搜集整理了一個具有手工標注關鍵點和型號分類的數(shù)據(jù)集。數(shù)據(jù)集中含有798 張帶有關鍵點和型號標注的飛機樣本，其中，606 張用作訓練集，192 張用作驗證集，以及2291 張僅含型號標注的樣本用作測試集。

數(shù)據(jù)集的部分來源于aircraft-16[3]、MTARSI[12]和FAIR1M[13]，其余部分在Google Earth，高分- 5 和高分- 7 的0.5m 至1.2m 分辨率下的遙感影像中搜集而成。所有關鍵點標簽均嚴格參照本文提出的87 點飛機關鍵點分布方案進行標注。數(shù)據(jù)集包括24 類飛機型號，因此命名為Type-24，圖4 展示了數(shù)據(jù)集中的一部分樣本。

圖4 數(shù)據(jù)集Type-24中的部分樣本

在數(shù)據(jù)集訓練集的關鍵點標注基礎上，本文制作了如圖5 所示的飛機全局模板和部件模板用于識別模型的模板匹配。

圖5 由訓練集生成的全局和部件模板

圖5 中，黑色模板表示飛機全局模板，橙色表示飛機機身，綠色表示機翼。在本文實驗中，參與模板匹配的部件總數(shù)p=2，匹配時僅考慮機身和機翼的部件結(jié)構連續(xù)特征。

2.2 關鍵點檢測實驗

本節(jié)實驗驗證了關鍵點檢測模型的效果。606張訓練集圖像和192 張驗證集圖像經(jīng)過7 次Copy-Paste[14]擴充，以及36 次隨機旋轉(zhuǎn)、裁剪和透視變換等數(shù)據(jù)擴充，最終得到將近200000 張圖像用于模型訓練，50000 張用于模型驗證。本文的關鍵點檢測模型在4 張NVIDIA Tesla V100 顯卡上進行訓練，將batch size 設置為32，將learning rate 設置為0.0001，模型輸入圖像尺寸為224×224，共迭代100個epoch。模型的部分關鍵點檢測結(jié)果如圖6 所示，在驗證集上的損失loss 為0.0075，說明本文關鍵點檢測方法具有較高的精度。

圖6 驗證集上部分關鍵點檢測結(jié)果

2.3 型號識別實驗

本節(jié)實驗在測試集上進行關鍵點檢測，將關鍵點預測坐標輸入識別模型驗證本文識別方法的有效性。本文方法的型號識別總體精度可達73.11%，識別結(jié)果的混淆矩陣如圖7 所示。

圖7 識別結(jié)果的混淆矩陣

圖7 中，型號2、4、13、14、15、16 的識別表現(xiàn)不佳，主要原因是訓練集在這些型號上尚缺少數(shù)據(jù)量；從圖5 可以看出，型號4 在形態(tài)上與型號20、23 較為相似，也可能在一定程度上影響了識別精度；型號10、19 和21 由于形態(tài)特殊，識別精度較高。

2.4 消融實驗

本節(jié)設計了兩組實驗分別測試在刪去模型中部分模塊和刪減部分訓練集數(shù)據(jù)量的情況下，本文方法受到的影響。前者還與全連接的ResNet-101 網(wǎng)絡直接型號分類的效果進行了比較，總體精度和耗時對比如表1 所示。實驗表明，部件模板匹配的加入有助于彌補全局模板匹配的準確率缺陷，但對模型速度有一定影響。而離散特征過濾模塊則能夠減小計算量，有效提升模型速度，還對識別精度有一定改善。

表1 具備不同模塊的模型消融實驗結(jié)果

第二組實驗結(jié)果如表2 所示，表明本文方法在缺乏訓練數(shù)據(jù)時仍然具備可用性。結(jié)合表1 可以看出，本文方法在訓練集數(shù)據(jù)量減半的情況下仍優(yōu)于在完整訓練集下訓練的ResNet-101 全連接型號識別模型。

表2 削減訓練集數(shù)據(jù)量對識別效果的影響

3 結(jié)束語

為解決廣泛存在的數(shù)據(jù)依賴性和敏感性問題，本文提出了一種結(jié)構知識驅(qū)動的遙感影像飛機型號識別方法，使用改進的關鍵點檢測模型提取飛機結(jié)構特征，通過離散特征過濾和連續(xù)特征相似度計算實現(xiàn)細粒度型號識別。型號識別和消融實驗表明，本文提出的關鍵點檢測和全局部件融合匹配的識別流程充分利用了飛機結(jié)構特征，能夠有效提高飛機型號識別精度；離散特征過濾的方法在提高識別效率的同時，也在一定程度上提升了識別精度。