基于深度學習的自底向上艦載機輪廓關鍵點檢測算法?

朱興動 田少兵 范加利 王 正

（1.海軍航空大學岸防兵學院 煙臺 264001）（2.海軍航空大學（青島校區(qū)）艦面航空保障與場站管理系 青島 266041）

1 引言

航母艦面狹長、空間小，在執(zhí)行航空保障作業(yè)時，艦載機的調(diào)運過程蘊含著巨大的風險。嘗試通過關鍵點檢測技術獲取艦載機外輪廓，有助于艦面艦載機姿態(tài)的求解以及艦載機間的碰撞告警，對于提高航母艦面調(diào)運保障作業(yè)的安全性有著重要的意義。

隨著深度卷積神經(jīng)網(wǎng)絡的發(fā)展，關鍵點檢測技術已廣泛應用于人體姿態(tài)估計和人臉關鍵點檢測領域［1～4］?；谏疃染矸e神經(jīng)網(wǎng)絡的關鍵點檢測算法主要分為兩大類：自頂向下的關鍵點檢測算法和自底向下的關鍵點檢測算法。前者首先在圖像中利用目標檢測算法檢測出所有的目標，之后再對每個目標框內(nèi)的目標進行單目標關鍵點檢測，此類方法檢測準確度高，但隨著目標數(shù)目的增加，檢測速率也會隨之降低［5～8］；后者首先檢測出圖像中所有目標的關鍵點，將關鍵點相連接形成圖，在通過圖優(yōu)化的方法將關鍵點分配到每個人，相比于前者，后者可以使算法運行時間不受圖像中目標數(shù)的影響，進而使得實時檢測成為可能。自底向上的關鍵點檢測算法經(jīng)過不斷的發(fā)展，由最開始處理一張圖片時間幾個小時提升為幾十毫秒。Pishchulin等［9］開創(chuàng)性的提出了一種自底向上的關鍵點檢測算法，聯(lián)合標注了每個目標上的所有關鍵點以及他們之間的關系，但是，將檢測出的所有關鍵點分配到各個目標的過程即為解決全連接圖上的整數(shù)規(guī)劃問題—NP問題，平均處理時間為幾個小時。Insafut?dinov等［10］在Pishchulin等的基礎上，基于ResNet網(wǎng)絡和與圖像關聯(lián)的關鍵點成對得分建立了性能更強的關鍵點檢測方法，極大地提高了運行的實時性，但是處理一張圖片的時間仍然需要花費幾分鐘的時間，并且關鍵點建議數(shù)量受到限制，成對關聯(lián)的關鍵點難以精確回歸，需要單獨的邏輯回歸。Cao Z等［11］提出了基于關鍵點親和力的自底向上的多目標關鍵點檢測算法，可同時計算出關鍵點位置與關鍵點之間的連接置信度，大大提高了算法運行的速率。

本文基于航母艦面獲取艦載機外輪廓的實際需求，借鑒文獻［11］的關鍵點檢測思想，提出了一種適用于艦載機關鍵點的檢測算法，實驗表明，本文提出的艦載機關鍵點檢測算法檢測準確率和檢測速率較高，能夠滿足實際需求。

2 艦載機輪廓關鍵點檢測

對于一張輸入到網(wǎng)絡的艦載機圖像，在充分提取特征的基礎上，網(wǎng)絡最后預測出艦載機的關鍵點熱力圖集S和編碼關鍵點之間關聯(lián)程度的關鍵點親和力場L，集合S=(S1，S2，…，SJ)有J個熱力圖，分別代表每個關鍵點的置信度圖，熱力圖的峰值就是預測的關鍵點的坐標，其中SJ∈Rw×h，j∈{1…J}。集合L=(L1，L2，…，Lc)，代表c個向量場，如圖1所示，黃色箭頭代表設置的艦載機四個關鍵點向量場，分別為兩側尾翼—機翼尾部、機翼尾部—翼尖。其中，Lc∈Rw×h×2，c∈{1…C}，圖像中每一個Lc處編碼一個2D的向量場，最終在預測的關鍵點熱圖和關鍵點親和力場上進行二分圖匹配優(yōu)化進而輸出圖像中艦載機的2D關鍵點。

圖1 艦載機關鍵點及親和力場

2.1 網(wǎng)絡結構

網(wǎng)絡結構圖如圖2所示，整體網(wǎng)絡架構分為6個階段，左邊為網(wǎng)絡的第1階段，右邊為網(wǎng)絡的第2～6階段，網(wǎng)絡分支1負責預測艦載機關鍵點的熱力圖，分支2負責預測關鍵點之間的親和力場。每個分支都遵循文獻［1］提出的迭代預測架構，并在每個階段都進行了中間監(jiān)督。

圖2 網(wǎng)絡結構

網(wǎng)絡采用VGG-19的前10層作為特征提取網(wǎng)絡［12］，提取輸入到網(wǎng)絡的圖片特征并生成一組特征圖F，將該特征圖輸入到第一階段的每個分支，網(wǎng)絡分別生成一組關鍵點熱力圖S1=ρ1(F)和一組關鍵點之間的親和力場L1=φ1(F)，其中ρ1和φ1為第1階段的映射函數(shù)，其本質(zhì)是一系列卷積操作。將特征提取網(wǎng)絡提取的特征F輸入到第1階段的兩個分支中，采用3×3和1×1的卷積核預測艦載機的輪廓關鍵點，之后的階段將前一階段的預測結果和原圖像特征F進行融合作為當前階段的輸入，采用7×7和1×1的卷積核對當前階段的輸入進行預測，公式如下所示。

其中 ρt和φt分別為階段t的映射函數(shù)，經(jīng)過6個階段的迭代預測，最終輸出艦載機關鍵點的熱力圖和關鍵點之間的親和力場。

為了更好地引導網(wǎng)絡迭代第1分支的艦載機關鍵點和第2分支的艦載機關鍵點之間的親和力場，且避免在訓練過程中發(fā)生梯度消失的現(xiàn)象，在每個階段都加入損失函數(shù)，起到中繼監(jiān)督的作用，損失函數(shù)均采用L2損失。由于在建立艦載機關鍵點檢測數(shù)據(jù)集時，部分關鍵點由于遮擋而不可見，因此需要設置加權函數(shù)，則階段t關鍵點位置和關鍵點之間親和力場的損失函數(shù)如下所示：

2.2 關鍵點熱力圖與親和力場

關鍵點熱力圖是衡量關鍵點位置置信度的一系列二維點，由一個二維高斯核在關鍵點位置上生成。對于第k架艦載機第 j個關鍵點，以xj，k表示實際關鍵點的位置，則關鍵點周圍的位置p處的置信度如下式所示：

如圖3所示，關鍵點之間的親和力場由一系列單位向量組成，每個親和力場對應圖1的黃色箭頭所示的親和區(qū)域。位于親和區(qū)域上的每個像素點都由一個單位向量表示，該單位向量編碼了親和力場一個關鍵點到另一個關鍵點的方向，將兩個關鍵點在結構分布層面聯(lián)系起來。

圖3 關鍵點親和力場

圖4 親和力計算示意圖

2.3 二分圖優(yōu)化

經(jīng)過迭代網(wǎng)絡的運算，最終得到艦載機各輪廓關鍵點的熱力圖和關鍵點之間的親和力場，對關鍵點熱力圖進行非極大值抑制得到一系列候選關鍵點，各關鍵點之間的關聯(lián)置信度是通過式（10）進行線性積分得到的，由于存在多架艦載機，因此同一種類型的輪廓關鍵點會存在多個，則這些關鍵點之間構成了二分圖，此問題轉化為一個NP-hard問題。

當多架艦載機的關鍵點同時需要匹配優(yōu)化時，優(yōu)化問題則轉化為K維匹配問題，記為NP-hard問題。為了提高運算效率，本文將圖5（b）的全連接圖轉化為圖5（c）所示的稀疏二分圖，再進一步根據(jù)艦載機關鍵點的分布拆分為圖5（d）的兩個分解二分圖。從而將一個NP-hard問題的轉化為多個分解二分圖的優(yōu)化問題，則目標函數(shù)最優(yōu)化問題轉化為求各個分解二分圖的權重之和達到最大的問題：

圖5 多架艦載機關鍵點分配

最終將優(yōu)化后的各個分解的二分圖中公共的關鍵點進行整合得到最終的多艦載機輪廓關鍵點，降低了算法的復雜度，提高了運算效率。

3 實驗及分析

3.1 數(shù)據(jù)集的建立

在實驗室條件下采集了5368張艦載機處于調(diào)運狀態(tài)的圖像，對艦載機關鍵點的位置及其可見性進行標注，從而建立艦載機關鍵點檢測數(shù)據(jù)集。選取4700張圖像數(shù)據(jù)進行訓練，剩余668張圖像數(shù)據(jù)對所訓練的深度模型進行測試。

在訓練過程中，對參與訓練的數(shù)據(jù)進行數(shù)據(jù)增強，隨機進行水平、垂直翻轉，隨機尺度放縮的范圍為［0.7，1.3］，隨機旋轉的范圍為［-45°，45°］，經(jīng)過數(shù)據(jù)增強，提高了訓練樣本的多樣性，增強了模型的泛化能力。

3.2 訓練平臺、參數(shù)設置及算法精度評價標準

在Ubuntu16.04系統(tǒng)上搭建實驗環(huán)境，CPU為Inter（R）Xeon Silver 4110，GPU 為 NVIDIA GeForce RTX 2080Ti，深度學習框架為Tensorflow。

訓練共進行50輪迭代，訓練批量數(shù)據(jù)個數(shù)設置為8，學習率初始設置為0.001，每訓練10輪，衰減為原來的50%，權重衰減系數(shù)為0.0005。

選取目標關鍵點相似度（Object Keypoint Simi?larity，OKS）來衡量預測的艦載機關鍵點與真實關鍵點之間相似度。

平均準確率（Average Precision，AP）定義為給定閾值s，預測的艦載機關鍵點結果在整個測試集上的平均準確率，可由測試集所有圖片的OKS指標計算得到：

一般對于關鍵點檢測性能的評價，閾值s取0.75，實際上閾值s的值越高，表明對預測的關鍵點位置和真實的關鍵點位置之間的相似度要求越高。

3.3 算法性能測試及對比分析

在本文建立的艦載機關鍵點檢測數(shù)據(jù)集上對算法性能進行測試，并與文獻［9］、文獻［10］的方法進行性能對比，從算法檢測的平均準確率和檢測速率兩個方面進行評價，算法性能測試結果如表1所示。

表1 艦載機各關鍵點檢測準確率

由表1測試結果可知，相比于文獻［9］、文獻［10］，本文方法的檢測準確率和檢測速率均得到了大幅度提升，平均準確率較文獻［9］高出14.4%，較文獻［10］高出7.6%，檢測速率也有了大幅度提升，可達到每秒37幀，說明本文提出的預測艦載機關鍵點間的親和力場以及二分圖優(yōu)化匹配策略起到了良好的效果。

檢測出艦載機關鍵點后，連接各個關鍵點即形成艦載機外輪廓，本文艦載機關鍵點測試圖像結果如圖6所示。

圖6 艦載機關鍵點檢測結果

如圖6所示，算法能夠準確地檢測出選取的艦載機輪廓上的7個關鍵點，并連接形成了艦載機外輪廓，能夠滿足艦面上艦載機間碰撞告警的實際需求。

4 結語

本文針對航母艦面實現(xiàn)艦載機間碰撞告警的實際需求，提出了一種基于深度學習的自底向上艦載機關鍵點檢測算法，實現(xiàn)了艦載機輪廓關鍵點的檢測，并形成了艦載機準確的外輪廓，對于實現(xiàn)艦面智能化保障具有重要的意義。