面向自主空中加油任務(wù)的目標(biāo)檢測技術(shù)研究

張西林，何亞坤，張恪易，王君秋

中國航空研究院，北京 100029

為延長飛機的續(xù)航能力、作戰(zhàn)半徑和爭取更多空中任務(wù)時間，提升現(xiàn)代戰(zhàn)機的智能化水平，自主空中加油（AAAR）技術(shù)受到了廣泛關(guān)注。目前的空中加油技術(shù)主要有硬式加油和軟式加油兩種方式[1]。其中，軟式加油是指在執(zhí)行加油任務(wù)時，加油機會拖出一條或多條末端為一個傘狀錐套的軟管，再由受油機通過識別錐套來控制探頭位置實現(xiàn)精準(zhǔn)對接。其具有加油過程相對簡單、可同時為多架戰(zhàn)機加油等優(yōu)點，目前被廣泛應(yīng)用。

由于視覺傳感器采集到的圖片易受到湍流、光照、云霧等影響，如何對研究目標(biāo)進行精準(zhǔn)和快速檢測跟蹤獲得相關(guān)研究人員的重視[2-4]。實現(xiàn)軟式空中加油過程的自動化檢測跟蹤，是順應(yīng)現(xiàn)代化戰(zhàn)場態(tài)勢、提升戰(zhàn)機性能、提高飛行員安全保障的重要支撐，因此對錐套目標(biāo)進行檢測是自主空中加油技術(shù)對接階段的重要環(huán)節(jié)[5]。Choi 等[6]對YOLOv4 算法做了改進，將CSPDarknet53-tiny 作為骨干網(wǎng)絡(luò)，并使用CSP Block模塊，增強了卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，在一定程度上提高了檢測的準(zhǔn)確性，但是這種方法增加了10%～20%的計算量。有學(xué)者采用仿生視覺的手段，在錐套識別時借鑒鷹眼視覺的注意力機制，利用目標(biāo)的色調(diào)值、飽和度及亮度三個特征作為初級特征，融合特征得到顯著圖，從而提高加油錐套的檢測準(zhǔn)確率[7]。Campa等[8]在錐套上加入光學(xué)特征標(biāo)記點，并使用迭代算法，使特征標(biāo)記點在部分丟失的情況下仍能正確識別錐套。John等[9]設(shè)計出一套專門應(yīng)用于自主空中加油的VisNav傳感器，通過在目標(biāo)錐套框架上固定幾個基于發(fā)光二極管（LED）的信標(biāo)，在傳感器框架上固定一個基于位置感應(yīng)二極管（PSD）的光學(xué)傳感器來實現(xiàn)選擇性或智能識別，將誤差水平在10m 范圍內(nèi)精確到1cm。Naresh 等[10]在空中加油有霧和夜間條件下，在錐套區(qū)域提供適當(dāng)?shù)墓庹諒姸?，采用多變量分割和基于形狀識別的錐套檢測算法。然而，自主空中加油任務(wù)的視覺檢測技術(shù)部分要能夠滿足較高的大氣湍流、存在遮擋、視覺采集存在形變、不同視場角等多重條件下的加油任務(wù)，并滿足不同加油場景下的檢測實時性，一直是研究的重點和難點。

針對空中加油任務(wù)中錐套檢測問題，本文提出了基于深度學(xué)習(xí)的錐套目標(biāo)檢測改進算法，實現(xiàn)了空中錐套位置的實時檢測。首先，構(gòu)造了一組由軟式自主空中加油圖像組成的錐套目標(biāo)數(shù)據(jù)集，其中包含了不同大小、視角、紋理、背景和光照條件的錐套目標(biāo)。其次，通過對比幾種主流檢測算法在上述加油錐套數(shù)據(jù)集中的檢測效果，根據(jù)檢測結(jié)果對網(wǎng)絡(luò)模型進行改進，并對其性能進行對比分析。試驗總結(jié)出了軟式加油錐套的檢測方法效果差異，并驗證了經(jīng)過改進的模型能夠更有效地檢測空中加油的錐套目標(biāo)。

1 軟式自主空中加油視覺導(dǎo)航方法

在軟式自主空中加油的對接階段，加油機在前釋放錐套并保持穩(wěn)定平飛，受油機位于加油機下后方位置進行緩慢靠近。其中受油機探頭附近位置安裝有攝像機，在相對運動的狀態(tài)下對錐套進行目標(biāo)檢測及跟蹤。兩者的相對坐標(biāo)系統(tǒng)如圖1所示。

圖1 軟式加油的坐標(biāo)系統(tǒng)Fig.1 The coordinate system of AAAR

如圖1 所示，位于受油機上相機坐標(biāo)系原點為攝像機的光學(xué)中心，錐套坐標(biāo)系的原點為錐套的中心，兩者的方向相同[11]。假設(shè)存在兩個向量分別位于兩坐標(biāo)系中，它們分別為

在式（4）中存在三個坐標(biāo)軸，在三個坐標(biāo)軸上的歐拉角的角度旋轉(zhuǎn)可以分別表示為

在空中加油過程中，受油機和錐套之間的旋轉(zhuǎn)被限定在一定的范圍內(nèi)，這一點可以忽略不計。因此，錐套和相機坐標(biāo)系中的矢量轉(zhuǎn)換可以表示為

利用等式（8）可以建立并求解位置參數(shù)方程。在整個對接過程中，錐套的目標(biāo)檢測技術(shù)作為后續(xù)錐套跟蹤的前向輸入[12-13]，在自主空中加油對接階段整體視覺任務(wù)中的關(guān)系如圖2所示。

圖2 錐套目標(biāo)檢測及整體視覺任務(wù)關(guān)系Fig.2 The drogue detection and overall vision task

考慮到空中加油應(yīng)用場景下為錐套單一對象的目標(biāo)檢測，且錐套無公開數(shù)據(jù)集進行訓(xùn)練和測試，為了完成錐套的目標(biāo)檢測任務(wù)，需要在離線狀態(tài)下完成數(shù)據(jù)集構(gòu)建、數(shù)據(jù)標(biāo)記、模型訓(xùn)練以及模型的改進和優(yōu)化等任務(wù)。

2 軟式自主空中加油的目標(biāo)檢測技術(shù)

2.1 加油錐套檢測數(shù)據(jù)集的構(gòu)建

優(yōu)秀的數(shù)據(jù)集有助于訓(xùn)練得到好的卷積網(wǎng)絡(luò)模型。加油錐套目前尚無公開數(shù)據(jù)集，本文構(gòu)造了一套適用于軟式自主空中加油的錐套數(shù)據(jù)集。首先收集了包含目標(biāo)部分遮擋、不同尺度和不同背景且可分辨的實際加油錐套數(shù)據(jù)集，經(jīng)過人工標(biāo)注獲得目標(biāo)標(biāo)簽，并對此數(shù)據(jù)集進行擴增。擴增方式包括圖像旋轉(zhuǎn)模擬不同角度目標(biāo)、圖像顏色填充模擬不同背景、圖像增加高斯噪聲模擬光照強度、圖像增加對比度模擬傳感器采集清晰度等。擴增后的數(shù)據(jù)集是一套可用于加油錐套目標(biāo)檢測的完備數(shù)據(jù)集，數(shù)據(jù)集部分展示如圖3所示。

圖3 自主空中加油錐套數(shù)據(jù)集示例(圖片來源于網(wǎng)絡(luò)公開自主空中加油視頻)Fig.3 The example of drogue dataset (The pictures are from public AAAR video)

2.2 錐套的目標(biāo)檢測流程

卷積神經(jīng)網(wǎng)絡(luò)因其在特征提取方面的優(yōu)勢，已經(jīng)成為自主錐套目標(biāo)檢測系統(tǒng)中目標(biāo)檢測和跟蹤的主流框架。該類方法中雙階段算法一般以Faster RCNN 等算法為核心，首先通過生成區(qū)域建議（region proposol）對目標(biāo)進行初步定位和篩選，再對候選區(qū)域進行進一步分類和識別。以YOLO 系列算法為核心的單階段檢測框架，更有助于滿足戰(zhàn)場實際環(huán)境對算法時效性的客觀要求。

使用2.1 節(jié)構(gòu)造的檢測數(shù)據(jù)集訓(xùn)練基于Faster RCNN和YOLO的錐套目標(biāo)檢測模型。通過比較單雙階段幾種算法的性能，遴選出性能表現(xiàn)較好的YOLOv5 進行基于MobileNet-V1、V2 和V3 的模型輕量化，分析不同主干特征提取網(wǎng)絡(luò)對檢測準(zhǔn)確性和速度的影響。根據(jù)各自網(wǎng)絡(luò)的檢測結(jié)果適當(dāng)修改算法以適應(yīng)空中加油任務(wù)中視覺檢測技術(shù)的實際需求。錐套目標(biāo)檢測系統(tǒng)基本流程如圖4所示。

圖4 錐套目標(biāo)檢測系統(tǒng)基本流程Fig.4 Basic process of drogue detection system

3 基于深度學(xué)習(xí)的錐套檢測算法

傳統(tǒng)檢測技術(shù)提取的目標(biāo)特征相對簡單，普適性較低，難以滿足空中加油任務(wù)對復(fù)雜環(huán)境的要求。而基于深度學(xué)習(xí)的目標(biāo)檢測算法對復(fù)雜場景的穩(wěn)健性高，能夠自動發(fā)現(xiàn)檢測并基于特征對目標(biāo)進行分類，是當(dāng)前目標(biāo)檢測領(lǐng)域研究的熱點[14]。因此，開展基于當(dāng)前單雙階段主流智能檢測算法的自主空中加油錐套目標(biāo)檢測技術(shù)研究。

3.1 基于改進的Faster RCNN檢測算法

Faster RCNN算法大致可分為4個主要模塊：特征提取網(wǎng)絡(luò)生成共享特征層，區(qū)域建議網(wǎng)絡(luò)生成候選框，ROI池化統(tǒng)一候選框尺寸，分類和回歸模塊用于獲取目標(biāo)種類和精準(zhǔn)位置。本文選取ResNet作為特征提取網(wǎng)絡(luò)。

在網(wǎng)絡(luò)模型判斷目標(biāo)的類別時，會設(shè)定閾值與置信度評分來進行判斷，如果候選框的評分高于閾值，即判定為目標(biāo)類別。本文選取的置信度判斷分值為0.5?？紤]到空中加油任務(wù)中錐套識別為單一目標(biāo)，F(xiàn)aster RCNN算法經(jīng)常會存在前向加油機發(fā)動機等圓形物體誤識別的情況。

本文根據(jù)真假目標(biāo)之間得分的差距，在分類層加入自適應(yīng)的置信度篩選模塊，將候選框的置信分?jǐn)?shù)這一離散數(shù)組分開，并將數(shù)組按照從大到小的方法降序排列，選取置信度最大值作為置信度閾值，置信度變化函數(shù)如式（9）所示

Ck表示候選框得分，在經(jīng)過檢測網(wǎng)絡(luò)之后，各個候選區(qū)域可以得到錐套所屬類別的置信度分?jǐn)?shù)，將數(shù)組的值進行降序排列之后，去掉小于閾值0.5的值，取出最大值，可以得到最終求取的單一數(shù)值。經(jīng)過以上方法，改進的Faster RCNN模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 經(jīng)改進的Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Improved Faster RCNN network structure

3.2 基于改進的YOLOv5的檢測算法

YOLO 系列網(wǎng)絡(luò)是單階段目標(biāo)檢測算法，其運行速度較雙階段算法較快，可滿足空中加油任務(wù)中實時檢測的要求。其中YOLOv3、YOLOv5 和YOLOX 算法最具代表性。YOLO的網(wǎng)絡(luò)結(jié)構(gòu)大體均由輸入端、Backbone、特征融合模塊 和YOLO Head 共4 個 部 分 組 成。YOLOv3 采 用DarkNet53作為其Backbone，如圖6所示。

圖6 DarkNet53網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 DarkNet53 network structure

YOLOv5s 主干部分使用了Focus 網(wǎng)絡(luò)結(jié)構(gòu)，將4 個獨立的特征層進行堆疊，增加了特征提取的豐富性；并采用Mosaic 數(shù)據(jù)增強的方法提高了訓(xùn)練模型的魯棒性；多正樣本匹配方法增加了正樣本的數(shù)量，在訓(xùn)練時，每一個真實框可以由多個先驗框負(fù)責(zé)預(yù)測。2021年提出的YOLO系列新網(wǎng)絡(luò)YOLO X在分類回歸層采用Decoupled Head，如圖7所示，將分類和回歸分開實現(xiàn)。同時采用Anchor Free 思想，不使用先驗框，將下采樣的大小信息引進來，采用標(biāo)簽分配關(guān)聯(lián)方式，將正樣本錨框所對應(yīng)的位置的正樣本預(yù)測框挑選出來。YOLOX 還采用SimOTA 正樣本數(shù)量動態(tài)分配方法，為不同大小的目標(biāo)動態(tài)匹配正樣本。

圖7 YOLOX的Decoupled HeadFig 7 Decoupled Head of YOLOX

通過對比分析發(fā)現(xiàn)，強大的特征提取和特征融合模塊讓YOLOv5s 檢測網(wǎng)絡(luò)在本文數(shù)據(jù)集檢測精確度上表現(xiàn)很好，為了在保持檢測精確度的同時加快檢測速度，本文將YOLOv5s 的主干特征提取網(wǎng)絡(luò)CSPDarkNet改為輕量化網(wǎng)絡(luò)MobileNet系列來進行試驗評估。

4 試驗及對比分析

4.1 單雙階段算法對比試驗

試驗采用英偉達GeForce RTX3080 圖形處理器，內(nèi)存為32G，處理器為Intel（R） Core（TM）i7-10750H CPU @3.6GHz，展 開 基 于YOLOv3、YOLOv5、YOLOX 和Faster RCNN 的4 組試驗，這4 個網(wǎng)絡(luò)是單階段目標(biāo)檢測算法、雙階段檢測算法的代表算法。試驗采用數(shù)據(jù)集均為自制的加油錐套數(shù)據(jù)集，測試集設(shè)置為9∶1，訓(xùn)練的終止條件為訓(xùn)練代數(shù)終止（80個epoch）。圖8所示為對YOLOv3、YOLOv5、YOLOX和Faster-RCNN的4種算法的檢測結(jié)果對比。

圖8 不同算法檢測示意圖Fig.8 Diagram of different detection algorithms

圖8 中左側(cè)圖片代表常規(guī)圖片的檢測結(jié)果，右側(cè)列出了經(jīng)過添加高斯噪聲、旋轉(zhuǎn)、改變對比度和顏色擴充等常見數(shù)據(jù)增強手法獲得的圖片。4種方法的各個指標(biāo)值的情況陳列見表1。

表1 單雙階段4種算法的試驗數(shù)據(jù)性能對比Table 1 Performance comparison between experimental data of four algorithms

YOLO 系列作為單階段檢測算法，在檢測速度上遠遠快于雙階段算法Faster RCNN。Faster RCNN 在檢測精度性能上遠遠好于同時期的YOLOv3 單階段檢測算法，但是檢測速度上明顯變慢，這符合單雙階段目標(biāo)檢測的特點。在識別率上，YOLOv5、YOLOX在檢測總體性能上較優(yōu)，具體體現(xiàn)為在當(dāng)前測試集中，P 和R 都達到了1，mAP@0.5：0.95也達到了0.8以上。為了體現(xiàn)算法的工程應(yīng)用價值，同時考慮到機載計算資源有限，引入模型參數(shù)量（Params）以及內(nèi)存使用量（Memory Access Cost）兩個指標(biāo)，用以評價模型復(fù)雜度和運行內(nèi)存占用情況，結(jié)果發(fā)現(xiàn)YOLOv5s的計算結(jié)果最低，分別為7.060M 和8.19G（見表2）。這得益于YOLOv5 強大的特征提取模塊CSP 結(jié)構(gòu)、特征融合模塊PAN和Mosaic數(shù)據(jù)增廣方法。

表2 改進的YOLOv5及其輕量化模型試驗性能對比及分析Table 2 Experimental performance comparison and analysis of YOLOv5 and its light weight model

4.2 YOLOv5模型輕量化對比試驗

通過試驗對比分析，YOLOv5 系列模型無論在識別精度還是運算復(fù)雜度評價上均表現(xiàn)較優(yōu)，因此還對YOLOv5s模型進行進一步試驗，將主干網(wǎng)絡(luò)分別替換成MobileNet系列網(wǎng)絡(luò)的輕量化改造。

將YOLOv5s 的主干特征提取網(wǎng)絡(luò)（Backbone）分別換成MobileNet-V1、V2 和V3，這些主干網(wǎng)絡(luò)的復(fù)雜度：CSPDarkNet＞MobileNetV3＞MobileNetV2＞Mo-bileNetV1，網(wǎng)絡(luò)復(fù)雜度越高，對于特征提取的能力會越強，與之對應(yīng)的就是推理時間變慢。從試驗結(jié)果可以看出，在加油錐套數(shù)據(jù)集中也符合這個規(guī)律。相對而言，經(jīng)過輕量化的網(wǎng)絡(luò)模型參數(shù)量和內(nèi)存使用量均明顯降低，但通過對比分析明顯發(fā)現(xiàn)，Mv1-YOLOv5s 雖然速度很快，但是精確度性能有所降低，Mv3-YOLOv5s在提升了速度和降低模型復(fù)雜度的基礎(chǔ)上，召回率（反映漏檢情況）也稍稍有所降低。訓(xùn)練過程中由于輕量化改造的網(wǎng)絡(luò)沒有相關(guān)預(yù)訓(xùn)練模型，所以采取從主干網(wǎng)絡(luò)進行訓(xùn)練。由圖9 可以看出，由于網(wǎng)絡(luò)變得輕量化，復(fù)雜度相應(yīng)降低，訓(xùn)練損失收斂得越快，但是整體相差不大。

圖9 訓(xùn)練過程損失函數(shù)對比Fig.9 Comparison between loss function of the training process

5 結(jié)論

本文研究了基于深度學(xué)習(xí)的自主空中加油錐套目標(biāo)檢測技術(shù)。針對軟式空中加油任務(wù)自主對接過程，對比單雙階段主流檢測算法在所構(gòu)建加油錐套數(shù)據(jù)集中的檢測效果，結(jié)合加油任務(wù)的實際需求，在Faster RCNN 網(wǎng)絡(luò)添加了自適應(yīng)置信度篩選模塊，并在YOLO 算法中進行輕量化改進，在有效提取目標(biāo)信息的同時提高了對加油錐套的檢測性能。經(jīng)過對識別精度及模型復(fù)雜度等指標(biāo)的對比分析，驗證了經(jīng)過改進的模型能夠更有效檢測空中加油的錐套目標(biāo)，總結(jié)出了實際應(yīng)用中軟式加油錐套的檢測方法效果差異。