基于改進Yolo v3 的彈載圖像弱小目標檢測算法*

田宗浩，郭佳暉，孫姍姍，申 倩

（陸軍炮兵防空兵學院高過載彈藥制導控制與信息感知實驗室，合肥 230031）

0 引言

新型作戰(zhàn)條件下，戰(zhàn)機稍縱即逝，如何快速、準確地確定戰(zhàn)場打擊目標是可見光圖像制導彈的重要戰(zhàn)術(shù)指標。由于彈載平臺應用環(huán)境的特殊性，彈載攝像機成像與靜態(tài)攝像機成像質(zhì)量差別很大，空中運動成像導致目標在圖像中尺度小、尺度多變，容易受周圍景物和大小目標分布不均等干擾，并且圖像存在扭曲、虛化等形變，導致目標檢測效果不佳，大大降低檢測精度，并且存在漏檢、誤檢，嚴重影響智能彈藥的自主決策能力。

彈載圖像目標檢測是一種自動目標識別技術(shù)（automatic target recognition，ATR），屬于機器視覺領(lǐng)域，該領(lǐng)域從產(chǎn)生就一直受到學術(shù)界的高度重視。隨著深度學習理論在機器視覺領(lǐng)域卓越的性能表現(xiàn)，基于深度學習的目標檢測算法逐漸替代傳統(tǒng)手工特征提取目標檢測算法，其在不同應用場景下取得較好的識別檢測效果，例如人臉識別、車道線檢測等。大量的研究文獻將基于深度學習的目標檢測算法分為基于候選區(qū)域的目標檢測（兩階段）和基于回歸的端到端目標檢測算法（單階段），其中，單階段目標檢測算法直接在圖像中多個位置上回歸出這個位置的目標邊框以及目標類別，在保證一定準確率的前提下，速度得到極大提升。文獻［6］提出的Yolo（you only look once）算法通過對圖像的直接檢測確定目標的邊界框和類別，檢測速度提高到45FPS，但其對緊鄰目標和小目標的檢測效果不佳。隨后，Yolo 系列算法通過BN 操作、殘差網(wǎng)絡特征融合等算法改進，使得模型檢測精度和速度大幅度提升，并對小目標的適應性增強，如Yolo v2/v3、Tiny-Yolo、SlimYolo等。但是在高動態(tài)、強對抗的精確制導彈藥領(lǐng)域，極少有人將人工智能技術(shù)應用到彈載平臺，其根本原因在于彈載任務的特殊性對算法的檢測準確率、實時性，以及特殊環(huán)境的適用性提出了較高的要求。為此，本文結(jié)合彈載圖像目標特點和系統(tǒng)設(shè)計要求，選用當前檢測速度和準確率較高的單階段目標識別檢測算法Yolo v3 為基線網(wǎng)絡，豐富訓練數(shù)據(jù)集，改進網(wǎng)絡結(jié)構(gòu)，提高弱小目標的檢測精度。

1 彈載圖像目標檢測算法分析

1.1 彈載攝像機成像特點分析

圖1 為圖像制導彈工作過程，當彈丸在距離目標3 km～5 km 的位置時，彈載攝像機開始工作，通過在視場內(nèi)搜索目標信息，引導彈丸命中目標。因彈載攝像機距離目標較遠，且為高空成像，目標初入視場尺度非常小，目標在視場內(nèi)比例變換如圖2 所示。圖2 為彈載攝像機高空成像下的視場范圍，為簡化計算難度，將彈載攝像機俯視視角轉(zhuǎn)換為正面平視視角，不考慮彈丸落角造成的投影比例偏差。因此，彈載攝像機的視場范圍可以分解為長寬方向。則攝像機視場范圍和目標在圖像中所占像素大小為：

圖1 圖像制導彈工作過程

圖2 彈載攝像機成像目標像素計算示意圖

圖3 視場幅長幅寬示意圖

式中，W 和H 為彈載攝像機成像視場的幅寬和幅長，α 和β 為鏡頭在長寬方向的視場角，f 為焦距，為像元大小，x 為目標實際大小，Z 為占像素大小，L為彈目距離。假設(shè)目標的長寬分別為W和H，則目標在彈載攝像機視場內(nèi)的比例大小為h和w：

用式（1）和式（2）計算不同裝備在不同彈目距離時像素比例大小，假定攝像機的視場角α 和β 分別為20 °和18 °，像元大小為5.5 μm，則各裝備在不同彈目距離下目標占視場比例和像素大小如表1 所示。

表1 不同裝備在不同彈目距離條件下成像像素比例

目前，眾多研究將弱小目標定義為像素值小于32×32 的物體，從表1 可以分析出，陸戰(zhàn)場景下的武器裝備因自身尺寸本身較小，導致目標在視場內(nèi)所占比例較小，并且背景和目標分布不均，高度融合，這給識別檢測算法帶來較大的挑戰(zhàn)，不同作戰(zhàn)裝備高空成像示意圖如圖4 所示。

圖4 不同作戰(zhàn)裝備高空成像示意圖

圖4 中紅色方框為小目標裝備，特別對于第1幅圖像，目標像素大小不超過10×10 個像素，包含的特征信息較少，很難判別裝備類型。雖然Yolo v3網(wǎng)絡結(jié)構(gòu)在傳統(tǒng)模型上有了很大改進，對小目標等難點問題有了一定的改善，但是對于復雜戰(zhàn)場條件下的目標檢測仍存在目標漏檢和誤檢情況，特別是對于大小目標分布不均勻的情況。

1.2 Yolo v3 基礎(chǔ)框架

Yolo 系列算法是基于回歸的單階段卷積神經(jīng)網(wǎng)絡目標檢測算法，直接對圖像中的目標類別、位置等信息進行檢測，節(jié)省特征提取過程中候選區(qū)域生成過程，其識別檢測速度得到質(zhì)的提升。隨著Yolo 系列算法網(wǎng)絡架構(gòu)不斷改進，其檢測速度、識別精度以及對不同場景的適應性不斷提升，尤其Yolo v3 模型在應對多尺度變化、弱小目標識別場景下體現(xiàn)出優(yōu)越的性能，使其在工程應用中被大量使用，如無人機目標檢測、自動駕駛等。

Yolo v3 模型由Darknet53 骨架網(wǎng)絡、特征融合網(wǎng)絡（neck）和預測網(wǎng)絡（prediction）組成，其識別檢測過程如圖5 所示。

圖5 Yolo v3 識別檢測過程示意圖

其中，骨架網(wǎng)絡Darknet53 在不同圖像粒度基礎(chǔ)上提取目標特征，通過特征融合網(wǎng)絡將提取的特征進行結(jié)合，提高對不同尺度目標的適應能力，預測網(wǎng)絡則利用融合特征進行分類、回歸，確定目標的類別信息和位置。結(jié)合Yolo v3 官方代碼及模型可視化工具Netron 對模型計算架構(gòu)的可視化處理，總結(jié)分析Yolo v3 的網(wǎng)絡架構(gòu)如圖6 所示。

圖6 Yolo v3 網(wǎng)絡結(jié)構(gòu)

Yolo v3 是在Yolo v1/v2 的框架基礎(chǔ)上演變而來，它將Yolo v1 架構(gòu)中的池化層取消，通過卷積核的移動步長達到縮小特征尺度的目的（圖6 中紅色方框），并且利用K-means 聚類算法對Yolov2 模型先驗框（anchor boxes）最優(yōu)數(shù)量進行優(yōu)化設(shè)計，提升模型的預測精度。另外，Yolo v3 采用更多的殘差單元加深網(wǎng)絡特征提取器（圖6 綠色單元），并采用多尺度特征圖（feature pyramid networks，F(xiàn)PN）結(jié)構(gòu)提取3 個尺度的圖像特征信息，通過多尺度檢測提升弱小目標的檢測精度，獲得魯棒性更強的圖像特征，增強模型對不同尺度目標的適應性。

1.2.1 先驗框（Anchor Boxes）

Yolo v3 預測過程借鑒Faster R-CNN 中Anchor Boxes 的設(shè)計理念，每個cell 預先設(shè)計多個與數(shù)據(jù)集中目標對象寬度和高度類似的不同形狀和大小的先驗框，并在訓練過程中修正與ground truth 相匹配的anchor 位置偏移，通過非極大值抑制（non-maximum suppression，NMS）獲得目標的檢測框，大大提升了目標的定位精度，如圖7 所示。

圖7 anchor box 位置預測

Yolo v3 利用K-means 聚類算法對3 個預測分支的anchor 的尺寸進行聚類分析，每個預測分支確定3 個anchor，其大尺度特征圖使用尺寸小的anchor，用來提高對圖像中小目標特征的提取能力。小尺度特征圖使用尺寸大的anchor，提高對大目標特征提取能力，使Yolo v3 網(wǎng)絡具有更強的多尺度特征提取能力。

1.3 FPN+多尺度預測

對于圖像特征而言，高層特征語義豐富，但分辨率較低，對紋理細節(jié)特征的感知性能較差；低層特征分辨率較高，更多的位置和細節(jié)信息包含在內(nèi)，但是語義表達能力較差，容易受噪聲影響。Yolo v3 網(wǎng)絡通過5 次降采樣操作提取不同尺度的圖像特征，并在后3 次降采樣后對目標進行預測，輸出3種尺度的特征圖13×13、26×26 和52×52。其中，3種尺度的特征提取對應大、中、小3 種不同的感受野，以此預測不同尺度的目標。另外，通過對第4 和第5 次降采樣得到的特征圖進行上采樣，分別與各自前一層的圖像特征進行融合，使得對小目標位置的特征描述更加豐富，大大提升了對不同尺度目標的適應能力，如下頁圖8 所示。

從圖8 可以看出，圖8A ～圖8C 分別為第3、4和5 次降采樣后提取的特征圖，圖8E、圖8F 分別為兩次上采樣后圖像特征融合結(jié)果。從中可以看出，經(jīng)過FPN 特征融合后，圖像包含的高層和底層圖像特征更加豐富，對弱小目標的特征提取更加明顯。

圖8 Yolo v3 特征圖提取結(jié)果分析

2 改進算法

上文對彈載攝像機的成像特點進行了分析，彈載圖像中的目標尺度信息隨彈丸運動變化較大，并且由于彈載攝像機視場和目標本身尺度較小，目標在圖像中的比例較小。當彈目距離1 km 時，10 m×3 m 的目標也即31×10 個像素，受限于彈丸的制導能力（距離目標1 km 時，彈丸約3 s～4 s 落地），很難在短時間內(nèi)針對識別的類別信息有選擇性地確定打擊目標，改變彈丸的運動姿態(tài)。通過對大量裝備的目標特征分析發(fā)現(xiàn)，當彈載攝像機距離3 km成像條件下，目標特征信息較少，對于不同的裝備，存在很大程度上的相似信息，如圖9 所示。

圖9 多目標遠距離成像

從圖9 可以看出，當目標特征較少時，不同裝備的紋理細節(jié)非常少，只有基本的輪廓信息。同時，結(jié)合圖像制導彈的作戰(zhàn)使用流程以及彈丸的毀傷效能特性，精確制導彈藥要能在視場中快速定位目標位置，而對尺度特征相對較小的打擊目標類別區(qū)分度要求不高，即坦克、裝甲車等目標的重要性相同，能大概率命中目標即可。因此，對于復雜作戰(zhàn)環(huán)境下的弱小目標識別問題，可以將不易分辨類別的目標歸結(jié)為一類，而對于易于辨別的目標正常識別，提高彈載圖像中目標快速檢測能力，其檢測過程如圖10 所示。

圖10 彈載圖像小目標檢測步驟

圖10 中，當彈目距離較遠時，快速定位到圖像中的目標位置，為指揮員提供預判時間，隨著彈目距離不斷縮小，判斷圖像類別，評估戰(zhàn)場目標分布和毀傷效果。

為此，本節(jié)針對彈載圖像目標特性對Yolo v3網(wǎng)絡結(jié)構(gòu)和參數(shù)進行優(yōu)化，提升對戰(zhàn)場弱小目標的檢測準確率，調(diào)整方案為：1）數(shù)據(jù)擴充及標注；2）調(diào)整anchor 大?。?）上采樣轉(zhuǎn)換為雙線性插值上采樣；4）空間注意力模塊。

2.1 數(shù)據(jù)擴充及標注

文獻［10］對弱小目標檢測算法的難點問題進行了研究分析，目標尺度小、特征信息少以及樣本數(shù)量不足是制約小目標檢測算法性能的關(guān)鍵因素。對于彈載圖像中的目標，因其尺度小，包含目標的anchor 相應較少，平均最大的IoU 也相對較低，為此可以提高弱小目標在圖像中出現(xiàn)的頻率，以此增加更多的anchor 與之匹配，如下頁圖11 所示。

從圖11 可以分析出，對于大目標，圖11（a）中有多個anchor 與目標匹配（紫色anchor），而圖11（b）中的小目標僅有3 個anchor 與之匹配，并且IoU的值也非常小（紅色anchor）。通過目標在圖像中復制，小目標在圖像中出現(xiàn)的頻率變高，與其匹配的anchor 也大幅度增加，提高了對弱小目標的搜索能力，被檢測出的概率也大幅度提升。

圖11 不同尺度目標anchor 分布

上節(jié)對彈載攝像機采集的目標特征進行了分析，其成像初期目標在圖像中的像素占比非常低，不易于辨別圖像類別特征。結(jié)合圖像制導彈的機動能力以及目標在彈載圖像中的特征統(tǒng)計分析結(jié)果，本文將像素低于15×15 的目標標注為一類，而其他像素比例的目標按照其自身特征進行正常標注，例如像素低于15×15 的坦克、遠程火箭炮、步戰(zhàn)車等等，統(tǒng)一標注為“target”類；而像素高于15×15 的坦克、遠程火箭炮、步戰(zhàn)車等分別標注為各自類別名稱。

2.2 網(wǎng)絡結(jié)構(gòu)優(yōu)化

2.2.1 雙線性插值上采樣

Yolo v3 算法中通過FPN 結(jié)構(gòu)實現(xiàn)不同尺度特征的提取，并通過上采樣實現(xiàn)不同尺度特征的融合和預測，提高模型對不同尺度目標的適應性（圖6黃色方框）。上采樣操作可以提高圖像的分辨率，常用的方法一般為上池化（unpooling）、上采樣（upsampling）和雙線性插值（bilinear upsample）。傳統(tǒng)Yolo v3 通過兩次上采樣提高特征圖的分辨率，分別與上層特征圖進行特征融合，其最大值池化和上采樣過程特征圖變化如圖12 所示。

圖12 Unsampling 示意圖

從圖12 可以看出，upsampling 操作相對簡單，通過復制操作完成特征圖擴張，對特征位置信息帶來誤差，特別對弱小目標，特征圖上采樣中容易將其特征丟失。

上池化（unpooling）保留了特征圖中的位置信息，其余位置用0 補充，如圖13 所示。

圖13 unpooling 示意圖

上池化過程僅是對特征圖的擴增，沒有充分利用特征圖保存的信息，雖然unpooling 保留了特征的位置信息，但是補0 操作容易丟失部分弱小目標信息。

雙線性插值（bilinear upsample，BU）充分利用低分辨率圖像中特征圖的位置和像素信息，提高定位精度，減少特征信息損失，其過程如下所示：

圖14 BU 示意圖

2.2.2 卷積注意力模塊

在人類的視覺感知模型中，更加關(guān)注圖像中特征顯著的目標區(qū)域，即人的注意力機制。在作戰(zhàn)環(huán)境下，指揮員對目標區(qū)域的目標特征更感興趣，而弱小目標的特征較少，容易在下采樣中被忽視。為此，本節(jié)算法在不同尺度特征融合的基礎(chǔ)上引入卷積注意力模塊（convolutional block attention module），提高對弱小目標的特征的表達能力。

CBAM 包含通道注意力（channel attention modul，CAM）和空間注意力（spatial attention module，SAM），其整體結(jié)構(gòu)如下頁圖15 所示。

圖15 CBAM 結(jié)構(gòu)示意圖

其中，CAM 提取特征圖通道之間的聯(lián)系，注意力集中在辨別目標類別，使用最大池化和平均池化實現(xiàn)信息整合，用Softmax 函數(shù)激活特征信息，其結(jié)構(gòu)如圖16 所示。

圖16 CAM 模塊結(jié)構(gòu)示意圖

利用圖16 中通道注意力模塊，得到通道注意力最后的結(jié)果為：

其中，MLP 為共享多層感知器，σ 為Softmax 函數(shù)。

CAM 提高了對特征中目標類別的注意力，并將輸出的結(jié)果送入SAM 對特征圖中信息的空間相關(guān)性進行分析，其SAM 的結(jié)構(gòu)如圖17 所示。

圖17 SAM 模塊結(jié)構(gòu)示意圖

SAM 用來提高對目標位置信息的注意力，通過maxpool 和avgpool 來對通道維度信息進行整合，利用標準的卷積操作對兩個不同特征圖信息進行特征提取，以此產(chǎn)生二維空間注意力圖，式（6）所示：

2.2.3 Anchor Boxes 設(shè)計

Yolo v3 采用Anchor 的思想對目標位置進行定位，解決直接預測目標位置確定邊界框難以回歸問題，通過直接預測與Anchor 的偏移距離加快模型收斂和提高定位精度。Yolo v3 算法通過K-means 聚類對數(shù)據(jù)集上的目標先驗框尺度進行分析，解決Anchor 尺度不合理對定位精度帶來的負面影響，特別是對于小型目標和大小尺度不均衡目標，Anchor的長寬比例對模型檢測精度至關(guān)重要。針對自己的樣本集對網(wǎng)絡中每種尺度特征圖的Anchor 重新初始化，提高模型的訓練效果，其參數(shù)如表2 所示。

表2 Anchor Boxes 參數(shù)

原Yolo v3 網(wǎng)絡利用FPN 和多尺度預測相結(jié)合的方式來提高對多尺度目標的適應性，對圖像制導彈來說，其面向的目標尺度相對較小。因此，本節(jié)算法將預測大目標的特征結(jié)構(gòu)改進為中等目標和小目標的融合特征，并增加CBAM 提高對顯著特征的注意力，提高對弱小目標特征信息的提取能力，改進后的Yolo v3 網(wǎng)絡結(jié)構(gòu)如下頁圖18 所示。

從圖18 可以看出，改進Yolo v3 網(wǎng)絡將中尺度和小尺度特征通過降采樣實現(xiàn)空間特征融合（紅色虛線方框），并且在融合特征的基礎(chǔ)上通過卷積注意力模塊CBAM（藍色方框）提高對特征圖中顯著特征的注意力，提高對弱小目標特征的提取能力。另外，F(xiàn)PN 中的上采樣過程通過雙線性插值提高特征圖的分辨率，充分利用特征圖中的目標特征和位置信息，進一步提高對弱小目標特征的提取能力。

圖18 改進Yolo v3 網(wǎng)絡結(jié)構(gòu)

3 實驗結(jié)果

模型訓練硬件配置：CPU：Intel（R）Corei7-7700HQ @2.8 Hz 八核，GPU：NVIDIA GeForce GTX 1070，RAM：16 GB。

軟件配置：操作系統(tǒng)為64 位Microsoft Windows 10，深度學習框架：tensorflow，編程語言Python。

模型訓練參數(shù)設(shè)置：訓練樣本為彈載攝像機高空成像仿真圖像和無人機搭載彈載攝像機模擬彈丸飛行高度航拍圖像，篩選出符合彈載攝像機成像特點的圖像，其中，涵蓋坦克、步戰(zhàn)車、遠程火箭炮、直升機、戰(zhàn)斗機、火炮、橋梁以及碉堡等8 類目標，共8 000 張圖片，每類目標不低于10%，并且不同彈目距離目標圖像按照3 km，2 km，1 km 和0.5 km 為4∶3∶2∶1 比例配置，保證遠距離目標樣本數(shù)量，訓練集、測試集和驗證集按照7∶2∶1 的比例配置。為使本節(jié)搭建模型能更快、更穩(wěn)定地獲得更好的訓練效果，Learning_rate 取值0.001，momentum 為0.9，decay 為0.000 5，batch 為16、32、64 等（根據(jù)訓練過程自行調(diào)整），訓練迭代最大次數(shù)50 000。

為對比分析本節(jié)改進模型與原Yolo v3 模型性能優(yōu)劣，分別采用相同的訓練參數(shù)配置訓練模型，其性能分析結(jié)果如圖19 所示。

圖19 本節(jié)模型與Yolo v3 性能指標變化情況

圖中橙色散點為Yolo v3 算法指標，藍色散點為本節(jié)改進模型參數(shù)指標，通過對各自訓練損失、召回率、準確率以及平均檢測精度分析可知，本節(jié)模型訓練損失能快速降至較低水平，并且在迭代12 000 次左右損失值低于Yolo v3 水平，模型的各評價標準也在迭代12 000 次左右超過原始Yolo v3模型，驗證了本節(jié)改進模型的有效性和高性能。

利用數(shù)據(jù)集中的測試集對上述訓練模型結(jié)果進行測試，其結(jié)果如圖20 所示。

圖20 為不同彈目距離時不同目標的檢測結(jié)果示意圖，從中可以分析出，對于遠距離彈載攝像機成像，戰(zhàn)場中目標特征信息較少，坦克、遠程火箭炮等尺度較小的目標被統(tǒng)一識別為“target”類別，檢測準確率最高達92%。隨著彈目距離的不斷縮小，各裝備在圖像中的特征信息不斷增多，被準確識別類別的概率也不斷增大，當彈目距離為1 km 左右時，已基本可以準確分辨類別信息。

圖20 檢測結(jié)果示意圖

進一步分析本節(jié)模型與原Yolo v3 的算法性能，統(tǒng)計測試集中不同目標的檢測精度，如圖21 所示。

圖21 各類別檢測精度對比結(jié)果

圖21 中，“target”為彈目距離較遠不能分辨目標類別標注的泛化“目標類”，mAP 為目標的均值平均精度。通過測試集各目標檢測精度的統(tǒng)計分析發(fā)現(xiàn)，本節(jié)改進模型在同等訓練條件下比傳統(tǒng)Yolo v3能獲得更高的檢測精度，特別是對彈載圖像中不易區(qū)分目標類別的小目標裝備，模型檢測精度可以達88.7%，為指揮員戰(zhàn)場決策提供更充分的時間。

為進一步驗證改進模型中各改進策略的有效性，通過相同的參數(shù)訓練條件調(diào)節(jié)模型訓練過程，其測試結(jié)果如表3 所示。

表3 模型改進策略對算法影響

通過表3 分析可知，改進算法中各策略均會在一定程度上提高模型的預測精度，并且當各策略均被應用到網(wǎng)絡改進中時，模型的均值平均精度比傳統(tǒng)模型提高了4.47%。此外，上述改進策略對模型的目標檢測速度影響不大，均保持在45 FPS 左右，滿足彈載圖像地面站目標檢測實時性的要求。

4 結(jié)論

本文對彈載圖像目標檢測中存在的問題進行分析，以Yolo v3 為基線網(wǎng)絡，建立對弱小目標的改進模型。在數(shù)據(jù)增強和目標分類層面對小目標樣本集進行處理，將像素小于15×15、不易區(qū)分類別的目標統(tǒng)稱為“target”類，提升小目標占比，大大降低了弱小目標的誤判概率。隨后，優(yōu)化Yolo v3 網(wǎng)絡結(jié)構(gòu)，在Yolo v3 多尺度特征提取中將小尺度和中尺度特征融合替換大尺度特征，并引入卷積注意力模塊，提高對目標顯著特征的表達能力。利用雙線性插值實現(xiàn)多尺度特征上采樣，充分利用目標特征的位置和像素信息，提高定位精度，減少特征信息損失。實驗結(jié)果表明，改進后的Yolo v3 模型可以大幅提升小目標的檢測準確率，mAP 高達95.08%，檢測速度在GPU 平臺下為45 FPS，滿足實時性要求，為彈載異構(gòu)平臺部署提供了高性能算法。