假目標(biāo)對機(jī)器視覺目標(biāo)檢測的影響

王 俊， 曾朝陽， 吳曉強(qiáng)

（陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院， 江蘇 南京 210007）

0 引言

近年來， 得益于大數(shù)據(jù)和計算機(jī)算力的巨大進(jìn)步和有力支撐， 深度學(xué)習(xí)的相關(guān)理論和實(shí)際應(yīng)用得到迅猛發(fā)展，并在目標(biāo)檢測領(lǐng)域大放異彩。而自動目標(biāo)檢測技術(shù)發(fā)展至今，一直是國防和軍事領(lǐng)域的研究重點(diǎn)。相比于傳統(tǒng)目標(biāo)檢測模型， 基于深度學(xué)習(xí)的目標(biāo)檢測模型在檢測速率和檢測精度上具有極大優(yōu)勢。因此，作為智能化武器系統(tǒng)的重要環(huán)節(jié)之一，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)在軍事領(lǐng)域的應(yīng)用和推廣一直備受世界各國的重視。

由于軍事目標(biāo)高度保密的特性， 目前并沒有公開的軍事目標(biāo)數(shù)據(jù)集。關(guān)于軍事目標(biāo)檢測的研究，學(xué)者們多是通過網(wǎng)絡(luò)收集或自行采集軍事目標(biāo)圖片制作數(shù)據(jù)集，存在樣本數(shù)量較少的問題。 復(fù)雜的戰(zhàn)場環(huán)境和多變的戰(zhàn)場態(tài)勢使得軍事目標(biāo)檢測面臨更嚴(yán)峻的考驗， 由于探測手段的限制， 敵我雙方想要采集對方的軍事目標(biāo)圖片作為訓(xùn)練數(shù)據(jù)十分困難， 且雙方在戰(zhàn)爭過程中會對己方目標(biāo)采取何種偽裝技術(shù)措施難以預(yù)估， 從而在根本上影響依賴于數(shù)據(jù)的基于深度學(xué)習(xí)的目標(biāo)檢測模型的檢測效能。而假目標(biāo)作為隱真示假的重要偽裝技術(shù)措施之一， 在現(xiàn)代戰(zhàn)爭中仍發(fā)揮著影響全局的作用， 因此面對基于機(jī)器視覺的目標(biāo)檢測系統(tǒng)的探測， 基于人眼探測的假目標(biāo)偽裝措施會存在怎樣的暴露征候是需要我們亟需探究的問題。 本文通過改變假目標(biāo)的位置、背景及其顏色、大小、亮度等目標(biāo)特性， 探究小樣本條件下假目標(biāo)在基于機(jī)器視覺的目標(biāo)檢測下“以假亂真”的效果，為下步戰(zhàn)場假目標(biāo)應(yīng)用提供參考。

1 數(shù)據(jù)集建立

1.1 軍事目標(biāo)圖片采集及數(shù)據(jù)擴(kuò)充

利用大疆無人機(jī)在野外條件和良好光照條件下，采集了367 張軍事車輛目標(biāo)圖片， 圖片尺寸為5472×3048。為貼近實(shí)際偵察效果，拍攝時選取不同高度，不同俯仰，不同角度等進(jìn)行拍攝。 圖片包含樹林、河流、土路、公路、居民建筑物等不同的特征背景。

通過翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，縮放，顏色增強(qiáng)等數(shù)據(jù)增強(qiáng)的方式將數(shù)據(jù)集擴(kuò)展至1780 張，并采用labelimg 標(biāo)注工具將其標(biāo)注制作成PASCAL VOC 格式數(shù)據(jù)集。 采集的圖像及圖像標(biāo)注如圖1 所示，圖1（c）、（d）分別為圖1（a）、（b）圖片標(biāo)注后所對應(yīng)的標(biāo)簽。

圖1 數(shù)據(jù)集標(biāo)注Fig.1 Dataset annotation

利用數(shù)據(jù)集進(jìn)行訓(xùn)練時， 按照8：1：1 的比例隨機(jī)將擴(kuò)展后的軍事車輛目標(biāo)數(shù)據(jù)集分為訓(xùn)練集、 驗證集和測試集。 考慮到假目標(biāo)相比于真目標(biāo)在光電特征上存在的差異，通過對真目標(biāo)進(jìn)行高斯模糊來模擬細(xì)節(jié)差異；通過疊加15%不透明度的軍綠色 （#0215E21） 來模擬顏色差異；將真目標(biāo)縮小為90%原面積大小以模擬大小差異。

1.2 不同位置和背景的假目標(biāo)測試集

在作戰(zhàn)區(qū)域內(nèi)， 由于假目標(biāo)的配置須符合真目標(biāo)的戰(zhàn)場使用要求， 其配置區(qū)域無法預(yù)判且可能因作戰(zhàn)需求而發(fā)生變動。故需引入假目標(biāo)位置和背景變化因素，在原背景中改變假目標(biāo)的位置，如圖2 所示。圖2（b）、（d）分別為圖2（a）、（c）進(jìn)行目標(biāo)位置變換后的圖像。 將假目標(biāo)按照相關(guān)配置要求置于包含其它地物特征的三個背景中，如圖3 所示。

圖2 不同位置測試集Fig.2 Different location testset

圖3 不同背景測試集Fig.3 Different background testset

1.3 不同目標(biāo)特性的假目標(biāo)測試集

在作戰(zhàn)過程中， 敵我雙方對軍事目標(biāo)采取的各種偽裝技術(shù)措施將導(dǎo)致目標(biāo)特性發(fā)生變化， 為探究假目標(biāo)顏色、大小、亮度等目標(biāo)特性的改變對檢測效果的影響，對假目標(biāo)分別疊加20%、40%、60%、80%不透明度的軍綠色（#0215E21）來改變顏色特性；通過在原基礎(chǔ)上分別調(diào)整-150、-100、-50、50、100、150 個亮度單位來改變亮度特性；將假目標(biāo)面積調(diào)整為原面積大小的0.5、0.75、1.25、1.5 倍來改變大小特性。

2 實(shí)驗設(shè)計與結(jié)果分析

2.1 模型選取

現(xiàn)今而言，目標(biāo)檢測算法大致可分為三類。

（1）二階段（two-stage）目標(biāo)檢測算法。 如R-CNN[1]、SPP-net[2]、Fast R-CNN[3]、Faster R-CNN[4]、FPN[5]、Mask RCNN[6]、Cascade R-CNN[7]和TridentNet[8]等。 該類算法先從輸入圖像中提取出可能包含目標(biāo)的候選區(qū)域， 然后對候選區(qū)域進(jìn)行分類， 通過邊界框回歸來調(diào)整邊界框的大小和位置，最后利用NMS（Non-Maximum Supression，非極大值抑制）方法清除冗余框。

（2）單階段（one-stage）目標(biāo)檢測算法。 如YOLO[9]、YOLO v2[10]、YOLO v3[11]、YOLO v4[12]、SSD[13]、DSSD[14]、FSSD[15]、RetianNet[16]等。該類算法則無需提取候選區(qū)域，而是將目標(biāo)檢測問題轉(zhuǎn)換為回歸問題， 直接對目標(biāo)分類和邊框預(yù)測進(jìn)行回歸分析，相對來說精度有所損失，但速度較two-stage 檢測算法更快。

（3）anchor-free 目標(biāo)檢測算法。 如CornerNet[17]、CenterNet[18]、FCOS[19]等。 該類算法不引入錨框機(jī)制，通過全卷機(jī)神經(jīng)網(wǎng)絡(luò)得出的熱點(diǎn)圖確定目標(biāo)中心點(diǎn)， 進(jìn)而回歸得出目標(biāo)尺寸、3D 坐標(biāo)方向、姿態(tài)信息等。

本文采用檢測速率和檢測精度出色平衡的YOLO v4目標(biāo)檢測模型，在單個目標(biāo)小樣本的情況下進(jìn)行多次迭代訓(xùn)練， 選取最終迭代損失最小的權(quán)重值作為預(yù)測權(quán)重，分別對假目標(biāo)的位置、背景、顏色、大小和亮度等因素變化前后的測試集進(jìn)行檢測，探究這些因素對檢測效果的影響。

2.2 模型訓(xùn)練

實(shí)驗條件：本實(shí)驗采用基于Tensorflow 深度學(xué)習(xí)框架的YOLO v4 目標(biāo)檢測模型，CPU 為i9-10980XE，內(nèi)存為128GB，GPU 為NVIDIA TITAN V。

對YOLO v4 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練階段初始學(xué)習(xí)率為0.001， 每次迭代訓(xùn)練100 輪， 前50 輪batchsize 為8，后50 輪batchsize 為2。 將前一次迭代得到的最低訓(xùn)練損失權(quán)重作為下一次迭代訓(xùn)練的預(yù)訓(xùn)練權(quán)重。

YOLO v4 目標(biāo)檢測網(wǎng)絡(luò)模型多次迭代訓(xùn)練的訓(xùn)練損失值逐步收斂穩(wěn)定在4 左右，選取最低訓(xùn)練損失值4.073所對應(yīng)的權(quán)重作為檢測模型的預(yù)測權(quán)重。 YOLO v4 目標(biāo)檢測網(wǎng)絡(luò)模型多次迭代訓(xùn)練的訓(xùn)練損失值收斂曲線見圖4。

圖4 YOLO v4 訓(xùn)練損失Fig.4 YOLO v4 Training loss

2.3 模型測試

2.3.1 實(shí)驗一

將隨機(jī)獲得的測試集輸入訓(xùn)練好的YOLO v4 目標(biāo)檢測模型中進(jìn)行預(yù)測， 圖中軍事目標(biāo)標(biāo)注為Car 這一目標(biāo)類別，則模型在測試集上的平均精度均值（mean Average Precision，mAP）即為該類的平均精度（Average Precision，AP），由此來衡量模型訓(xùn)練的好壞。平均精度（AP）越高，即該檢測模型的性能越好。 平均精度（AP）從精確率（Precision）和召回率（Recall）兩個方面進(jìn)行衡量。

預(yù)測目標(biāo)時預(yù)測值與真實(shí)值相同，記為T（True），預(yù)測值與真實(shí)值相反，記為F（False）；預(yù)測值為正例，記為P（Positive），預(yù)測值為反例，記為N（Negative）。 故TP 指真實(shí)值和預(yù)測值同為正樣本的樣本數(shù)，TN 指真實(shí)值和預(yù)測值同為負(fù)樣本的樣本數(shù)，F(xiàn)P 指真實(shí)值為負(fù)樣本但預(yù)測值為正樣本的樣本數(shù)，F(xiàn)N指真實(shí)值為正樣本而預(yù)測值為負(fù)樣本的樣本數(shù)，見圖5。

圖5 模型預(yù)測Fig.5 Model prediction

（1）Precision （精 確率）和Recall（召回率）：精確率又稱為查準(zhǔn)率，是針對預(yù)測結(jié)果而言的，它表示預(yù)測結(jié)果為正樣本的樣本中真實(shí)值也為正樣本的樣本所占比例； 召回率又稱為查全率， 是針對測試樣本而言的， 它表示真實(shí)值為正樣本的樣本中預(yù)測值也為正樣本的樣本所占比例。 計算公式如下所示：

（2）AP（Average-Precision，平均精度）和mAP（mean Average Precision，平均精度均值）：AP 指Precision-Recall曲線下面的面積。 mAP 是多個類別AP 的平均值。

YOLO v4 檢測模型在測試集上檢測結(jié)果如圖6 所示。

圖6 YOLO v4 的AP 曲線Fig.6 AP curve of YOLO v4

2.3.2 實(shí)驗二

對假目標(biāo)位置和背景變化前后的測試集圖像進(jìn)行預(yù)測，檢測結(jié)果見表1。

表1 位置和背景變化的檢測結(jié)果Tab.1 Test results of position and background change

從表格數(shù)據(jù)中可看出：

（1）位置和背景變化前，假目標(biāo)檢測平均精度高達(dá)98.67%，說明在相同背景和相同位置情況下，模型將假目標(biāo)識別為真目標(biāo)的概率很高，假目標(biāo)“以假亂真”的效果較好。

（2）位置變化使假目標(biāo)的檢測精度從98.67%下降至46.68%；背景變化使假目標(biāo)的檢測精度從98.67%分別下降為35.07%、53.27%和44.93%。

位置和背景變化后， 假目標(biāo)的檢測平均精度都有一定幅度的下降，但仍控制在一定程度，說明位置和背景的改變對目標(biāo)檢測效果有一定影響，但程度有限，模型對目標(biāo)的識別主要基于目標(biāo)本身特征的識別， 而不是目標(biāo)與位置和背景的空間關(guān)系。

2.3.3 實(shí)驗三

在假目標(biāo)所處的位置和背景保持不變的情況下，對進(jìn)行目標(biāo)特性變化前后的假目標(biāo)測試集進(jìn)行模型預(yù)測，檢測結(jié)果如表2～表4 所示。

表2 顏色變化的檢測結(jié)果Tab.2 Test results of color change

表3 亮度變化的檢測結(jié)果Tab.3 Test results of brightness change

表4 大小變化的檢測結(jié)果Tab.4 Test results of size change

從表格數(shù)據(jù)中可看出：

（1）隨著顏色變化程度的增大，假目標(biāo)的檢測平均精度從98.67%逐步下降至83.58%。可知在假目標(biāo)位置和背景保持不變的情況下，單種軍綠色（#0215E21）的疊加變化對檢測效果的影響十分有限。

（2）假目標(biāo)的檢測平均精度隨著亮度的增加由98.67%逐漸下降至72.5%， 隨亮度的減少先上升后下降并穩(wěn)定在97.88%左右。 亮度增大使得目標(biāo)的部分特征丟失，導(dǎo)致檢測準(zhǔn)確度的下降但影響較為有限； 而亮度的降低反而能在一定程度上稍微提高檢測效果。

（3）假目標(biāo)的檢測平均精度隨大小的逐漸增大而逐步上升，但變化程度較為有限。目標(biāo)特性變化后，假目標(biāo)的檢測平均精度波動范圍較小，與真目標(biāo)的檢測平均精度較為接近，說明檢測模型將假目標(biāo)誤判為真目標(biāo)的概率很大。

3 結(jié)論

為探究假目標(biāo)對目標(biāo)檢測效果的影響， 本文基于YOLO v4 目標(biāo)檢測模型，對比分析了假目標(biāo)的位置、背景及其顏色、亮度、大小等特征變化前后的檢測平均精度。結(jié)果表明，對經(jīng)過多次迭代、訓(xùn)練效果良好的檢測模型，假目標(biāo)的位置和背景變化會導(dǎo)致檢測平均精度有明顯的降低，而目標(biāo)特性的變化對檢測效果的影響卻較為有限。

當(dāng)然， 上述結(jié)論只能作為基于本次實(shí)驗數(shù)據(jù)集的探究結(jié)果，不具備普適意義，且實(shí)驗設(shè)置的前提條件是小樣本數(shù)據(jù)和未將假目標(biāo)作為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。 但實(shí)驗結(jié)果也在一定程度上說明了目標(biāo)檢測模型對數(shù)據(jù)的依賴，在數(shù)據(jù)不足的情況下， 假目標(biāo)和目標(biāo)特性控制技術(shù)能對檢測效果產(chǎn)生重要影響。 這一結(jié)論對軍事目標(biāo)檢測和假目標(biāo)的配置使用有一定的參考意義。