機(jī)器視覺的戰(zhàn)場適應(yīng)性研究

吳曉強(qiáng)，曾朝陽

(陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院， 南京 210007)

1 引言

人工智能正在飛速發(fā)展，在軍事和民用領(lǐng)域都已獲得廣泛應(yīng)用。其中，基于機(jī)器視覺的目標(biāo)檢測技術(shù)已經(jīng)是無人化裝備的標(biāo)準(zhǔn)配置。最近發(fā)生在納卡地區(qū)的沖突表明，無人化裝備的落后將導(dǎo)致極度的軍事被動和重大損失。

與民用目標(biāo)檢測領(lǐng)域不同，軍事目標(biāo)的自動檢測面臨數(shù)據(jù)集少，文獻(xiàn)也貧乏的困難局面。盡管如此，研究人員還是設(shè)法構(gòu)建了一些數(shù)據(jù)集，并開展了相關(guān)研究。這些研究表明，基于深度學(xué)習(xí)的目標(biāo)自動識別系統(tǒng)在識別效率上有驚人的表現(xiàn)，必須引起高度關(guān)注。Zheng等構(gòu)建密集反卷積網(wǎng)絡(luò)提取目標(biāo)深層次的語義信息對偽裝人員進(jìn)行檢測；鄧小桐等通過改進(jìn)RetinaNet檢測網(wǎng)絡(luò)，對偽裝人員進(jìn)行檢測。

本文注意到，文獻(xiàn)上關(guān)于軍事目標(biāo)的自動檢測研究，在方法上和民用目標(biāo)的自動檢測一致。這些方法除了強(qiáng)調(diào)檢測模型的科學(xué)性，也非常強(qiáng)調(diào)數(shù)據(jù)集的完整性。很多研究者甚至相信，當(dāng)機(jī)器視覺技術(shù)發(fā)展到一定水平后，數(shù)據(jù)集的質(zhì)量最終決定著目標(biāo)檢測模型的優(yōu)劣。然而，在軍事領(lǐng)域，軍事目標(biāo)的數(shù)據(jù)集天然就是非常不完整的，畢竟軍事目標(biāo)的探測方和被探測方是敵對的雙方，瞬息萬變的局勢和各種隱身對抗措施必然導(dǎo)致軍事目標(biāo)探測的不確定性。本文引入目標(biāo)和背景的不確定性，試圖分析典型的目標(biāo)檢測模型對這些不確定性因素的適應(yīng)性。

當(dāng)前基于深度學(xué)習(xí)的圖像目標(biāo)檢測模型，可將其分為三大類： 基于候選區(qū)域的two-stage的目標(biāo)檢測算法，如R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、Mask R-CNN和R-FCN等。此類算法第一步先對輸入圖像提取若干個目標(biāo)候選區(qū)域，第二步利用非極大值抑制消除多余的目標(biāo)框，并對候選區(qū)域進(jìn)行分類和預(yù)測。 基于回歸的one-stage目標(biāo)檢測算法，如YOLO、YOLOv2、YOLOv3、YOLOv4、SSD、DSSD和RetinaNet等。此類算法對輸入圖像直接進(jìn)行分類和回歸預(yù)測。 基于anchor-free的目標(biāo)檢測算法。此類檢測模型包含基于關(guān)鍵點(diǎn)和基于分類和回歸進(jìn)行改進(jìn)的檢測這2種，如CornerNet、CenterNet和FCOS等。

本文以Faster R-CNN、YOLOv4和CenterNet這3種不同類別的目標(biāo)檢測算法為基礎(chǔ)，將該3種模型在單個目標(biāo)場景下進(jìn)行多輪迭代訓(xùn)練，以迭代損失最小的權(quán)重值作為測試的權(quán)重。之后的測試過程中，權(quán)重不再調(diào)整。通過對比引入不確定性因素前后系統(tǒng)的目標(biāo)檢測效率，以此揭示戰(zhàn)場環(huán)境不確定性因素對不同檢測模型的影響。本文所用的數(shù)據(jù)集均是在野外現(xiàn)地收集，并在該數(shù)據(jù)集的基礎(chǔ)上進(jìn)行了數(shù)據(jù)增強(qiáng)。

2 數(shù)據(jù)集建立

2.1 軍事車輛數(shù)據(jù)集擴(kuò)展

為盡可能貼近實(shí)際的戰(zhàn)場偵察環(huán)境，根據(jù)地面軍事目標(biāo)的檢測任務(wù)，在野外單一目標(biāo)場景條件下，采集了309張軍事車輛目標(biāo)圖片數(shù)據(jù)，圖像尺寸大小為5 472×3 048，此圖片數(shù)據(jù)庫滿足以下2個特點(diǎn)：

1) 圖片數(shù)據(jù)包含不同亮度，不同角度，不同遮擋程度的目標(biāo)。

2) 圖片數(shù)據(jù)包含不同尺度的目標(biāo)，即從不同高度，不同距離對圖像數(shù)據(jù)進(jìn)行采集。

采用一些幾何變換的數(shù)據(jù)增強(qiáng)方式，例如翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪，變形，縮放等方式，將原圖片數(shù)據(jù)庫擴(kuò)展至1 591張，采用PASCAL VOC數(shù)據(jù)集標(biāo)注格式，擴(kuò)展數(shù)據(jù)集的軍事目標(biāo)統(tǒng)一標(biāo)注為Car這一類,擴(kuò)充的圖像及其標(biāo)注如圖1所示，其中圖1(a)和圖1(b)為選取的訓(xùn)練集中的兩張圖片，圖1(c)和圖1(d)分別為其對應(yīng)的標(biāo)注圖片。

圖1 訓(xùn)練集及其標(biāo)注圖像Fig.1 Training set annotation

2.2 背景不確定性的引入

戰(zhàn)場環(huán)境下，目標(biāo)出現(xiàn)的區(qū)域往往不斷變化，難以預(yù)測。比較符合實(shí)際的情況是，參戰(zhàn)雙方對戰(zhàn)場的大致區(qū)域可以有一定的判斷，但對具體的目標(biāo)出現(xiàn)區(qū)域卻無法事先判斷?？紤]這一點(diǎn)，本文的數(shù)據(jù)集中，同一個目標(biāo)會出現(xiàn)在多個背景中。在對目標(biāo)檢測模型進(jìn)行訓(xùn)練時，本文刻意讓有些背景的圖片不出現(xiàn)。而在模型訓(xùn)練完成之后，先通過系統(tǒng)對檢測數(shù)據(jù)集(其中的背景是包含在訓(xùn)練數(shù)據(jù)集中的)進(jìn)行檢測。隨后更換檢測數(shù)據(jù)集，更換后的數(shù)據(jù)集包含相同的目標(biāo)，但包含的4個背景卻是之前不曾出現(xiàn)的。原數(shù)據(jù)集中的測試集及其標(biāo)注如圖2所示，其中圖2(a)和圖2(b)為測試集中的兩張標(biāo)注圖片。

圖2 測試集及其標(biāo)注圖像Fig.2 Test set annotation

更換背景后的測試集及其標(biāo)注如圖3所示。其中圖3(a)、圖3(b)、圖3(c)和圖3(d)為不同背景測試集下的標(biāo)注圖片。

圖3 不同背景測試集數(shù)據(jù)及其標(biāo)注圖像Fig.3 Different background data annotation

2.3 目標(biāo)特性不確定性的引入

戰(zhàn)場環(huán)境中，敵對雙方都會對自己的目標(biāo)進(jìn)行必要的偽裝，然而卻都不知道對方究竟會采取什么樣的偽裝措施，而這就導(dǎo)致了目標(biāo)特性的不確定性。考慮一點(diǎn)，本文從2個方面對目標(biāo)特性進(jìn)行改變，以形成新的測試數(shù)據(jù)集。

1) 改變軍事目標(biāo)的顏色。將其統(tǒng)一調(diào)整為亮綠色圖片，并放在上述4個不同的背景中。這種處理效果相當(dāng)于軍事對抗中目標(biāo)所屬方采取的隱身措施。

2) 對軍事目標(biāo)進(jìn)行遮擋，改變其原有形貌。利用上述4個不同背景中，車輛停放位置周圍背景對車輛進(jìn)行不完全遮擋。這相當(dāng)于偽裝技術(shù)中的利用地形地物進(jìn)行遮蔽偽裝。

改變?yōu)榱辆G色的軍事目標(biāo)在背景一、背景二、背景三和背景四中的圖像標(biāo)注如圖4所示，其中圖4(a)、圖4(b)、圖4(c)和圖4(d)為不同背景下顏色改變的測試集下的數(shù)據(jù)標(biāo)注圖片。

圖4 不同背景顏色改變測試集數(shù)據(jù)及其標(biāo)注圖像Fig.4 Data annotation with different background color changes

不完全遮擋后的軍事目標(biāo)在4個背景中的圖像標(biāo)注如圖5所示。其中圖5(a)、圖5(b)、圖5(c)和圖5(d)為不同背景測試集下的不同遮擋下的標(biāo)注圖片。

圖5 不同背景不完全遮擋測試集數(shù)據(jù)及其標(biāo)注圖像Fig.5 Data annotation of incomplete occlusion in different backgrounds

3 實(shí)驗(yàn)設(shè)計與結(jié)果分析

3.1 實(shí)驗(yàn)的基礎(chǔ)條件設(shè)置和目標(biāo)檢測模型的訓(xùn)練

本文實(shí)驗(yàn)均在Windows操作系統(tǒng)下完成，基于Tensorflow深度學(xué)習(xí)框架，使用Faster R-CNN、YOLOv4 和CenterNet 3種目標(biāo)檢測模型，電腦配置內(nèi)存128 GB，CPU為i9-10980XE，使用兩塊NVIDIA TITAN V顯卡進(jìn)行深度學(xué)習(xí)的加速并行運(yùn)算。在此基礎(chǔ)上的模型計算速度大大提升，模型訓(xùn)練誤差能夠較快的收斂。

3個目標(biāo)檢測模型的訓(xùn)練，為保證模型在不同背景測試集下進(jìn)行預(yù)測時，具有較好的識別準(zhǔn)確率。選擇模型多輪迭代訓(xùn)練后的最低損失權(quán)重作為該檢測模型的預(yù)測權(quán)重。

Faster R-CNN檢測模型經(jīng)過多輪迭代訓(xùn)練后，損失最低值在0.452左右，損失收斂曲線如圖6。

圖6 Faster R-CNN訓(xùn)練損失曲線Fig.6 Training loss ofFaster R-CNN

YOLOv4檢測模型經(jīng)過多輪迭代訓(xùn)練后，損失最低值在3.185左右，損失收斂曲線如圖7。

圖7 YOLOv4訓(xùn)練損失曲線Fig.7 Training loss of YOLOv4

CenterNet模型經(jīng)過多輪迭代訓(xùn)練后，損失最低值在0.469左右，損失收斂曲線如圖8。

圖8 CenterNet訓(xùn)練損失曲線Fig.8 Training loss of CenterNet

3.2 目標(biāo)檢測模型的測試

將數(shù)據(jù)集中的軍事車輛目標(biāo)統(tǒng)一標(biāo)注為Car這一類，通過將在同一背景下的數(shù)據(jù)集上訓(xùn)練好的Faster R-CNN、YOLOv4和CenterNet 3個目標(biāo)檢測模型，在同一測試集上進(jìn)行識別檢測。利用平均精度值(Mean Average Precision,MAP)作為模型檢測結(jié)果的評價指標(biāo)。MAP值越高，即該模型的檢測精度越高。由于本文中的軍事車輛統(tǒng)一標(biāo)注為Car這一類。因而在本文中，僅用AP值作為評價指標(biāo)，也可以描述模型的檢測精度。

1) 實(shí)驗(yàn)1

擴(kuò)展后的軍事目標(biāo)數(shù)據(jù)集1 491張，測試集選擇100張。分別在上述的4個不同背景中，將原測試集中的軍事車輛調(diào)整至每個背景中選定的位置。每個背景下的測試集數(shù)量均為100張，在訓(xùn)練好的Faster R-CNN、YOLOv4和CenterNet 3個目標(biāo)檢測模型上進(jìn)行檢測，在不同背景下測試集的檢測結(jié)果如表1所示。

從表1的檢測結(jié)果可知，F(xiàn)aster R-CNN、YOLOv4和CenterNet 3個目標(biāo)檢測模型在原測試集、背景1、背景2、背景3和背景4測試集上的檢測結(jié)果沒有明顯變化。從此檢測數(shù)據(jù)可以看出，在檢測模型對目標(biāo)特征充分訓(xùn)練學(xué)習(xí)的情況下，將特征目標(biāo)變換在不同的背景中，而不改變目標(biāo)本身特性的情況下(即引入背景不確定的情況下)，背景對目標(biāo)檢測模型檢測結(jié)果的影響有限。檢測模型訓(xùn)練時，更多的是針對目標(biāo)本身的特征所進(jìn)行的充分學(xué)習(xí)。

表1 不同背景數(shù)據(jù)集的目標(biāo)檢測結(jié)果

2) 實(shí)驗(yàn)2

分別在4個不同背景中，對軍事車輛顏色進(jìn)行改變。統(tǒng)一將其顏色更改為亮綠色。每個背景下的測試集數(shù)量均為100張。

利用訓(xùn)練好的Faster R-CNN、YOLOv4和CenterNet 3個目標(biāo)檢測模型在不同背景下色彩改變的測試集上進(jìn)行檢測，測試結(jié)果如表2所示。

表2 亮綠色數(shù)據(jù)集的目標(biāo)檢測結(jié)果

在表2的檢測數(shù)據(jù)中，模型在不同背景下色彩改變的測試集上的檢測結(jié)果變化明顯。可以看出，將目標(biāo)變換在不同背景下，通過對目標(biāo)本身所采取的隱身措施(目標(biāo)顏色特性的改變)，即目標(biāo)特性不確定的情況下，對檢測模型的檢測結(jié)果具有明顯的影響。

3) 實(shí)驗(yàn)3

將原測試集中的軍事車輛統(tǒng)一變換到上述4個不同的背景中選定的位置，并選擇周邊林地植被對該背景下的軍事車輛進(jìn)行不完全遮擋。變換過后，每個背景下的測試集數(shù)量均與原測試集一致，即為100張。Faster R-CNN、YOLOv4和CenterNet 3個目標(biāo)檢測模型在4個不同背景下的遮擋數(shù)據(jù)集上的檢測結(jié)果如表3所示。

表3 遮擋數(shù)據(jù)集的目標(biāo)檢測結(jié)果

不難發(fā)現(xiàn)，檢測模型在4個不同背景下的遮擋數(shù)據(jù)集上的檢測效率急劇下降?？梢钥闯?，通過對目標(biāo)進(jìn)行一定的遮蔽偽裝措施(周圍背景對目標(biāo)的不完全遮擋)，所導(dǎo)致的目標(biāo)局部特性的改變，對模型的檢測結(jié)果具有顯著的影響。

4 結(jié)論

為考察目標(biāo)自動檢測模型對戰(zhàn)場環(huán)境的適應(yīng)性，本文通過在測試數(shù)據(jù)集中引入背景不確定性和目標(biāo)不確定性的方法，對比分析了不確定性引入前后，檢測目標(biāo)的檢測效率的變化情況。所得的主要結(jié)論如下:

1) 背景不確定性對自動檢測模型的檢測效率影響程度有限。這可以理解為檢測模型在訓(xùn)練中對目標(biāo)特性有了很好的把握，而這些模型檢測目標(biāo)更多的是基于目標(biāo)的特性，而不是目標(biāo)背景的相互關(guān)系。

2) 目標(biāo)不確定性的引入大幅度降低了檢測模型的檢測效率，很多情況下，幾乎完全失效，檢測準(zhǔn)確率甚至降到了1%以下。這說明通過隱身技術(shù)措施增加目標(biāo)特性的不確定性，是非常有效的對抗機(jī)器視覺目標(biāo)探測的手段。

3) 本文研究工作得出的結(jié)論不具普遍意義，因?yàn)楸疚膶ο到y(tǒng)的訓(xùn)練和測試只是針對本實(shí)驗(yàn)構(gòu)建的數(shù)據(jù)集進(jìn)行的。不過，這些研究證實(shí)了由于軍事行動的特殊性，軍事目標(biāo)自動檢測模型無法得到充分的訓(xùn)練，因此戰(zhàn)場環(huán)境中的不確定性因素一定會對目標(biāo)的自動檢測效果產(chǎn)生重要的影響。這一點(diǎn)無論對于目標(biāo)檢測還是軍事偽裝，都有重大意義。