基于DenseNet和注意力機(jī)制的靜爆場破片識別方法研究

魏 琦，何子清，王亞林，王 軍

(1.蘇州科技大學(xué)，江蘇 蘇州 215009；2.近地面探測技術(shù)重點實驗室，江蘇 無錫 214035；3.中國白城兵器試驗中心，吉林 白城 137001)

1 引言

破片殺傷效應(yīng)[1]是指戰(zhàn)斗部毀傷試驗爆炸后破片對目標(biāo)的破壞作用，它與破片的數(shù)量、破片的空間分布、彈目交匯條件等參數(shù)有關(guān)。對于破片殺傷效應(yīng)的評估[2]是爆炸性武器研發(fā)、改進(jìn)、定型及作戰(zhàn)威力評估的重要內(nèi)容。戰(zhàn)斗部威力試驗中常利用靶板測量飛散特性，需要在爆炸區(qū)域設(shè)立多個鋼板靶或木板靶，試驗后人得到有限數(shù)量的破片且防護(hù)困難。靶板法價格便宜、安裝簡單，能夠可靠地獲得破片分布信息及侵蝕能力，是靶板沿用至今的破片參數(shù)測試方法。

傳統(tǒng)的靶板法在數(shù)據(jù)處理時使用人工圈定[3]的方式對破片位置進(jìn)行測量，存在以下方面不足：一是采集效率低，需要耗費較多的人力和時間；二是采集數(shù)據(jù)信息較少，僅獲取某個靶板有效區(qū)域內(nèi)的破片數(shù)量；三是誤檢漏檢率大。

隨著激光掃描技術(shù)的發(fā)展，以及深度學(xué)習(xí)的研究方法逐漸滲透到各個領(lǐng)域，針對靜爆場破片的目標(biāo)檢測已經(jīng)不再滿足于單純的人工檢測?；诩す鈷呙杓夹g(shù)，何性順等[4]提出了基于TLS的靶板穿孔特征識別提取方法，采用三維激光掃描技術(shù)通過點云間內(nèi)部關(guān)系，識別破片穿孔特征，但實驗的樣本數(shù)量少，識別速度慢。目前主流的深度學(xué)習(xí)目標(biāo)檢測方法包括Fast R-CNN[5]、Faster R-CNN[6]等基于候選區(qū)域的算法以及 YOLO[7]、單激發(fā)探測器(single shot detector，SSD)[8]等基于回歸的算法。雷江波等[9]提出了基于Faster R-CNN的破片群圖像目標(biāo)檢測研究，首次將Faster R-CNN網(wǎng)絡(luò)應(yīng)用于破片檢測，但檢測速度較慢，且對于小目標(biāo)的檢測精度較低。為解決這個問題，F(xiàn)u 等[10]提出 DSSD(deconvolutional single shot detector)檢測器。該模型將 SSD 中的骨干網(wǎng)絡(luò)修改為 ResNet101，同時增加 Deconvoluational 模塊和 Prediction 模塊，提升了模型對小目標(biāo)物體的識別和分類能力，但是計算量較大，無法進(jìn)行實時性目標(biāo)檢測。張侶等[11]在骨干網(wǎng)絡(luò)中引入注意力機(jī)制和 ResNet 的思想，并在殘差模塊外層增加skip connection 構(gòu)成嵌套殘差結(jié)構(gòu)，大幅提升了網(wǎng)絡(luò)的特征提取能力。趙鵬飛等[12]采用分組殘差的方式重新構(gòu)建 Darknet-53，引入特征增強(qiáng)模塊與通道注意力機(jī)制獲得淺層增強(qiáng)特征，改善淺層語義特征信息不足的問題。

本文提出改進(jìn)的SSD目標(biāo)檢測算法，將SSD網(wǎng)絡(luò)模型中的骨干網(wǎng)絡(luò)修改為DenseNet[13]，并改進(jìn)DenseNet網(wǎng)絡(luò)模型結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)，降低輸入圖像特征信息的消耗，最大程度地保留目標(biāo)物體的細(xì)節(jié)信息，另外引入注意力機(jī)制模型，提升網(wǎng)絡(luò)前向傳播時的特征表達(dá)能力，充分提取小目標(biāo)的特征信息。

2 基于SSD目標(biāo)檢測的破片識別模型

靜爆試驗過程中由于爆炸范圍較大，會設(shè)置多個鋼板靶進(jìn)行破片參數(shù)測量，因此破片打擊到靶板上進(jìn)行檢靶主要存在以下難題：(1)如何在復(fù)雜明暗程度不同的破片圖像中準(zhǔn)確定位到破片區(qū)域，并進(jìn)行分類；(2)如何提高破片區(qū)域的定位識別精度。針對這些技術(shù)難點，提出基于深度學(xué)習(xí)目標(biāo)檢測方法，根據(jù)破片圖像特點，引入深度學(xué)習(xí)網(wǎng)絡(luò)，首先對物體和背景進(jìn)行簡單的二分類與粗略定位，根據(jù)第一部分的二分類結(jié)果過濾大部分簡單負(fù)樣本，然后進(jìn)行目標(biāo)類別的判斷與位置回歸，最后輸出破片數(shù)量及類別。提出的算法流程如圖1所示。

圖1 基于SSD的破片圖像識別流程Fig.1 Fragment image recognition process based on SSD

3 改進(jìn)SSD算法

3.1 傳統(tǒng)的SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD網(wǎng)絡(luò)是基于回歸的目標(biāo)檢測算法的典型網(wǎng)絡(luò)，它利用單個深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合6個不同尺度的特征圖進(jìn)行預(yù)測獲取目標(biāo)的類別和位置信息。SSD網(wǎng)絡(luò)由基礎(chǔ)網(wǎng)絡(luò)和額外增加網(wǎng)絡(luò)組成，其結(jié)構(gòu)如圖2所示。

圖2 SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 SSD network structure

其中，VGG-16網(wǎng)絡(luò)為SSD的基礎(chǔ)網(wǎng)絡(luò)。SSD的額外增加網(wǎng)絡(luò)由 Conv4-3 特征圖以及經(jīng)過不斷下采樣操作形成尺度逐漸變小的特征圖組成。

SSD網(wǎng)絡(luò)對于小尺度目標(biāo)的檢測主要利用分辨率較高的Conv4_3淺層特征圖，而Conv4_3位置比較靠前，容易導(dǎo)致特征提取不充分，丟失一些重要的細(xì)節(jié)特征，因此，這里考慮更換SSD中的主干網(wǎng)絡(luò)。由于DenseNet網(wǎng)絡(luò)是密集型網(wǎng)絡(luò)，它的特點是重復(fù)利用前幾層的特征信息，利用拼接操作，最大化重用每一層的特征，而且可以很好的緩解梯度消失現(xiàn)象，所以本文將采用DenseNet網(wǎng)絡(luò)模型替代VGG-16原始網(wǎng)絡(luò)模型進(jìn)行檢測。

3.2 DenseNet網(wǎng)絡(luò)模型

DenseNet網(wǎng)絡(luò)由多個Dense Block模塊和多個Transition Layer層組成，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 DenseNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 DenseNet network structure

由圖3可以看出，Dense Block模塊作為DenseNet網(wǎng)絡(luò)結(jié)構(gòu)中的重要組成部分，除去第1層只有1個輸入，其他層的輸入都包括該層前面每一層的特征圖，同時該層的特征圖也會傳遞給之后的所有層，這樣的連接更加稠密，比傳統(tǒng)卷積網(wǎng)絡(luò)需要更少的參數(shù)。在DenseNet網(wǎng)絡(luò)結(jié)構(gòu)中每個Dense Block模塊之間還包含一個Transition Layer層，它起到防止過擬合和降采樣的作用，由于Dense Block 重用特征圖的特性導(dǎo)致其中各層特征圖的大小必須相等，因此需要在2個Dense Block之間通過1×1的卷積對特征圖進(jìn)行壓縮，再用一個步長為2的池化層來對圖像進(jìn)行降采樣。

3.3 注意力機(jī)制

注意力機(jī)制模型主要分為通道注意力機(jī)制(channel attention module)和空間注意力機(jī)制(spatial attention module)，SENet[14]是通道注意力機(jī)制的典型實現(xiàn)，它的主要目的是獲得輸入進(jìn)來的特征層的每一個通道的權(quán)值。圖4是SENet的結(jié)構(gòu)模型。

圖4 SENet結(jié)構(gòu)Fig.4 SENet structure

如圖4所示，SENet網(wǎng)絡(luò)首先對輸入進(jìn)來的特征層進(jìn)行全局平均池化，將一個多維度的特征通道映射成一個全局的實數(shù)，接著進(jìn)行兩次全連接，第一次全連接神經(jīng)元個數(shù)較少，第二次全連接神經(jīng)元個數(shù)和輸入通道數(shù)一致，完成之后再經(jīng)過Sigmoid激活函數(shù)將值固定在0～1，此時我們獲得了輸入特征層每一個通道的權(quán)值(0～1)，最后將這個權(quán)值乘上原輸入特征層對其進(jìn)行重新加權(quán)，從而實現(xiàn)通道上的特征重寫。

空間注意力機(jī)制[15]則是獲得輸入進(jìn)來的特征層上每一個特征點的權(quán)值，其模型結(jié)構(gòu)如圖5所示。

圖5 空間注意力機(jī)制結(jié)構(gòu)Fig.5 Structure of spatial attention mechanism

對輸入進(jìn)來的特征層，在每一個特征點的通道上取最大值和平均值。之后將這兩個結(jié)果進(jìn)行一個堆疊，利用一次通道數(shù)為1的卷積調(diào)整通道數(shù)，然后取一個sigmoid，此時我們獲得了輸入特征層每一個特征點的權(quán)值(0～1)。在獲得這個權(quán)值后，我們將這個權(quán)值乘上原輸入特征層即可。

CBAMNet[16]將通道注意力機(jī)制和空間注意力機(jī)制進(jìn)行了結(jié)合，它會對輸入進(jìn)來的特征層，分別進(jìn)行通道注意力機(jī)制的處理和空間注意力機(jī)制的處理。圖6是CBAMNet的結(jié)構(gòu)模型。

圖6 CBAMNet結(jié)構(gòu)Fig.6 CBAMNet structure

在每個Dense Block結(jié)構(gòu)中引入CBAMNet注意力機(jī)制模型，可以將淺層網(wǎng)絡(luò)重新加強(qiáng)全局特征，將深層次的網(wǎng)絡(luò)中各個特征的重要通道進(jìn)行重新加權(quán)，有效提高模型精度。

3.4 改進(jìn)DenseNet網(wǎng)絡(luò)層

原始的DenseNet卷積網(wǎng)絡(luò)中第1個卷積核的大小為 7×7，步長為2，輸入圖像在經(jīng)過第一層卷積和池化下采樣后，其特征信息還未被充分提取就已部分丟失，從而影響到后續(xù)特征提取。因此，本文對DenseNet進(jìn)行改進(jìn)，采用 3 個 3×3 的卷積核代替7×7卷積核，其中第一個3×3的卷積核步長為2，其余步長為1。此外，對DenseNet網(wǎng)絡(luò)中的Dense Block模塊進(jìn)行改進(jìn)，在3×3卷積前加上一個1×1的卷積，用來降低上一層輸入的通道數(shù)，減少后面的計算量，再結(jié)合前面提到的CBAMNet注意力機(jī)制模塊，加到Dense Block模塊的3×3卷積后面，用來增強(qiáng)有用信息的特征提取。改進(jìn)后的 DenseNet網(wǎng)絡(luò)層參數(shù)如表1所示。

表1 DenseNet與改進(jìn)后DenseNet網(wǎng)絡(luò)層參數(shù)對比表Table 1 DenseNet and the improved DenseNet network layer parameters comparison

3.5 改進(jìn)損失函數(shù)

為解決正負(fù)樣本不均衡的問題，本文引入焦點損失函數(shù)[17]替代原有的交叉熵?fù)p失函數(shù)，其原理是降低損失函數(shù)中易分類樣本的權(quán)重，增加難分類樣本的權(quán)重。

交叉熵?fù)p失函數(shù)的公式如式(1)所示。

(1)

式中：y表示目標(biāo)的真實類別情況；p表示檢測模型輸出是目標(biāo)的概率，取值范圍(0,1]。

平衡交叉熵?fù)p失函數(shù)在交叉熵公式前面增加了一個a權(quán)重，a值越小，負(fù)樣本的權(quán)重相對降低，同時正樣本的權(quán)重相對增加，其公式如式(2)所示。

(2)

在平衡交叉熵?fù)p失函數(shù)中加入調(diào)制因子，構(gòu)成焦點損失函數(shù)，公式如式(3)所示。當(dāng)樣本屬于易分類時，調(diào)制因子趨近于0，對損失值造成的影響較小，當(dāng)樣本屬于難分類時，調(diào)制因子趨近于1，對損失值造成的影響較大，從而控制難易分類樣本在損失函數(shù)中所占的比重。

(3)

3.6 改進(jìn)后的SSD網(wǎng)絡(luò)結(jié)構(gòu)模型

將上述改進(jìn)后的DenseNet基礎(chǔ)網(wǎng)絡(luò)替換到SSD的基礎(chǔ)網(wǎng)絡(luò)中，將尺寸為38×38、19×19的特征圖取出添加到額外增加網(wǎng)絡(luò)中，另外替換原有的交叉熵?fù)p失函數(shù)，改為焦點損失函數(shù)。改進(jìn)后的SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 改進(jìn)后的SSD網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Improved SSD network structure

4 實驗與結(jié)果分析

4.1 實驗條件

本文采用佳能EOS 6D Mark相機(jī)和24～105 mm變焦鏡頭進(jìn)行圖像采集，其最大分辨率為6 240×4 160，傳感器尺寸為35.9 mm×24 mm，在鋼靶板尺寸為2 m×3.5 m情況下，像素分辨率最高為0.38 mm/pix，為采集破片圖像提供了保障。此次試驗共采取到1 683個破片圖像，通過對各類型破片進(jìn)行訓(xùn)練，將其中的90%用作訓(xùn)練集和驗證集(訓(xùn)練集和驗證集比例為9∶1)，10%用作測試集。實驗在Python 3.7以及Pytorch 1.2 的深度學(xué)習(xí)框架上進(jìn)行，使用CUDA9.0加速GPU運算，GPU由4塊英偉達(dá)GTX1080Ti(11 GB 顯存)組成。

4.2 目標(biāo)檢測結(jié)果分析

本文算法與同樣基于SSD網(wǎng)絡(luò)模型的VGG基礎(chǔ)網(wǎng)絡(luò)模型、改進(jìn)前的DenseNet基礎(chǔ)網(wǎng)絡(luò)模型進(jìn)行對比分析。采用檢測平均精度(average precision，AP)和平均精度均值(mean average precision，mAP)作為算法檢測性能的評價指標(biāo)。上述算法在數(shù)據(jù)集上的檢測結(jié)果如圖8所示。

根據(jù)圖8，針對本次實驗的破片數(shù)據(jù)集驗證結(jié)果來看，以VGG-16為基礎(chǔ)網(wǎng)絡(luò)的目標(biāo)檢測算法對于一些邊緣目標(biāo)、小目標(biāo)，或者一些形狀奇特的破片的漏檢率比較大，而通過改進(jìn)的DenseNet基礎(chǔ)網(wǎng)絡(luò)的檢測效果明顯較好，不僅檢測精度增加，漏檢率也大大降低。

圖8 本文算法與其他算法檢測結(jié)果對比Fig.8 Results compared with other algorithms

圖9、圖10是本文算法下21號靶板靜爆場破片圖像的識別結(jié)果，共提取出242個目標(biāo)結(jié)果，可以看出，本文算法對于破片識別的準(zhǔn)確度以及精度都要高。對于小破片也有更好的識別效果，漏檢率較低。人工檢靶和本文算法識別的破片結(jié)果如表2所示。

圖9 21號靶板破片著靶前后對比Fig.9 Target plate fragment No.21 before and after target comparison

圖10 21號靶板破片識別分割結(jié)果Fig.10 Identification and segmentation results of target plate fragment No.21

表2 各類型破片目標(biāo)檢測結(jié)果對比Table 2 Comparison of fragment target detection results

其中，自然破片是指破片著靶前靶板上預(yù)先采集到的目標(biāo)參數(shù)信息，用來防止破片著靶前后一些靶板破損或之前試驗遺留信息的干擾。大破片和小破片的劃分是根據(jù)如圖8所示得到的檢測目標(biāo)的預(yù)測框的上邊界、左邊界、下邊界、右邊界的坐標(biāo)值，計算預(yù)測框的長寬，從而計算檢測目標(biāo)的預(yù)測框的面積，設(shè)置閾值為1 000，小于1 000記為小破片，大于1 000則記為大破片。

表3統(tǒng)計了18～22號靶板破片檢測結(jié)果中未檢測出的破片數(shù)量，即為漏檢破片數(shù)。另外，一些地面因素的干擾或者圖片邊緣檢測到其他靶板上會導(dǎo)致一定數(shù)量的錯檢，這里也對錯檢破片數(shù)進(jìn)行了統(tǒng)計，錯檢破片數(shù)和總破片數(shù)的比值即為誤檢率，漏檢破片數(shù)和總破片數(shù)的比值即為漏檢率，分別用百分比表示。

表3 著靶破片檢出結(jié)果Table 3 Detection of various types of fragments

將500張測試集進(jìn)行測試，檢出效果如表4所示。其中mAP表示算法的平均檢測精度，根據(jù)檢測過程中預(yù)測框和先驗框的比較計算求得的預(yù)測值計算得出，用百分比表示，檢測精度越高，表示檢測的結(jié)果越準(zhǔn)確。漏檢率是未檢測出的結(jié)果總數(shù)和實際總數(shù)的比值，用百分比表示，漏檢率越低，檢測出的結(jié)果越多，檢測效果越好。誤檢率則是用來檢驗檢測結(jié)果的正確率，是錯檢破片總數(shù)和實際破片總數(shù)的比值，用百分比表示，誤檢率越低，檢測結(jié)果正確率越高，檢測結(jié)果越精確。誤檢率和漏檢率共同決定平均檢測精度的大小。

表4 各靶板破片檢出率Table 4 Detection rate of fragments of each target plate

從表2可以看出，改進(jìn)的算法對自然破片和大破片的識別效果較好，對小破片的識別效果隨著破片數(shù)量增加逐漸降低。通過對錯檢破片分析，靜爆試驗在野外試驗過程中，部分破片打擊到地面濺起泥巴以及鋼靶板本身的缺陷問題，都會對破片檢測造成影響。表4中DenseNet+SENet算法和本文的DenseNet+CBAMNet算法在檢測時間、檢測精度和誤檢率上都是比較接近的，甚至前者的誤檢率優(yōu)于本文算法，但是其漏檢率結(jié)果要比本文算法低1.3個百分點，考慮到本次實驗的目的是盡可能多且精確地檢測出小破片目標(biāo)，所以采用平均精度較高的DenseNet+CBAMNet作為實驗的最優(yōu)算法。

5 結(jié)論

本文提出基于深度學(xué)習(xí)目標(biāo)檢測的方法代替?zhèn)鹘y(tǒng)方法自動識別靜爆場破片，獲取破片的數(shù)量和類別。由于部分破片目標(biāo)較小，且受復(fù)雜環(huán)境影響，不易檢測，提出將 SSD 網(wǎng)絡(luò)模型中的骨干網(wǎng)絡(luò)修改為DenseNet，并對DenseNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，最大程度地保留小目標(biāo)的細(xì)節(jié)特征。引入通道注意力機(jī)制和空間注意力機(jī)制，獲取通道和特征點的權(quán)值，提升小目標(biāo)的特征信息提取能力。實驗結(jié)果表明，該算法的檢測平均精度均值較改進(jìn)前SSD 算法提升4.03個百分點，誤檢率和漏檢率均得到了很好的提升，分別增加了3.6和6個百分點。后續(xù)將繼續(xù)優(yōu)化模型結(jié)構(gòu)，進(jìn)一步提高計算效率。