多通道區(qū)域建議的多尺度X光安檢圖像檢測(cè)

康佳楠，張 良

中國(guó)民航大學(xué)電子信息與自動(dòng)化學(xué)院，天津 300300

交通運(yùn)輸工具的飛速發(fā)展使人們出行越來(lái)越方便，每天都有大量的人選擇飛機(jī)、火車、地鐵、汽車等交通工具，在運(yùn)輸過(guò)程中一些匕首、槍支、彈藥等違禁品可能藏匿于行李中，而維護(hù)公共場(chǎng)所的安全顯得尤為重要。目前，在火車站、飛機(jī)場(chǎng)、地鐵站等都設(shè)置了X光安檢機(jī)用來(lái)檢測(cè)違禁品。但是，檢測(cè)到的X光圖片需要安檢員用肉眼進(jìn)行識(shí)別，在有限的時(shí)間內(nèi)檢查緊湊、雜亂和高度變化的行李會(huì)給安檢員帶來(lái)巨大的壓力，出現(xiàn)誤檢、漏檢的情況，所以急需一種技術(shù)能夠快速、準(zhǔn)確地自動(dòng)檢測(cè)到旅客行李內(nèi)的違禁品。而隨著大數(shù)據(jù)和人工智能時(shí)代的到來(lái)，目標(biāo)檢測(cè)已然成為計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究熱點(diǎn)，現(xiàn)廣泛應(yīng)用于智能交通、行人檢測(cè)[1-2]、人臉識(shí)別[3-4]、視頻監(jiān)控[5]、醫(yī)學(xué)診斷[6]、軍事國(guó)防[7]等領(lǐng)域。所以將目標(biāo)檢測(cè)應(yīng)用到智能安檢中已是大勢(shì)所趨，既可減輕安檢人員的任務(wù)，又可提高安檢的精確度和效率。

目標(biāo)檢測(cè)的傳統(tǒng)算法一般分為三個(gè)階段：首先在圖像上選擇候選區(qū)域，然后利用HOG、SIFT等手工提取特征[8]的方法進(jìn)行特征提取，最后用訓(xùn)練的分類器進(jìn)行分類?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法主要分為兩大類：一類是基于候選區(qū)域的兩階段算法，包括RCNN、SPP-Net、Fast RCNN 和Fster RCNN 等；另一類是一階段的目標(biāo)檢測(cè)算法，包括YOLO 系列、SSD、RetinaNet、FCOS 等。2014年，Girshick等人[9]提出了RCNN算法，首先用選擇性搜索算法（selective search）生成候選區(qū)域，然后在每個(gè)候選區(qū)域上都運(yùn)行卷積運(yùn)算，再將輸出送入支持向量機(jī)（SVM）進(jìn)行分類，送入線性回歸器進(jìn)行回歸，最后再進(jìn)行定位。接著，He 等人[10]提出SPP-Net，引入空間金字塔池化層，可以對(duì)任意大小的候選框進(jìn)行處理，但是只對(duì)原圖進(jìn)行一次卷積，節(jié)省了時(shí)間，提高了速度。2015 年，Girshick 等人[11]結(jié)合RCNN 和SPP-Net 的缺點(diǎn)，提出了Fast RCNN，該算法先進(jìn)行特征提取，再對(duì)整個(gè)圖像進(jìn)行一次卷積，把支持向量機(jī)換成softmax層，但是依然用選擇性搜索區(qū)域算法生成候選區(qū)域，因此還是比較耗時(shí)，運(yùn)行速度慢，而且無(wú)法實(shí)現(xiàn)端到端的測(cè)試。所以，2015 年Ren 等人[12]在Fast RCNN 的基礎(chǔ)上提出了Faster RCNN，引入region proposal 網(wǎng)絡(luò)（RPN）生成候選區(qū)域。2016年，提出了YOLO系列算法，包括YOLO、YOLOV2、YOLOV3，YOLO 算法在檢測(cè)速度上得到了很大的提高，但是在精度上有所欠缺。所以，2016 年，Liu 等人[13]又提出了SSD 網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以在多個(gè)分辨率的特征圖上進(jìn)行檢測(cè)，在一定程度上解決了多尺度問(wèn)題，同時(shí)也提高了速度，但是對(duì)于一些小目標(biāo)對(duì)應(yīng)于特征圖中很小的區(qū)域，還是無(wú)法得到充分訓(xùn)練。2018年，F(xiàn)acebook AI團(tuán)隊(duì)提出了RetinaNet；隨后，2019年，阿德萊德大學(xué)團(tuán)隊(duì)又提出了全卷積網(wǎng)絡(luò)FCO，該網(wǎng)絡(luò)是逐像素預(yù)測(cè)，類似于語(yǔ)義分割，使得檢測(cè)精度進(jìn)一步提高。

針對(duì)安檢中X光圖像的檢測(cè)，Cha等人[14]提出一種可以產(chǎn)生中間的過(guò)程序列的方法，即采用仿射變換和交叉溶解相結(jié)合，但是在一定程度上會(huì)使圖像失真。董浩等人[15]提出了多視角X射線圖像分析算法，但是對(duì)復(fù)雜多變的行李檢測(cè)效果不好。Riffo 等人[16]提出自適應(yīng)隱式形狀模型（adapted implicit shape model，AISM），但是違禁品的姿態(tài)各異，難以分辨，Riffo 等人[17]又提出主動(dòng)視覺(jué)方法，利用Q-learning 算法預(yù)測(cè)違禁品的下一最佳視角。

但是，把目標(biāo)檢測(cè)用到智能安檢中也存在很多難點(diǎn)，比如X光圖片中違禁品有各種類別，多種形狀，尺度不一，所以在檢測(cè)中具有一定的難度。Faster RCNN本身是基于單層次特征提取的目標(biāo)檢測(cè)算法，對(duì)小目標(biāo)不敏感，可能會(huì)出現(xiàn)漏檢的情況，本文通過(guò)多層特征提取和多通道區(qū)域建議，對(duì)Faster RCNN 進(jìn)行了改進(jìn)，以改善其在多尺度目標(biāo)檢測(cè)方面的性能。主要做出以下三點(diǎn)貢獻(xiàn)：

（1）對(duì)Faster RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，由原來(lái)的只從最后一個(gè)卷積層提取特征變?yōu)閺娜龑犹崛?，利用高層的語(yǔ)義信息和低層的精確定位的細(xì)節(jié)信息提高小目標(biāo)的精確度，從而完成多尺度檢測(cè)。

（2）提出一種基于多通道區(qū)域建議網(wǎng)絡(luò)，依據(jù)大小不同的違禁品實(shí)例構(gòu)建多通道RPN，使各通道RPN 都有合適的錨框與多層提取的特征圖一一對(duì)應(yīng)，也使每個(gè)RPN分支基于有效感受野生成候選區(qū)域，再通過(guò)非極大值抑制算法得到合適的候選區(qū)域，然后各通道的候選區(qū)域通過(guò)感興趣池化區(qū)域（ROI pooling）后進(jìn)行通道融合，送入后續(xù)檢測(cè)網(wǎng)絡(luò)。

（3）通過(guò)在多通道上引入多分支膨脹卷積模塊[18]，增大了各個(gè)尺度目標(biāo)的感受野，更有利于多尺度目標(biāo)的檢測(cè)。

1 Faster RCNN網(wǎng)絡(luò)模型

Faster RCNN 網(wǎng)絡(luò)主要由特征提取網(wǎng)絡(luò)[19]、候選區(qū)域生成網(wǎng)絡(luò)RPN和感興趣區(qū)域池化層（ROI pooling）三部分組成。其中采用經(jīng)典的VGG16作為特征提取網(wǎng)絡(luò)的基本骨架。該網(wǎng)絡(luò)包括13個(gè)卷積層、13個(gè)激勵(lì)層和3個(gè)池化層，卷積層均采用較小的3×3 的卷積核，既可以減少參數(shù)，又可以增加網(wǎng)絡(luò)的實(shí)時(shí)性，同時(shí)還進(jìn)行較多的非線性映射，增加網(wǎng)絡(luò)的擬合和表達(dá)能力[20]。

輸入的圖片經(jīng)過(guò)特征提取網(wǎng)絡(luò)提取出特征并生成特征圖，送入RPN 網(wǎng)絡(luò)生成候選區(qū)域。RPN 是一個(gè)全卷積網(wǎng)絡(luò)，包含一個(gè)3×3的卷積層和兩個(gè)全連接層。該網(wǎng)絡(luò)與檢測(cè)網(wǎng)絡(luò)共享VGG16 提取的特征，特征圖先經(jīng)過(guò)3×3 的滑動(dòng)窗口得到512 維的特征向量[21]，并送入兩個(gè)全連接層，其中一個(gè)全連接層有2k個(gè)1×1的卷積核，完成分類，判別是前景還是背景；另一個(gè)全連接層有4k個(gè)1×1的卷積核，對(duì)候選區(qū)域完成坐標(biāo)位置的回歸。然后利用非極大值抑制算法抑制掉無(wú)用的框，生成正錨框和對(duì)應(yīng)邊框偏移量，然后計(jì)算出建議。

下一步將提取的候選區(qū)域建議和特征圖送入到感興趣區(qū)域池化層，將不同大小的區(qū)域處理為統(tǒng)一大小7×7的感興趣區(qū)域特征池化圖。最后再將池化圖轉(zhuǎn)化為4 096維的向量并送入兩個(gè)全連接層，一個(gè)經(jīng)過(guò)softmax完成最終的分類并算出分類得分，另一個(gè)利用邊框回歸獲得位置偏移量，輸出最終的目標(biāo)檢測(cè)框[20]。具體的Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Faster RCNN network structure

2 改進(jìn)的X光安檢圖像檢測(cè)模型

針對(duì)Faster RCNN 網(wǎng)絡(luò)對(duì)多尺度違禁品檢測(cè)存在缺陷的問(wèn)題，本文聯(lián)合多層特征提取設(shè)計(jì)多通道區(qū)域建議網(wǎng)絡(luò)并增加膨脹卷積模塊分別提取出不同尺寸目標(biāo)的特征圖，然后通過(guò)具有膨脹卷積模塊的多通道RPN增強(qiáng)各個(gè)尺度的特征，完成多尺度違禁品的檢測(cè)。改進(jìn)后的具體結(jié)構(gòu)如圖2所示。

圖2 Faster RCNN改進(jìn)Fig.2 Improvement of Faster RCNN

2.1 多通道RPN網(wǎng)絡(luò)MCRPN

提取圖像特征的方法很多，比如傳統(tǒng)方法尺度不變特征變化SIFT，可提取物體的局部特征，包括邊緣細(xì)節(jié)信息等，對(duì)小目標(biāo)也具有一定適應(yīng)性，但是對(duì)于邊緣光滑的目標(biāo)卻無(wú)法精確地提取到特征，而且實(shí)時(shí)性不高。又如方向梯度直方圖HOG，通過(guò)計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度直方圖來(lái)構(gòu)成特征，比較適合人體檢測(cè)。但是二者都是依靠先驗(yàn)知識(shí)設(shè)計(jì)特征圖，而深度學(xué)習(xí)是一種自學(xué)習(xí)的特征表達(dá)方法，在深度卷積網(wǎng)絡(luò)中，一般低層卷積提取的淺層特征分辨率較高，紋理、邊緣等細(xì)節(jié)信息較豐富，適合小目標(biāo)的檢測(cè)，例如X 光圖片中的小剪刀、小扳手等；而高層卷積提取的深層特征分辨率較低但是語(yǔ)義信息較豐富，感受野大，可以提取出物體的輪廓[21]，適合大目標(biāo)的檢測(cè)，例如X光圖片中的手槍、刀等。所以本文通過(guò)改進(jìn)Faster RCNN網(wǎng)絡(luò)，提出多通道區(qū)域建議網(wǎng)絡(luò)。

采用VGG16 結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)，對(duì)于5 個(gè)卷積模塊，Conv5_3 后的特征分辨率低但語(yǔ)義信息豐富，對(duì)大目標(biāo)檢測(cè)效果更好；Conv4_3 和Conv3_3 后的特征分辨率高，細(xì)節(jié)信息豐富，檢測(cè)小目標(biāo)更加精確。所以分別提取Conv5_3、Conv4_3和Conv3_3后的特征，然后將不同大小的特征圖送入多通道RPN 網(wǎng)絡(luò)中。3 個(gè)路徑的RPN 分別根據(jù)不同的目標(biāo)設(shè)置不同的錨點(diǎn)規(guī)格，從Conv5_3層提取的特征經(jīng)過(guò)RPN1，設(shè)置步長(zhǎng)為16，錨框參數(shù)為16、32、64；從Conv4_3 層提取的特征經(jīng)過(guò)RPN2，設(shè)置步長(zhǎng)為8，錨框參數(shù)為8、16、32；從Conv3_3層提取的特征經(jīng)過(guò)RPN3，設(shè)置步長(zhǎng)為4，錨框參數(shù)為4、8、16。由于每個(gè)RPN路徑面向不同尺度的違禁品進(jìn)行訓(xùn)練，所以不同的RPN的損失函數(shù)也是獨(dú)立的。

在深度學(xué)習(xí)中有眾多損失函數(shù)，如均方誤差（又稱MSE，L2損失），具體如式（1）：

該損失函數(shù)比較適合訓(xùn)練數(shù)據(jù)中含有比較多的異常值，因?yàn)樗鼤?huì)給予異常值較大權(quán)重，但模型為了盡力減小這些異常值造成的誤差，會(huì)使模型整體效果下降，因此對(duì)于一般的訓(xùn)練數(shù)據(jù)是不適用的。又如平均絕對(duì)誤差（又稱MAE，L1損失），計(jì)算方法如式（2）：

L1 損失函數(shù)雖然對(duì)異常值有很好的魯棒性，但是在極值點(diǎn)處有很大的躍變，不利于收斂，所以也不適合RPN的訓(xùn)練。

本文的訓(xùn)練數(shù)據(jù)沒(méi)有很多異常值，而且數(shù)據(jù)集中幾乎每張圖像中都存在違禁品，因此，RPN使用平滑L1損失函數(shù)（smooth L1 loss），如式（3）。這個(gè)函數(shù)克服了L1 和L2 的缺點(diǎn)，采用了稍微緩和一點(diǎn)的絕對(duì)損失函數(shù)f(x)=|x|，它隨著誤差線性增長(zhǎng)，既避免了像平方函數(shù)那樣成平方增長(zhǎng)對(duì)誤差較大的損失懲罰過(guò)高的問(wèn)題，又使得損失函數(shù)保持連續(xù)可導(dǎo)。因?yàn)樵摵瘮?shù)在0 處不存在導(dǎo)數(shù)，可能會(huì)影響收斂，所以設(shè)計(jì)成分段函數(shù)，在0處使用平方函數(shù)，讓曲線更加平滑。

RPN 損失主要包括分類損失（cls loss）和回歸損失（Bbox regression loss）。分類損失的公式為式（4）：

R是smooth L1函數(shù)。

2.2 膨脹卷積模塊DCM

感受野的值可以用來(lái)大致判斷每一層的抽象程度，神經(jīng)元感受野的值越大表示其能接觸到的原始圖像范圍越大，則它可能蘊(yùn)含著更為全面，語(yǔ)義層次更高的特征；反而感受野的值越小，表示其能接觸到的原始圖像范圍越小，則也可能意味著所包含的特征只是一些邊緣的，局部的信息。所以，為了增大圖像的感受野又不增加模型的計(jì)算量，引入膨脹卷積[22]，設(shè)計(jì)了一種多分支的增大感受野的模塊。

膨脹卷積是一種下采樣方式，而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中一般采用池化層來(lái)減小圖片的大小，會(huì)造成圖片信息以及結(jié)構(gòu)的丟失，甚至小物體信息無(wú)法重建。膨脹卷積則不做池化損失，并且是在普通卷積的基礎(chǔ)上保持相同的卷積核，并增加了一個(gè)擴(kuò)張率（dilation rate），在卷積核元素中間填充0元素。它與普通卷積相比，卷積核大小是一樣的，在神經(jīng)網(wǎng)絡(luò)中的參數(shù)也是保持不變的，但是卻比普通卷積的感受野大，使得每個(gè)卷積輸出都包含較大范圍的信息。普通卷積的感受野和層數(shù)呈線性關(guān)系增長(zhǎng)，比如在步長(zhǎng)為1 的情況下，4 層4×4 的卷積加起來(lái)，感受野才達(dá)到13，而膨脹卷積的感受野則是呈指數(shù)級(jí)增長(zhǎng)的。又比如一個(gè)膨脹系數(shù)為2的3×3的卷積核與一個(gè)普通的5×5的卷積核感受野相同，但膨脹卷積的參數(shù)量只有9個(gè)，是5×5卷積核參數(shù)量的36%。由此可見(jiàn)，膨脹卷積可以增大感受野卻不增加參數(shù)量，更有利于計(jì)算。具體計(jì)算方式如下。

假設(shè)原來(lái)卷積核為k，擴(kuò)張率為d，則新的卷積核的大小為式（8）：

如圖3為普通卷積和膨脹卷積對(duì)應(yīng)的感受野。

圖3 普通卷積和膨脹卷積對(duì)應(yīng)的感受野Fig.3 Receptive fields corresponding to ordinary convolution and dilated convolution

在第二和第三條RPN通道上增加多分支結(jié)構(gòu)的膨脹卷積模塊。首先，經(jīng)過(guò)1×1的卷積在不改變輸出寬度和高度的同時(shí)，實(shí)現(xiàn)各個(gè)通道信息的融合以及通道數(shù)的降維。其次，感受野是由不同大小的卷積核所決定的，通過(guò)設(shè)置多種尺寸的卷積核和不同的膨脹系數(shù)來(lái)獲得不同目標(biāo)的感受野，設(shè)置了膨脹系數(shù)分別為1、3、5的1×1、3×3和5×5的膨脹卷積來(lái)增大感受野。然后，加入旁路剪枝，以確保更多的原始特征信息。最后，利用Concat函數(shù)和1×1卷積核將各個(gè)分支充分融合到一起，并將網(wǎng)絡(luò)通道數(shù)降低到512維，即通過(guò)減少卷積核通道數(shù)和參數(shù)，降低計(jì)算量。三條支路融合到一起通道數(shù)增加為1 028 維，最后通過(guò)1×1 卷積降低到512 維，模型的收斂速度更快，性能更好。同時(shí)，多分支的結(jié)構(gòu)可以增加網(wǎng)絡(luò)的寬度，各分支通過(guò)不同的感受野大小實(shí)現(xiàn)對(duì)不同尺度目標(biāo)更好的適應(yīng)性，利于多尺度檢測(cè)，使模型的性能更好，本文通過(guò)增大神經(jīng)元的感受野，增強(qiáng)小尺度違禁品的檢測(cè)。具體模塊如圖4所示。

圖4 膨脹卷積模塊Fig.4 Dilated convolution module

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

所用工作站配置了NVIDIA GeForce GTX 1080TI GPU 顯卡，操作系統(tǒng)是Ubuntu16.04，使用Pytorch 深度學(xué)習(xí)框架和Python語(yǔ)言編寫程序。

實(shí)驗(yàn)在自制的X 光違禁品SIXray_OD 數(shù)據(jù)集上進(jìn)行，用于二分類的公開(kāi)數(shù)據(jù)集SIXray 有1 059 231 幅X光圖像，在SIXray 數(shù)據(jù)集基礎(chǔ)上選出8 718 幅全部包含違禁品的圖像并通過(guò)Labeling 手動(dòng)打上標(biāo)簽，組成了SIXray_OD 數(shù)據(jù)集。標(biāo)注的信息包括違禁品的類別和位置，用標(biāo)注框左上角的坐標(biāo)和右下角的坐標(biāo)來(lái)表示違禁品的位置，用輸出的檢測(cè)框和標(biāo)注框的交并比來(lái)判定匹配分?jǐn)?shù)，從而確定精確度。SIXray_OD 數(shù)據(jù)集包含5類違禁品：Gun、Knife、Wrench、Pliers、Scissors，加上背景一共6 類，其中Gun 有2 936 幅，Knife 有156 幅，Wrench 有2 266 幅，Pliers 有3 951 幅，Scissors 有1 159幅。如圖5為數(shù)據(jù)集SIXray_OD中的部分樣本。

圖5 數(shù)據(jù)集SIXray_ODFig.5 Data set SIXray_OD

3.2 實(shí)驗(yàn)分析和結(jié)果討論

3.2.1 不同模型對(duì)比實(shí)驗(yàn)

為驗(yàn)證Faster RCNN 在X 光違禁品檢測(cè)性能上的優(yōu)越性，首先將Faster RCNN網(wǎng)絡(luò)與目前國(guó)際上較為流行的幾種目標(biāo)檢測(cè)網(wǎng)絡(luò)在相同設(shè)備和工作環(huán)境下進(jìn)行實(shí)驗(yàn)對(duì)比。模型衡量指標(biāo)用平均精度均值mAP（mean average precision）表示，表1 為SSD、YOLOV3、Faster RCNN這3種目標(biāo)檢測(cè)網(wǎng)絡(luò)分別在SIXray_OD數(shù)據(jù)集上的檢測(cè)精度。

表1 不同模型的檢測(cè)精度Table 1 Detection accuracy of different models

從實(shí)驗(yàn)結(jié)果可以看出，F(xiàn)aster RCNN的檢測(cè)精度較YOLOV3 高了14.07 個(gè)百分點(diǎn)，較SSD 高了6.52 個(gè)百分點(diǎn)，明顯Faster RCNN 的檢測(cè)性能更好，大大降低了安檢中的漏檢率。

3.2.2 單支路實(shí)驗(yàn)

為驗(yàn)證淺層特征更有利于小目標(biāo)的檢測(cè)，分別進(jìn)行提取不同層特征的單支路實(shí)驗(yàn)。從SIXray_OD 數(shù)據(jù)集中找出全部包含小目標(biāo)的圖像，如圖6所示，一共2 040張，組成新的小目標(biāo)測(cè)試集。然后利用SIXray_OD中的原訓(xùn)練集訓(xùn)練，新的小目標(biāo)測(cè)試集進(jìn)行測(cè)試。同時(shí)將每層卷積層提取的特征圖進(jìn)行可視化，如圖7 所示。表2是分別從Conv5_3、Conv4_3、Conv3_3 提取的基于單層次的單支路實(shí)驗(yàn)。

圖6 包含小目標(biāo)的測(cè)試集Fig.6 Test set with small targets

圖7 原圖和每層卷積提取的特征可視化Fig.7 Visualization of features extracted from original image and each layer of convolution

表2 單支路對(duì)小違禁品的檢測(cè)Table 2 Single branch detection of small targets

實(shí)驗(yàn)結(jié)果中也可以看出，從Conv4_3和Conv3_3提取的特征對(duì)小違禁品的檢測(cè)精度高于從Conv5_3 提取的特征。這是因?yàn)閷?duì)于小目標(biāo)來(lái)說(shuō)，只需要經(jīng)過(guò)Conv4_3或Conv3_3 卷積后，提取的特征就很充分了，反而多加卷積層會(huì)使效果變差。從可視化的特征圖也可以看出對(duì)于小剪刀，經(jīng)過(guò)幾層卷積，輪廓較明顯，越到后面，尤其是Conv5_3 之后，小剪刀的特征變得模糊不清，幾乎消失。也顯示出低層卷積提取的淺層特征更有利于小目標(biāo)的檢測(cè)，而高層卷積提取的特征在一定程度上可能忽略了邊緣、細(xì)節(jié)等信息，使得檢測(cè)結(jié)果不如淺層特征。

3.2.3 多通道RPN融合實(shí)驗(yàn)

如表3是多通道RPN融合實(shí)驗(yàn)，分別提取各個(gè)層的特征，然后不同通道通過(guò)不同RPN網(wǎng)絡(luò)和ROI pooling，再將支路用Concat函數(shù)和1×1卷積進(jìn)行通道融合，最后送入全連接層完成最終的分類和位置回歸。

表3 多通道RPN融合實(shí)驗(yàn)Table 3 Multi-channel RPN fusion experiment

通過(guò)不同通道的融合實(shí)驗(yàn)顯示，只有將Conv5_3、Conv4_3 和Conv3_3 三條支路融合后并在SIXray_OD數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，檢測(cè)效果達(dá)到最好。這是因?yàn)閷?duì)于大目標(biāo)，前面幾層卷積提取的特征不夠充分，對(duì)于小目標(biāo)，后面的卷積會(huì)使特征變模糊或消失。所以，多層提取的多通道RPN改進(jìn)算法比原網(wǎng)絡(luò)單層特征提取的算法更有利于多尺度違禁品的檢測(cè)。

3.2.4 增加DCM實(shí)驗(yàn)

如表4是增加了DCM后的檢測(cè)結(jié)果。為增大感受野，使小目標(biāo)的邊緣、細(xì)節(jié)信息更清晰，分別在多通道上增加膨脹卷積模塊DCM。其中RPN1 對(duì)應(yīng)錨框參數(shù)設(shè)置為16、32、64，RPN2 錨框參數(shù)為8、16、32，RPN3 錨框參數(shù)為4、8、16。

表4 增加膨脹卷積結(jié)果Table 4 Results of increasing expansion convolution

實(shí)驗(yàn)結(jié)果顯示，根據(jù)不同支路引入DCM 后結(jié)果不同，也說(shuō)明只有在適合的支路引入擴(kuò)張率合適的DCM才能增大圖像的感受野，提高對(duì)小目標(biāo)的檢測(cè)，從而提高多尺度違禁品的檢測(cè)性能；同時(shí)，在解決部分遮擋問(wèn)題上也有一定的提高。如圖8為檢測(cè)結(jié)果。

圖8 檢測(cè)結(jié)果對(duì)比Fig.8 Comparison of test results

3.2.5 參數(shù)設(shè)置實(shí)驗(yàn)

在實(shí)驗(yàn)中，參數(shù)的設(shè)置也很重要。初始學(xué)習(xí)率lr設(shè)置為0.001，學(xué)習(xí)率衰減因子lr_decay設(shè)置為0.1，權(quán)重衰減因子weight_decay設(shè)置為0.000 5，迭代次數(shù)為14。表5實(shí)驗(yàn)結(jié)果也顯示，學(xué)習(xí)率設(shè)置過(guò)大、過(guò)小對(duì)算法性能的影響都不好，只有設(shè)置最利于模型的參數(shù)，實(shí)驗(yàn)效果才能達(dá)到最佳。

表5 參數(shù)設(shè)置Table 5 Parameter settings

4 結(jié)論

為改善X光圖像中不同違禁品檢測(cè)的性能，本文在Faster RCNN基礎(chǔ)上引入多層提取和多通道區(qū)域建議，融合圖像高低層的不同信息，提取不同目標(biāo)的特征，并且每個(gè)獨(dú)立的RPN 通道都設(shè)置不同規(guī)格的錨框參數(shù)，分別經(jīng)過(guò)ROI pooling，三條支路再進(jìn)行通道融合，后利用非極大值抑制算法剔除掉分?jǐn)?shù)較小的檢測(cè)框。同時(shí)，在多通道上引入多分支的膨脹卷積模塊也增大了感受野，利于小目標(biāo)的檢測(cè)。改進(jìn)算法在SIXray_OD數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，分層提取的信息使圖像特征更加全面，多通道RPN 也使各個(gè)目標(biāo)檢測(cè)更加準(zhǔn)確。該算法有效改善了對(duì)小違禁品的檢測(cè)性能，提高了多尺度檢測(cè)。但同時(shí)速度也有所下降，并且隨著網(wǎng)絡(luò)的增大，GPU占用率也增加了，網(wǎng)絡(luò)參數(shù)變多，需要的數(shù)據(jù)量也增多，但不會(huì)影響模型在實(shí)際中的應(yīng)用。現(xiàn)實(shí)生活中由于旅客的行李很雜，不同違禁品互相遮擋，同類違禁品自遮擋，模型在解決這個(gè)問(wèn)題上還不是很成熟，所以在安檢的過(guò)程中，會(huì)出現(xiàn)漏檢的情況。下一步的工作是在改進(jìn)網(wǎng)絡(luò)的基礎(chǔ)上解決違禁品被遮擋的問(wèn)題，以進(jìn)一步提高違禁品檢測(cè)的準(zhǔn)確度。