基于神經(jīng)網(wǎng)絡(luò)的違禁品檢測研究

馬喆　丁軍航　譚虹

摘要：? 為了解決違禁品帶入公共場合的問題，本文對違禁品的識別進(jìn)行了研究。在安檢儀中，加入改進(jìn)的YOLOv3網(wǎng)絡(luò)檢測算法，使其能夠檢測出違禁品，而在基礎(chǔ)網(wǎng)絡(luò)上，引入多維輸入圖和多分辨率輸入圖，增加了樣本的多樣性，有效解決了模型的適應(yīng)性差的問題。在端到端的網(wǎng)絡(luò)上，用分層方法進(jìn)行特征提取和分類，獲得不同尺度的特征圖，以此來提高網(wǎng)絡(luò)測試的精度，并采用聚類算法確定目標(biāo)輪廓，使其能夠精準(zhǔn)定位。實驗結(jié)果表明，改進(jìn)的網(wǎng)絡(luò)識別目標(biāo)精度在90%以上，高于原網(wǎng)絡(luò)的精準(zhǔn)度。本網(wǎng)絡(luò)效果好，具有較高的識別率，且封裝在模塊中，操作簡單。該研究可有效提醒安檢員防止違禁品帶入公共場合，造成公共事故。

關(guān)鍵詞：? YOLOv3; 端到端; 特征提取; 聚類算法

中圖分類號： TP391.41文獻(xiàn)標(biāo)識碼： A

收稿日期： 20191031; 修回日期： 20191230

基金項目：? 國家自然科學(xué)基金資助項目（61573203）;青島市博士后人員應(yīng)用研究項目（2016021）

作者簡介：? 馬喆（1994），男，碩士研究生，主要研究方向為模式識別。

通信作者：? 丁軍航（1979），男，博士，副教授，碩士生導(dǎo)師，主要研究方向為模式識別與圖像處理。 Email： dingjunhang@163.com隨著人口的不斷增多，公共場所的人口密度變得越來越大，一旦發(fā)生事故就后會產(chǎn)生擁堵的情況，逃離的可能性很小，因此，嚴(yán)禁違禁品帶入人口密度大的場合[1]是解決問題的關(guān)鍵。2011年，在河南信陽段高速上，因車廂內(nèi)違法裝載易燃危險化學(xué)品突然發(fā)生爆燃，導(dǎo)致客車起火燃燒，造成人員的死亡和受傷。目前，安全檢查主要包括行李物品檢查、旅客證件檢查、手提行李物品檢查和旅客身體檢查。其中，旅客證件檢查主要是確定乘客基本信息，其它三項檢查均是防止乘客攜帶刀、槍、易燃易爆品等危險物品，以確保公共場所及交通的安全。但在春運(yùn)或法定假期期間，由于客流量較大，排隊安檢會發(fā)生擁堵情況，而且工作量的增加，也會使工作人員觀察不仔細(xì)，導(dǎo)致違禁品帶入公共場合，危害公共安全[2]。因此，針對這種狀況，本文比較了你只看一次[35]（you only look once version 3，YOLOv3）、單一多盒檢測器[67]（single shot multibox detector，SSD）、快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[89]（fast regionbased convolutional neural network，F(xiàn)ast RCNN）等網(wǎng)絡(luò)的區(qū)別，最終選擇了基于卷積結(jié)構(gòu)的YOLOv3網(wǎng)絡(luò)，對其進(jìn)行改進(jìn)，優(yōu)化網(wǎng)絡(luò)架構(gòu)及層數(shù)，使其在計算過程中減少計算量。同時，根據(jù)樣本信息，更改先驗框維度大小，提高對目標(biāo)的精準(zhǔn)定位，對樣本進(jìn)行多樣化處理，并進(jìn)行多尺度訓(xùn)練，以保證算法能夠快速準(zhǔn)確的識別和定位出目標(biāo)物體。該研究為工作人員減輕了工作負(fù)擔(dān)，同時也降低了公共場合事故的發(fā)生率。

1YOLOv3相關(guān)理論

1.1基礎(chǔ)層

1.1.1Darknet53

0～74層是YOLOv3主結(jié)構(gòu)，其含有53層卷積層，故叫做Darknet53。YOLOv3結(jié)構(gòu)、DBL模塊結(jié)構(gòu)和res unit模塊結(jié)構(gòu)如圖1所示。Darknet53是由多個殘差層組成，殘差模塊和殘差層見圖1中的res unit和res n，并用卷積層替代池化層，控制梯度的傳播，在訓(xùn)練過程中，有效解決了迭代次數(shù)增多而產(chǎn)生的梯度消失或爆炸問題。

1.1.2多尺度訓(xùn)練

75～105層是3個尺度的特征層，在每個尺度中，通過卷積操作和上采樣操作，將相同尺寸的特征圖合成一個特征圖，經(jīng)過卷積處理得到新的特征圖。在原YOLOv3中，歸一化尺度為416×416，在darknet53之后，進(jìn)行卷積操作得到13×13特征圖，作為最小尺度y1。將79層的13×13特征圖進(jìn)行卷積和上采樣操作，得到的特征圖與61層的26×26特征圖合并，得到中尺度y2。將91層的26×26特征圖進(jìn)行卷積和上采樣操作，得到的特征圖與36層的52×52特征圖合并，得到最大尺度y3（見圖1）。多尺度訓(xùn)練[10]可以更好地識別大小不一的目標(biāo)，提高目標(biāo)識別率，小尺度可檢測小目標(biāo)，大尺度可檢測大目標(biāo)，可以提高網(wǎng)絡(luò)精度。本文中的樣本縮放比例太大，會造成圖片像素重疊，進(jìn)而識別不出目標(biāo)。因此，將歸一化尺度更改為608×608，3個尺度設(shè)置為19×19，38×38，76×76。

1.2回歸及改進(jìn)

1.2.1分類方法

YOLOv3的分類方法，由單標(biāo)簽多分類的Softmax函數(shù)更換為多標(biāo)簽多分類的邏輯回歸。邏輯回歸分類步驟分為3步，分別是線性函數(shù)、數(shù)值到概率的轉(zhuǎn)換及概率到標(biāo)簽的轉(zhuǎn)換。

輸入為X，邏輯回歸采用sigmoid函數(shù)，將決策邊界轉(zhuǎn)換成值，保持在0～1之間的概率函數(shù)，用概率確定樣本標(biāo)簽是某一類別的可能性。

為防止概率函數(shù)hθX過擬合，需在損失函數(shù)后加一項，則損失函數(shù)為

式中，m是樣本個數(shù);y是真實值;λ是正則化公式強(qiáng)度參數(shù);hθX是輸出結(jié)果。

損失函數(shù)梯度為

其中，λ為正則化的強(qiáng)度。

通過學(xué)習(xí)率對特征系數(shù)的迭代，得出某一值，就可算出特征向量系數(shù)θ。

1.2.2邊框預(yù)測

邊框預(yù)測是YOLOv3的方法，使用先驗框的定義，即用Kmeans++算法對訓(xùn)練集上的目標(biāo)尺寸大小進(jìn)行聚類分析，使之有相似特征目標(biāo)歸為一類，并根據(jù)尺寸大小確定anchor box的維度。

YOLOv3運(yùn)用與特征金字塔網(wǎng)絡(luò)[11]（feature pyramid networks，F(xiàn)PN）相近的上采樣和融合思想，將輸入圖像分為多個尺寸不同的特征圖，然后進(jìn)行檢測。YOLOv3中分成3個尺度，并將每個尺度輸入圖像的網(wǎng)格單元（grid cell）中，預(yù)測3個bounding box，且每個bounding box有5個基本參數(shù)，分別是x，y，w，h，confidence。預(yù)測得到的中心橫坐標(biāo)、縱坐標(biāo)、寬和高、物體的置信度分別為

bx=σtx+cx， by=σty+cy， bw=pwetw， bh=pheth， probject*IOUb，object=σto（5）

式中，tx，ty是預(yù)測的坐標(biāo)偏移值;cx和cy是單個網(wǎng)絡(luò)單元的橫坐標(biāo)和縱坐標(biāo);pw，ph為anchor box的寬和高;bx，by，bw，bh是預(yù)測得到的中心橫坐標(biāo)、縱坐標(biāo)、寬和高;probject是代表存不存在目標(biāo)物體;IOUb，object是bounding box和目標(biāo)標(biāo)注框之間的交并比;σto是物體的置信度，是確定為該物體的幾率。

在YOLOv3對bounding box進(jìn)行校對時，采用邏輯回歸分析。網(wǎng)絡(luò)在預(yù)測中得到tx，ty，tw，th這4個參數(shù)，并按照式（5）來得到需要的bx，by，bw，bh這4個參數(shù)。

每個網(wǎng)格單元都有3個bounding box，但不是所有的bounding box都參與預(yù)測過程。在預(yù)測前，對bounding box的confidence參數(shù)進(jìn)行計算，并使之超過預(yù)設(shè)閾值才可進(jìn)行預(yù)測，這樣既保持了準(zhǔn)確性，又減少了計算量，提高了速度。

1.2.3Anchor Box

YOLOv3使用了anchor box。anchor box是由Kmeans++算法[1215]得出的寬高固定先驗框，其個數(shù)自己設(shè)置，設(shè)定維度和個數(shù)與精度和速度相關(guān)。在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時，隨著訓(xùn)練次數(shù)的更新，bounding box的參數(shù)慢慢地接近ground truth。對于刀槍瓶罐數(shù)據(jù)集，其目標(biāo)在圖片中的形態(tài)和大小各不相同。為了能使網(wǎng)絡(luò)更精準(zhǔn)地檢測到目標(biāo)物體，本文采用改進(jìn)的Kmeans++算法，對數(shù)據(jù)集下標(biāo)注的邊框進(jìn)行聚類分析，得到先驗框的維度。傳統(tǒng)的Kmeans算法采用歐式距離公式會產(chǎn)生較大的誤差，所以Kmeans++算法采用新的距離，首先計算預(yù)測框與真實框交并比，然后用1減去交并比，得到距離Disbox，centroid。IOUtruthpred是預(yù)測框和實際框之間的交集比預(yù)測框和實際框之間的并集，IOUbox，centroid是樣本框與質(zhì)心框之間的交并比，Disbox，centroid則是Kmeans++中盡可能遠(yuǎn)的選擇質(zhì)心的距離公式，即

式中，boxpred是預(yù)測框;boxtruth是標(biāo)注框;area是面積。

K值是先驗框的數(shù)量，針對改進(jìn)的YOLOv3[1618]，則使用K=9進(jìn)行聚類，得到先驗框。在檢測過程中，用3種尺度進(jìn)行檢測，且每個網(wǎng)格單元需要預(yù)測3個bounding box，且需要9個先驗框來確保網(wǎng)絡(luò)的準(zhǔn)確性。所有的bounding box都會生成，用confidence的數(shù)值與特定閾值結(jié)果進(jìn)行比較大小，得出bounding box是否參加預(yù)測。

2網(wǎng)絡(luò)訓(xùn)練

2.1參數(shù)設(shè)置

在進(jìn)行網(wǎng)絡(luò)訓(xùn)練之前，需要調(diào)整網(wǎng)絡(luò)參數(shù)，以開源Darknet[1920]為框架，設(shè)置網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)參數(shù)如表1所示。

設(shè)置各類參數(shù)，防止訓(xùn)練過程中出現(xiàn)過擬合的情況，并通過飽和度、曝光率和色調(diào)的改變來增加訓(xùn)練樣本的數(shù)量，從而使識別精度更加精確。

2.2數(shù)據(jù)處理

對數(shù)據(jù)集進(jìn)行匯總之后，用LabelImg軟件進(jìn)行標(biāo)記，將所需目標(biāo)選中，并確定好標(biāo)簽名稱，依次進(jìn)行標(biāo)記，同時選用YOLO格式，保存為TXT格式文件。LabelImg標(biāo)記畫面如圖2所示。

2.3數(shù)據(jù)樣本

在進(jìn)行網(wǎng)格訓(xùn)練前，先制作訓(xùn)練所需樣本。首先從COCO數(shù)據(jù)集中下載部分?jǐn)?shù)據(jù)集作為第1次數(shù)據(jù)集，其次截取特定安檢圖像作為第2次數(shù)據(jù)集，其有5 000張圖像，包含刀目標(biāo)2 694個，槍目標(biāo)1 369個，罐狀目標(biāo)1 134個，樣本展示如圖3所示。最后改變輸入圖像的大小，使其在歸一化處理時產(chǎn)生不同的分辨率，提高識別精度，并作為第3次數(shù)據(jù)集。

3.1實驗平臺配置

配置工作站實驗平臺，采用中央處理器（central processing unit，CPU）和圖像處理器（graphics processing unit，GPU）等操作系統(tǒng)，實驗平臺配置列表如表2所示。

3.2性能測試

3.2.1候選框生成對比

用Kmeans++聚類算法對樣本的目標(biāo)框進(jìn)行分析，得到合適的anchor維度，和原YOLOv3的anchor維度進(jìn)行比較，候選框生成對比結(jié)果如表3所示。由此可得改進(jìn)的YOLOv3[21]的先驗框，提高了平均重疊率，大大提升了檢測目標(biāo)的精度。

3.2.2多尺度訓(xùn)練與單尺度訓(xùn)練對比

利用多尺度進(jìn)行訓(xùn)練，得到的特征圖像更多，能更好的檢測圖像中的目標(biāo)。使用不同大小的圖像作為樣本集時，在單尺度和多尺度訓(xùn)練下得到的結(jié)果不同，多尺度與單尺度網(wǎng)絡(luò)性能對比結(jié)果如表4所示。單一尺度訓(xùn)練是將輸入尺寸為608×608的數(shù)據(jù)集通過網(wǎng)絡(luò)不增加合并特征圖的過程，而多尺度是將輸入尺寸為608×608的數(shù)據(jù)集通過網(wǎng)絡(luò)增加合并特征圖的過程，從而使模型更能精準(zhǔn)地識別測試集里的目標(biāo)。

在電腦上對改進(jìn)的YOLOv3結(jié)構(gòu)進(jìn)行測試，俯視圖測試結(jié)果如圖4所示。

由圖4可以看出，改進(jìn)結(jié)構(gòu)對行李箱或包裹物體的檢測整體效果比較好，能夠精準(zhǔn)地定位到危險物品。在遮擋且不影響物體輪廓的情況下，可以檢測出目標(biāo)物體（見圖4b）;若是出現(xiàn)偏角度或遮擋物體輪廓的情況下，檢測不出目標(biāo)（見圖4e）。

經(jīng)過安檢設(shè)備的行李箱或包裹，從兩個方向進(jìn)行拍攝，得出X光圖像，并以兩個識別結(jié)果來檢驗俯視圖下未被檢測到的目標(biāo)物體。俯視圖和側(cè)視圖測試結(jié)果如圖5所示。

由圖5可以看出，在圖5a中未檢測出的物體，根據(jù)側(cè)視圖目標(biāo)標(biāo)記的位置來確定是否存在目標(biāo)物體，運(yùn)用2個進(jìn)程從2個方向?qū)斎雸D像進(jìn)行檢測，既確保了精度，又降低了漏檢率。由于一些角度問題或遮擋問題，在俯視圖下可能不能完全的檢測出所有目標(biāo)，在圖5b中檢測出了圖5a中未檢測出的瓶子，說明側(cè)視圖可以對俯視圖的檢測進(jìn)行補(bǔ)充，能更好的檢測目標(biāo)物體，達(dá)到所需要求。

4結(jié)束語

本系統(tǒng)使用了開源框架Darknet和YOLOv3算法的目標(biāo)識別方法，對樣本圖進(jìn)行處理，利用多尺度訓(xùn)練，得到大小不一的特征模型，使模型具有更高的可信度，更能很好的檢測目標(biāo)。與原目標(biāo)算法相比較，對樣本重新進(jìn)行了維度聚類，在檢測過程中減少了計算量，加快了檢測速度，達(dá)到了實時檢測的要求。但本文所涉及的內(nèi)容仍具有需要完善的地方，比如在目標(biāo)物體相互遮擋或目標(biāo)物體與背景材質(zhì)相同時而產(chǎn)生輕微的邊緣信息的情況，則難以檢測出目標(biāo)物體，在此方面還有很大的提升空間，對檢測算法進(jìn)行優(yōu)化，處理目標(biāo)物體遮擋和邊緣信息的情況，提高檢測精度是將要研究的課題方向。

參考文獻(xiàn)：

[1]徐草草， 楊啟明， 張雙. 基于人臉識別技術(shù)的自動安檢系統(tǒng)設(shè)計[J]. 計算機(jī)與數(shù)字工程， 2019， 47（8）： 19091911， 1925.

[2]徐一鶴， 何林鋒， 葉東勝， 等. X射線行李安檢相的植測及其重要性[J]. 上海計量測試， 2010， 37（1）： 4345， 50.

[3]Redmon J， Divvala S， Girshick R， et al. You only look once： unified， realtime object detection[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2015.

[4]Ke TW， Maire M， Yu S X. Multigrid neural architectures[C]∥Computer Vision and Pattern Recognition. Colombia： IEEE， 2016.

[5]Redmon J， Farhadi A. YOLOv3： An incremental improvement[C]∥2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake： IEEE， 2018.

[6]Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multi box detector[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2015.

[7]陳冠琪， 胡國清， Jahangir Alam S M， 等. 基于改進(jìn)SSD的多目標(biāo)零件識別系統(tǒng)研究[J]. 新技術(shù)新工藝， 2019（8）： 7276.

[8]Girshick R， Donahue J， Darrelland T， et al. Rich feature hierarchies for object detection and semantic segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition. Colombia： IEEE， 2014.

[9]Lokanath M， Kumar K S， Keerthi E S. Accurate object classification and detection by fasterRCNN[J]. IOP Conference Series： Materials Science and Engineering， 2017， 263： 18.

[10]Zhang J， Dai Y， Porikli F， et al. Multiscale salient object detection with pyramid spatial pooling[C]∥2017 AsiaPacific Signal and Information Processing Association Annual Summit and Conference （APSIPA ASC）. Kuala Lumpur， Malaysia： IEEE， 2017.

[11]Lin T Y， Dollár Piotr， Girshick R， et al. Feature pyramid networks for object detection[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 21172125.

[12]Zhang Z， Zhang J X， Xue H F， et al. Improved kmeans clustering algorithm[J]. Congress on Image & Signal Processing， 2008， 23： 435438.

[13]吳曉蓉. K均值聚類算法初始中心選取相關(guān)問題的研究[D]. 湖南： 湖南大學(xué)， 2008.

[14]Kanungo T， Mount D M， Netanyahu N S， et al. An efficient kmeans clustering algorithm： analysis and implementation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 881892.

[15]張素潔， 趙懷慈. 最優(yōu)聚類個數(shù)和初始聚類中心點(diǎn)選取算法研究[J]. 計算機(jī)應(yīng)用研究， 2017， 34（6）： 16171620.

[16]張富凱， 楊峰， 李策. 基于改進(jìn)YOLOv3的快速車輛檢測方法[J]. 計算機(jī)工程與應(yīng)用， 2019， 55（2）： 1826.

[17]郭鳴宇， 劉實. YOLOv3圖像識別跟蹤算法的優(yōu)化與實現(xiàn)[J]. 電子測試， 2019（15）： 6567.

[18]文浩彬， 張國輝. 基于YOLO的駕駛視頻目標(biāo)檢測方法[J]. 汽車科技， 2019， 269（1）： 8690.

[19]劉博， 王勝正， 趙建森， 等. 基于Darknet網(wǎng)絡(luò)和YOLOv3算法的船舶跟蹤識別[J]. 計算機(jī)應(yīng)用， 2019（6）： 16631668.

[20]張佳康， 陳慶奎. 基于CUDA技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)識別算法[J]. 計算機(jī)工程， 2010， 36（15）： 179181.

[21]Tian Y N， Yang G D， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLOV3 model[J]. Computers and Electronics in Agriculture， 2019， 157： 417426. Research on Contraband Detection Based on Neural NetworkMA Zhe1， DING Junhang1， TAN Hong2

（1. School of Automation， Qingdao University， Qingdao 266071， China;2. State Grid Weifang Power Supply Company， Weifang 261021， China）

Abstract：? In order to solve the problem that contraband is brought into public places， this article studies the identification of contraband. An improved YOLOv3 network detection algorithm was added to the security checker to enable it to detect contraband. On the basic network， multidimensional input maps and multiresolution input maps were introduced， which increased the diversity of samples and effectively solved the problem of poor model adaptability. On the endtoend network， layered methods are used for feature extraction and classification， and feature maps of different scales are obtained to improve the accuracy of network testing. In addition， a clustering algorithm is used to determine the target contour so that it can be accurately located. Experimental results show that the accuracy of the improved network recognition target is more than 90%， which is higher than that of the original network. The network has a good effect， has a high recognition rate， and is packaged in a module for easy operation. The study can effectively remind security inspectors to prevent contraband from being brought into public places and causing public accidents.

Key words：? You Only Look Once version 3; end to end; feature extraction; clustering algorithm

收稿日期： 2019-10-31; 修回日期： 2019-12-30

基金項目：國家自然科學(xué)基金資助項目（61573203）;青島市博士后人員應(yīng)用研究項目（2016021）

作者簡介：馬喆（1994-），男，碩士研究生，主要研究方向為模式識別。

通信作者：丁軍航（1979-），男，博士，副教授，碩士生導(dǎo)師，主要研究方向為模式識別與圖像處理。 Email： dingjunhang@163.com