基于深度學(xué)習(xí)的行李檢測系統(tǒng)的設(shè)計

徐銘源 楊艷紅

（蘇州大學(xué)應(yīng)用技術(shù)學(xué)院，江蘇 蘇州 215325）

1 引言

傳統(tǒng)的安檢措施，主要是通過安檢員肉眼的觀察來判斷物品的種類，這樣的方式往往效率較低，且人員調(diào)動復(fù)雜，并且由于汽車站、火車站以及飛機場等交通樞紐具有客流量大、人員復(fù)雜、流動性高等因素，傳統(tǒng)的安檢方式已經(jīng)不能滿足當(dāng)前的需求。為了緩解安檢的壓力，采用深度學(xué)習(xí)算法，實現(xiàn)實時的智能化檢測。目前，基于深度學(xué)習(xí)的目標(biāo)檢測方法主要有兩類：一類是以Faster(F-CNN)、R-CCN[7]、SPP-Net[9]為代表的基于候選框的雙階段目標(biāo)檢測算法，這類算法檢測精度高，但速率較低；另一類是以SSD[2]、YOLO[1]為代表的單階段目標(biāo)檢測算法，此類算法檢測速度較高[5]。與YOLO 算法相比，SSD算法能夠兼顧大小目標(biāo)的檢測且效率高，因此基于深度學(xué)習(xí)的行李檢測系統(tǒng)選擇使用SSD算法。

2 系統(tǒng)設(shè)計

系統(tǒng)由檢測模塊、Java 后臺模塊和Web 前臺模塊組成。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

檢測模塊分為兩部分，一部分是先期的學(xué)習(xí)，另一部分是后期的識別與預(yù)測。學(xué)習(xí)階段，將制作和處理好的數(shù)據(jù)集放入SSD 模型中，通過框體間的對比，將學(xué)習(xí)好的參數(shù)存入模型，以便后期使用。后期，根據(jù)實際生產(chǎn)環(huán)境，調(diào)用模型，實時對新的行李進行追蹤與識別。Java 后臺模塊采用Tomcat 服務(wù)器和SpringBoot 框架，負(fù)責(zé)報警機制的設(shè)定，連接Web前臺、檢測模塊和數(shù)據(jù)庫，進行數(shù)據(jù)的傳遞，實現(xiàn)前后臺的交互。Web 前臺模塊采用Vue 框架，使用TCP/IP 協(xié)議，響應(yīng)客戶端的請求，將處理好的數(shù)據(jù)傳送給客戶端；使用Web-Socket協(xié)議，實現(xiàn)Web服務(wù)器對客戶端的請求。

3 SSD算法(SSD algorithm)

3.1 SSD模型結(jié)構(gòu)

SSD是一個端到端的多尺度檢測的模型，所有的檢測和識別的過程都是在同一個網(wǎng)絡(luò)中進行的。網(wǎng)絡(luò)使用經(jīng)典的VGG-16[18]為主干網(wǎng)絡(luò)，這一層主要是對數(shù)據(jù)集進行預(yù)訓(xùn)練。在此網(wǎng)絡(luò)的基礎(chǔ)上將VGG-16網(wǎng)絡(luò)層的fc6和fc7[3]兩個全連接層分別用3*3 卷積層Conv6(Conv6 采用帶孔卷積Dilation Convolution以及3*3大小，dilation rate=6的膨脹卷積)和1*1 卷積層Conv7。然后移除dropout 層和fc8 層，并新增一系列卷積層，在檢測數(shù)據(jù)集上做Fine Tuning。緊接著從后面新增的卷積層中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2 作為檢測所用的特征圖，加上Conv4_3 層，共提取6 個特征圖，其大小分別為(38，38)、(19,19)、(10,10)、(5,5)、(3,3)、(1,1)。這樣，SSD 一共可以預(yù)測8732 個邊界框。得到特征圖后，特征圖進行3*3卷積得到檢測結(jié)果。最后，根據(jù)置信度、閾值和非最大值抑制NMS[10]對卷積后的檢測結(jié)果進行篩選，篩選后的預(yù)測框就是檢測結(jié)果。SSD 模型結(jié)構(gòu)如圖2所示。

圖2 SSD模型

3.2 框體檢測結(jié)構(gòu)

在框體處理模塊中運用了分類算法、回歸算法、Jasscard系數(shù)計算、在線難挖掘(hard Negative minging)機制以及對損失函數(shù)的設(shè)計。SSD中，先驗框與真實框的匹配遵循兩個原則。原則一，從真實框出發(fā)，每個真實框與先驗框進行比較，計算兩者最佳的Jaccard(重疊)。Jaccard 系數(shù)為兩個有限集的相似度，Jaccard系數(shù)越大，相關(guān)性越高。Jaccard系數(shù)計算公式為：

通過計算找到與真實框擁有最大Jaccard 值所對應(yīng)的先驗框，這樣就可以保證每一個真實框都可以匹配到一個先驗框，同時，此時的先驗框被分類為正樣本。如果，一個先驗框沒有與任意一個真實框進行匹配，那么這個先驗框就只能與背景進行匹配，這時，就把先驗框分類為正樣本。但是，由于一張圖片里真實框遠(yuǎn)遠(yuǎn)少于先驗框，所以第一個原則無法滿足需求。在第二原則中，將剩余還沒有與真實框配對的先驗框與預(yù)先設(shè)定好的閾值進行比較（閾值一般設(shè)為0.5）。將IOU大于0.5的先驗框分類為正樣本，IOU小于0.5的先驗框分類為負(fù)樣本。IOU[4]為交并比(Intersection over Union),反映了先驗框與真實框的交集，假設(shè)真實框的面積為S1，候選框的面積為S2，交集的面積為S，則交并比的計算公式為：

考慮到負(fù)樣本的數(shù)量遠(yuǎn)遠(yuǎn)大于正樣本的數(shù)量，如果不加以調(diào)整直接訓(xùn)練的話會導(dǎo)致網(wǎng)絡(luò)偏向于負(fù)樣本，因此，SSD中通過使用在線難挖掘(Hard Negative Mining)機制，根據(jù)置信度損失值將負(fù)樣本進行排序，挑選置信度損失值高的負(fù)樣本框進行訓(xùn)練，通過這個機制，將正負(fù)樣本之比調(diào)整為1:3。得到正、負(fù)樣本之后，依據(jù)最小化損失函數(shù)的原則來訓(xùn)練先驗框。SSD 的損失函數(shù)為用于分類的log loss 與smooth L1的損失函數(shù)之和，總損失函數(shù)[5]計算公式如下：

loc的損失函數(shù)(smoothL1)的計算公式如下：

框體設(shè)計如圖3所示。

圖3 框體設(shè)計

3.3 Anchor機制

SSD 算法與YOLO 算法的最大區(qū)別就是SSD 采用多尺度特征圖的預(yù)測方法，使得SSD模型可以檢測多個物體。多尺度特征圖算法是在每一個特征圖上設(shè)置不同尺寸和不同長寬比的候選框，每個特征圖上的候選框[4]的計算公式如下：

式中，Sk為第k個特征圖的默認(rèn)框的大小相對于網(wǎng)絡(luò)輸入的比例，Smin為最小比例，Smax為最大比例，k代表m個特征圖中的第k個，其中m為特征圖個數(shù)。

Anchor_box的計算與Anchor_size和ratios有關(guān)。如圖4所示，Anchor_size是box的邊長，ratios為每個box的長寬比，則長寬的計算公式如下：

圖4 box

因此，越靠近輸入層，box越小，越靠近輸出層，box越大，所以SSD的底層用于檢測小目標(biāo)，高層用于檢測大目標(biāo)。

4 報警機制與安全評估

為了方便用戶快速了解當(dāng)前的檢測情況，系統(tǒng)設(shè)計了報警機制和安全評估。將識別到的數(shù)據(jù)按照“危險”“警告”和“安全”三個級別，分別用紅色、黃色和綠色進行標(biāo)注。報警機制與安全評估設(shè)計如圖5所示。

圖5 報警機制與安全評估

客戶端向系統(tǒng)發(fā)送請求，Web 模塊接收并調(diào)用Java 接口，將請求傳送給Java 后臺；后臺保存圖片，生成作業(yè)信息，向云端數(shù)據(jù)庫請求數(shù)據(jù)沉淀并喚醒檢測進程；檢測模塊進行識別、劃分等級，然后將掃描結(jié)果沉淀到云端數(shù)據(jù)庫中，同時喚醒Java 進程；Java 模塊查詢并組裝結(jié)果，將信息傳送給Web 模塊；Web 模塊進行判定，然后按照報警和安全評估兩條線路進行。報警線路中，依據(jù)等級信息，用紅、黃、綠三種顏色分別標(biāo)注。安全評估中，統(tǒng)計各等級的數(shù)量并繪制圖表。最后將結(jié)果在客戶端進行實時的可視化展示。實現(xiàn)效果如圖6和圖7所示。

圖6 報警機制

圖7 安全評估

5 數(shù)據(jù)增強

考慮到較少的樣本會導(dǎo)致過擬合，實驗中采用數(shù)據(jù)增強的方法，從翻轉(zhuǎn)、顏色兩方面增加數(shù)據(jù)集的數(shù)量。

6 實驗與分析

6.1 數(shù)據(jù)集

本實驗的數(shù)據(jù)集采用互聯(lián)網(wǎng)上的公開數(shù)據(jù)集，數(shù)據(jù)集包括易爆類、刀具類、電子產(chǎn)品類、生活用品類等6872張行李圖片。實驗中，隨機劃分其中的5726張為訓(xùn)練集，1146張為測試集。通過LabelImage 工具，標(biāo)注待檢測的物品，生成對應(yīng)的XML 文件，最后將圖片和對應(yīng)的標(biāo)注文件按照TFRECORD格式進行存儲。

6.2 實驗結(jié)果分析

實驗中，由于待識別的物品種類較多，采用單一的網(wǎng)絡(luò)架構(gòu)只能學(xué)習(xí)一個類別的物品，為了解決這一問題，系統(tǒng)采用Anchor 機制，同時，采用精確率(Precision)和召回率(Recall)作為評價指標(biāo)[6]。其中，精確率是指被正確檢測出來的行李類別占所有被檢測到的類別的百分比，計算公式如(7)所示；召回率是指被正確檢測出來的行李類別占待檢測行李類別的百分比，計算公式如(8)所示。

圖8 數(shù)據(jù)增強

其中，TP表示正確識別出的行李類別數(shù)量，F(xiàn)P表示非待檢測行李類別被檢測出的數(shù)量；FN 表示未被檢測出的行李類別的數(shù)量。

由表1 可以看出，使用數(shù)據(jù)增強將檢測結(jié)果提高了36.07%。檢測效果有了較好的提升。實驗對比如圖9所示。

表1 檢測準(zhǔn)確率

圖9 數(shù)據(jù)增強與Anchor機制

7 結(jié)語

系統(tǒng)首先選取長短不一的視頻進行試驗，通過評價指標(biāo)分析，系統(tǒng)能夠很好地定位與識別移動中的物品，并進行實時的報警和安全評估。隨后，在地鐵站進行實地試驗，經(jīng)過多次測試，系統(tǒng)可以較好地檢測通過安檢機的X 光行李，實時將數(shù)據(jù)傳到云端，不間斷地進行報警與安全評估。系統(tǒng)的檢測率達到73.9%，檢測效果良好，滿足安檢需求。