X光圖片禁帶品智能識別技術(shù)

王玉維，楊波，馬衛(wèi)東

(1.北京市地鐵運營有限公司安保部；2.北京聲迅電子股份有限公司)

1 前言

在地鐵安檢工作中，X射線安檢常用于識別乘客隨身物品是否帶有禁帶品，是地鐵安檢環(huán)節(jié)中極其重要的一部分。近年來，深度學(xué)習(xí)作為人工智能的一個分支，由于在圖象識別領(lǐng)域擁有較快的檢測速度、較高的檢測準(zhǔn)確率，被廣泛的應(yīng)用于各類需要目標(biāo)檢測的領(lǐng)域。X光圖片中禁帶品的標(biāo)記識別過去常常由人工完成，在保證精度的前提下，如何提高X光圖片禁帶品的識別速度便成為了一個重要的課題。

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前目標(biāo)檢測領(lǐng)域的主流框架之一。本文根據(jù)Pascal VOC數(shù)據(jù)集格式建立訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，并使用了VGG16作為基礎(chǔ)特征提取網(wǎng)絡(luò)進行禁帶品識別模型訓(xùn)練，研究采用基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)框架的識別模型來輔助X光圖片禁帶品識別。

2 基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的X光禁帶品識別算法

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)由基礎(chǔ)特征提取網(wǎng)絡(luò)，區(qū)域推薦網(wǎng)絡(luò)(RPN)和區(qū)域卷積神經(jīng)網(wǎng)絡(luò)三部分組成。其中，基礎(chǔ)特征網(wǎng)絡(luò)首先對輸入圖片進行特征提取，然后RPN網(wǎng)絡(luò)進行區(qū)域推薦，給出一系列候選框，最后由區(qū)域卷積神經(jīng)網(wǎng)絡(luò)在RPN網(wǎng)絡(luò)提取的推薦框中進行物品類別的判斷和物品概率的判斷。區(qū)域卷積神經(jīng)網(wǎng)絡(luò)原理流程框架如下圖所示：

圖1 區(qū)域卷積神經(jīng)網(wǎng)絡(luò)原理流程框架

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)運用同一個VGG16網(wǎng)絡(luò)對輸入圖片進行特征提取，然后RPN網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)在共享卷積層的前提下，分別完成推薦框生成和分類功能，最終實現(xiàn)了端到端的目標(biāo)檢測。算法實現(xiàn)步驟為：

1)對輸入圖像進行卷積操作得到卷積特征圖；

2)在卷積特征圖上使用滑動窗口進行卷積，在最后的卷積層上獲得候選區(qū)域推薦框；

3)使用非最大值抑制算法，將步驟二獲得的候選推薦框降低到300個；

4)在提取的特征向量后分別計算邊框回歸評分和分類評分。

3 X光禁帶品識別模型的構(gòu)建

3.1 X光圖片數(shù)據(jù)預(yù)處理

基于機器學(xué)習(xí)的禁帶品識別模型極其依賴訓(xùn)練樣本大小，訓(xùn)練數(shù)據(jù)量越大往往訓(xùn)練效果越好。禁帶品識別模型訓(xùn)練數(shù)據(jù)集采用Pascal VOC數(shù)據(jù)集格式，分為三個部分JPEGImages、Annotations和ImageSets。JPEGImages保存所有的訓(xùn)練圖片和測試圖片，Annotations存放xml格式的標(biāo)簽文件，單個xml文件對應(yīng)JPEGImages中的同文件名的圖片，ImageSets文件夾將訓(xùn)練集和測試集的圖片文件名分別保存在train.txt文件和test.txt文件夾中。

本次實驗的數(shù)據(jù)集通過收集軌道交通真實樣本，將采集到的槍支器械、易燃易爆、管制刀具等禁帶品得到的，禁帶品的坐標(biāo)標(biāo)注由人工完成保存在txt文件中。由于物品標(biāo)注后的坐標(biāo)信息保存在txt文件內(nèi)，因此，本文實驗首先將原txt文件轉(zhuǎn)為Pascal VOC數(shù)據(jù)集中Annotations文件夾中的xml文件。在去掉了部分標(biāo)注有誤、格式有誤的錯誤數(shù)據(jù)之后，按照九比一的比例劃分成了訓(xùn)練集和測試集，劃分結(jié)果保存在ImageSets文件夾下train.txt和test.txt文件內(nèi)。JPEGImages中的樣本圖片如圖2所示。為了增強識別模型的健壯性，本研究還對樣本圖像進行了旋轉(zhuǎn)變換操作，增加了樣本數(shù)量。

圖2 JPEGImages中的樣本圖片

3.2 禁帶品識別模型訓(xùn)練

3.2.1 訓(xùn)練方式選擇

區(qū)域卷積神經(jīng)網(wǎng)絡(luò)擁有兩種訓(xùn)練方式：Alternating training(alt-opt)和Approximate joint training(end2end)。Alternating training訓(xùn)練方式分為兩個階段，stage1和stage2。第一階段首先獨立的對RPN網(wǎng)絡(luò)進行訓(xùn)練，獲得RPN模型M1，然后使用初步訓(xùn)練后的RPN網(wǎng)絡(luò)模型M1對區(qū)域卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)進行初始化，獲得區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M2，同時使用RPN網(wǎng)絡(luò)模型M1輸出的推薦結(jié)果P1作為區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的輸入值來訓(xùn)練區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M2。這部分是區(qū)域卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的第一階段，最終獲得了一個區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M2。第二階段在共享卷積層權(quán)值的前提下，利用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M2來訓(xùn)練獲得RPN網(wǎng)絡(luò)模型M3，然后使用RPN網(wǎng)絡(luò)模型M3生成推薦結(jié)果P2。使用RPN網(wǎng)絡(luò)模型M3初始化區(qū)域卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)得到模型M4，并使用P2來訓(xùn)練調(diào)整區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M4的參數(shù)，最后將M3的RPN層添加到區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型M4中，組成一個區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型。這一部分是區(qū)域卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程的第二階段，第二階段訓(xùn)練完成后便得到一個調(diào)整過一次參數(shù)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)。根據(jù)預(yù)先設(shè)定的兩個階段的迭代次數(shù)，不斷迭代這個訓(xùn)練過程最后能獲得一個參數(shù)調(diào)整非常充分的禁帶品識別模型。Approximate joint training訓(xùn)練方式則將RPN和區(qū)域卷積神經(jīng)網(wǎng)絡(luò)融入到同一個網(wǎng)絡(luò)中，同時進行迭代訓(xùn)練。本文在訓(xùn)練禁帶品識別模型時，采用的是Alternating training訓(xùn)練方式。

3.2.2 訓(xùn)練參數(shù)選擇

本文實驗選擇VGG16作為基礎(chǔ)特征提取網(wǎng)絡(luò)，VGG16提供了初始學(xué)習(xí)率和批尺寸等輔助禁帶品識別模型訓(xùn)練的參數(shù)。Base lr影響VGG16網(wǎng)絡(luò)中所有層的學(xué)習(xí)率，它表明的是網(wǎng)絡(luò)的初始學(xué)習(xí)率。本文實驗中，采用的學(xué)習(xí)率改變策略為每迭代30000次，便根據(jù)gamma參數(shù)(gamma值取0.9)和當(dāng)前迭代次數(shù)iter來降低學(xué)習(xí)率。本次實驗學(xué)習(xí)率改變公式如下所示：

batch size(批處理尺寸)是機器學(xué)習(xí)中的重要參數(shù)，它定義了訓(xùn)練過程中一次讀入多少批量的圖片。增大batch size可以提高數(shù)據(jù)處理速度，提高內(nèi)存的利用率，但是也會導(dǎo)致訓(xùn)練時間增加，泛化能力差，容易陷入局部最優(yōu)，模型收斂速度降低。

3.3 禁帶品識別模型測試

在區(qū)域卷積神經(jīng)網(wǎng)絡(luò)框架中，常常將AP值(Average Precision)作為模型的評價指標(biāo)。AP值的計算需要使用召回率和精確率兩個值。正樣本mTP指模型正確的將物體識別出來并標(biāo)注正確，負樣本mFN指模型將物品識別出來但標(biāo)注為了其他的物品。將召回率作為橫坐標(biāo)，精確度作為縱坐標(biāo)可得到一個precision/recall曲線圖。AP值用來概括該曲線圖的形狀。首先，設(shè)定一組包含十一個點的閾值，當(dāng)召回率大于某個閾值時，可以獲得一個對應(yīng)的最大精確度，這樣我們能獲得一組精確度，AP為這組精確度的平均值。

召回率和精確度的計算方式為：

4 實驗結(jié)果及分析

本文實驗采用的操作系統(tǒng)為Ubuntu14.04平臺，編程環(huán)境基于Python，GPU為NVIDIA TITAN Xp，在深度學(xué)習(xí)框架Caffe下進行實驗。擁有數(shù)據(jù)標(biāo)注的X光圖片總共有39000張，隨機選擇其中的90%作為訓(xùn)練數(shù)據(jù)集，剩余的10%作為測試數(shù)據(jù)集，其中訓(xùn)練數(shù)據(jù)集用于禁帶品識別模型的參數(shù)調(diào)整，測試集用于檢測訓(xùn)練完畢的禁帶品識別模型的好壞。設(shè)定的迭代次數(shù)為第一二階段區(qū)域卷積神經(jīng)網(wǎng)絡(luò)迭代次數(shù)為80000次，第一二階段RPN網(wǎng)絡(luò)迭代次數(shù)40000次。訓(xùn)練完成的禁帶品識別模型都可以做到200ms一張圖片的識別速度。試驗結(jié)果表明：基于機器學(xué)習(xí)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)框架可以滿足地鐵安檢工作的實時性要求。

表1對比分析了batch size分別取值為32，64，128時的X光禁帶品識別模型的表現(xiàn)。可以看出，batch size為64時，能達到最終收斂精度上的最優(yōu)。

表1 不同批處理尺寸對mAP的影響

表2對比分析了采用了不同的初始學(xué)習(xí)率時禁帶品識別模型的性能表現(xiàn)?？梢钥闯霎?dāng)初始學(xué)習(xí)率為0.0012時，禁帶品識別模型能擁有更好的識別效果。

表2 不同初始學(xué)習(xí)率對mAP的影響

5 結(jié)束語

為了提高人工檢測的效率，本文提出一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的禁帶品智能識別技術(shù)，并對兩種不同的基礎(chǔ)特征提取網(wǎng)絡(luò)對禁帶品識別精度影響進行了對比實驗。通過實驗驗證了該方法在保證了較高的檢測準(zhǔn)確率的情況下能擁有很快的檢測速度。該技術(shù)能輔助地鐵X射線安檢工作，提高安檢工作效率。下一步可圍繞對漏識別和誤識別的圖片數(shù)據(jù)集的整理，這些數(shù)據(jù)可用于微調(diào)現(xiàn)有的禁帶品智能識別模型的參數(shù)，以進一步提高禁帶品識別的準(zhǔn)確率。