基于超分辨率重建的隱藏物品檢測

陳紫媚 羅平

摘要：針對圖像模糊以及隱藏物品特征不明顯問題，研究了一種更有效的被動毫米波雷達圖像隱藏物品檢測方法。該方法首先使用超分辨卷積神經(jīng)網(wǎng)絡對原始低分辨圖像進行超分辨重建，然后使用直方圖閾值分割技術對圖像進行二值化處理，最后使用YOLOv3進行目標檢測，被動毫米波雷達圖像處理結果驗證了提出方法對隱藏物品檢測的有效性。由結果可見，通過SRCNN算法對圖像進行超分辨率重建后，圖像質量得到了改善，再利用深度學習算法可較準確地識別隱藏物品的位置、類別和置信度。

關鍵詞：被動毫米波; 超分辨卷積神經(jīng)網(wǎng)絡;YOLOv3;目標檢測;深度學習

中圖分類號：TP183 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2020）28-0182-03

Abstract： Aiming at the problem that the image is fuzzy and the features of hidden objects are not obvious， a more effective method of detecting passive millimeter-wave radar image is studied. In this method， the original low-resolution image is reconstructed by using the super-resolution convolution neural network， then the image is binary processed by histogram threshold segmentation technology， and finally， the target is detected by using YOLOv3. The results of passive millimeter-wave radar image processing verify the effectiveness of the proposed method for detecting hidden objects. It can be seen from the results that the image quality is improved after super-resolution reconstruction by SRCNN， and then the location， category， and confidence of hidden objects can be identified more accurately by using a depth learning algorithm.

Key words： passive millimeter-wave; SRCNN; YOLOv3; object detection; deep learning

1引言

被動毫米波[1-2]與太赫茲[3]是安全檢測儀成像方式之一，它們相比于傳統(tǒng)的X光與紅外成像，既能夠穿透纖薄的衣服、布袋、脂肪等遮蓋物，又可以吸收和反射金屬片、爆炸物、液體等極性類型的物品，并且輻射的光子能量低不會危害人體的健康，更值得進行研究來開發(fā)性能更完善的檢測設備。被動毫米波圖像分辨率低和紋理難以區(qū)分是檢測毫米波雷達圖像的主要障礙，嘗試使用超分辨率算法是解決這一缺陷的可取策略。

目前主流的檢測算法主要分為兩種：一種是單步端到端的檢測算法，典型代表有SSD和YOLOv3，檢測速度快但是對小目標的檢測精度不高;一種是基于候選區(qū)的雙步檢測算法，比如Faster RCNN，檢測的效果好但耗費的時間及計算資源量大。安全檢測儀一般使用在人群流量大的場景，其檢測效果直接與人身安全掛鉤，所以被動毫米波雷達圖像的檢測模型既要滿足速度又要追求精度，筆者采取單步檢測算法YOLOv3檢測前添加超分辨處理的方法來改善檢測的質量。

2檢測方法與步驟

2.1 SRCNN算法

SRCNN[4]由C.Dong等人提出，是第一種使用端到端的超分辨重建網(wǎng)絡算法。SRCNN三層網(wǎng)絡框架簡練直白，首層有64個卷積核，尺寸為9*9，輸出64維的特征圖，下一層用32個1*1的卷積核過濾上一層的輸出，生成高清特征向量，最后一層用1個5*5的卷積核合并高清特征成圖。三層卷積的公式如下：

式中，W和B表示卷積的權重和偏置，×表示卷積。

這種超分辨重建方法需將圖像轉化成Ycbcr的格式，選取Y通道的像素，也就是根據(jù)圖像的亮度進行重建，并將高清圖像轉換成低清圖像，用SRCNN訓練低分辨率圖像到高分辨的映射。具體流程是這樣的：首先得到圖像Y通道數(shù)據(jù)后，采用Bicubic雙三次插值方法依次進行1/n、n倍縮放得到低分辨圖像并維持圖像的大小，然后用SRCNN網(wǎng)絡訓練插值后的圖像進行3次卷積操作。3次卷積的意圖是先提取低分辨圖像的表征，然后用非線性投影映射出高維的分塊表示，最后聚集分塊表示得到高分辨圖像。接著擬定原始圖像作為高分辨圖像，計算訓練得到的結果與高分辨圖像的均方誤差MSE，然后反向傳播，采用隨機梯度下降法更新權值，迭代上百次后得到端到端的映射關系。SRCNN的測試操作很簡單，將一張低清圖像輸入網(wǎng)絡便可得到高清圖像。

超分辨重建的質量可以使用峰值信噪比PSNR（Peek Signal-to-Noise Ratio）來評價，在超分辨場景下，PSNR/（單位為dB）可由像素點取值范圍的上界值L和圖像間的MSE均方誤差表示，即：

2.2 YOLOv3算法原理

YOLOv3[5]是繼檢測速度[6]頗快的YOLOv2[7]之后的改進版本，它的一個突出亮點就是處理小問題的檢測更準確。YOLOv3使用53個連續(xù)的1*1和3*3的卷積網(wǎng)絡，即Darknet-53，比YOLOv2選取的Darknet-19多了近2倍的卷積層數(shù)量，這也是為什么YOLOv3比YOLOv2慢的原因之一。YOLOv3網(wǎng)絡先經(jīng)過5次下采樣從第79層提取圖像的32倍縮略圖，然后與61層融合提取圖像的16倍下采樣，再與36層融合提取圖像的8倍下采樣，得到3種大小的特征圖。假設原圖大小為416*416，則小特征圖被分成13*13個網(wǎng)格，中特征圖被分成26*26個網(wǎng)格，大特征圖被分成52*52個網(wǎng)格。網(wǎng)絡結構可見下圖1：

借鑒特征金字塔（FPN）[8]的多尺度檢測方法，YOLOv3預測使用九個不同大小的錨定框，錨定框大小由k-means聚類算法對標注數(shù)據(jù)計算得出，每個錨定框分為大中小三種尺寸，大尺寸錨定框檢測小特征圖，中尺寸檢測中特征圖，小尺寸檢測大特征圖。邊框回歸主要任務是從特征圖中預測出目標框的位置和尺寸，使用最小二乘法訓練。YOLOv3分類方法使用的是邏輯回歸的方法，計算邊界框與各個真實標簽的IoU大小來預測是否含有目標，若最大的IoU大于閾值，則預測框涵蓋檢測物體，邊界框被識別成最大閾值的類。最后三層會輸出每個網(wǎng)格預測的3個邊界盒位置大小、類別概率和對象預測值。YOLOv3的損失函數(shù)主要分為三個部分：目標置信度損失[Lconf（o，c）]、目標分類損失[Lcla（O，C）]以及目標定位偏移量損失[Lloc（l，g）]。公式如下：

其中，[oi∈{0，1}]表示預測目標邊界框i中是否真實存在目標，存在為1，[ci]表示預測目標矩形框i內是否存在目標的Sigmoid概率，[Oij]表示預測目標邊界框i中是否真實存在第j類目標，[Cij]表示網(wǎng)絡預測目標邊界框i內存在第j類目標的Sigmoid概率，[l]表示預測矩形框坐標偏移量，[g]表示與之匹配的真實框與默認框之間的坐標偏移量，[（bx，by，bw，bh）]為預測的目標矩形框參數(shù)，[（cx，cy，pw，ph）]為默認矩形框參數(shù)，[（gx，gy，gw，gh）]為與之匹配的真實目標矩形框參數(shù)。

2.3 檢測步驟

第一步：將樣本數(shù)據(jù)劃分成訓練集和測試集，訓練集通過訓練得到重構圖片，測試集作為高分辨圖片來計算損失，然后用SRCNN重構的模型預測。

第二步：對超分辨后的圖像根據(jù)直方圖進行閾值分割，由于圖片數(shù)據(jù)較多，使用雙峰法對圖片進行批量處理，然后對個別劃分不準確的圖片進行手動調整，從而得到目標邊界清晰并且有效的二值化圖片。

第三步：對圖片進行標注，逐張框選樣本圖片中的目標，生成與圖片對應的標注文件。建立VOC文件夾，VOC下分Annotations、JpegImg和Set三個文件夾，將樣本標注數(shù)據(jù)、圖片和數(shù)據(jù)集放入相應的文件夾中。其中數(shù)據(jù)集是指將樣本按照8：2的比例劃分為train、val、trainval、test四個部分，以提供訓練及測試。

第四步：加載訓練集和測試集，接下來根據(jù)訓練集的數(shù)據(jù)生成標注文件annotation.txt，記載圖片的路徑和標注框的xmin，ymin，w，h，以及類別對應的序號。數(shù)據(jù)準備好后進行訓練，訓練的初始學習率設置為0.001，batch_size為64，epoch為100。訓練完成后，加載訓練的權重，完整的檢測步驟流程如下圖2所示：

3實驗結果和分析

本實驗選取了手機和小刀兩個類別的被動毫米波圖像，圖像中的物品分別位于胸前以及褲袋兩個位置。其中，小刀的圖片數(shù)量有230張，手機的圖片數(shù)量有280張。實驗使用的操作系統(tǒng)為Windows 10，Python版本為3.7，CUDA版本為9.0，cuDNN版本為7.0，Keras版本為2.1.5。

第一，由于卷積神經(jīng)網(wǎng)絡中色彩、縮放或明暗等不會改變結果，可以對原始圖像做旋轉或翻轉操作，加強數(shù)據(jù)樣本的多樣性，得到更多角度的數(shù)據(jù)集。然后將采集的圖片輸入到SRCNN網(wǎng)絡中，訓練低像素圖片到高像素圖片的映射模型，結果使用模型重建后的圖片與原圖的PSNR均值為29.37。

第二，繪制圖像經(jīng)超分辨重建后的灰度直方圖如圖3所示，觀察直方圖可以發(fā)現(xiàn)，灰度直方圖呈出處雙峰的特征，為了分割出物品、人體和背景三個部分，選取兩峰之間的最小值作為閾值將被動毫米波超分辨圖像二值化。

第三，使用標注工具LabelImg框選目標并設置標簽類別，標注的類別有三個：小刀、手機、人體，標注后生成xml格式的數(shù)據(jù)文檔。

第四，使用訓練100輪后的模型，輸入一張測試手機在胸前的圖片進行檢測，可以得到以下結果如圖4所示。

多次測試后可以發(fā)現(xiàn)，人體的檢測精確率基本高達98%，手機預測的精確率在80%以上，小刀精確率在50%以上。YOLOv3在手機的被動毫米波圖像數(shù)據(jù)集上表現(xiàn)出更好的預測結果，其中一個原因是手機的被動式毫米波圖像比較明顯，二值化后的輪廓比較相似，小刀的特征還不夠明顯。

為驗證本方法的效果，使用Faster-RCNN兩步檢測算法檢測被動式毫米波雷達圖像，檢測結果如圖5所示。

經(jīng)計算，手機和小刀的平均精確率如表1所示。

4結論

本文闡述了使用卷積神經(jīng)網(wǎng)絡加強圖像特征的超分辨重構框架，并說明了使用YOLOv3檢測的方法，比較了不同目標及不同檢測算法的檢測效果。對比本文的方法與其他檢測算法的結果可知，兩種方法對大目標的檢測結果都表現(xiàn)較好，而本方法對小目標檢測還存在不足，還需要再調整網(wǎng)絡設置的參數(shù)，進一步優(yōu)化才能提高準確度。從總體看來，使用YOLOv3檢測分辨重構好的被動毫米波超圖像是可以應用于安檢領域的，而且強化目標特征是提高檢測的準確率的關鍵因素之一。

參考文獻：

[1] Gonzalez-Valdes B，Allan G，Rodriguez-Vaqueiro Y，et al.Sparse array optimization using simulated annealing and compressed sensing for near-field millimeter wave imaging[J].IEEE Transactions on Antennas and Propagation，2014，62（4）：1716-1722.

[2] Farhat N H，W R.Millimeter wave holographic imaging of concealed weapons[J].Proceedings of the IEEE，1971，59（9）：1383-1384.

[3] 成彬彬，李慧萍，安健飛，等.太赫茲成像技術在站開式安檢中的應用[J].太赫茲科學與電子信息學報，2015，13（6）：843-848.

[4] Dong C，Loy C C，He K M，etal.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.

[5] RedmonJ，F(xiàn)arhadiA.YOLOv3：an incremental improvement[EB/OL].2018：arXiv：1804.02767[cs.CV].https：//arxiv.org/abs/1804.02767

[6] Chang Y L，Anagaw A，Chang L N，et al.Ship detectionbased on YOLOv2 for SAR imagery[J].Remote Sensing，2019，11（7）：786.

[7] RedmonJ，F(xiàn)arhadiA.YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.21-26 July2017，Honolulu，HI，USA.IEEE，2017：6517-6525.

[8] Lin T Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection[C]//2017IEEEConference on Computer Vision and Pattern Recognition（CVPR）.21-26 July 2017，Honolulu，HI，USA.IEEE，2017：936-944.

【通聯(lián)編輯：唐一東】