基于SSD的倉儲物體檢測算法研究

陳亮杰 王飛 王梨 王林

摘 要：隨著信息技術和計算機視覺技術的發(fā)展，倉儲管理自動化和智能化成為趨勢，對倉儲物體進行準確檢測變得尤為重要。針對倉儲環(huán)境下的物體檢測應用場景，提出一種基于SSD的倉儲物體檢測算法，實現(xiàn)對倉儲環(huán)境下的物體智能檢測。首先采用VGG16網(wǎng)絡進行圖像特征提取，然后在倉儲物體數(shù)據(jù)集上進行模型訓練，最后通過優(yōu)化模型參數(shù)將訓練好的模型應用于倉儲物體檢測。在創(chuàng)建的倉儲物體數(shù)據(jù)集上訓練SSD300和SSD500兩種模型，獲得的倉儲物體檢測準確率（mAP）分別為91.83%和94.32%，表明該算法基本實現(xiàn)了倉儲物體的準確檢測。

關鍵詞：卷積神經(jīng)網(wǎng)絡;倉儲環(huán)境;物體檢測;SSD;VGG16

DOI：10. 11907/rjdk. 182862

中圖分類號：TP306文獻標識碼：A文章編號：1672-7800（2019）004-0028-04

0 引言

物流配送是電子商務的核心環(huán)節(jié)，倉儲物體的自動檢測很大程度上能推動倉儲物流的自動化、智能化管理。對倉儲物體進行準確檢測，能夠實現(xiàn)數(shù)據(jù)采集、管理和核對的精確化，動態(tài)反映倉儲現(xiàn)狀，使倉儲管理者能及時、準確和全面地了解倉儲環(huán)境空間布局情況，以有效減少員工的勞動強度，降低成本，提高工作效率。

倉儲物體檢測本質上屬于通用物體檢測范疇，物體檢測是計算機視覺領域的一個重要研究方向。隨著深度學習的深入，在計算機視覺領域采用基于深度學習的算法進行物體檢測成為重要方法之一。

Sermanet等[1]提出基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的OverFeat算法，該算法主要采用滑窗（Sliding Window）對物體進行定位檢測。Girshick等[2]結合AlexNet[3]和選擇性搜索（Selective Search，SS）[4]提出R-CNN（Regions with CNN）算法，該算法首先采用SS從可能包含物體的圖像中提取區(qū)域，然后將這些感興趣區(qū)域（Regions of Interest，RoI）縮放到統(tǒng)一大小，并輸入CNN進行特征提取，最后將提取到的特征向量輸入SVM分類器進行分類。由于R-CNN中的CNN特征是從每幅圖像的每個區(qū)域單獨提取的，一定程度上存在計算開銷昂貴等缺點。因此，He等 [5]將傳統(tǒng)的空間金字塔池（Spatial Pyramid Pooling，SPP）[6]引入CNN結構，即在最后一個卷積層（Convolution Layer）頂部添加一個SPP層，通過全連接層（Fully Connected Layer）獲得固定長度的特征，提出SPP-Net算法。Girshick等 [7]提出的Fast R-CNN算法主要采用跨區(qū)域提議共享卷積計算思路，并在最后一個卷積層和第一個全連接層之間添加一個RoI池層，使每個RoI提取固定長度的特征，以提高物體檢測速度和準確性。Ren等 [8]提出的Faster R-CNN算法采用一種高效、準確的區(qū)域提議網(wǎng)絡（Region Proposal Network，RPN）代替SS生成區(qū)域提議，可同時和檢測網(wǎng)絡共享全圖像卷積特征，實現(xiàn)端到端（End-to-End）的物體檢測。Dai等[9]提出的R-FCN算法，主要通過去除全連接層和使用一組特定的卷積層作為FCN輸出，構建一組位置敏感分數(shù)圖進行物體檢測，以此提高物體檢測速度和準確性。Szegedy等[10]提出DetectorNet算法，將物體檢測制定為一個目標邊界框掩碼的回歸問題，使用AlexNet和一個回歸層取代最終的Softmax分類器層。Redmon等[11]提出YOLO（You Only Look Once）算法，將物體檢測作為從圖像像素到空間分離邊界框和相關類概率的回歸問題。由于完全去除了區(qū)域提議生成階段，因此僅使用一小部分候選區(qū)域就可直接預測檢測。YOLO的檢測速度非常快，但檢測精度不是很高。為了在不降低過多檢測精度的同時保持實時速度，Liu等[12]提出了比YOLO算法更快的SSD（Single Shot MultiBox Detector）算法。SSD算法結合了不同分辨率的多個特征圖預測，以處理不同尺度物體，有效集成了YOLO算法的回歸思想和Faster R-CNN算法的錨機制，采用多尺度區(qū)域特征進行回歸實現(xiàn)了快速檢測，同時仍保持較高的檢測精度。

目前基于深度學習的倉儲物體檢測算法比較少。劉江玉等 [13]提出基于深度學習的倉儲托盤檢測算法，主要基于Faster R-CNN算法設計托盤檢測模型，訓練VGG16網(wǎng)絡，并創(chuàng)建倉儲托盤檢測數(shù)據(jù)集，實現(xiàn)倉儲機器人對倉儲環(huán)境下的托盤檢測。金秋等 [14]提出基于Faster R-CNN優(yōu)化和改進后的倉儲物體檢測算法，該算法通過對Faster R-CNN模型進行微調（Fine-Tuning）完成對托盤、貨物、人和叉車等物體的檢測。本文將通用物體檢測算法應用于倉儲環(huán)境下的物體檢測，提出一種基于SSD的倉儲物體檢測算法。

1 基于SSD的倉儲物體檢測算法

1.1 SSD網(wǎng)絡結構

SSD算法是一種基于回歸思想的深度卷積神經(jīng)網(wǎng)絡物體檢測算法，CNN主要用于為那些框中存在的物體實例生成固定大小的邊界框、物體類別的分數(shù)，執(zhí)行非極大值抑制步驟以生成最終檢測結果。由于實時性和準確性是倉儲物體檢測的基本性質，所以選擇適用模型至關重要。雖然基于兩階段的算法在物體檢測方面取得了令人滿意的檢測精度，但是檢測速度較慢。SSD算法通過去除邊界框提議和后面的特征重采樣階段，使檢測速度得到了顯著提升。同時，SSD算法結合不同分辨率的多個特征圖，從而在多個尺度上進行物體檢測，在一定程度上保持了較高的檢測精度。SSD網(wǎng)絡結構如圖1所示。

1.2 圖像特征提取網(wǎng)絡

當前，用于圖像特征提取的主流網(wǎng)絡有AlexNet、GoogLeNet[15]、VGGNet[16]、ResNet[17]、DenseNet[18]等。綜合考慮網(wǎng)絡結構的復雜性和分類精度，本文選擇VGG16網(wǎng)絡進行圖像特征提取，其網(wǎng)絡結構參數(shù)如表1所示。

1.3 損失函數(shù)

設[xpij=1]表示類別[p]的第[i]個默認框與第[j]個真值（Ground Truth，GT）框相匹配，若不匹配，則[xpij=0]。根據(jù)預測匹配策略，則有[ixpij1]，這意味著可以有多個默認框與第[j]個GT框匹配。SSD的損失函數(shù)是位置損失（Localization Loss，Loc）和置信度損失（Confidence Loss，Conf）的加權和，其表達式如公式（1）所示。

1.4 非極大值抑制

非極大值抑制（Non-Maximum Suppression，NMS）的實質是搜索局部極大值，抑制非極大值元素，其目的是消除多余的框，找到最佳物體檢測位置。假設某物體檢測到6個候選框，每個候選框分別對應一個類別分數(shù)，根據(jù)分數(shù)從小到大排列分別為（B1，S1），（B2，S2），（B3，S3），（B4，S4），（B5，S5），（B6，S6），S6> S5>S4>S3>S2>S1。NMS的執(zhí)行步驟為：①根據(jù)分數(shù)大小，從最大概率矩形框B6開始;②分別計算B1～B5與B6的重疊度IoU是否大于預設閾值，如果大于設定閾值就舍棄分數(shù)小于B6的框，同時標記保留的框。例如，假設B2、B4與B6的重疊度超過閾值，就舍棄B2、B4，并標記B6為第一個需要保留的框;③從剩余的矩形框B1、B3、B5中選取類別分數(shù)最大的B5，并判斷B5與B1、B3的重疊度。如果IoU大于設定的閾值，同樣舍棄B1和B3，同時標記B5為保留下來的第二個矩形框;④重復此過程，直到找到全部保留框。

1.5 訓練策略

訓練過程中需要確定哪些默認框對應于GT檢測并相應地訓練網(wǎng)絡，每個GT框都需要從不同位置、長寬比和尺度的默認框中進行選擇。采用MultiBox中的最佳Jaccard重疊將每個GT框匹配到默認框，以使每個GT框都有一個對應的源框。如果Jaccard重疊大于閾值0.5，則將默認框與任意GT框匹配。不同于兩兩匹配，每個預測匹配可為每個GT框生成多個正的先驗匹配。對于每個先驗，SSD算法在所有物體類別之間共享邊界框調整。

2 實驗結果與分析

2.1 實驗運行環(huán)境

本文實驗在Ubuntu16.04操作系統(tǒng)下基于Caffe深度學習框架完成，運行環(huán)境基本配置為：GPU型號：NVIDIA TITAN X，CPU型號：Intel i7-7700k，顯存16GB，CUDA為CUDA8.0。

2.2 實驗數(shù)據(jù)集

本文實驗所需數(shù)據(jù)均為真實倉儲環(huán)境下通過攝像機采集獲得的倉儲物體圖像，并采用圖像標注工具LabelImg進行標注，創(chuàng)建一個倉儲物體數(shù)據(jù)集，其包含10 450張圖像。將倉儲物體數(shù)據(jù)集分為訓練集（Train Set）、驗證集（Validation Set）和測試集（Test Set），訓練集約占64%，驗證集約占16%，測試集約占20%。

2.3 實驗結果及分析

為驗證本文算法的有效性，在創(chuàng)建的倉儲物體數(shù)據(jù)集上進行訓練和測試。訓練兩種不同輸入大小的模型，即SSD300和SSD500，測試得到的物體檢測準確率mAP（mean Average Precision）如表2所示。

由表2可知，SSD500的mAP為94.32%，SSD300的mAP為91.83%，SSD500的mAP比SSD300的mAP提高了2.49%，基本實現(xiàn)了倉儲物體的準確檢測。

由于篇幅所限，僅給出部分倉儲物體測試圖像的檢測效果，如圖2所示。

從圖2可以觀察到，在光照條件、物體尺度大小和顏色發(fā)生變化時，本文提出的倉儲物體檢測算法都能較好地檢測出倉儲環(huán)境下的物體。

3 結語

本文將基于卷積神經(jīng)網(wǎng)絡的單階段SSD算法應用于倉儲環(huán)境，提出一種基于SSD的倉儲物體檢測算法。該算法首先采用VGG16網(wǎng)絡進行圖像特征提取，然后在創(chuàng)建的倉儲物體數(shù)據(jù)集上訓練SSD300和SSD500兩種模型，分別獲得91.83%的mAP和94.32%的mAP，基本實現(xiàn)了倉儲物體準確檢測。但是本文算法對于較小的倉儲物體仍會出現(xiàn)漏檢，原因可能是本文使用的預訓練模型是在ImageNet上預訓練的，導致預訓練模型與倉儲物體檢測模型存在差異，也有可能是由于創(chuàng)建的倉儲物體數(shù)據(jù)集數(shù)量不夠大。因此，針對物體漏檢問題，下一步需要優(yōu)化或改進算法，創(chuàng)建一個規(guī)模大且質量高的倉儲物體數(shù)據(jù)集，以盡量防止漏檢問題發(fā)生，從而進一步提升倉儲物體檢測準確率。

參考文獻：

[1] SERMANET P，EIGEN D，ZHANG X，et al. Overfeat： integrated recognition， localization and detection using convolutional networks[EB/OL]. http：//arxiv.org/abs/1312.6229.

[2] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2014： 580-587.

[3] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems， 2012： 1097-1105.

[4] UIJLINGS J R R， SANDE K E A V D， GEVERS T， et al. Selective search for object recognition[J]. International Journal of Computer Vision， 2013， 104（2）： 154-171.

[5] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，37（9）：1904-1916.

[6] LAZEBNIK S， SCHMID C， PONCE J. Beyond bags of features： spatial pyramid matching for recognizing natural scene categories[C].IEEE Conference on Computer Vision and Pattern Recognition， 2006： 2169-2178.

[7] GIRSHICK R. Fast r-cnn[C]. IEEE International Conference on Computer Vision， 2015： 1440-1448.

[8] REN S，HE K，GIRSHICK R，et al. Faster R-CNN： towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems， 2015： 91-99.

[9] DAI J， LI Y， HE K， et al. R-FCN： object detection via region-based fully convolutional networks[C]. Advances in Neural Information Processing Systems， 2016： 379-387.

[10] SZEGEDY C， TOSHEV A， ERHAN D. Deep neural networks for object detection[C]. Advances in Neural Information Processing Systems， 2013： 2553-2561.

[11] REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once： unified， real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2015： 779-788.

[12] LIU W，ANGUELOV D，ERHAN D， et al. SSD： single shot multibox detector[C]. European Conference on Computer Vision， 2016： 21-37.

[13] 劉江玉，李天劍. 基于深度學習的倉儲托盤檢測算法研究[J].北京信息科技大學學報， 2017， 32（2）： 78-85.

[14] 金秋，李天劍. 倉儲環(huán)境下基于深度學習的物體識別方法研究[J]. 北京信息科技大學學報，2018，33（1）： 60-65.

[15] SZEGEDY C， LIU N W， JIA N Y， et al. Going deeper with convolutions[C]. Boston：IEEE Conference on Computer Vision and Pattern Recognition， 2015.

[16] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science， 2014（1）：2205-2211.

[17] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition，LasVegas：2016.

[18] HUANG G，LIU Z， MAATEN L V D， et al. Densely connected convolutional networks[C].IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2261-2269.

（責任編輯：杜能鋼）