基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法*

葛 雯，宮 婷，王 媛，胡愛玲

（沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院，沈陽(yáng)110136）

1 引 言

人類認(rèn)知世界的的主要器官是眼睛，而眼睛給我們帶來(lái)的信息是以圖像信息為主的。大腦與眼睛合作使人們認(rèn)知并感知世界。所以，計(jì)算機(jī)智能化的首要目標(biāo)是能夠?qū)D像信息進(jìn)行采集以及相關(guān)處理。目前，該項(xiàng)技術(shù)已經(jīng)趨于成熟，被普遍應(yīng)用于醫(yī)療、軍事等領(lǐng)域。人工智能技術(shù)正處于發(fā)展的上升期，深度學(xué)習(xí)理論的應(yīng)用已成為新興熱點(diǎn)方興未艾。將深度學(xué)習(xí)模型應(yīng)用于目標(biāo)識(shí)別，與傳統(tǒng)的方法相比，具有精度高、運(yùn)算量小的優(yōu)點(diǎn)，受到廣泛采用，是目前業(yè)界的一個(gè)比較熱門的話題。

傳統(tǒng)的目標(biāo)識(shí)別方法分為三個(gè)步驟：(1) 選出候選區(qū)域,即在原始圖像上找到或者預(yù)測(cè)出目標(biāo)可能存在的區(qū)域；(2) 區(qū)域特征提取，提取目標(biāo)的特征以及與目標(biāo)相關(guān)的主要信息；(3) 分類器分類，在上一步得到的特征信息基礎(chǔ)上將目標(biāo)進(jìn)行分類。由此可見，此傳統(tǒng)方法的弊端在于設(shè)計(jì)者需要思考如何進(jìn)行特征提取，所以受限于設(shè)計(jì)者的經(jīng)驗(yàn)與經(jīng)歷，如若提取的特征不全面或者有丟失的信息，將會(huì)嚴(yán)重影響最終識(shí)別結(jié)果的準(zhǔn)確性。

在卷積神經(jīng)網(wǎng)絡(luò)受到廣泛應(yīng)用之前，DPM[1]（Deformable Parts Model,可變形的組件模型）是一個(gè)非常成功的目標(biāo)檢測(cè)算法，連續(xù)獲得VOC（Visual Object Class）2007、08、09年的檢測(cè)冠軍。DPM 可以看做是 HOG（Histogrrams of Oriented Gradients）特征和SVM（Surpport Vector Machine）分類器的合作，先計(jì)算梯度方向直方圖，然后用SVM 訓(xùn)練得到物體的梯度模型。這樣處理之后的模板就可以直接用來(lái)分類了，此法在一些檢測(cè)任務(wù)上取得了非常理想的檢測(cè)效果。

卷積神經(jīng)網(wǎng)絡(luò)[2]（Convolutional Neural Network,CNN）最早源自于動(dòng)物的神經(jīng)元。每個(gè)動(dòng)物神經(jīng)元只負(fù)責(zé)處理一小塊區(qū)域的視覺圖像，稱為感受野（Receptive Field）,相當(dāng)于CNN 卷積核的處理過程。此模型在許多目標(biāo)識(shí)別中都獲得了較好的結(jié)果。

目前在目標(biāo)識(shí)別領(lǐng)域的算法主要分為兩部分，一是傳統(tǒng)的目標(biāo)檢測(cè)算法，二是基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法?；谏疃葘W(xué)習(xí)的算法根據(jù)其具體的步驟分為基于候選區(qū)域的算法，例如R-CNN[3]、FastRCNN[4]、FPN、SPPNet[5]等，和基于回歸的算法，YOLO、SSD[6]、YOLOv2 等。

2 Faster R-CNN

2014年，Girshick 等人提出的 R-CNN 算法首次在目標(biāo)識(shí)別領(lǐng)域應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)，其取得的效果遠(yuǎn)遠(yuǎn)好于傳統(tǒng)的識(shí)別算法。在這種基于候選區(qū)域的深度學(xué)習(xí)目標(biāo)識(shí)別算法中產(chǎn)生候選區(qū)域時(shí)普遍應(yīng)用的算法有Selective Search[7]和Edge Boxes[8],然后利用卷積神經(jīng)網(wǎng)絡(luò)提取特征向量，在特征提取方面，現(xiàn)在目標(biāo)檢測(cè)領(lǐng)域普遍采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取替代人工特征提取，再利用SVM 進(jìn)行特征向量分類，經(jīng)常用到的分類模型有Alex Net，VGG，Google Net，Res Net 等等。在效果上，R-CNN在PASCAL VOC 2007[9]上的檢測(cè)結(jié)果平均精度接近 DPM 的 2 倍。

Region CNN（R-CNN）是利用深度學(xué)習(xí)進(jìn)行目標(biāo)識(shí)別檢測(cè)的開始。作者Ross Girshick 多次在PASCAL VOC 的目標(biāo)檢測(cè)競(jìng)賽中奪冠，更帶領(lǐng)團(tuán)隊(duì)獲得終身成就獎(jiǎng)。R-CNN 將CNN 算法與候選區(qū)域方法相結(jié)合，利用二者的優(yōu)點(diǎn)，更優(yōu)地實(shí)現(xiàn)了目標(biāo)識(shí)別的問題。但是R-CNN 有一個(gè)缺點(diǎn)：它需要提取所有候選區(qū)域的特征，所以在計(jì)算上有許多重復(fù)。針對(duì)這一缺點(diǎn)提出了新的算法，即Fast R-CNN，它在R-CNN 的基礎(chǔ)上加入了金字塔池化層，將邊緣提取也采用神經(jīng)網(wǎng)絡(luò)的提取方式，在一定程度上減少了計(jì)算量。但是Fast R-CNN 采用選擇性搜索的方式找出所有的候選框，也是十分耗費(fèi)時(shí)間的。

Faster R-CNN 算法由任少卿等[10]提出，在目標(biāo)檢測(cè)領(lǐng)域取得了優(yōu)異的成果，引來(lái)眾多研究人員對(duì)其做進(jìn)一步的研究與改進(jìn)。該算法首先使用CNN 進(jìn)行特征提取，然后在Fast R-CNN 的基礎(chǔ)上，將獲取候選區(qū)域的Selective search 方法改進(jìn)為RPN 網(wǎng)絡(luò)，得到候選區(qū)域，接著使用Softmax 多任務(wù)分類器進(jìn)行后續(xù)的分類與回歸步驟，具體流程圖如圖1所示。

圖1 Faster R-CNN 流程圖

圖中主要步驟解釋如下：

1) 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)是可以根據(jù)實(shí)際需進(jìn)行替換的卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)的多少影響最終的性能與效果，其最常用的訓(xùn)練網(wǎng)絡(luò)有ImageNet、ZF-Net 等等。ReLU 函數(shù)是使用較普遍的激活函數(shù)，定義如下式：

ReLU 函數(shù)由于梯度值恒為1 ，所以避免了梯度消失的現(xiàn)象，增快了收斂速度。

2) 候選區(qū)域生成網(wǎng)絡(luò)

對(duì)待檢測(cè)圖像進(jìn)行粗檢，輸出多種尺度和寬高比的矩形候選區(qū)域。針對(duì)每個(gè)基準(zhǔn)矩形候選區(qū)域框輸出4 個(gè)修正參數(shù)，修正之后可得到最終的候選區(qū)域框，給出基準(zhǔn)矩形框公式如下：

3) 分類回歸網(wǎng)絡(luò)

以特征提取網(wǎng)絡(luò)輸出的特征圖和候選區(qū)域生成網(wǎng)絡(luò)輸出的候選區(qū)域?yàn)檩斎?，輸出候選區(qū)域?qū)?yīng)各類別的置信度和修正參數(shù)。

然而，該算法在實(shí)時(shí)性上還有所不足。

3 改進(jìn)方法

3.1 候選區(qū)域生成與分類回歸

在 Faster R-CNN 算法中，F(xiàn)aster R-CNN 網(wǎng)絡(luò)需要對(duì)整體的輸入圖像進(jìn)行特征提取，并對(duì)其進(jìn)行候選區(qū)域的生成與分類。候選區(qū)域生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)共享同一個(gè)特征提取網(wǎng)絡(luò)，特征提取網(wǎng)絡(luò)輸出的特征將不加區(qū)分地直接送到候選區(qū)域生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)中。候選區(qū)域生成主要區(qū)分背景與目標(biāo)之間的差異；分類回歸網(wǎng)絡(luò)主要區(qū)分不同目標(biāo)之間的特征差異。令二者共用同一個(gè)特征提取網(wǎng)絡(luò)的輸出作為輸入，會(huì)對(duì)網(wǎng)絡(luò)的性能造成一定程度的影響。

故此針對(duì)這一問題提出一種改進(jìn)方法[11]，針對(duì)Faster R-CNN 算法中候選區(qū)域生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)采用單獨(dú)特征提取的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行研究,為候選區(qū)域生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)設(shè)置獨(dú)立的特征提取網(wǎng)絡(luò)，使候選區(qū)域生成網(wǎng)絡(luò)學(xué)習(xí)的特征不會(huì)進(jìn)入到分類回歸網(wǎng)絡(luò)中，進(jìn)而提高網(wǎng)絡(luò)性能。在訓(xùn)練過程中需要分為候選區(qū)域生成子網(wǎng)絡(luò)和分類回歸子網(wǎng)絡(luò)兩個(gè)子網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其網(wǎng)絡(luò)流程圖如圖2所示。

圖2 改進(jìn)后的網(wǎng)絡(luò)流程圖

3.2 金字塔RPN結(jié)構(gòu)

目標(biāo)經(jīng)過攝像頭會(huì)呈現(xiàn)出不同尺度的變化，為了使算法對(duì)小目標(biāo)更加敏感，針對(duì)檢測(cè)目標(biāo)的多尺度問題，對(duì)RPN 網(wǎng)絡(luò)進(jìn)行了改進(jìn)，提出RPN 金字塔結(jié)構(gòu)[12]，用以解決檢測(cè)目標(biāo)多尺度的問題。

RPN 網(wǎng)絡(luò)輸入特征提取網(wǎng)絡(luò)生成的特征圖，輸出目標(biāo)候選區(qū)域矩形框集合。原始的RPN 網(wǎng)絡(luò)結(jié)構(gòu)通過在輸出的特征圖上利用滑動(dòng)窗口直接實(shí)現(xiàn)候選區(qū)域的提取，送入網(wǎng)絡(luò)后續(xù)部分進(jìn)一步實(shí)現(xiàn)目標(biāo)的分類和候選區(qū)域位置框的回歸，如圖3所示。

圖3 原始RPN 網(wǎng)絡(luò)

候選區(qū)域生成網(wǎng)絡(luò)的損失函數(shù)是一個(gè)多任務(wù)損失函數(shù)，定義如下：

式中，i 是基準(zhǔn)框序號(hào)，pi，ti是基準(zhǔn)框的預(yù)測(cè)置信度和預(yù)測(cè)修正參數(shù)是基準(zhǔn)框的標(biāo)簽基準(zhǔn)框則對(duì)應(yīng)于目標(biāo)標(biāo)簽框的修正參數(shù)，Lcls是預(yù)測(cè)置信度的損失函數(shù)，Lreg是修正參數(shù)的損失函數(shù)。修正后對(duì)應(yīng)的計(jì)算公式是：

以上各等式分別表示目標(biāo)標(biāo)簽框的中心橫、縱坐標(biāo)和寬、高度。本研究提出將RPN 網(wǎng)絡(luò)結(jié)構(gòu)的3×3 卷積核增加至3 種大小不同的卷積核進(jìn)行遍歷。因?yàn)閷?duì)不同尺度的目標(biāo)僅使用一種大小的感受野是不夠精確的，利用三種不同大小的感受野就可以更加精確地識(shí)別目標(biāo)了。

原始的RPN 網(wǎng)絡(luò)結(jié)構(gòu)在最后一層生成的特征圖上使用3×3 大小的感受野進(jìn)行窗口滑動(dòng)，改進(jìn)之后分別通過 5×5、3×3、1×1 三種不同大小的感受野進(jìn)行窗口滑動(dòng)之后融合得到候選框，再傳輸給后續(xù)網(wǎng)絡(luò)進(jìn)行分類回歸。改進(jìn)之后的RPN 網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。這樣的結(jié)構(gòu)設(shè)計(jì)可以適用于目標(biāo)的多尺度，從而更加魯棒，可提高整個(gè)模型的檢測(cè)能力。

圖4 改進(jìn)后的RPN 網(wǎng)絡(luò)

4 實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證改進(jìn)算法的有效性，選用深度學(xué)習(xí)框架TensorFlow 作為實(shí)驗(yàn)平臺(tái)，并在數(shù)據(jù)集VOC 07 上進(jìn)行驗(yàn)證。該數(shù)據(jù)集包括20 種目標(biāo)類別，一共有9963 張圖片。設(shè)置學(xué)習(xí)率為0.001，衰減因子為0.1，進(jìn)行迭代。整個(gè)網(wǎng)絡(luò)的訓(xùn)練過程使用SGD 反向傳播優(yōu)化整個(gè)網(wǎng)絡(luò)模型。在訓(xùn)練過程中，模型被分為候選區(qū)域生成子網(wǎng)絡(luò)和分類回歸子網(wǎng)絡(luò)兩部分，先初始化特征提取網(wǎng)絡(luò)，然后對(duì)候選區(qū)域網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)進(jìn)行標(biāo)準(zhǔn)差為0.01 的高斯分布隨機(jī)初始化，最后再同時(shí)對(duì)二者進(jìn)行調(diào)整。

實(shí)驗(yàn)復(fù)現(xiàn)了原始的Faster R-CNN 結(jié)構(gòu)，實(shí)現(xiàn)了改進(jìn)的獨(dú)立特征提取網(wǎng)絡(luò)和“金字塔RPN”結(jié)構(gòu)，并給出模型監(jiān)測(cè)的結(jié)果，如圖5所示。不同模型的檢測(cè)結(jié)果如表1所示。從表中可以看出經(jīng)過改進(jìn)的算法比傳統(tǒng)Faster R-CNN 算法的準(zhǔn)確率提升了2.8%左右。

圖5 檢測(cè)結(jié)果圖

5 結(jié)束語(yǔ)

以Faster RCNN 為基礎(chǔ)，提出了改進(jìn)的FasterRCNN 算法。對(duì)候選區(qū)域生成網(wǎng)絡(luò)和分類回歸網(wǎng)絡(luò)采用單獨(dú)特征提取網(wǎng)絡(luò)的情況進(jìn)行研究并實(shí)現(xiàn)了相應(yīng)的改進(jìn)算法。針對(duì)目標(biāo)尺寸偏小，首先對(duì)anchor的大小進(jìn)行了調(diào)整；進(jìn)一步對(duì)RPN 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了一種“金字塔RPN”網(wǎng)絡(luò)結(jié)構(gòu)。最終在檢測(cè)數(shù)據(jù)集VOC 07 上對(duì)算法進(jìn)行驗(yàn)證。在深度學(xué)習(xí)的基礎(chǔ)上，目標(biāo)識(shí)別的準(zhǔn)確率已經(jīng)有了顯著提高，但是由于目標(biāo)識(shí)別與神經(jīng)網(wǎng)絡(luò)所涉及的知識(shí)十分寬泛，所以還有很大的研究空間。比如可發(fā)揮傳統(tǒng)算法中的優(yōu)點(diǎn)，使之有針對(duì)性地與深度學(xué)習(xí)結(jié)合起來(lái)，進(jìn)一步提高算法的準(zhǔn)確率，甚至還可使用多GPU 并行訓(xùn)練網(wǎng)絡(luò)。

表1 模型檢測(cè)精確度對(duì)比表