一種基于深度學(xué)習(xí)的夜間車(chē)流量檢測(cè)方法

張海玉 陳久紅

摘 要：當(dāng)車(chē)流量較少時(shí)，降低路燈亮度可以達(dá)到能源節(jié)約目的。為此，采用深度學(xué)習(xí)中的R-FCN目標(biāo)檢測(cè)網(wǎng)絡(luò)完成夜間車(chē)輛檢測(cè)任務(wù)。R-FCN網(wǎng)絡(luò)相比傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)，不僅是基于區(qū)域推薦模型的網(wǎng)絡(luò)，而且引入了平移變化特性，所以對(duì)目標(biāo)檢測(cè)效果更好。為了占用更少硬件資源，縮小模型規(guī)模，采用ShuffleNet通道分組與組間通信機(jī)制，壓縮原始?xì)埐罹W(wǎng)絡(luò)。同時(shí)，對(duì)NMS（非極大值抑制）算法進(jìn)行修改，從而可以更好地篩選重疊目標(biāo)，降低網(wǎng)絡(luò)漏檢率。實(shí)驗(yàn)結(jié)果表明，該方法準(zhǔn)確率較高，在UA-DETRAC數(shù)據(jù)集的夜間圖片檢測(cè)中精度最高可達(dá)到90.89%。

關(guān)鍵詞：車(chē)流量檢測(cè);深度學(xué)習(xí);計(jì)算機(jī)視覺(jué);模型壓縮;R-FCN

DOI：10. 11907/rjdk. 182680 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP306文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）009-0033-05

Research on Night Traffic Flow Detection Method Based on Deep Learning

ZHANG Hai-yu，CHEN Jiu-hong

（School of Electronics and Communication，Hangzhou Dianzi University， Hangzhou 310018， China）

Abstract： When the traffic flow is small， reducing the brightness of the street light can achieve the purpose of energy saving. For night vehicle detection tasks， this paper uses the R-FCN detection network in deep learning. Compared with the traditional deep learning network， the R-FCN network is not only a network based on the regional recommendation model， but also introduces translational variation characteristics， so the network has better effects on detection task. In order to take up less hardware resources and reduce the size of the model， we used ShuffleNet's channel grouping and inter-group communication mechanism to compress the original residual network. At the same time， the NMS algorithm is modified in this paper， so that the overlapping targets can be better filtered and the network's missed detection rate can be reduced. The experimental results show that the accuracy of the method is high， and the accuracy in the night image of the UA-DETRAC data set can reach 90.89%.

Key Words： traffic flow detection; deep learning; computer vision; model compression; R-FCN

0 引言

在計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)飛速發(fā)展的今天，各種物體分類(lèi)、目標(biāo)檢測(cè)方法不斷創(chuàng)新和完善，使得利用計(jì)算機(jī)快速識(shí)別、解讀圖片的深刻含義成為可能。

傳統(tǒng)圖像算法先通過(guò)人對(duì)圖像進(jìn)行分析，提取出有意義的特征，并對(duì)其進(jìn)行有效判斷，提取場(chǎng)景的語(yǔ)義表示，以此讓計(jì)算機(jī)具有人的眼睛與大腦。由此可以看出，傳統(tǒng)圖像檢測(cè)方法是有缺陷的：人的參與度太大，無(wú)論是特征選取，還是特征提取方法，都需要大量項(xiàng)目經(jīng)驗(yàn)作指導(dǎo)。隨著機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法研究進(jìn)入快速發(fā)展階段，尤其是在計(jì)算機(jī)視覺(jué)方面，深度學(xué)習(xí)算法發(fā)揮了越來(lái)越大的作用，甚至在某些領(lǐng)域已經(jīng)超越了傳統(tǒng)圖像算法，使得計(jì)算機(jī)視覺(jué)學(xué)科進(jìn)入一個(gè)新階段，人為干預(yù)程度越來(lái)越低，計(jì)算機(jī)真正可以自己去思考。

深度學(xué)習(xí)是由多個(gè)處理層組成的計(jì)算模型，可通過(guò)學(xué)習(xí)獲得數(shù)據(jù)的多抽樣層表示[1]。目前，利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)算法主要有兩種類(lèi)別：一種是以區(qū)域建議為基礎(chǔ)開(kāi)發(fā)的卷積神經(jīng)網(wǎng)絡(luò)算法系列;另一種是以深度回歸卷積神經(jīng)網(wǎng)絡(luò)為代表的模式。前者主要特點(diǎn)是可以取得很高的精度，但是檢測(cè)速度有待提升，對(duì)需要實(shí)時(shí)檢測(cè)的問(wèn)題有待進(jìn)一步優(yōu)化，典型代表有R-CNN系列（R-CNN網(wǎng)絡(luò)[2]、SPP-Net網(wǎng)絡(luò)[3]、Fast R-CNN網(wǎng)絡(luò)[4]等）。后者主要特征是檢測(cè)速度快，一般可以達(dá)到實(shí)時(shí)性要求，但檢測(cè)精度方面不如前者，其典型代表有YOLO網(wǎng)絡(luò)[5]、SSD網(wǎng)絡(luò)[6]以及由清華大學(xué)和英特爾中國(guó)研究院提出的RON網(wǎng)絡(luò)[7]等。

本文基于檢測(cè)精度考慮，采用基于區(qū)域推薦的卷積神經(jīng)網(wǎng)絡(luò)系列中的R-FCN網(wǎng)絡(luò)[8]，引入Soft-NMS算法[9]，用于進(jìn)一步提高檢測(cè)精度，并采用ShuffleNet技術(shù)[10]更改原始?xì)埐罹W(wǎng)絡(luò)，用于縮小模型[11]。

1 R-FCN目標(biāo)檢測(cè)網(wǎng)絡(luò)

目前，全卷積網(wǎng)絡(luò)結(jié)構(gòu)具有平移不變性，在物體分類(lèi)中倍受青睞，因?yàn)槲矬w分類(lèi)要求平移不變性越大越好 。然而，在物體檢測(cè)任務(wù)中需要一些具有平移特性的定位表示，即物體發(fā)生平移時(shí)，網(wǎng)絡(luò)應(yīng)該產(chǎn)生對(duì)應(yīng)響應(yīng)，這些響應(yīng)對(duì)定位物體是有意義的。

假設(shè)全卷積網(wǎng)絡(luò)層數(shù)越多，網(wǎng)絡(luò)對(duì)平移變化越不敏感。為解決該問(wèn)題，人們嘗試在網(wǎng)絡(luò)卷積層間插入 RoI 池化層。因此，區(qū)域與區(qū)域之間不再具有平移不變性。然而，該設(shè)計(jì)因引入過(guò)多區(qū)域操作層，從而犧牲了訓(xùn)練和測(cè)試效率。所以，為引入更多平移變化，R-FCN網(wǎng)絡(luò)在此基礎(chǔ)上設(shè)計(jì)了特殊的卷積層以構(gòu)建位置敏感分?jǐn)?shù)特征圖，依靠RoI池化層獲取感興趣區(qū)域，然后利用每個(gè)位置敏感特征圖嘗試對(duì)相對(duì)空間位置信息進(jìn)行編碼[12]。

1.1 網(wǎng)絡(luò)架構(gòu)

仿照Faster R-CNN網(wǎng)絡(luò)，R-FCN網(wǎng)絡(luò)首先經(jīng)過(guò)殘差網(wǎng)絡(luò)產(chǎn)生特征圖，然后通過(guò)兩個(gè)階段對(duì)目標(biāo)進(jìn)行檢測(cè)，包括區(qū)域建議和區(qū)域分類(lèi)[13]?；A(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.2 殘差網(wǎng)絡(luò)

從2012年AlexNet網(wǎng)絡(luò)到2014年VGGNet網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越復(fù)雜[14，15]。網(wǎng)絡(luò)層數(shù)越深就越具有超強(qiáng)學(xué)習(xí)能力，也就可以擬合出更好的數(shù)學(xué)模型。然而，隨著網(wǎng)絡(luò)層數(shù)加深，網(wǎng)絡(luò)訓(xùn)練難度越來(lái)越大，殘差網(wǎng)絡(luò)將對(duì)此進(jìn)行優(yōu)化。模型結(jié)構(gòu)如圖2所示。

假設(shè)需要某一層網(wǎng)絡(luò)學(xué)會(huì)這樣一個(gè)映射[H（x）]，現(xiàn)在只讓它學(xué)會(huì)映射[F（x）：=H（x）-x]即可，其中x為本層輸入數(shù)據(jù)，那么最初要學(xué)習(xí)的映射就是[F（x）+x]。假設(shè)學(xué)習(xí)F映射比學(xué)習(xí)H映射更容易，則只需要每一層訓(xùn)練出F映射，然后人為加入x的恒等映射。在某種極端情況下，若某個(gè)恒等映射最優(yōu)，則可將權(quán)值層的參數(shù)變?yōu)?，這樣比用傳統(tǒng)層擬合恒等映射更簡(jiǎn)單。當(dāng)然在實(shí)際情況下，恒定映射不太可能最優(yōu)，但是若最優(yōu)表達(dá)式接近于恒等映射，則對(duì)于網(wǎng)絡(luò)模型來(lái)說(shuō)，尋找一個(gè)關(guān)于恒等映射擾動(dòng)比找到一個(gè)新映射要容易得多。其中，該恒等映射可以跳過(guò)一個(gè)或者多個(gè)層，在跳過(guò)多個(gè)層時(shí)，若x和F的維度不同，則需要一個(gè)線性映射W匹配兩者維度。實(shí)驗(yàn)證明，殘差網(wǎng)絡(luò)解決了隨著網(wǎng)絡(luò)層數(shù)加深引起的模型退化問(wèn)題。

1.3 位置敏感分?jǐn)?shù)圖

類(lèi)似于Faster R-CNN網(wǎng)絡(luò)，R-FCN網(wǎng)絡(luò)有一個(gè)單獨(dú)RPN網(wǎng)絡(luò)尋找特征圖的ROI（感興趣區(qū)域）。為了將位置信息編碼進(jìn)每一個(gè)RoI矩形中，可將每個(gè)感興趣區(qū)域劃分成[k2]個(gè)格子（bin）。對(duì)于一個(gè)大小為[w？h]的RoI矩形，格子大小約為[wk？hk]。同時(shí)，R-FCN網(wǎng)絡(luò)最后一個(gè)卷積層為每一類(lèi)及其位置信息重組了[k2]個(gè)分?jǐn)?shù)圖。定義第[（i，j）]個(gè)格子[（0i，jk-1）]的池化操作函數(shù)為：

1.4 分類(lèi)與定位

對(duì)于分類(lèi)問(wèn)題，假設(shè)共有[c]類(lèi)目標(biāo)，利用[k2]個(gè)位置敏感分?jǐn)?shù)特征圖進(jìn)行投票，可以產(chǎn)生一個(gè)[（c+1）]維向量（包含一個(gè)背景類(lèi)）。

然后，使用softmax函數(shù)跨類(lèi)別計(jì)算每個(gè)類(lèi)別的概率值。

對(duì)于定位問(wèn)題，對(duì)每個(gè)感興趣區(qū)域的每一類(lèi)產(chǎn)生4[k2]個(gè)元素向量，并進(jìn)行投票。利用Faster R-CNN網(wǎng)絡(luò)的位置回歸參數(shù)化方法，可得到一個(gè)一維向量[（tx，ty，tw，th）]，此為檢測(cè)目標(biāo)的定位信息。

2 網(wǎng)絡(luò)優(yōu)化

2.1 模型壓縮

深度學(xué)習(xí)網(wǎng)絡(luò)相對(duì)于傳統(tǒng)圖像處理技術(shù)，運(yùn)行速度較慢，主要原因是網(wǎng)絡(luò)過(guò)于臃腫龐大、計(jì)算量大，不適宜應(yīng)用到嵌入式設(shè)備上。因此，進(jìn)行適當(dāng)?shù)哪Ｐ蛪嚎s是加速網(wǎng)絡(luò)運(yùn)行速度的一種可行方法。近年來(lái)，模型壓縮算法從壓縮方式上可以大致分為兩大類(lèi)：權(quán)值壓縮和網(wǎng)絡(luò)結(jié)構(gòu)壓縮。權(quán)值壓縮方法包括Deep Compression方式、XNorNet方式等，網(wǎng)絡(luò)結(jié)構(gòu)壓縮方法包括SqueezeNet方式、Distilling方式和ShuffleNet方式等[16-19]。

本文采用ShuffleNet技術(shù)對(duì)前端殘差網(wǎng)絡(luò)進(jìn)行壓縮。相對(duì)于傳統(tǒng)權(quán)值壓縮方法，ShuffleNet更容易平衡精度與壓縮程度之間的矛盾。同時(shí)，該模型既可以對(duì)網(wǎng)絡(luò)存儲(chǔ)空間進(jìn)行壓縮，又可以提高運(yùn)行速度。ShuffleNet網(wǎng)絡(luò)由MobileNet分組思想演化而來(lái)，主要優(yōu)化策略是分組卷積和組間通信，如圖3所示[20]。

標(biāo)準(zhǔn)卷積層一般對(duì)輸入數(shù)據(jù)的所有通道進(jìn)行卷積計(jì)算，然而在小型網(wǎng)絡(luò)中，計(jì)算代價(jià)昂貴。為了解決該問(wèn)題，一個(gè)簡(jiǎn)單方式是使用通道稀疏連接方式，例如組卷積。通過(guò)確保每個(gè)卷積只在相應(yīng)輸入通道組上運(yùn)行，組卷積可以大大降低計(jì)算成本。然而，如果多個(gè)層的組卷積疊加在一起，就會(huì)產(chǎn)生一個(gè)副作用：來(lái)自某個(gè)通道的輸出只能從一小部分輸入通道中獲得，該屬性將阻止通道組之間的信息流動(dòng)。

如果允許組卷積從不同組獲得輸入數(shù)據(jù)，如圖3（a）所示，則輸入和輸出通道將完全互相依賴(lài)。具體來(lái)說(shuō)，對(duì)于上一層生成的特征圖，可以先將其劃分為幾個(gè)組，然后用不同組的部分通道填充下一層的每個(gè)組。如此，就可以通過(guò)一個(gè)shuffle操作高效而簡(jiǎn)單地實(shí)現(xiàn)組間通信，如圖3（b）。此外，通道shuffle也是可微分的，意味著它可以嵌入到網(wǎng)絡(luò)結(jié)構(gòu)中，實(shí)現(xiàn)端到端訓(xùn)練。

本文利用ShuffleNet機(jī)制對(duì)R-FCN的殘差網(wǎng)絡(luò)進(jìn)行壓縮。假設(shè)殘差網(wǎng)絡(luò)輸入維度是[c*h*w]，瓶頸層通道數(shù)為[m]，則該結(jié)構(gòu)單元計(jì)算量為[hw（2cm+9m2）]FLOP，而經(jīng)過(guò)ShuffleNet壓縮后，計(jì)算量?jī)H為[hw（2cm/g+9m）]FLOP，其中[g]為分組個(gè)數(shù)。所以，給定計(jì)算預(yù)算，ShuffleNet可以使用更廣泛的特征映射，這對(duì)于小網(wǎng)絡(luò)至關(guān)重要，因?yàn)樾【W(wǎng)絡(luò)通常沒(méi)有足夠的通道處理信息。

2.2 Soft-NMS算法

NMS算法是目標(biāo)檢測(cè)網(wǎng)絡(luò)的重要組成部分，主要用于減少預(yù)測(cè)框，對(duì)重疊的預(yù)測(cè)框進(jìn)行非極大值抑制。首先，它會(huì)根據(jù)預(yù)測(cè)框的得分從大到小排序，選擇得分最高的預(yù)測(cè)框作為極大值框，當(dāng)其它預(yù)測(cè)框與其重疊程度超過(guò)一定閾值時(shí)，在排序列表中將非極大值框排除。該過(guò)程會(huì)被遞歸調(diào)用到下一個(gè)得分最大的預(yù)測(cè)框，直到遍歷完所有框。預(yù)測(cè)框減少將會(huì)大大降低網(wǎng)絡(luò)計(jì)算量，同時(shí)預(yù)防同一目標(biāo)產(chǎn)生多個(gè)預(yù)測(cè)框。NMS算法的一個(gè)主要問(wèn)題是，它將相鄰預(yù)測(cè)框的得分強(qiáng)制設(shè)為0。因此，若兩個(gè)目標(biāo)實(shí)際上相互重疊，而且其重疊度大于NMS算法所設(shè)定閾值，其中一個(gè)將會(huì)被遺漏，導(dǎo)致精度下降。然而，如果不強(qiáng)制設(shè)為0，而是降低得分，它依然會(huì)出現(xiàn)在排序列表中，依然可能被檢測(cè)到，提高網(wǎng)絡(luò)檢測(cè)精度。

[10] ZHANG X Y， ZHOU X Y， LIN M X， et al. Shufflenet： an extremely efficient convolutional neural network for mobile devices[C]. Salt Lake City： CVPR，2018.

[11] HE K， ZHANG X，REN S，et al. Deep residual learning for image recognition[C]. Las Vegas：CVPR，2016.

[12] 周俊宇，趙艷明. 卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)和目標(biāo)檢測(cè)應(yīng)用綜述[J]. 計(jì)算機(jī)工程與應(yīng)用，2017，53（13）：34-41.

[13] REN S Q，HE K M，GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，39（6）：1137-1149.

[14] KRIZHEVSKY A， SUTSKEVER I， HINTON G. Imagenet classification with deep convolutional neural networks[C]. Lake Tahoe： NIPS，2012.

[15] SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. San Diego：ICLR，2015.

[16] HAN S， MAO H， DALLY W J， et al. Deep compression：compressing deep neural networks with pruning， trained quantization and huffman coding[C]. ?San Juan：ICLR，2016.

[17] MOHAMMAD R，VICENTE O，JOSEPH R， et al. XNOR-Net： ImageNet classification using binary convolutional neural networks[C]. ?Amsterdam：ECCV，2016.

[18] IANDOLA F N， HAN S， MOSKEWICZ M W，et al. Squeezenet：alexnet-level accuracy with 50x fewer parameters and< 0.5 mb model size[C]. Toulon：ICLR，2017.

[19] HINTON，GEOFFREY，VINYALS，et al. Distilling the knowledge in a neural network[C]. Montreal：NIPS，2014.

[20] HOWARD A G， ZHU M， CHEN B，et al. MobileNets： efficient convolutional neural networks for mobile vision applications[DB/OL]. ?https：//arxiv.org/pdf/1704.04861.pdf.

[21] WEN L Y， DU D W，CAI Z W，et al. UA-DETRAC： a new benchmark and protocol for multi-object detection and tracking[EB/OL]. ?http：//detrac-db.rit.albany.edu.

[22] RICHARD，SZELISKI. 計(jì)算機(jī)視覺(jué)——算法與應(yīng)用[M]. 艾海舟，興軍亮，譯. 北京：清華大學(xué)出版社，2012.

（責(zé)任編輯：何 麗）