基于改進(jìn)Mask R-CNN的交通監(jiān)控視頻車輛檢測(cè)算法

陸 飛,沈世斌,蘇曉云,謝 非,3,章 悅,劉益劍,3

(1.南京師范大學(xué)電氣與自動(dòng)化工程學(xué)院,江蘇 南京 210023) (2.江蘇省三維打印裝備與制造重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210023) (3.南京智能高端裝備產(chǎn)業(yè)研究院有限公司,江蘇 南京 210023)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)在無(wú)人駕駛、智能監(jiān)控、智能交通等領(lǐng)域有著廣泛的應(yīng)用. 隨著城市道路車輛違反交通法規(guī)的事件不斷增加,對(duì)監(jiān)控視頻中的車輛快速精準(zhǔn)地檢測(cè)已成為城市交通管理的一項(xiàng)重要研究課題. 快速且準(zhǔn)確地檢測(cè)復(fù)雜場(chǎng)景中不同尺度和類型的車輛已成為目前最具挑戰(zhàn)性的課題之一[1-2].

近年來(lái),國(guó)內(nèi)外學(xué)者針對(duì)基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法展開了廣泛而深入的研究. Girshick等[3]首次提出R-CNN模型,通過(guò)Selective Search算法[4]提取目標(biāo)對(duì)象的候選框,將候選框的大小調(diào)整為一個(gè)固定尺寸,然后輸入到卷積神經(jīng)網(wǎng)絡(luò)中提取特征,采用線性回歸策略調(diào)整目標(biāo)的邊界框,使用SVM分類器預(yù)測(cè)目標(biāo)的類別,但產(chǎn)生候選框的過(guò)程耗時(shí)長(zhǎng),且候選框之間存在大量重疊. He等[5]提出了空間金字塔池化網(wǎng)絡(luò)(SPPNet),克服了R-CNN冗余的特征計(jì)算,在目標(biāo)檢測(cè)時(shí)對(duì)整張圖像只進(jìn)行一次特征計(jì)算,然后引入空間金字塔池化層通過(guò)CNN生成任意感興趣區(qū)域. Girshick等[6]提出了Fast R-CNN算法,采用Softmax函數(shù)代替原來(lái)的SVM分類器,將目標(biāo)的分類與回歸加入到神經(jīng)網(wǎng)絡(luò)中,減少了運(yùn)算時(shí)間. Ren等[7]在Fast R-CNN的基礎(chǔ)上作了改進(jìn),提出了Faster R-CNN模型,Faster R-CNN主要貢獻(xiàn)在于引入?yún)^(qū)域建議網(wǎng)絡(luò)(RPN)[8]代替了原來(lái)的選擇性搜索策略,并將對(duì)象候選框的提取、區(qū)域歸一化以及分類與回歸等操作都集中在端到端框架中. Redmon等[9]提出YOLO算法,首次將目標(biāo)檢測(cè)當(dāng)作回歸問(wèn)題來(lái)處理,無(wú)需產(chǎn)生候選框,直接通過(guò)卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)的類別和位置,提高了檢測(cè)的速度,但精度卻較低. He等[10]提出了Mask R-CNN模型,結(jié)合了經(jīng)典的目標(biāo)檢測(cè)算法Faster R-CNN和經(jīng)典的語(yǔ)義分割算法FCN[11],Faster R-CNN 可以既快又準(zhǔn)地實(shí)現(xiàn)目標(biāo)檢測(cè)功能,FCN可以精準(zhǔn)實(shí)現(xiàn)語(yǔ)義分割功能,由于發(fā)現(xiàn)了ROI Pooling[12]中所存在的像素偏差問(wèn)題,提出了對(duì)應(yīng)的ROI Align策略,加上FCN精準(zhǔn)的像素mask,可獲得高準(zhǔn)確率. 江昆鵬等[13]調(diào)整了區(qū)域建議網(wǎng)絡(luò),在anchor的基礎(chǔ)上增加了兩個(gè)尺度,提高了目標(biāo)的識(shí)別精度. 朱有產(chǎn)等[14]優(yōu)化Mask R-CNN主干網(wǎng)絡(luò)的深度,并在卷積操作中加入開運(yùn)算層,減少圖片的邊緣噪聲. 石杰等[15]在Mask R-CNN的基礎(chǔ)上加入LH R-CNN,提高了運(yùn)算速度.

由于交通監(jiān)控視頻中的目標(biāo)車輛存在目標(biāo)尺寸和尺度的巨大差異,車輛之間存在相互遮擋問(wèn)題,導(dǎo)致目標(biāo)車輛檢測(cè)存在誤檢或漏檢. 針對(duì)Mask R-CNN在車輛檢測(cè)上出現(xiàn)誤檢或漏檢的問(wèn)題,本文基于改進(jìn)的Mask R-CNN的交通監(jiān)控視頻車輛檢測(cè)算法,在Mask R-CNN通用結(jié)構(gòu)框架基礎(chǔ)上,設(shè)計(jì)了基于bottleneck結(jié)構(gòu)的主干網(wǎng)絡(luò)、基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支和基于Arcface Loss的目標(biāo)檢測(cè)損失函數(shù),解決視頻監(jiān)控中部分目標(biāo)由于存在遮擋而導(dǎo)致漏檢或誤檢的問(wèn)題,提高了目標(biāo)的檢測(cè)精度和目標(biāo)特征的判別能力.

1 基于改進(jìn)Mask R-CNN的交通監(jiān)控視頻車輛檢測(cè)算法

1.1 改進(jìn)的Mask R-CNN算法的結(jié)構(gòu)框架

Mask R-CNN模型將目標(biāo)的分類分?jǐn)?shù)作為最終目標(biāo)分割的分?jǐn)?shù),即評(píng)判分類、邊界框修正以及掩碼分割效果取決于該分類分?jǐn)?shù). 在背景雜亂、目標(biāo)相互遮擋等復(fù)雜場(chǎng)景下,可能會(huì)出現(xiàn)目標(biāo)被漏檢或誤檢,以及目標(biāo)掩碼質(zhì)量低的問(wèn)題. 針對(duì)上述問(wèn)題,本文在Mask R-CNN結(jié)構(gòu)框架基礎(chǔ)上,設(shè)計(jì)了基于bottleneck結(jié)構(gòu)的主干網(wǎng)絡(luò)、基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支和基于Arcface Loss的目標(biāo)檢測(cè)損失函數(shù),改進(jìn)后的Mask R-CNN結(jié)構(gòu)框架圖如圖1所示.

1.2 基于bottleneck結(jié)構(gòu)的主干網(wǎng)絡(luò)設(shè)計(jì)

Mask R-CNN采用殘差網(wǎng)絡(luò)ResNet[16]作為主干網(wǎng)絡(luò)來(lái)完成圖像特征的提取. ResNet網(wǎng)絡(luò)分為 ResNet50、ResNet101、ResNet152,這3種網(wǎng)絡(luò)的主要區(qū)別在于層數(shù)不同,層數(shù)越深,提取圖像的特征就越豐富,越能反映圖像抽象的語(yǔ)義信息,但層數(shù)的加深往往會(huì)帶來(lái)梯度消失或爆炸、不易訓(xùn)練等問(wèn)題. 由于 bottleneck 結(jié)構(gòu)能有效減少卷積的參數(shù)個(gè)數(shù)和計(jì)算量,深度提取目標(biāo)特征,為了在性能和運(yùn)行速度之間保持平衡,本文選用bottleneck作為殘差網(wǎng)絡(luò)的主干結(jié)構(gòu).

基于bottleneck結(jié)構(gòu)的主干網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示. ResNet使用bottleneck殘差結(jié)構(gòu),Batch Normalization層用于加快收斂速度. ResNet共有5組卷積,第一組卷積的輸入大小為224×224,第五組卷積的輸出大小為7×7,總共縮小5次,每次縮小2倍,最終輸入圖像縮小了32倍,減少了參數(shù)的數(shù)量,從而減少了計(jì)算量.

1.3 基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支設(shè)計(jì)

Mask R-CNN通過(guò)掩碼分支對(duì)目標(biāo)車輛進(jìn)行掩碼分割,會(huì)得到一個(gè)沿著目標(biāo)車輛輪廓包圍的閉合區(qū)域,閉合區(qū)域?yàn)槟繕?biāo)分割的掩碼. 由于Mask R-CNN 預(yù)測(cè)掩碼質(zhì)量的分?jǐn)?shù)和類別分類的分?jǐn)?shù)相同,因此Mask R-CNN不能完全評(píng)估目標(biāo)車輛的掩碼分割質(zhì)量. 針對(duì)該問(wèn)題,本文在掩碼分支網(wǎng)絡(luò)的基礎(chǔ)上增加了基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支,用于單獨(dú)評(píng)估目標(biāo)車輛的掩碼質(zhì)量.

基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支網(wǎng)絡(luò)是將目標(biāo)的分割掩碼與ROI特征圖拼接在一起作為輸入,在拼接之前,需要對(duì)目標(biāo)的分割掩碼進(jìn)行最大值池化,保持與ROI特征圖的尺寸大小一致. 基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,圖中使用3個(gè)卷積層分別為14×14×257,14×14×256,7×7×256;3個(gè)全連接層分別為1 024,1 024,1. 對(duì)于3個(gè)全連接層,遵循Mask R-CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)原則,將前兩個(gè)FC層的輸出設(shè)置為1024,最后一個(gè)全連接層的輸出設(shè)置為類別數(shù)目,掩碼分支只對(duì)目標(biāo)車輛的分割掩碼進(jìn)行評(píng)分,即類別數(shù)目為1.

基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支通過(guò)對(duì)掩碼分支網(wǎng)絡(luò)輸出的目標(biāo)掩碼與真實(shí)標(biāo)簽值掩碼重疊面積(IoU)的預(yù)測(cè),來(lái)精確地評(píng)估掩碼的質(zhì)量. 最終的評(píng)分細(xì)則定義如下:

Smask=Scls×SIoU,

(1)

式中,Smask為最終的掩碼質(zhì)量分?jǐn)?shù);Scls為Mask R-CNN中所預(yù)測(cè)的類別分類分?jǐn)?shù);SIoU為預(yù)測(cè)的IoU. 掩碼分割分支與基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支相互獨(dú)立. 在訓(xùn)練階段,分類正確的目標(biāo)車輛掩碼才會(huì)輸入到基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支,即Scls必須取正值. 然后,基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支對(duì)分類正確的目標(biāo)車輛掩碼預(yù)測(cè)對(duì)應(yīng)的IoU,不斷減小Smask和SIoU之間的差距,使得Smask接近于SIoU,保證目標(biāo)類別的掩碼質(zhì)量與掩碼分?jǐn)?shù)保持一致. 改進(jìn)后的Mask R-CNN既能確保分類的準(zhǔn)確,又能評(píng)判掩碼質(zhì)量的好壞.

1.4 基于Arcface Loss的目標(biāo)檢測(cè)損失函數(shù)設(shè)計(jì)

Softmax Loss作為目標(biāo)檢測(cè)模型中常用的損失函數(shù),用來(lái)輸出目標(biāo)類別的概率,以保證目標(biāo)類別的可分性,但若兩個(gè)類別的特征相似度高時(shí),使用Softmax Loss進(jìn)行相似度學(xué)習(xí),會(huì)無(wú)法區(qū)分出這兩個(gè)類別. 在Softmax Loss基礎(chǔ)上提出的A-softmax Loss[17],加入了角度距離,使得特征具有可判別性:

(2)

以這種方式拉近網(wǎng)絡(luò)模型類內(nèi)距離、放大類間距離,使得類別間的特征更具可分性,但由于夾角增加到原來(lái)的m倍,網(wǎng)絡(luò)模型訓(xùn)練難度變大,導(dǎo)致?lián)p失函數(shù)的損失值很難收斂.

本文通過(guò)融合A-Softmax Loss和Softmax Loss的特性,設(shè)計(jì)基于Arcface Loss的目標(biāo)檢測(cè)損失函數(shù),Arcface Loss[18]計(jì)算公式為:

(3)

式中,s為固定尺度因子;m為正整數(shù).

圖4所示為Arcface Loss原理示意圖. 首先,對(duì)目標(biāo)特征向量Xi和權(quán)重Wyi進(jìn)行歸一化操作,并使用反余弦函數(shù)來(lái)計(jì)算目標(biāo)特征向量和權(quán)重之間的夾角θyi,將附加的角余量m添加到目標(biāo)角度上. 然后,使用余弦函數(shù)再次獲得余弦距離,并乘上固定尺度因子s,將以上結(jié)果輸入到Softmax層中,以完成目標(biāo)識(shí)別工作.

由于A-Softmax Loss計(jì)算特征相似度時(shí)采用余弦距離,而Arcface Loss計(jì)算特征相似度時(shí)采用角度距離,計(jì)算更加方便. A-Softmax Loss讓對(duì)應(yīng)類別的W和X的夾角增加到原來(lái)的m倍,而Arcface Loss只在原來(lái)夾角的基礎(chǔ)上增加一個(gè)角余量m,不需要借助退火方法,網(wǎng)絡(luò)的訓(xùn)練難度降低.

改進(jìn)后的Mask R-CNN網(wǎng)絡(luò)的損失函數(shù)表達(dá)式為:

L=Lcls+Lbox+Lmask+Lscore.

(4)

其中,

(5)

式中,Lcls為目標(biāo)檢測(cè)網(wǎng)絡(luò)中類別分類的損失值;N為區(qū)域候選網(wǎng)絡(luò)獲得的候選框個(gè)數(shù);cos(θyi)為對(duì)應(yīng)的每個(gè)候選框分類正確的概率.

(6)

式中,Lbox為車輛檢測(cè)框回歸的損失值;ti為檢測(cè)框的4個(gè)坐標(biāo)數(shù)據(jù)組成的向量;ti*為標(biāo)準(zhǔn)框的4個(gè)坐標(biāo)數(shù)據(jù)組成的向量.

Lmask=-∑ipilog(yi)+(1-pi)log(1-yi),

(7)

式中,Lmask為掩碼分支網(wǎng)絡(luò)的損失值;i為每個(gè)ROI的索引數(shù);pi為ROI二分類的概率值;yi為第i個(gè)輸出.Lmask僅在ROI的正樣本上定義.

(8)

式中,Lscore為基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支的損失值;m為目標(biāo)掩碼的總數(shù);y為掩碼分支網(wǎng)絡(luò)輸出目標(biāo)掩碼的類別分?jǐn)?shù);y*為基于預(yù)測(cè)mask分?jǐn)?shù)的掩碼分支對(duì)相應(yīng)的目標(biāo)掩碼預(yù)測(cè)的IoU.

2 實(shí)驗(yàn)與分析

2.1 車輛標(biāo)記及訓(xùn)練參數(shù)設(shè)置

為了更好地檢測(cè)出交通監(jiān)控視頻圖像中的目標(biāo)車輛,實(shí)驗(yàn)首先使用構(gòu)建的數(shù)據(jù)集對(duì)改進(jìn)后的Mask R-CNN網(wǎng)絡(luò)進(jìn)行多次迭代訓(xùn)練,再將迭代訓(xùn)練后的網(wǎng)絡(luò)模型應(yīng)用到實(shí)際的交通監(jiān)控視頻圖像中,以檢測(cè)出目標(biāo)車輛. 實(shí)驗(yàn)從構(gòu)建的數(shù)據(jù)集中選取了50 000張目標(biāo)車輛圖片,使用Labelme軟件對(duì)50 000張車輛圖片進(jìn)行人工標(biāo)注,標(biāo)注出每輛車的類別、邊界框及標(biāo)簽值掩碼. 標(biāo)注的數(shù)據(jù)集一共有3類,分別為car、bus、truck. 圖5所示為人工標(biāo)注結(jié)果示意圖. 實(shí)驗(yàn)按4∶1比例劃分訓(xùn)練集和測(cè)試集,其中40 000張為訓(xùn)練圖像,10 000張為測(cè)試圖像.

實(shí)驗(yàn)中網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)置如表1所示.

表1 改進(jìn)的Mask R-CNN網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置Table 1 The training parameter setting of improved Mask R-CNN network

2.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在構(gòu)建的數(shù)據(jù)集上對(duì)Mask R-CNN模型和改進(jìn)后的Mask R-CNN模型分別進(jìn)行訓(xùn)練,每次輸入16張圖片,訓(xùn)練50輪,共迭代36 000次,在迭代20 000次時(shí)學(xué)習(xí)率設(shè)置為0.000 1. 改進(jìn)后的Mask R-CNN網(wǎng)絡(luò)模型的損失函數(shù)曲線如圖6所示.

圖6顯示,在訓(xùn)練和測(cè)試階段前期,損失值下降速率較快,后期曲線趨向平穩(wěn),改進(jìn)后的Mask R-CNN網(wǎng)絡(luò)模型收斂. 將待檢測(cè)的交通視頻圖像轉(zhuǎn)換成800×800尺寸大小,分別輸入到迭代訓(xùn)練好的Mask R-CNN和改進(jìn)后的Mask R-CNN中,輸出所有目標(biāo)車輛的邊界框位置、掩碼及最終的掩碼質(zhì)量分?jǐn)?shù).

圖7和圖8分別為交通監(jiān)控場(chǎng)景1、2的實(shí)驗(yàn)結(jié)果圖,其中(a)為Mask R-CNN的處理結(jié)果,(b)為改進(jìn)后的Mask R-CNN的處理結(jié)果. 在圖7的交通監(jiān)控場(chǎng)景1中,車輛數(shù)量較少且互相無(wú)遮擋,兩種算法均能檢測(cè)和分割出所有的運(yùn)動(dòng)車輛,最終的掩碼質(zhì)量分?jǐn)?shù)相差不大,均能反映出真實(shí)的掩碼質(zhì)量. 在圖8的交通監(jiān)控場(chǎng)景2中,車輛數(shù)量較多且互相之間遮擋嚴(yán)重,Mask R-CNN不僅漏檢車輛,且部分車輛因相互遮擋導(dǎo)致掩碼分割效果不理想,但最終的掩碼質(zhì)量分?jǐn)?shù)卻很高,即掩碼質(zhì)量分?jǐn)?shù)與實(shí)際的掩碼質(zhì)量不一致;改進(jìn)后的Mask R-CNN不僅能檢測(cè)出所有的目標(biāo)車輛,且最終的掩碼質(zhì)量分?jǐn)?shù)能真實(shí)地反映真實(shí)的掩碼質(zhì)量.

表2 4種模型在構(gòu)建數(shù)據(jù)集上的測(cè)試結(jié)果Table 2 Test results of four models on constructed datasets

可通過(guò)計(jì)算準(zhǔn)確率和召回率來(lái)評(píng)價(jià)網(wǎng)絡(luò)模型的檢測(cè)性能:

(9)

(10)

式中,TP為正確劃分為正樣本的個(gè)數(shù);FP為錯(cuò)誤劃分為正樣本的個(gè)數(shù);FN為錯(cuò)誤劃分為負(fù)樣本的個(gè)數(shù).

P-R曲線即以召回率和準(zhǔn)確率作為橫、縱坐標(biāo)的曲線,P-R曲線所圍面積即為類別精度(average precision,AP),mAP就是所有類的 AP平均值,AP和mAP可用于評(píng)判目標(biāo)檢測(cè)性能. FPS為每一秒模型檢測(cè)的圖片張數(shù),可用于評(píng)價(jià)網(wǎng)絡(luò)模型的檢測(cè)速度.

本實(shí)驗(yàn)與Faster R-CNN、YOLO v3及Mask R-CNN模型在測(cè)試集上的FPS、mAP測(cè)試結(jié)果對(duì)比如表2所示. 結(jié)果表明,改進(jìn)的Mask R-CNN模型在滿足速度的同時(shí),準(zhǔn)確率要高于其余3種模型.

3 結(jié)論

針對(duì)交通監(jiān)控視頻中車輛檢測(cè)的目標(biāo)車輛存在遮擋,導(dǎo)致目標(biāo)車輛存在漏檢或誤檢的問(wèn)題,提出了一種基于改進(jìn)的Mask R-CNN的交通監(jiān)控視頻車輛檢測(cè)算法. 實(shí)驗(yàn)結(jié)果表明,相比較于Faster R-CNN、YoLo v3和Mask R-CNN網(wǎng)絡(luò)模型,本文所提出的改進(jìn)模型可以更好地提高目標(biāo)車輛的檢測(cè)精度,即使存在車輛目標(biāo)互相遮擋的情況,依然能精準(zhǔn)獲得車輛目標(biāo)的類別、位置及掩碼,為交通監(jiān)控視頻中的車輛檢測(cè)提供了有效的途徑.