基于改進(jìn)R-FCN的車輛目標(biāo)檢測(cè)方法

胡 輝，曾 琛

(華東交通大學(xué) 信息工程學(xué)院，江西 南昌 330013)

0 引 言

近年來，在目標(biāo)檢測(cè)方面運(yùn)用神經(jīng)網(wǎng)絡(luò)[1]變得十分流行。文獻(xiàn)[2-4]分別介紹了Fast RCNN、Faster RCNN、R-FCN目標(biāo)檢測(cè)框架。它們均是二階段目標(biāo)檢測(cè)[5]框架，先提取候選框，然后進(jìn)行分類。而一階段目標(biāo)檢測(cè)網(wǎng)絡(luò)有SSD[6](single shot multibox detector)和YOLO[7](you only look once)，它們將候選區(qū)域和區(qū)域分類結(jié)合起來一同輸出。YOLO檢測(cè)算法對(duì)于相距較近的物體檢測(cè)結(jié)果不佳。SSD沿用了YOLO中回歸邊框定位，但是網(wǎng)絡(luò)中default box的大小和形狀不能直接通過學(xué)習(xí)獲得，需要一定的調(diào)參經(jīng)驗(yàn)。

R-FCN作為目前目標(biāo)檢測(cè)領(lǐng)域一種先進(jìn)的檢測(cè)方式，在檢測(cè)精確度和檢測(cè)時(shí)間方面都有著不錯(cuò)的表現(xiàn)。但是，在檢測(cè)小目標(biāo)以及遮擋等復(fù)雜情況下的目標(biāo)時(shí)仍然存在著問題。因此，本文以R-FCN為基礎(chǔ)，結(jié)合多尺度訓(xùn)練、可變形網(wǎng)絡(luò)[8]、軟化非極大值抑制[9](soft-nms)的方法，并對(duì)參數(shù)進(jìn)行合理調(diào)整，將其轉(zhuǎn)化為車輛二分類的問題，降低了環(huán)境因素的影響，提高了檢測(cè)的精確度。

1 車輛檢測(cè)系統(tǒng)框架

基于R-FCN的車輛檢測(cè)框架如圖1所示。輸入圖片后，基礎(chǔ)網(wǎng)絡(luò)中的卷積層對(duì)圖片的特征提取后送入?yún)^(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)進(jìn)行訓(xùn)練，并生成候選區(qū)域，每張圖片生成300個(gè)候選區(qū)域，通過卷積生成的位置敏感得分圖對(duì)候選區(qū)域加入位置信息，然后完成池化和分類。

圖1 R-FCN檢測(cè)框架

1.1 R-FCN算法

R-FCN算法采用RPN提取候選框，把ROI分成k×k的大小，假設(shè)數(shù)據(jù)有C類，加上背景一共(C+1)類，則通過卷積結(jié)構(gòu)生成有k2(C+1)通道的位置敏感得分圖，通過一個(gè)位置敏感的ROI Pooling產(chǎn)生(C+1)維的置信度，然后使用softmax進(jìn)行分類。

1.1.1 區(qū)域建議網(wǎng)絡(luò)

RPN的輸入為圖像特征圖，輸出為矩形候選框。RPN對(duì)特征圖采用滑動(dòng)窗口的方式，用3×3的卷積核對(duì)它進(jìn)行卷積，生成一個(gè)全連接特征之后產(chǎn)生兩個(gè)分支的全連接層，一個(gè)用來判斷滑動(dòng)窗口區(qū)域內(nèi)的特征是圖像的前景還是背景，另一個(gè)用來預(yù)測(cè)該區(qū)域的回歸坐標(biāo)值。在每個(gè)滑動(dòng)框中心都有一個(gè)錨點(diǎn)，對(duì)應(yīng)于輸入圖像的尺度預(yù)測(cè)(例如8、16、32)和寬高比(例如0.5、1、2)。這樣每個(gè)錨點(diǎn)可以產(chǎn)生9個(gè)錨框，RPN結(jié)構(gòu)如圖2所示。

圖2 RPN結(jié)構(gòu)

1.1.2 位置敏感得分圖

(1)

其中，rc對(duì)應(yīng)為第c類第 (i,j) 個(gè)塊的池化，zi,j,c是得分圖的輸出， (x0,y0) 是ROI左上角坐標(biāo)，n為塊中的像素?cái)?shù)，Θ代表從網(wǎng)絡(luò)中學(xué)習(xí)到的參數(shù)。

圖3 位置敏感得分圖

1.2 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)[10](ResNet)是由何凱明等提出，從深度學(xué)習(xí)的發(fā)展經(jīng)驗(yàn)來看，網(wǎng)絡(luò)越深分類的效果越好。然而，在實(shí)際中如果只是簡(jiǎn)單的增加網(wǎng)絡(luò)的深度，會(huì)出現(xiàn)梯度消失或者梯度爆炸的現(xiàn)象，這樣的結(jié)果就是網(wǎng)絡(luò)深度加深的同時(shí)網(wǎng)絡(luò)的誤差也越大了。出現(xiàn)這種現(xiàn)象的原因是深層網(wǎng)絡(luò)并不好訓(xùn)練，求解器很難利用多層網(wǎng)絡(luò)擬合同等函數(shù)，導(dǎo)致最終的檢測(cè)模型效果不佳。

ResNet能夠用來解決梯度的問題，何凱明等提出的殘差結(jié)構(gòu)如圖4所示。

圖4 殘差結(jié)構(gòu)

對(duì)于原始需要學(xué)習(xí)的函數(shù)H(x)， 如果直接去擬合一個(gè)潛在的恒等映射函數(shù)H(x)=x會(huì)比較困難，但是將網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x)+x， 那么我們就轉(zhuǎn)化為學(xué)習(xí)一個(gè)殘差函數(shù)F(x)=H(x)-x， 網(wǎng)絡(luò)對(duì)殘差的擬合更容易，只要F(x)=0， 就構(gòu)成了一個(gè)恒等映射H(x)=x。 此外，利用快捷連接(short-cut connection)將輸入x傳到輸出，使某一層的輸出可以跨過幾層作為后面某層的輸入，在不增加網(wǎng)絡(luò)參數(shù)和計(jì)算復(fù)雜度的情況下提高訓(xùn)練的效果。

1.3 R-FCN算法的改進(jìn)

本文提出的方法運(yùn)用在車輛檢測(cè)上，采用的ResNet作為基礎(chǔ)網(wǎng)絡(luò)，為了提高檢測(cè)的精確度而且能在不同場(chǎng)景下均得到良好的效果，采用了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法。

1.3.1 多尺度訓(xùn)練

為了使在同一張圖片中尺寸相差較大的目標(biāo)均有較好的檢測(cè)效果，采用了多尺度訓(xùn)練的方式，相比于原來的單一尺度方式，訓(xùn)練時(shí)目標(biāo)大小分布更均勻，對(duì)小目標(biāo)的檢測(cè)效果更好。本文采用了(600,800,1000)3種圖片尺度，在訓(xùn)練的時(shí)候會(huì)隨機(jī)選取其中的一種尺度進(jìn)行訓(xùn)練，因此能學(xué)習(xí)到各種尺寸目標(biāo)的特征。

1.3.2 可變形位置敏感ROI池化

可變形網(wǎng)絡(luò)用來提高CNN的模型變換能力，傳統(tǒng)的CNN在卷積的時(shí)候在特征圖固定的位置采樣，ROI池化也是把感興趣區(qū)域分成固定的空間塊，它們都采用固定的結(jié)構(gòu)，難以適應(yīng)物體的幾何形變。可變形網(wǎng)絡(luò)在原有采樣基礎(chǔ)上加入了偏置，改變了卷積在固定位置采樣的情況。

可變形位置敏感ROI池化在原來的位置敏感ROI池化的基礎(chǔ)上加了一個(gè)偏置，這個(gè)偏置實(shí)質(zhì)上是一個(gè)卷積層，而偏移量可以通過學(xué)習(xí)得到，這樣可以提高對(duì)不同形狀的物體的自適應(yīng)定位。位置敏感ROI池化操作可以表示為

(2)

其中，xi,j代表第 (i,j) 個(gè)位置敏感特征圖，p0表示ROI左上角的坐標(biāo)， Δpij表示每塊的偏移量，nij為每塊區(qū)域的像素值。由于偏置的存在，而且通常不是整數(shù)，需要用到雙線性插值的方法來確定采樣點(diǎn)的值。實(shí)驗(yàn)結(jié)果表明,用可變形位置敏感ROI池化的方法可以加強(qiáng)網(wǎng)絡(luò)的適應(yīng)能力，提高準(zhǔn)確度。

1.3.3 軟化非極大值抑制

在目標(biāo)檢測(cè)中產(chǎn)生了檢測(cè)框后，用傳統(tǒng)的NMS的方式能夠消除重復(fù)的邊界框。通常做法是按照得分將檢測(cè)框進(jìn)行排序，得分最高的框?qū)⒈贿x中，其它與之重疊程度超過閾值的框?qū)?huì)被移除。但這種將超過閾值的檢測(cè)框一律歸零的做法容易讓距離較近并且存在遮擋情況下的物體不被檢測(cè)出來。

軟化非極大值抑制的表示方法如式(3)所示

(3)

其中，Nt為閾值，M為當(dāng)前得分最高的框，bi為待處理框。soft-nms不會(huì)直接移除與當(dāng)前得分最高的框超過閾值的檢測(cè)框，而是降低檢測(cè)框的得分，當(dāng)檢測(cè)框的重疊度越大的時(shí)候，它的得分也會(huì)衰減的越多，如果只有小部分的重疊，那么對(duì)原有的檢測(cè)得分不會(huì)有太大的影響。實(shí)驗(yàn)結(jié)果表明，運(yùn)用soft-nms能夠減少漏檢的物體，提高了檢測(cè)的準(zhǔn)確度。

1.4 網(wǎng)絡(luò)訓(xùn)練與測(cè)試過程

網(wǎng)絡(luò)的訓(xùn)練之前需要先準(zhǔn)備好Udacity數(shù)據(jù)集，對(duì)數(shù)據(jù)進(jìn)行基本的處理，刪除掉不存在車輛目標(biāo)的圖片，將其標(biāo)簽轉(zhuǎn)化為XML格式，最后數(shù)據(jù)集的格式與VOC2007格式相同。用ResNet作為基礎(chǔ)網(wǎng)絡(luò)提取到車輛的特征，通過神經(jīng)網(wǎng)絡(luò)的正向傳播得到車輛目標(biāo)的置信度，用損失函數(shù)判斷識(shí)別的程度，之后反向傳播確定梯度向量，通過梯度向量來調(diào)整網(wǎng)絡(luò)的參數(shù)，使損失值逐漸的降低，不斷的重復(fù)上述的訓(xùn)練過程會(huì)讓網(wǎng)絡(luò)檢測(cè)的效果越來越好，在訓(xùn)練過程中加入了多尺度和可變形位置敏感ROI池化的方法。

在測(cè)試的過程中，網(wǎng)絡(luò)對(duì)整個(gè)輸入圖像進(jìn)行卷積得到特征圖像，通過RPN網(wǎng)絡(luò)生成的候選區(qū)域后，用軟化非極大值抑制的方法篩選候選框，得到候選區(qū)域?qū)?yīng)在特征圖上的高維特征向量，然后在檢測(cè)網(wǎng)絡(luò)中計(jì)算得分，最后輸出檢測(cè)的結(jié)果。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集

本文訓(xùn)練和測(cè)試采用的是開源的Udacity數(shù)據(jù)集，該數(shù)據(jù)集包含市區(qū)、郊區(qū)等場(chǎng)景采集的真實(shí)圖片，車輛存在著光照的不同和遮擋的情況。實(shí)驗(yàn)前需要將數(shù)據(jù)集的格式類型轉(zhuǎn)換為VOC2007的格式類型，實(shí)驗(yàn)過程中隨機(jī)選取了8211張圖片進(jìn)行訓(xùn)練，1000張圖片測(cè)試。

2.2 實(shí)驗(yàn)設(shè)置

本文基于R-FCN的算法采用的是ResNet作為基礎(chǔ)網(wǎng)絡(luò)，將ResNet去除平均池化層和全連接層，只保留卷積層來提取特征。把在ImageNet數(shù)據(jù)集上訓(xùn)練的ResNet作為預(yù)訓(xùn)練模型，在訓(xùn)練的過程中，初始的學(xué)習(xí)速率為0.001，學(xué)習(xí)動(dòng)量為0.9。模型的訓(xùn)練和測(cè)試是基于Caffe框架。本次實(shí)驗(yàn)中硬件配置包含：Inter Core i5-3470，24 G內(nèi)存，GTX 1070Ti顯卡。

2.3 實(shí)驗(yàn)結(jié)果及分析

本文算法與R-FCN算法的召回率-準(zhǔn)確率曲線(PR曲線)如圖5所示，其中召回率(recall)與準(zhǔn)確率(precision)的計(jì)算公式如式(4)、式(5)所示

recall=TP/(TP+FN)

(4)

precision=TP/(TP+FP)

(5)

其中，TP表示模型預(yù)測(cè)的正檢總數(shù)，F(xiàn)N表示模型漏檢的總數(shù)，F(xiàn)P表示模型誤檢的總數(shù)。

圖5 本文算法與R-FCN算法PR曲線

從PR曲線圖中可以看出，在召回率大于0.8之后，隨著召回率的增加本文算法準(zhǔn)確率相比R-FCN算法下降的更緩慢，在檢測(cè)上表現(xiàn)更為優(yōu)異。

在置信度為0.5的情況下，本文算法與R-FCN算法的召回率、準(zhǔn)確率以及F1值見表1。

表1 本文算法與R-FCN算法對(duì)比/%

其中F1的計(jì)算公式如式(6)所示

(6)

在此情況下，本文算法的召回率比R-FCN算法高1.6%，準(zhǔn)確率比R-FCN算法高1.2%。

為了進(jìn)一步比較常用算法如SSD、Faster RCNN、Yolo、R-FCN和本文算法檢測(cè)的效果，采用平均準(zhǔn)確度(ave-rage precision，AP)對(duì)檢測(cè)結(jié)果進(jìn)行評(píng)估，其取值范圍在[0,1]，結(jié)果見表2。

表2 用不同方式處理效果對(duì)比

從表2中的數(shù)據(jù)可以看出在保證了檢測(cè)時(shí)間的情況下應(yīng)用了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法比R-FCN算法檢測(cè)的平均準(zhǔn)確度提高了4.3%。

此外，本文算法的平均準(zhǔn)確度分別優(yōu)于Yolo、Faster RCNN、SSD這3種算法6.5%，8.4%，17.4%。在檢測(cè)時(shí)間上，Yolo和SSD把檢測(cè)和分類在一個(gè)階段中完成，相比于Faster RCNN和R-FCN算法有一定的優(yōu)勢(shì)。本文算法在檢測(cè)時(shí)間上稍快于Faster RCNN，較SSD、Yolo、R-FCN 慢，但在檢測(cè)的準(zhǔn)確度上比其它方法都高，綜合考慮本文提出的方法是較為有效的車輛檢測(cè)方法。

為了進(jìn)一步研究使用多尺度訓(xùn)練、可變形位置敏感ROI池化和軟化非極大值抑制的有效性以及它們分別對(duì)平均準(zhǔn)確度的影響，采用了不同的方法對(duì)網(wǎng)絡(luò)訓(xùn)練和測(cè)試，采用的方法和檢測(cè)的效果見表3。

從表3中可以看出使用了多尺度訓(xùn)練使得對(duì)不同尺寸的目標(biāo)均能達(dá)到較好的檢測(cè)效果，平均準(zhǔn)確度提高了2.4%?？勺冃挝恢妹舾蠷OI池化增強(qiáng)了網(wǎng)絡(luò)對(duì)物體形變的適應(yīng)能力，平均準(zhǔn)確度提高了0.5%。soft-nms對(duì)遮擋的物體有較好的檢測(cè)效果，平均準(zhǔn)確度提高了1.5%。實(shí)驗(yàn)結(jié)果表明上述3種方法對(duì)模型的平均準(zhǔn)確度均有提升。

表3 用不同方法訓(xùn)練后的檢測(cè)效果

本文還對(duì)比了在ResNet-50和ResNet-101上分別迭代不同次數(shù)得到的平均準(zhǔn)確度，結(jié)果見表4。

表4 在不同基礎(chǔ)網(wǎng)絡(luò)下的AP值對(duì)比/%

可以看到在網(wǎng)絡(luò)加深的情況下，準(zhǔn)確度有略微的下降，這是由于越深的網(wǎng)絡(luò)，最后一層的特征圖感受野越大，對(duì)小目標(biāo)物體的定位不太準(zhǔn)確。

在不同的場(chǎng)景下測(cè)試的結(jié)果如圖6所示，實(shí)驗(yàn)結(jié)果顯示本文算法在不同的實(shí)際場(chǎng)景中對(duì)車輛的檢測(cè)都能達(dá)到較好的效果。

圖6 不同場(chǎng)景下車輛檢測(cè)效果

3 結(jié)束語

本文在R-FCN算法的基礎(chǔ)上結(jié)合了多尺度訓(xùn)練、可變形位置敏感ROI池化、軟化非極大值抑制的方法對(duì)車輛圖片進(jìn)行訓(xùn)練和測(cè)試，將車輛檢測(cè)問題轉(zhuǎn)化為二分類問題，實(shí)驗(yàn)結(jié)果表明，使用本文方法能良好的提取到車輛的特征，對(duì)不同環(huán)境下的車輛均能達(dá)到較好的檢測(cè)效果，提高了檢測(cè)的準(zhǔn)確度和網(wǎng)絡(luò)的魯棒性。但對(duì)于小目標(biāo)的檢測(cè)以及提高模型的泛化能力，還需要進(jìn)行進(jìn)一步的研究。