基于改進(jìn)Faster RCNN的小尺度鐵路侵限算法

余志強(qiáng)，張 明

(石家莊鐵道大學(xué) 電氣與電子工程學(xué)院，河北 石家莊 050000)

0 引 言

由行人、動(dòng)物、車輛等異物侵入鐵道沿線極大的威脅了列車的安全運(yùn)行，因此為避免異物侵限所造成的安全隱患，利用機(jī)器視覺[1]的異物檢測(cè)方法有著安裝維護(hù)便捷等優(yōu)點(diǎn)，但是往往受外界的干擾較大，導(dǎo)致檢測(cè)結(jié)果出現(xiàn)偏差。

目前在異物目標(biāo)檢測(cè)方面的研究大多是采用特征提取結(jié)合機(jī)器學(xué)習(xí)的方法。覃劍等[2]采用在線高斯模型對(duì)目標(biāo)候選框快速生成。陳麗楓等[3]采用HOG特征和機(jī)器學(xué)習(xí)對(duì)行人進(jìn)行檢測(cè)。

上述研究都是基于人工手動(dòng)提取特征來實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)，而且特征的適應(yīng)性較差，在調(diào)節(jié)過程的時(shí)候費(fèi)時(shí)費(fèi)力、泛化性較差。

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，以及其自動(dòng)提取特征來進(jìn)行訓(xùn)練學(xué)習(xí)，其高度的智能化成為目標(biāo)檢測(cè)最優(yōu)的選擇。鄒逸群等[4]提出一種基于anchor-free損失函數(shù)的行人檢測(cè)算法，解決行人平移問題和緩解行人尺度變化問題。李佐龍等[5]提出利用多尺度特征融合來提高對(duì)行人檢測(cè)的精確度。付云霞[6]提出基于YOLO算法的行人檢測(cè)。徐喆等[7]提出基于候選區(qū)域和并行卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)。邵麗萍等[8]提出利用Faster RCNN對(duì)行人及車輛進(jìn)行檢測(cè)。

然而，對(duì)于傳統(tǒng)的Faster RCNN網(wǎng)絡(luò)模型存在對(duì)于小物體目標(biāo)漏檢等問題，因此本文提出了一種改進(jìn)的Faster RCNN鐵路異物檢測(cè)方法來提高小尺度識(shí)別的精確度。由于傳統(tǒng)算法設(shè)置的錨點(diǎn)框尺寸以及數(shù)量比例較少，不能很好覆蓋圖像的缺陷信息。因此本文通過調(diào)整錨點(diǎn)框數(shù)量來提高對(duì)于小尺度目標(biāo)檢測(cè)的精確度，同時(shí)根據(jù)FPN[9]的思想，使主干提取網(wǎng)絡(luò)的深淺層特征相融合；并對(duì)NMS算法進(jìn)行改進(jìn)，提出一種基于衰減得分的NMS算法，在訓(xùn)練中使用在線難例挖掘方案對(duì)模型進(jìn)行訓(xùn)練；引入遷移學(xué)習(xí)[10]的思想，降低了在訓(xùn)練網(wǎng)絡(luò)時(shí)所需的大量數(shù)據(jù)信息的需求。

1 Faster RCNN算法

1.1 Faster RCNN原理

原始圖像首先經(jīng)過Reshape得到主干特征提取網(wǎng)絡(luò)所需要的輸入尺寸，然后進(jìn)入主干特征提取網(wǎng)絡(luò)(Backbone)進(jìn)行特征提取，本文選取的Backbone為VGG16模型。結(jié)構(gòu)如圖1所示。

圖1 VGG16結(jié)構(gòu)

隨后由主干網(wǎng)絡(luò)提取的特征圖作為共享特征圖分別送到RPN層和RoI Pooling層[11]，其中一部分共享特征圖經(jīng)過RPN層得到多個(gè)建議框，之后將建議框映射到另一部分的特征圖上共同輸入RoI Pooling層進(jìn)行Max Pooling操作，由于輸出為全連接層，因此經(jīng)過Max Pooling的輸出為固定大小的尺寸。最后進(jìn)行分類、回歸，然后根據(jù)非極大值抑制(NMS)算法篩選Bounding box，找到最優(yōu)的目標(biāo)位置以及對(duì)應(yīng)的分類概率。Faster RCNN原理流程如圖2所示。

圖2 Faster RCNN流程

1.2 RPN網(wǎng)絡(luò)結(jié)構(gòu)

RPN是一個(gè)基于全卷積的網(wǎng)絡(luò)，可以通過卷積操作同時(shí)預(yù)測(cè)輸入特征圖的每個(gè)位置目標(biāo)候選區(qū)域框的坐標(biāo)信息以及目標(biāo)得分。RPN的結(jié)構(gòu)如圖3所示。

圖3 區(qū)域建議網(wǎng)絡(luò)RPN結(jié)構(gòu)

首先在主干網(wǎng)絡(luò)提取的特征圖上的每一個(gè)錨點(diǎn)(anchor point)，生成具有不同尺度和寬高比的k個(gè)錨點(diǎn)框。然后采用滑動(dòng)窗口機(jī)制，對(duì)每個(gè)位置的錨點(diǎn)都產(chǎn)生一個(gè)對(duì)應(yīng)短的向量來輸入到全連接層中進(jìn)行位置和種類的判斷。其中一個(gè)網(wǎng)絡(luò)rpn_bbox_pred用來輸出4個(gè)位置坐標(biāo)，為(x,y,w,h), 其中(x,y)為建議框中心位置坐標(biāo)，w,h分別為建議框的寬和高。

另一個(gè)網(wǎng)絡(luò)rpn_cls_score用來做分類，判斷該錨點(diǎn)框中的特征圖是屬于前景(foreground)還是背景(background)。對(duì)于每個(gè)錨點(diǎn)處有產(chǎn)生k個(gè)錨點(diǎn)框，因此，rpn_bbox_pred層產(chǎn)生4k個(gè)參數(shù)用來編碼k個(gè)框的4個(gè)坐標(biāo)。rpn_cls_score則產(chǎn)生2k個(gè)參數(shù)，用來預(yù)測(cè)每個(gè)特征區(qū)域所對(duì)應(yīng)的目標(biāo)是前景的概率還是所屬背景的概率。

1.3 NMS算法

基于RPN網(wǎng)絡(luò)得出每個(gè)默認(rèn)框的得分(score)，RPN網(wǎng)絡(luò)會(huì)將所有得分超過閾值的錨點(diǎn)框全部保留，因此對(duì)于一個(gè)目標(biāo)物體可能存在多個(gè)選擇框，若要去掉多余的選擇框則需要采用非極大值抑制算法(non-maximum suppression，NMS)。

對(duì)于檢測(cè)出某一個(gè)物體的所有錨點(diǎn)框(bounding box)記為列表B，對(duì)應(yīng)的置信度記為Si。首先選擇檢測(cè)框M的重疊區(qū)域面積比例(IOU)大于閾值Nt的檢測(cè)框，將其從列表B中移除并加入到最終的檢測(cè)結(jié)果D中。重復(fù)該過程，直到B為空集為止。其中閾值Nt一般選取0.3～0.5。具體如式(1)所示

(1)

2 基于改進(jìn)的Faster RCNN鐵路異物侵限算法

2.1 軌道區(qū)域劃定算法

由于在拍攝時(shí)，圖像所呈現(xiàn)的距離很遠(yuǎn)，范圍很廣。因此對(duì)于一些并不會(huì)對(duì)列車產(chǎn)生威脅的物體也被檢測(cè)進(jìn)取，會(huì)使得網(wǎng)絡(luò)存在誤檢的情況，而且還會(huì)浪費(fèi)檢測(cè)時(shí)間，影響運(yùn)算速率。

因此本文考慮在圖像輸入神經(jīng)網(wǎng)絡(luò)時(shí)先對(duì)待測(cè)圖像進(jìn)行預(yù)處理，根據(jù)軌道區(qū)域進(jìn)行區(qū)域分割。這樣就達(dá)到了只對(duì)潛在危險(xiǎn)區(qū)域進(jìn)行檢測(cè)，間接的提高了整體網(wǎng)絡(luò)的運(yùn)算速度。

對(duì)于危險(xiǎn)區(qū)域的劃分本文根據(jù)鐵軌的位置作為參考物，向左右延伸作為確定入侵的檢測(cè)區(qū)域。軌道區(qū)域劃分算法流程如圖4所示。

圖4 軌道區(qū)域劃分算法流程

在劃定侵限區(qū)域最關(guān)鍵的就是找到鐵軌沿線。因?yàn)殍F軌檢測(cè)的實(shí)質(zhì)其實(shí)就是直線檢測(cè)。因此本文采用霍夫變換算法(hough transform)來對(duì)軌道進(jìn)行檢測(cè)。

霍夫直線檢測(cè)算法具有空間變換對(duì)偶性，因此每一個(gè)點(diǎn)都可以對(duì)應(yīng)某一條直線。相當(dāng)于在霍夫直線變換時(shí)，原像素空間設(shè)為x、y坐標(biāo)系。因此對(duì)于任意像素(x0,y0)都可以用表達(dá)式y(tǒng)=kx+b來表示。那么對(duì)應(yīng)的參數(shù)空間k、b坐標(biāo)系中用一條對(duì)應(yīng)直線來代表原像素空間中的直線，即：b=-kx0+y0?？臻g變換如圖5所示。

圖5 從(x,y)空間轉(zhuǎn)換為(k,b)空間

霍夫直線檢測(cè)的檢測(cè)過程如圖5所示，對(duì)每個(gè)像素點(diǎn)均求過該點(diǎn)的N條直線的坐標(biāo)參數(shù)(r,theta)，采用投票的方式選出擁有最多相同的(r,theta)坐標(biāo)。當(dāng)坐標(biāo)數(shù)量超過某一閾值時(shí)則確定出一條對(duì)應(yīng)的直線。

若使用霍夫檢測(cè)算法進(jìn)行直線檢測(cè)，則參數(shù)空間不能選擇直角坐標(biāo)系，因?yàn)樵谑褂弥苯亲鴺?biāo)系的時(shí)候，無法表達(dá)對(duì)于斜率為無窮大時(shí)的直線，即垂直直線。在這種情況時(shí)直角坐標(biāo)系對(duì)于直線的表達(dá)就受到了限制。因此采用極坐標(biāo)系。

本文使用OpenCV測(cè)試仿真如圖6所示。

圖6 軌道侵限區(qū)域劃分

由仿真圖可知，若要得到軌道侵限區(qū)域首先需要到鐵軌的位置信息如圖6所示中實(shí)線部分，通常將檢測(cè)出的軌道位置向左右延伸一定距離得到易侵限區(qū)域。如圖6中虛線線段表示區(qū)域所示，最后將該區(qū)域的圖像進(jìn)行裁剪，作為最終輸入神經(jīng)網(wǎng)絡(luò)的輸入圖像。

2.2 深淺層特征融合算法

對(duì)于深層的特征圖，往往會(huì)有更小的像素值，表達(dá)著更強(qiáng)的語義，若想與淺層的特征值相融合則需要將低層特征和高層特征通過橫向連接和top-down網(wǎng)絡(luò)進(jìn)行融合，這樣操作充分利用了卷積層計(jì)算出來的特征信息。橫向連接就是利用1x1的卷積核進(jìn)行卷積操作，該操作只會(huì)改變特征圖的維度不會(huì)改變特征圖像的尺寸大小。

自頂向下網(wǎng)絡(luò)(top-down)就是一個(gè)上采樣的過程，采用雙線性插值算法來對(duì)其像素進(jìn)行擴(kuò)充。

將上采樣的結(jié)果與尺寸相匹配的深層特征相融合，融合之后采用尺寸為3x3的卷積核對(duì)融合后的feature map進(jìn)行卷積計(jì)算，該操作可以消除上采樣造成的混疊效應(yīng)(aliasing effect)。結(jié)構(gòu)如圖7所示。

圖7 特征融合結(jié)構(gòu)

2.3 調(diào)整錨點(diǎn)數(shù)量

在區(qū)域建議網(wǎng)絡(luò)RPN中有兩個(gè)層，一個(gè)是坐標(biāo)回歸層(rpn_bbox_pred)用于對(duì)邊框進(jìn)行回歸；另一個(gè)是目標(biāo)判斷層(rpn_cls_score)用來對(duì)目標(biāo)物體和背景進(jìn)行分類判別。

2.4 采用遷移學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)

針對(duì)鐵路異物侵限數(shù)據(jù)集搜集困難，資料匱乏的問題，如果在訓(xùn)練過程中直接隨機(jī)化初始權(quán)重，同時(shí)使用收集到的數(shù)據(jù)進(jìn)行訓(xùn)練會(huì)導(dǎo)致權(quán)重更替緩慢，不利于網(wǎng)絡(luò)模型的收斂。因此采用遷移學(xué)習(xí)的思想對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練。

在預(yù)訓(xùn)練時(shí)使用Pascal VOC 2007數(shù)據(jù)集、INRIA Person Dataset數(shù)據(jù)集和KITTI數(shù)據(jù)集中的相似數(shù)據(jù)整合為訓(xùn)練集，對(duì)網(wǎng)絡(luò)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)權(quán)重。通過這種方式就有效的防止了數(shù)據(jù)量過少造成的過擬合的問題，同時(shí)加快了網(wǎng)絡(luò)模型的收斂速度。

2.5 在線難例挖掘(OHEM)

首先通過主干神經(jīng)網(wǎng)絡(luò)提取出feature map，將feature map和所有RoI輸入到RoI網(wǎng)絡(luò)中進(jìn)行前向傳播，根據(jù)損失函數(shù)計(jì)算出損失值，并將其進(jìn)行排序，取損失值(loss)最大的B/N(實(shí)際中一般N取2，B取128)個(gè)樣本進(jìn)行反向傳播，因此在反向傳播是只選擇loss值較大的RoI用于更新模型，所以使得參數(shù)量大幅度減少，運(yùn)算速度增加。在一張圖像中，若每個(gè)RoI之間的交疊區(qū)域越大，那么兩者的loss值也就越相似，由于在經(jīng)過多層卷積之后得到的feature map，其分辨率不高，交疊區(qū)域較大的RoI投射到feature map上可能為同一個(gè)區(qū)域，會(huì)導(dǎo)致loss重復(fù)計(jì)算。為防止該問題的產(chǎn)生，本文采用非極大值抑制(NMS)對(duì)RoI進(jìn)行去重復(fù)，過濾掉交疊區(qū)域較大的RoI。最后再令篩選之后的RoI進(jìn)行反向傳播。經(jīng)實(shí)驗(yàn)驗(yàn)證，非極大值抑制的閾值選取0.7為最佳。

如圖8所示，在Faster RCNN的RoI Pooling層之后設(shè)計(jì)兩個(gè)具有同樣架構(gòu)的RoI網(wǎng)絡(luò)，不同的是將其區(qū)分為只讀層和可讀-寫層。對(duì)于只讀層，只對(duì)所有RoI做前向運(yùn)算，而可讀-寫層既要對(duì)可讀層篩選出的難例RoI做前向運(yùn)算也要進(jìn)行反向傳播。這一個(gè)整體作為一次迭代。

圖8 在線難例挖掘原理

2.6 基于衰減得分的NMS算法

由于NMS的計(jì)算方法是當(dāng)IOU大于閾值時(shí)直接把其置信度設(shè)置為0。如果將兩個(gè)相近的預(yù)測(cè)框之間進(jìn)行非極大值抑制時(shí)就會(huì)出現(xiàn)高得分的預(yù)測(cè)框直接將較低得分的預(yù)測(cè)框抑制的問題，這樣就刪除了原本正確分類的預(yù)測(cè)框。因此本文采用基于衰減得分的非極大值抑制算法，即在NMS的基礎(chǔ)上用一個(gè)與IOU值成反比的函數(shù)來衰減得分，具體如式(2)所示

(2)

這樣就避免了傳統(tǒng)算法直接置為0，這樣以來即便兩個(gè)檢測(cè)框的IOU值較大，得分也不會(huì)直接置為0，避免了漏檢的現(xiàn)象。

2.7 基于改進(jìn)的Faster RCNN鐵路異物侵限算法框架

將原始圖經(jīng)過主干特征提取網(wǎng)絡(luò)(Backbone)輸出共享特征圖。本文的主干提取網(wǎng)絡(luò)采用的改進(jìn)的VGG16網(wǎng)絡(luò)模型。主要改進(jìn)措施是將卷積層的高低特征層進(jìn)行融合，用第二層卷積之后的特征圖Conv2_1，其輸出維度為512x38x38。第7層卷積后的Conv7_2將其經(jīng)過雙線性插值上采樣得到特征維度為512x38x38的特征圖，使兩者相拼接得到Conv_merge，融合后的特征層(Conv_merge)作為輸入?yún)^(qū)域建議網(wǎng)絡(luò)(RPN)和感興趣區(qū)域池化的輸入圖像，最后經(jīng)過分類、回歸輸出檢測(cè)的目標(biāo)圖像。異物侵限算法的模型整體結(jié)構(gòu)如圖9所示。

圖9 基于改進(jìn)Faster RCNN鐵路異物侵限算法框架

3 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)環(huán)境

基于Faster RCNN鐵路異物侵限算法的訓(xùn)練測(cè)試硬件環(huán)境見表1。

表1 網(wǎng)絡(luò)模型訓(xùn)練及測(cè)試環(huán)境

3.2 網(wǎng)絡(luò)訓(xùn)練

3.2.1 數(shù)據(jù)集制作

在進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練時(shí)需要大量的數(shù)據(jù)集，然而針對(duì)鐵路異物侵限的相關(guān)數(shù)據(jù)數(shù)量較少，因此若使用的數(shù)據(jù)量較少就有可能存在在訓(xùn)練網(wǎng)絡(luò)有著較好的訓(xùn)練效果但是在測(cè)試集上泛化性較差的問題。

因此為了避免過擬合現(xiàn)象，文本使用遷移學(xué)習(xí)的方式對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，即使用一些公開的數(shù)據(jù)集中與異物侵限內(nèi)容相近的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，然后再使本文的數(shù)據(jù)集參與到訓(xùn)練之中。

本文使用的公開數(shù)據(jù)集主要包括VOC 2007數(shù)據(jù)集中的人像、車輛、動(dòng)物的內(nèi)容數(shù)據(jù)、INRIA Person Dataset數(shù)據(jù)集、KITTI數(shù)據(jù)集，以及使用labellmg工具安裝VOC2007格式人工標(biāo)注的鐵路異物侵限數(shù)據(jù)集。

3.2.2 損失函數(shù)

Faster RCNN的損失函數(shù)主要是由RPN網(wǎng)絡(luò)的損失函數(shù)和Fast RCNN的損失函數(shù)組成，并且兩部分都包含分類損失(cls_loss)和回歸損失(bbox regression loss)，形式皆如式(3)所示

LFrcnn=LRPN({pi},{ti})+LFcnn({pi},{ti})

(3)

由RPN結(jié)構(gòu)可知，RPN層分為兩個(gè)網(wǎng)絡(luò)，一個(gè)是判斷RPN網(wǎng)格產(chǎn)生的候選框里面的目標(biāo)是前景還是背景；另一部分則是對(duì)該候選框進(jìn)行回歸的回歸任務(wù)。因此對(duì)應(yīng)RPN網(wǎng)絡(luò)的總體損失函數(shù)如式(4)所示

(4)

其中，Lcls為分類的損失函數(shù)，Ncls為mini-batch大小，Lreg為回歸的損失函數(shù)，λ為回歸損失函數(shù)的權(quán)重。

(5)

分類的loss函數(shù)使用的是交叉熵，如式(6)所示

(6)

對(duì)于Fast RCNN的分類損失因?yàn)樗鶛z測(cè)的目標(biāo)大于2，故使用的是多分類交叉熵?fù)p失函數(shù)。而對(duì)于RPN只需分類出背景與前景因此使用的是二分類交叉熵?fù)p失函數(shù)。

(7)

其中，R為smoothL1函數(shù)

(8)

3.2.3 訓(xùn)練步驟

本文由于數(shù)據(jù)集匱乏的限制，因此采用了遷移學(xué)習(xí)的思想，首先基于參數(shù)遷移的思想，在GitHub上下載已經(jīng)訓(xùn)練好的Faster RCNN模型。然后使用預(yù)訓(xùn)練之后的權(quán)重對(duì)RPN網(wǎng)絡(luò)進(jìn)行初始化，并使用均值為0，方差為0.01的高斯分布對(duì)新增的網(wǎng)絡(luò)層進(jìn)行隨機(jī)初始化，最終完成RPN網(wǎng)絡(luò)的初始化設(shè)置，同理根據(jù)參數(shù)遷移將Fast RCNN進(jìn)行初始化。最后基于實(shí)例遷移的思想使用異物侵限數(shù)據(jù)集對(duì)RPN網(wǎng)絡(luò)和Faster RCNN網(wǎng)絡(luò)進(jìn)行參數(shù)權(quán)重的細(xì)微調(diào)整，最后完成對(duì)于整個(gè)網(wǎng)絡(luò)模型的訓(xùn)練。

在RPN網(wǎng)絡(luò)和Fast RCNN網(wǎng)絡(luò)訓(xùn)練時(shí)采用隨機(jī)梯度下降(stochastic gradient descent，SGD),對(duì)網(wǎng)絡(luò)進(jìn)行50次迭代訓(xùn)練，計(jì)算公式如式(9)所示

(9)

其中，α為模型所設(shè)置的學(xué)習(xí)率，m為整體數(shù)據(jù)樣本總量，hθ(x)為參數(shù)的函數(shù)，x(j)為第j組的x，y(j)為第j組的y。

其中每一批訓(xùn)練的數(shù)據(jù)包含60張訓(xùn)練樣本，初始化學(xué)習(xí)率設(shè)置為0.01，在此之外還采取圖像旋轉(zhuǎn)，高度、寬度自由裁剪、增加對(duì)比度等數(shù)據(jù)增強(qiáng)的方式來對(duì)原始的數(shù)據(jù)集進(jìn)行擴(kuò)增，防止過擬合并且加快模型的收斂速度。具體操作見表2。

表2 數(shù)據(jù)集擴(kuò)展方式

對(duì)于網(wǎng)絡(luò)模型的評(píng)價(jià)指標(biāo)，利用AP(average precision)對(duì)檢測(cè)網(wǎng)絡(luò)中的各類目標(biāo)進(jìn)行評(píng)價(jià)。其計(jì)算公式

(10)

其中，Ji為在所有類別中第i類物體的AP值，M為所有數(shù)據(jù)樣本中正樣本(positive)的數(shù)量，P為在不同正樣本數(shù)量下對(duì)不同的召回率(recall)中最大精確率(precision)。

對(duì)于精確率以及召回率的公式如式(11)、式(12)所示

(11)

(12)

mAP則是對(duì)每一個(gè)類別都計(jì)算出AP,然后再計(jì)算AP平均值。

3.2.4 基于改進(jìn)Faster RCNN檢測(cè)效果

本文所提出的鐵路異物侵限算法是基于Faster RCNN網(wǎng)絡(luò)模型，對(duì)其主干特征提取網(wǎng)絡(luò)選用VGG16，并對(duì)其進(jìn)行深淺層特征融合，增加了對(duì)細(xì)小物體特征的學(xué)習(xí)能力。在RPN網(wǎng)絡(luò)中改變了默認(rèn)的錨點(diǎn)框尺寸，使之更好適應(yīng)小物體目標(biāo)的檢測(cè)。

為驗(yàn)證本文模型的效果，從VOCdevkit數(shù)據(jù)集中選取包括行人、動(dòng)物、車輛3種類別的數(shù)據(jù)總共2000張，鐵路異物侵限數(shù)據(jù)集中數(shù)據(jù)1000張?？偣?000張圖像作為訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練。此外總計(jì)1000張異物侵限圖像作為測(cè)試集用來對(duì)模型的性能進(jìn)行檢測(cè)。如圖10(a)、圖10(b)所示，為50次迭代后模型的準(zhǔn)確率和損失率。圖10(c)為5種不同檢測(cè)對(duì)象各自的準(zhǔn)確率。驗(yàn)證了本文算法有著較高的準(zhǔn)確率。

圖10 實(shí)驗(yàn)數(shù)據(jù)分析結(jié)果

3.2.5 不同錨點(diǎn)框尺寸的檢測(cè)效果比較

根據(jù)上述對(duì)于設(shè)置默認(rèn)錨點(diǎn)框尺寸的分析可知不同尺寸的錨點(diǎn)框?qū)τ跈z測(cè)不同大小物體的精確度有所影響?？紤]到文獻(xiàn)[12]對(duì)于原始的Faster RCNN中使用的是人工預(yù)設(shè)定的錨點(diǎn)框尺寸(anchor scales)大小為 {128×128,256×256,512×512}, 但是該尺寸對(duì)于本文研究內(nèi)容來說并不能很好覆蓋數(shù)據(jù)集中較小尺度的目標(biāo)物體。因此本文在原有改進(jìn)的基礎(chǔ)上進(jìn)一步研究對(duì)比了不同尺寸的錨點(diǎn)框在鐵路異物侵限數(shù)據(jù)集上的檢測(cè)效果。文本一共選取3組不同尺寸的錨點(diǎn)框在同樣的主干網(wǎng)絡(luò)—VGG16下測(cè)試對(duì)于車輛、動(dòng)物、行人的準(zhǔn)確率以及整體網(wǎng)絡(luò)的mAP值。其中，錨點(diǎn)框的尺寸分別為Anchor Scales A{128×128,256×256,512×512}，Anchor Scales B{64×64,128×128,256×256}，Anchor Scales C{32×32,64×64,128×128}。實(shí)驗(yàn)結(jié)果見表3。

表3 不同尺寸錨點(diǎn)框的檢測(cè)結(jié)果比較

表3可知，Anchor B的綜合比分更高，因此通過將錨點(diǎn)框尺寸調(diào)整為 {64×64,128×128,256×256} 時(shí),其尺寸分布更適應(yīng)于特征圖感受野同時(shí)能夠更好地覆蓋數(shù)據(jù)集中的大部分目標(biāo)區(qū)域，包括小目標(biāo)區(qū)域。如果繼續(xù)將錨點(diǎn)框的尺寸縮小到Anchor C規(guī)格,雖然與原尺寸Anchor A相比提高了準(zhǔn)確度，但是提高幅度并不大，因此對(duì)于本文的研究來說錨點(diǎn)框規(guī)格選取Anchor B最為適合。

同時(shí)通過Anchor A、Anchor B、Anchor C這3組不同規(guī)格的錨點(diǎn)框的對(duì)比也驗(yàn)證本文所提到的較小的預(yù)定義錨點(diǎn)框能有效提升小目標(biāo)的檢測(cè)結(jié)果。

3.2.6 本文算法性能改進(jìn)對(duì)比

根據(jù)表4可知在4種改進(jìn)方法中增加特征融合和改進(jìn)錨點(diǎn)框的尺寸可以使整體網(wǎng)絡(luò)的性能大幅增加。在保證都加入錨點(diǎn)框時(shí)，增加特征融合層，使mAP增加5.1%，驗(yàn)證特征融合能夠有效地提取小目標(biāo)特征，對(duì)于本文的檢測(cè)有極大的提升。在對(duì)錨點(diǎn)框的尺寸進(jìn)行調(diào)整之后mAP提升了5.6%，而在訓(xùn)練中利用在線難例挖掘進(jìn)行訓(xùn)練以及基于衰減得分的NMS對(duì)mAP也有較大的提升。最后，將4種有效提升小目標(biāo)檢測(cè)效果的方法結(jié)合起來，mAP達(dá)到77.3，驗(yàn)證了本文算法的有效性。

表4 本文算法性能改進(jìn)對(duì)比

3.2.7 本文算法與當(dāng)前主流目標(biāo)檢測(cè)算法對(duì)比

將本文算法與當(dāng)前主流目標(biāo)檢測(cè)算法進(jìn)行對(duì)比，比較結(jié)果見表5。

由表5可知通過本文的改進(jìn)，使Faster RCNN的mAP相比傳統(tǒng)的Faster RCNN提高了2.1%，同時(shí)與目前主流的目標(biāo)檢測(cè)算法相比都有著較高的準(zhǔn)確率，該結(jié)果驗(yàn)證了本文算法的可靠性。

表5 主流目標(biāo)檢測(cè)算法對(duì)比

最后，圖11展示了本文算法對(duì)鐵路異物侵限的預(yù)測(cè)效果圖。

圖11 預(yù)測(cè)效果

4 結(jié)束語

本文針對(duì)鐵路異物侵限的小目標(biāo)物體檢測(cè)困難問題，提出了一種改進(jìn)的Faster RCNN算法。

(1)本文采用深層特征與淺層特征相融合的方法，這樣既可以保留高層特征的高語義的特點(diǎn)又能保證低層特征高分辨率的位置細(xì)節(jié)信息。經(jīng)實(shí)驗(yàn)驗(yàn)證，該融合方法能夠有效彌補(bǔ)小目標(biāo)識(shí)別問題，從而提升對(duì)于小尺度物體的檢測(cè)效果。

(2)通過分析鐵路異物侵限數(shù)據(jù)集，將原預(yù)定的錨點(diǎn)框尺寸進(jìn)一步精細(xì)化，縮小其尺寸，并設(shè)計(jì)3組不同的錨點(diǎn)框尺寸進(jìn)行了對(duì)比實(shí)驗(yàn)，選取了最適合本文的Anchor Scales。

(3)基于衰減得分的NMS算法經(jīng)實(shí)驗(yàn)驗(yàn)證相比NMS算法對(duì)mAP有著較好的表現(xiàn)。

(4)由于網(wǎng)絡(luò)訓(xùn)練所需的訓(xùn)練數(shù)據(jù)較少，因此本文采用了基于參數(shù)和基于實(shí)例的遷移學(xué)習(xí)方式。實(shí)現(xiàn)了對(duì)本文模型的訓(xùn)練，實(shí)驗(yàn)結(jié)果也有著較高的準(zhǔn)確度，具有現(xiàn)實(shí)應(yīng)用的價(jià)值。

(5)訓(xùn)練采用在線難例挖掘的方案，加快網(wǎng)絡(luò)的收斂速度，增加了網(wǎng)絡(luò)模型對(duì)小物體檢測(cè)的魯棒性。