基于改進Faster-RCNN 算法的地鐵車輛車側(cè)下結(jié)構(gòu)檢測識別

陳金源，林群煦，鄒一鳴，鄭衡，劉凱，鐘程，李虎，黃挺博，李鵬

（五邑大學(xué) 軌道交通學(xué)院，廣東 江門 529020）

地鐵車輛的檢修關(guān)乎出行安全，其巡檢范圍分別為車頂、車側(cè)中、車側(cè)下和車底.目前地鐵車輛檢修的主要作業(yè)方式為傳統(tǒng)的人工巡檢，該方式存在效率低、工人勞動強度大、漏檢等問題[1].為了提高巡檢效率、降低工人勞動強度、杜絕漏檢，以地鐵車輛車側(cè)下巡檢為例，可以通過目標(biāo)檢測算法[2]對采集到的地鐵車輛車側(cè)下的圖像進行處理后，輸出檢測識別的地鐵車輛車側(cè)下的關(guān)鍵結(jié)構(gòu)，讓工人在線上對所識別出來的結(jié)構(gòu)一一進行檢查，以達(dá)到線上巡檢的目的.線上巡檢因高效和便利的特性已在各行各業(yè)應(yīng)用[3].為了實現(xiàn)線上實時巡檢，要求使用的目標(biāo)檢測算法具有實時檢測的效果，由于地鐵車輛車側(cè)下外形結(jié)構(gòu)比較復(fù)雜，傳統(tǒng)的目標(biāo)檢測算法[4]不能準(zhǔn)確檢測識別，本文采用改進的深度學(xué)習(xí)Faster-RCNN 算法作為地鐵車輛車側(cè)下各結(jié)構(gòu)的目標(biāo)檢測算法.

1 Faster-RCNN 算法

1.1 Faster-RCNN 算法的發(fā)展

Faster-RCNN 算法[5]由GIRSHICK R 于2015 年提出，相比前作Fast-RCNN，使用RPN（Region Proposal Network）結(jié)構(gòu)代替SS（Selective search）算法來生成區(qū)域候選框，將整個流程統(tǒng)一整合到同一個CNN（Convolutional Neural Network）中以實現(xiàn)整個目標(biāo)檢測網(wǎng)絡(luò)端到端的訓(xùn)練.

雖然Faster-RCNN 性能優(yōu)越，但依然存在訓(xùn)練時間長、整體模型參數(shù)量大、對計算設(shè)備要求高等問題.為了提升 Faster-RCNN 的檢測速度、降低訓(xùn)練過程中模型的參數(shù)量，不少學(xué)者對Faster-RCNN 的特征提取網(wǎng)絡(luò)VGG16 進行了替換，如WIBOWO A 等[6]提出把原Faster-RCNN 特征提取網(wǎng)絡(luò)替換為更加輕量的網(wǎng)絡(luò)模型MobileNetV2（其網(wǎng)絡(luò)參數(shù)量只有VGG16 的三十二分之一）；殷小芳等[7]提出用ResNet-101 網(wǎng)絡(luò)作為Faster-RCNN 的特征提取網(wǎng)絡(luò)，并首次實現(xiàn)超深的網(wǎng)絡(luò)結(jié)構(gòu)，首次提出了殘差模塊（Residual）、使用BN（Batch Normalization）層來加速訓(xùn)練；唐茂俊等[8]在殷小芳的基礎(chǔ)上增加了FPN（feature pyramid network）特征金字塔網(wǎng)絡(luò)，把原Faster-RCNN 特征提取網(wǎng)絡(luò)由一層特征層輸出層改為五層特征層輸出層，以此增加Faster-RCNN 對小目標(biāo)的檢測能力.

1.2 Faster-RCNN 算法的改進

MobileNetV2 網(wǎng)絡(luò)推理速度快、參數(shù)少，但有一定的精度損失；ResNet-101 網(wǎng)絡(luò)檢測精度高，但是推理速度慢、參數(shù)多，均不符合本文地鐵車輛車側(cè)下的結(jié)構(gòu)檢測識別要求.鑒于此，本文采用 YOLOV3 的特征提取網(wǎng)絡(luò) DarkNet53 作為Faster-RCNN 的特征提取網(wǎng)絡(luò)，并在特征輸出層加入FPN 特征金字塔網(wǎng)絡(luò)，DarkNet53 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1 所示.

圖1 DarkNet53 網(wǎng)絡(luò)結(jié)構(gòu)模型圖

DarkNet53 中的卷積層Convolutional 層與普通的神經(jīng)網(wǎng)絡(luò)卷積層不一樣，其結(jié)構(gòu)如圖2 所示.普通卷積層需要通過增加偏置來增加學(xué)習(xí)能力，而Convolutional 層中的卷積層經(jīng)過BN 層后則不需要再增加偏置.BN 層會將每層的輸入先進行歸一化，解決網(wǎng)絡(luò)訓(xùn)練中中間層數(shù)據(jù)分布發(fā)生改變的問題，避免梯度消失或爆炸，從而節(jié)約訓(xùn)練時間.下面給出兩個公式：公式（1）表示在BN 層下d維向量輸入，公式（2）表示每一維的運算過程：

圖2 Convolutional 結(jié)構(gòu)模型圖

式中，E[x(k)]為數(shù)學(xué)期望，Var[x(k)]為方差[7].而激活函數(shù)也從ReLU 激活函數(shù)改成了LeakyReLU激活函數(shù).Residual 殘差層結(jié)構(gòu)跟ResNet-101 的殘差結(jié)構(gòu)也有一定的區(qū)別，其結(jié)構(gòu)如圖3 所示.在DarkNet53 網(wǎng)絡(luò)中取消了最大池化層，改為Convolutional 層進行接替，這樣可以加快整體網(wǎng)絡(luò)的訓(xùn)練速度.

圖3 Residual 結(jié)構(gòu)模型圖

2 實驗

2.1 實驗環(huán)境

本文實驗采用的硬件配置為：2.2 GHz E5-25650 v4 CPU，NVIDIA GTX1080Ti 顯卡，128 Gb 內(nèi)存，2 Tb 硬盤；服務(wù)器配置系統(tǒng)使用Ubuntu 16.04 版本，CUDNN 7.6 版本，CUDAToolkit 10.2 版本；深度學(xué)習(xí)框架平臺為Pytorch 1.7 版本.

2.2 實驗數(shù)據(jù)集

地鐵車輛車側(cè)下一共有18 個需要檢測的結(jié)構(gòu)（以深圳地鐵7 號線車型為例），由于篇幅限制這里只展示其中兩節(jié)車廂以及5 個結(jié)構(gòu).地鐵車輛車側(cè)面如圖4 所示，其中紅色框表示地鐵車輛需要檢測的車側(cè)下位置，黃色框表示車頭結(jié)構(gòu)，藍(lán)色框表示轉(zhuǎn)向架結(jié)構(gòu)，綠色框表示風(fēng)缸結(jié)構(gòu)，白色框表示制動電阻箱結(jié)構(gòu)，棕色框表示貫通道結(jié)構(gòu).

圖4 地鐵車輛車側(cè)面

本實驗的數(shù)據(jù)集源自深圳地鐵7 號線深云車輛段現(xiàn)場采集，線掃相機原始采集的圖像為1 024 ×4 096，包含的目標(biāo)顯示信息不足，如圖5 所示，為了完整清晰顯示目標(biāo)類別，需要對原始圖像按照一定的步長進行拼接，如圖6 所示.

圖5 原始數(shù)據(jù)圖像

圖6 拼接后的數(shù)據(jù)圖像

拼接后共有2 000 多張圖片，為了提高模型的泛化能力和魯棒性，采用翻轉(zhuǎn)、旋轉(zhuǎn)、增加噪聲和變換圖像的增強方法擴充樣本圖像至5 000 多張.其中70%用于訓(xùn)練集，20%用于驗證集，10%用于測試集.

在開始訓(xùn)練之前，先對本文改進模型的超參數(shù)進行配置，初始學(xué)習(xí)率（Learning Rate）為0.01，動量（Momentum）為0.9，權(quán)重衰減（Weight Decay）為0.000 5，優(yōu)化器（Optimizer）采用隨機梯度下降法SGD，訓(xùn)練次數(shù)設(shè)置為1 000 個epochs.

3 實驗結(jié)果分析

3.1 評價指標(biāo)

在評估模型時，需要一定的評價指標(biāo)對模型性能進行評估，通過計算精確度（Precision）、召回率（Recall）、平均精度AP（Average Precision）、均值平均精度mAP（Mean Average Precision）、置信度（Confidence coefficient）、模型的參數(shù)個數(shù)以及檢測速度FPS（Frames Per Second）（參數(shù)個數(shù)越多網(wǎng)絡(luò)檢測速度越慢，F(xiàn)PS 越大檢測速度越快）.

3.2 結(jié)果分析

在改進的Faster-RCNN 算法中，Anchors 設(shè)置的scales 大小為128、256、512 等三個尺度.為增加對小目標(biāo)的檢測能力，本文再增加兩個尺度，使Anchors 的scales 大小為32、64、128、256、512一共五個尺度.加入FPN 的分層預(yù)測，可以提高Faster-RCNN 對小目標(biāo)的檢測精度[9].對比4 種不同的特征提取網(wǎng)絡(luò)，結(jié)果如表1 所示.

表1 4 種特征提取網(wǎng)絡(luò)參數(shù)對比

由表1 可知：1）MobileNetV2 網(wǎng)絡(luò)檢測速度最快，參數(shù)量最少（VGG16 的三十分之一都不到），十分輕量化；但其精確度和召回率以及均值平均精度都較低.2）DarkNet53+FPN 網(wǎng)絡(luò)相比VGG16網(wǎng)絡(luò)，精確度、召回率分別提高近了8%，檢測速度提高了接近4 倍；相比MobileNetV2 網(wǎng)絡(luò)，其精確度、召回率分別提高了近13%，但檢測速度不到其一半；相比ResNet101+FPN 網(wǎng)絡(luò)，其精確度、召回率分別降低了近3%.雖然與ResNet101+FPN 網(wǎng)絡(luò)相比，精確度和召回率有少許下降，但其整體參數(shù)量比ResNet101+FPN 網(wǎng)絡(luò)少了一半，檢測速度提升接近一倍.

選擇包含大中小目標(biāo)的測試圖片對4 種特征提取網(wǎng)絡(luò)進行測試，其結(jié)果如圖7～10 所示：1）對于小目標(biāo)ACM 電抗器箱和中目標(biāo)高壓箱，MobileNetV2 網(wǎng)絡(luò)存在一定的漏檢而且檢測效果不好；VGG16 的邊界框回歸效果雖好，但對小目標(biāo)ACM 電抗器箱也一樣存在目標(biāo)漏檢；2）ResNet101+FPN網(wǎng)絡(luò)和DarkNet53+FPN 網(wǎng)絡(luò)對于大目標(biāo)AB 箱、中目標(biāo)高壓箱以及小目標(biāo)ACM 電抗器箱都可以成功檢測，但 DarkNet53+FPN 檢測每個目標(biāo)的置信度明顯高于 ResNet101+FPN 網(wǎng)絡(luò).證明了DarkNet53+FPN 作為特征提取網(wǎng)絡(luò)無論在精度上和模型參數(shù)上都比其他三種特征提取網(wǎng)絡(luò)更適用于地鐵車輛車側(cè)下的結(jié)構(gòu)檢測.

圖7 VGG16 網(wǎng)絡(luò)檢測結(jié)果

圖8 MobileNetV2 網(wǎng)絡(luò)檢測結(jié)果

圖9 ResNet101+FPN 網(wǎng)絡(luò)檢測結(jié)果

圖10 DarkNet53+FPN 網(wǎng)絡(luò)檢測結(jié)果

目前基于深度學(xué)習(xí)的目標(biāo)檢測方法主要分為兩類：一類為Two-stage 方法，該方法把檢測分為定位和分類兩個步驟，主要算法以RCNN、Fast-RCNN、Faster-RCNN 等為代表[10]；而另一類One-stage方法則直接將定位和分類融合在一起，代表算法有YOLO、SSD、Retina-Net 等[11].Two-stage 方法識別準(zhǔn)確度較高，但很難做到實時檢測；One-stage 方法檢測速度高，但識別精度較低.

為了進一步對改進Faster-RCNN 算法的檢測性能進行評估，本文選用YOLOV3 算法和SSD 算法這兩種One-stage 方法對相同數(shù)據(jù)集進行同步訓(xùn)練，訓(xùn)練的超參數(shù)與Faster-RCNN 相同.訓(xùn)練結(jié)果對比如表2 所示：改進的Faster-RCNN 其均值平均精度最高，檢測速度最慢.伍錫如等[12]在汽車儀表檢測中單張圖片檢測速度為0.197 s（約6.3 fps），能滿足實時檢測要求.而本文改進的Faster-RCNN算法檢測識別速度為20.5 fps，已經(jīng)滿足地鐵車輛車側(cè)下結(jié)構(gòu)實時檢測識別的要求.因此，本文改進的 Faster-RCNN 算法作為一種 Two-stage 方法，在保持很高的檢測精度的情況下，也能實現(xiàn)與One-stage 中YOLOV3 算法和SSD 算法一樣的實時檢測.

表2 不同算法對比結(jié)果

4 總結(jié)

為了降低工人的勞動強度、提升地鐵車輛的檢修效率，本文提出了一種基于改進 Faster-RCNN算法對地鐵車輛車側(cè)下需要檢測的結(jié)構(gòu)進行檢測識別.試驗結(jié)果表明通過改進Faster-RCNN 算法的特征提取網(wǎng)絡(luò)對地鐵車輛車側(cè)下各結(jié)構(gòu)的識別有很好的提升效果，檢測均值平均精度mAP 可達(dá)到92.7%，檢測速度可達(dá)到20.5 fps，擁有比One-stage 方法更高的檢測精度，能達(dá)到與One-stage 方法一樣的實時檢測效果，成功實現(xiàn)了從人工線下巡檢到人工線上巡檢.不足之處是該算法暫時無法識別每個結(jié)構(gòu)的表面異常，如螺栓缺失、零件損壞以及表面脫落等問題，后續(xù)會針對這些不足繼續(xù)完善算法模型.