基于改進(jìn)型Faster R-CNN的接觸網(wǎng)設(shè)備缺陷檢測(cè)方案

常占寧，張一平，韋寶泉，曾 晗

（1.中國(guó)鐵路蘭州局集團(tuán)有限公司，甘肅 蘭州 730030；2.華東交通大學(xué)電氣與自動(dòng)化工程學(xué)院，江西 南昌 330013）

0 引言

隨著檢測(cè)智能化的推行，各種深度學(xué)習(xí)模型在接觸網(wǎng)零部件的檢測(cè)上得到了廣泛應(yīng)用。由于接觸網(wǎng)設(shè)備眾多，采集到的圖像數(shù)據(jù)十分復(fù)雜，極易使得檢測(cè)模型產(chǎn)生偏差，大大影響了檢測(cè)精度。且我國(guó)接觸網(wǎng)設(shè)備數(shù)據(jù)集通常不對(duì)外開放，檢測(cè)模型容易出現(xiàn)過擬合現(xiàn)象[3]。劉舒康等人提出了一種基于智能數(shù)據(jù)的增強(qiáng)算法，并對(duì)YOLOv3目標(biāo)檢測(cè)算法進(jìn)行了改進(jìn)[4]；文獻(xiàn)[5]利用卷積神經(jīng)網(wǎng)絡(luò)來精確定位的相鄰絕緣子片邊緣像素差分檢測(cè)，用于絕緣子破損缺陷檢測(cè)。文獻(xiàn)[6]結(jié)合中值濾波、高斯濾波等圖像處理算法對(duì)吊弦區(qū)域進(jìn)行處理；利用邊緣檢測(cè)算法對(duì)吊弦輪廓進(jìn)行提取，使用直線擬合、閾值分割算法對(duì)吊弦缺陷進(jìn)行判定。文獻(xiàn)[7]通過改進(jìn)YOLOv3算法完成接觸網(wǎng)和鋼軌檢測(cè)的樣本不平衡問題。文獻(xiàn)[8]利用faster-RCNN完成了接觸網(wǎng)緊固件的缺陷檢測(cè)。文獻(xiàn)[9]針對(duì)高鐵接觸網(wǎng)頂緊螺栓目標(biāo)小、缺陷檢測(cè)困難的問題，提出一種基于深度學(xué)習(xí)的頂緊螺栓缺陷檢測(cè)方法。文獻(xiàn)[10]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)精確定位的相鄰絕緣子片邊緣像素差分檢測(cè)方法，用于絕緣子破損缺陷的檢測(cè)。以上的模型對(duì)小型零件的細(xì)微故障（裂紋、磨損等）檢測(cè)效果不錯(cuò)，但檢測(cè)對(duì)象單一，大多是對(duì)特定零件的優(yōu)化。且容易受到采集圖像噪聲的影響。

文中提出一種基于改進(jìn)型Faster R-CNN的接觸網(wǎng)設(shè)備缺陷檢測(cè)方案，采用ResNet-101結(jié)構(gòu)替代了Faster R-CNN的特征提取網(wǎng)絡(luò)VGG-16，大大減少了冗余計(jì)算。針對(duì)檢測(cè)環(huán)境的復(fù)雜性，對(duì)不同卷積層的特征圖進(jìn)行多尺寸融合，提高了檢測(cè)精度。

1 系統(tǒng)概述

為解決接觸網(wǎng)設(shè)備缺陷檢測(cè)精度不高以及檢測(cè)效率難以提升等問題，本文在原始的Faster R-CNN算法模型上對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行了一定的改進(jìn)，結(jié)合樣本擴(kuò)充方法最終得到優(yōu)化的接觸網(wǎng)設(shè)備缺陷檢測(cè)模型[11]。系統(tǒng)的整體框架如圖1所示。

圖1 接觸網(wǎng)設(shè)備缺陷檢測(cè)系統(tǒng)框圖

整個(gè)檢測(cè)系統(tǒng)模型分為訓(xùn)練階段和測(cè)試階段。首先，將采集的圖像，通過樣本擴(kuò)充方法得到足夠的圖像樣本。然后按一定的比例劃分為訓(xùn)練集、驗(yàn)證集及測(cè)試集。訓(xùn)練集樣本用于訓(xùn)練模型，驗(yàn)證集樣本驗(yàn)證優(yōu)化模型的性能。測(cè)試集樣本用于檢測(cè)最終模型的性能。

1.1 基本網(wǎng)絡(luò)

針對(duì)Faster R-CNN模型小目標(biāo)檢測(cè)精確度不高的問題，本文對(duì)模型進(jìn)行改進(jìn)，將Faster R-CNN網(wǎng)絡(luò)中的VGG-16卷積網(wǎng)絡(luò)替換成深度更深、運(yùn)算量更小的ResNet-101深度殘差網(wǎng)絡(luò)，以此來有效解決梯度彌散和梯度爆炸的問題[12]。

殘差結(jié)構(gòu)以跨層鏈接的方式，構(gòu)成了身份映射和殘差映射兩種映射路徑。通過在普通模塊連接過程中添加恒等映射的方法，使得該網(wǎng)絡(luò)在緩解梯度消失問題的同時(shí)，有效地控制網(wǎng)絡(luò)層參數(shù)和計(jì)算復(fù)雜度不變。殘差結(jié)構(gòu)單元可表示為：

式中，xj、xj+1分別代表該層網(wǎng)絡(luò)的輸入和輸出信息；表示該層待學(xué)習(xí)的參數(shù)。將式（1）進(jìn)行遞歸運(yùn)算，可得到任意深層單元Wj的特征表示：

為了更好地說明殘差網(wǎng)絡(luò)模塊的作用，在此引入反向傳播的概念。令網(wǎng)絡(luò)損失函數(shù)為，由反向傳播的鏈?zhǔn)角髮?dǎo)法則可推出：

例（3）中拒絕行為就是一種有傷面子的行為，因此，商務(wù)人士在拒絕對(duì)方時(shí)要謹(jǐn)慎，盡量修飾自己的拒絕行為，使自己的拒絕言語(yǔ)行為顯得間接，因?yàn)榫芙^言語(yǔ)行為越間接，就越顯得說話人有禮貌，越有利于雙方的談判溝通。例（3）中賣方表示不能滿足買方對(duì)該商務(wù)的需求，用“regret”來緩和語(yǔ)氣，表達(dá)同情。接著又提出一旦有新貨供應(yīng)，將再和買方接洽商談。這表明賣方的態(tài)度，原意與買方合作，只是目前的客觀情況，只能暫時(shí)拒絕，后期有再合作的機(jī)會(huì)。這不但給對(duì)方留了面子，也符合禮貌原則中的“一致準(zhǔn)則”。

在式(3)中，后半部分必不等于-1，由此可得該單元能夠有效避免學(xué)習(xí)過程中信息丟失的問題。

ResNet101[13]是以VGG網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，基于短路機(jī)制添加殘差學(xué)習(xí)模塊而產(chǎn)生的。該網(wǎng)絡(luò)多達(dá)101層，殘差塊由大小分別為1×1，3×3和1×1的3個(gè)卷積層依次相串并與輸入合并構(gòu)成，在各層后均加入了Rule激活函數(shù)。

ResNet101網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。從第1組卷積塊起到第5組均為殘差模塊，將大小為224 pixel×224 pixel的圖像數(shù)據(jù)輸送后，經(jīng)殘差網(wǎng)絡(luò)提取特征進(jìn)行學(xué)習(xí)訓(xùn)練，最終縮減為7 pixel×7 pixel的尺寸。

圖2 ResNet101網(wǎng)絡(luò)結(jié)構(gòu)

改進(jìn)后的Faster R-CNN模型以ResNet-101作為特征提取網(wǎng)絡(luò)，ResNet-101的前4個(gè)段（92層）作共享網(wǎng)絡(luò)，獲取特征圖；而后作為RPN的輸入，生成候選目標(biāo)區(qū)域。ResNet-101網(wǎng)的第5段（9層）在ROI Pooling層后用于目標(biāo)的檢測(cè)。針對(duì)ResNet-101的特點(diǎn)，對(duì)其結(jié)構(gòu)進(jìn)行一定的分割和調(diào)整，再與Faster RCNN結(jié)合起來，可以最大程度地保存小尺寸目標(biāo)的特征信息，且能有效保留目標(biāo)的位置信息。

另一方面，重新對(duì)錨框進(jìn)行設(shè)計(jì)，以獲得包含更好位置信息的錨框。根據(jù)在訓(xùn)練集上的訓(xùn)練經(jīng)驗(yàn)分析，將錨框的長(zhǎng)寬比設(shè)置為3種，即1∶1、1∶1.5和2∶1，將錨框的尺寸設(shè)置為5種，即16×16、32×32、64×64、128×128和256×256，由此得到15種不同長(zhǎng)寬比和尺寸的錨框，大大提高了對(duì)小尺寸目標(biāo)的捕捉能力。

1.2 L2歸一化

為在不同尺寸候選區(qū)對(duì)設(shè)備缺陷點(diǎn)域特征進(jìn)行擴(kuò)展，現(xiàn)對(duì)3個(gè)不同尺寸特征圖執(zhí)行ROI-Pooling操作后進(jìn)行融合[14]。通常，在ResNet-101的每一層中，特征圖的通道數(shù)量和尺寸大小都不同，在更深的卷積層上對(duì)應(yīng)的特征圖尺寸也更小。因此，直接對(duì)ROIPooling后的特征圖進(jìn)行融合無(wú)法獲得最佳效果。特征圖之間的尺寸差異較大，且尺寸大的特征圖可能會(huì)占據(jù)主導(dǎo)地位，減弱了算法的魯棒性。為解決上述問題，現(xiàn)對(duì)ROI-Pooling后的特征圖做L2歸一化處理。歸一化后，對(duì)每個(gè)特征圖執(zhí)行尺寸縮放操作。對(duì)于一個(gè)d維的輸入x=（x1，x1，…xd），應(yīng)用L2范數(shù)對(duì)其進(jìn)行標(biāo)準(zhǔn)化處理，如式（4）所示：

輸入x的L2參數(shù)，定義如式（5）所示：

其中，x是原始像素向量；x是歸一化后的像素向量；d是每個(gè)ROI-Pooling后特征圖的通道數(shù)。

引入縮放因子[15]，并通過式（6）縮放歸一化后的值：

在訓(xùn)練階段，縮放因子γ和輸入數(shù)據(jù)x通過反向傳播來計(jì)算，相應(yīng)的鏈?zhǔn)椒▌t定義為：

1.3 在線難例挖掘

在線難例挖掘是提高目標(biāo)檢測(cè)準(zhǔn)確率的一種有效策略[16]。難例是指那些無(wú)法被網(wǎng)絡(luò)準(zhǔn)確預(yù)測(cè)到的樣本。因此，將樣本中的難例再次送入到網(wǎng)絡(luò)中訓(xùn)練，可以有效提升網(wǎng)絡(luò)的性能。在原始Faster-RCNN中，候選區(qū)域和真值區(qū)域的重疊率（IOU）在[0.1，0.5]之間的樣本被設(shè)置為負(fù)樣本，重疊率大于0.5的樣本被設(shè)置為正樣本。為保持樣本均衡，設(shè)置正負(fù)樣本的比例為1∶3。

本文將在線難例挖掘算法加入到模型中。首先通過RPN計(jì)算候選區(qū)域的損失值，并將這些損失值從大到小排序，挑出前K個(gè)最大損失值作為難例加入到后續(xù)的網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。同時(shí)，將負(fù)樣本的閾值下調(diào)為0，并取消正負(fù)樣本的比例，使網(wǎng)絡(luò)能夠自適應(yīng)訓(xùn)練。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集處理

針對(duì)故障樣本數(shù)量不足的狀況，為訓(xùn)練性能良好的缺陷檢測(cè)模型，本文采用一種圖像增強(qiáng)方法[17]。圖像增強(qiáng)的目的是為了提升模型對(duì)缺陷圖像的敏感性，獲得足夠的樣本供模型進(jìn)行深度訓(xùn)練，有效降低過擬合風(fēng)險(xiǎn)，從而提高缺陷檢測(cè)模型的泛化能力。圖像增強(qiáng)對(duì)采集到的原始圖像進(jìn)行變亮、平移、加噪、仿射等擴(kuò)展處理。增強(qiáng)效果如圖3所示。

圖3 圖像增強(qiáng)效果

2.2 評(píng)價(jià)指標(biāo)

為測(cè)試模型的檢測(cè)效果，本文通過P（Precision）、R（Recall）、mAP（mean Average-Precision）、IOU（Intersection over Union）來評(píng)價(jià)其各方面性能；TP（True positives）為正確樣本被識(shí)別為正樣本的數(shù)量；FP（False positives）為負(fù)樣本被錯(cuò)誤識(shí)別為正樣本的數(shù)量；FN為正樣本被錯(cuò)誤識(shí)別為負(fù)樣本的數(shù)量；AP值表示單個(gè)類別的識(shí)別準(zhǔn)確率；mAP表示所有類別總體識(shí)別準(zhǔn)確率[11]。

2.3 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)采用Faster R-CNN改進(jìn)算法對(duì)接觸網(wǎng)幾種關(guān)鍵部件進(jìn)行檢測(cè)，并在此基礎(chǔ)上對(duì)檢測(cè)結(jié)果進(jìn)行修正[18]。圖4所示為具有代表性的幾種不同類型部件的缺陷檢測(cè)結(jié)果，其中，左側(cè)為經(jīng)過原始模型的初步檢測(cè)結(jié)果，右側(cè)為通過改進(jìn)模型檢測(cè)的缺陷定位結(jié)果。根據(jù)檢測(cè)結(jié)果可以明顯看出，針對(duì)尺寸較大部件的缺陷，改進(jìn)的模型均能有效地定位與識(shí)別，對(duì)于細(xì)微部件的缺陷檢測(cè)也能達(dá)到與大尺寸缺陷相當(dāng)?shù)木?。綜合分析以上實(shí)驗(yàn)結(jié)果，本文設(shè)計(jì)的改進(jìn)算法對(duì)于接觸網(wǎng)關(guān)鍵設(shè)備的缺陷圖像檢測(cè)取得了良好效果。

圖4 不同部件缺陷檢測(cè)結(jié)果

2.4 不同算法實(shí)驗(yàn)結(jié)果比較及分析

為了進(jìn)一步驗(yàn)證本文所提方法的優(yōu)越性，在相同的數(shù)據(jù)集上分別與YOLO[19]、SSD、MS-CNN、原始Faster R-CNN[20]進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，使用mAP、IOU及檢測(cè)速度來評(píng)價(jià)各方法的性能，不同方法的檢測(cè)結(jié)果對(duì)比如表1所示。

表1 不同檢測(cè)方法的性能比較

據(jù)表1對(duì)比結(jié)果，本文提出的改進(jìn)Faster RCNN[21]綜合性能最佳，在缺陷檢測(cè)效果方面具有顯著優(yōu)勢(shì)，能夠滿足接觸網(wǎng)缺陷檢測(cè)需求。

3 結(jié)論

文中對(duì)于接觸網(wǎng)設(shè)備缺陷檢測(cè)問題進(jìn)行深入研究，提出一種基于改進(jìn)型Faster R-CNN的故障檢測(cè)方法。為了提高在大規(guī)模變化、目標(biāo)數(shù)量龐大等復(fù)雜環(huán)境中的檢測(cè)精度和模型魯棒性，本文首先采用ResNet-101結(jié)構(gòu)替代VGG-16來構(gòu)建基礎(chǔ)卷積層。通過構(gòu)建多尺寸特征圖融合網(wǎng)絡(luò)以應(yīng)對(duì)多種設(shè)備缺陷問題，最后應(yīng)用在線難例挖掘并在區(qū)域生成網(wǎng)絡(luò)中進(jìn)行多尺寸訓(xùn)練，實(shí)現(xiàn)了對(duì)復(fù)雜環(huán)境下設(shè)備缺陷的準(zhǔn)確識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法的mAP達(dá)到88.28%，每張圖片檢測(cè)時(shí)間僅需0.15 s，在檢測(cè)精度方面取得了良好的效果，綜合性能最佳。