基于Faster R-CNN的鐵路扣件定位方法研究

白堂博，楊建偉，許貴陽(yáng)，邱實(shí)

基于Faster R-CNN的鐵路扣件定位方法研究

白堂博1, 2，楊建偉1, 2，許貴陽(yáng)1, 2，邱實(shí)3

(1. 北京建筑大學(xué) 機(jī)電與車(chē)輛工程學(xué)院，北京 100044；2. 北京建筑大學(xué) 城市軌道交通車(chē)輛服役性能保障北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044；3. 中南大學(xué) 土木工程學(xué)院，湖南 長(zhǎng)沙 410075)

準(zhǔn)確的扣件定位是進(jìn)行扣件狀態(tài)檢測(cè)、保障軌道交通車(chē)輛安全運(yùn)行的基礎(chǔ)，傳統(tǒng)的基于圖像處理的方法難以滿(mǎn)足快速準(zhǔn)確智能檢測(cè)的需要。針對(duì)這一情況，提出一種基于改進(jìn)Faster R-CNN的深度學(xué)習(xí)理論方法，進(jìn)行扣件定位。首先，建立檢測(cè)圖像數(shù)據(jù)集并進(jìn)行圖像標(biāo)注，然后根據(jù)實(shí)際扣件圖像特點(diǎn)建立Faster R-CNN檢測(cè)模型，利用標(biāo)注數(shù)據(jù)優(yōu)化模型中區(qū)域候選網(wǎng)絡(luò)邊框信息以提高檢測(cè)的召回效率及精度。通過(guò)實(shí)際檢測(cè)數(shù)據(jù)分析驗(yàn)證，本文提出方法提高了檢測(cè)效率和定位效果，與其他目標(biāo)檢測(cè)方法相比，具有更高的召回率和識(shí)別準(zhǔn)確度，能夠快速準(zhǔn)確進(jìn)行扣件定位。

鐵路；扣件定位；圖像處理；Faster R-CNN

扣件是鐵路軌道的重要基礎(chǔ)部件，其狀態(tài)關(guān)系到軌道列車(chē)運(yùn)行的安全[1]。由于其數(shù)量眾多、安裝環(huán)境惡劣、受力復(fù)雜，易出現(xiàn)移位、斷裂、丟失等問(wèn)題。而隨著鐵路運(yùn)輸?shù)目焖侔l(fā)展，當(dāng)前線(xiàn)路多、里程長(zhǎng)、維護(hù)難，亟需一種智能、快速、準(zhǔn)確的扣件定位方法。近年來(lái)，國(guó)內(nèi)外在軌道扣件檢測(cè)方面進(jìn)行了大量的研究，采用了包括基于振動(dòng)[2]、噪 聲[3]、機(jī)器視覺(jué)[4]等的檢測(cè)方法?；谡駝?dòng)與噪聲的檢測(cè)方法對(duì)于軌面?zhèn)麚p效果較好，而扣件移位、斷裂造成的振動(dòng)、噪聲較小，難以有效對(duì)其進(jìn)行檢測(cè)。因此，扣件定位研究多基于圖像采集與處理。在基于圖像處理的扣件識(shí)別定位方法方面，目前的研究中一般指利用圖像增強(qiáng)、特征提取等方法確定扣件位置，如王宇桐等[5]提出了基于垂向定位與灰度投影的扣件定位方法，趙建龍等[6]提出了基于引導(dǎo)濾波和積分投影算法的扣件定位方法，戴鵬等[7]提出了基于置信圖模型的扣件定位方法，王昆等[8]提出了基于Canny算子和Hough變換的扣件幾何特征提取方法，孫睿等[9]提出了流行排序的扣件定位方法。這些方法優(yōu)點(diǎn)是計(jì)算效率高，但針對(duì)不同的線(xiàn)路條件與扣件類(lèi)型，需要針對(duì)性修改算法，適應(yīng)性低。隨著圖像檢測(cè)技術(shù)的進(jìn)步，一些基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法也應(yīng)用到扣件定位中，如龍炎[10]建立了基于Faster R-CNN的扣件檢測(cè)模型，李兆洋等[11]建立了基于改進(jìn)SSD算法的扣件定位方法，這類(lèi)方法可以不經(jīng)過(guò)特征提取直接對(duì)圖像中目標(biāo)區(qū)域進(jìn)行檢測(cè)，算法適應(yīng)性強(qiáng)。Faster R-CNN方法具有較高的檢測(cè)精度，但直接應(yīng)用該方法計(jì)算量大、效率低，SSD等方法將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)換成回歸問(wèn)題，降低了計(jì)算量，提高了計(jì)算效率，但準(zhǔn)確度較端到端類(lèi)算法低。鑒于此，本文提出一種基于改進(jìn)Faster R-CNN的扣件定位算法，根據(jù)扣件檢測(cè)特點(diǎn)，利用扣件圖像特征信息優(yōu)化了Faster R-CNN的區(qū)域候選網(wǎng)絡(luò) (Region Proposal Networks, RPN)，在提高計(jì)算精度的基礎(chǔ)上，大幅提高了運(yùn)算速度，為進(jìn)一步實(shí)現(xiàn)實(shí)時(shí)扣件狀態(tài)檢測(cè)打下基礎(chǔ)，對(duì)保障軌道交通車(chē)輛安全運(yùn)行具有實(shí)際意義。

1 Faster R-CNN檢測(cè)模型

1.1 Faster R-CNN理論模型

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)是圖像處理領(lǐng)域中應(yīng)用最為廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)，由于其性能優(yōu)越，被應(yīng)用于目標(biāo)檢測(cè)領(lǐng)域，并形成了(Regions with CNN)算法[12]，其應(yīng)用中先利用Selective Search[13]或者Edge Boxes[14]等算法生成候選區(qū)域再將每個(gè)區(qū)域輸入CNN進(jìn)行訓(xùn)練和識(shí)別，由于目標(biāo)檢測(cè)問(wèn)題的特殊性，R-CNN算法需要對(duì)2 000個(gè)建議窗口進(jìn)行CNN訓(xùn)練，存在檢測(cè)速度慢，資源占用大的缺點(diǎn)，針對(duì)這一問(wèn)題，F(xiàn)ast R-CNN[15]和Faster R-CNN[16]網(wǎng)絡(luò)相繼被提出，其中前者先對(duì)整張圖像進(jìn)行卷積操作得到特征圖，然后再對(duì)候選區(qū)域進(jìn)行處理，減少了重復(fù)卷積的次數(shù)，相比R-CNN提升了效率且實(shí)現(xiàn)了端到端的訓(xùn)練，但由于大量無(wú)效候選區(qū)域的存在，影響了計(jì)算速度與精度。針對(duì)這一問(wèn)題Faster R-CNN采用了RPN網(wǎng)絡(luò)的方法生成候選區(qū)域，代替了之前生成候選區(qū)域的分割算法，提升了檢測(cè)窗口的生成效率，在保持了檢測(cè)精度的情況下，檢測(cè)速度大幅提高。

圖1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要可分為特征提取、區(qū)域候選、分類(lèi)回歸3大部分，在進(jìn)行目標(biāo)檢測(cè)時(shí)先進(jìn)行利用卷積層提取特征圖；然后經(jīng)過(guò)RPN網(wǎng)絡(luò)，通過(guò)Softmax判斷錨點(diǎn)背景屬性，然后利用邊框回歸修正錨點(diǎn)，從而生成較為精確的候選區(qū)域；最后綜合卷積層提取的特征圖與候選區(qū)域進(jìn)行感興趣區(qū)域(Region of interest, ROI)池化提取候選特征圖，并進(jìn)一步進(jìn)行分類(lèi)和邊框回歸，輸出檢測(cè)類(lèi)別和位置信息。

通過(guò)以上流程可以看出，在Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)中RPN網(wǎng)絡(luò)起到關(guān)鍵作用，其生成的候選區(qū)域的數(shù)量和精確的直接決定了整個(gè)網(wǎng)絡(luò)的計(jì)算效率與檢測(cè)精度。

1.2 RPN網(wǎng)絡(luò)

RPN網(wǎng)絡(luò)是Faster R-CNN相對(duì)于前代算法的主要改進(jìn)，其作用是利用輸入圖像經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖像作為輸入，輸出不同大小和長(zhǎng)寬比的高質(zhì)量候選區(qū)域。

圖2 RPN結(jié)構(gòu)圖[16]

RPN結(jié)構(gòu)如圖2所示，其利用了基于滑動(dòng)窗口的機(jī)制代替了選擇性搜索等產(chǎn)生候選區(qū)域的方式確定候選區(qū)域。卷積特征層經(jīng)過(guò)滑動(dòng)窗口處理，得到256維特征向量，當(dāng)其在卷積特征圖上滑動(dòng)時(shí)，以其中心點(diǎn)為錨點(diǎn)(Anchor)，每個(gè)位置得到個(gè)錨框(Anchor Box)，然后通過(guò)2次全連接得到2個(gè)分?jǐn)?shù)值和4個(gè)坐標(biāo)，其中分?jǐn)?shù)值用來(lái)評(píng)價(jià)候選區(qū)域是否包含檢測(cè)目標(biāo)，坐標(biāo)包含候選區(qū)域長(zhǎng)寬值，和中心位置坐標(biāo)，。錨框的數(shù)量、大小和長(zhǎng)寬值的設(shè)置關(guān)系到整個(gè)網(wǎng)絡(luò)的輸出效果，在原始算法中[16]，值取9，即每個(gè)錨點(diǎn)確定9個(gè)錨框，3種尺度分別為128×128，256×256和512×512，3種高寬比分別為1:1，1:2和2:1。

RPN損失函數(shù)由邊框分類(lèi)損失函數(shù)L和邊框回歸損失函數(shù)L組成，三者計(jì)算公式如下：

式中：(,)為預(yù)測(cè)邊框坐標(biāo)；(x,y)為候選框坐標(biāo)；(,)為真實(shí)目標(biāo)邊框坐標(biāo)；與之對(duì)應(yīng)，和為框?qū)捄透摺?/p>

2 本文方法

相對(duì)于其他圖像檢測(cè)，扣件定位具有一定的行業(yè)特點(diǎn)，本論文根據(jù)扣件定位的特點(diǎn)，改進(jìn)了Faster R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)，并設(shè)計(jì)了扣件檢測(cè)模型，以實(shí)現(xiàn)準(zhǔn)確、快速定位的目的，算法框架如圖3所示。

圖3 本文方法框架圖

本文首先進(jìn)行軌道圖像檢測(cè)，對(duì)圖像分組及標(biāo)注，建立數(shù)據(jù)集并提供網(wǎng)絡(luò)輸入圖像，然后根據(jù)標(biāo)注信息優(yōu)化RPN網(wǎng)絡(luò)，并利用建立的Faster R-CNN網(wǎng)絡(luò)進(jìn)行分類(lèi)和回歸，輸出扣件位置邊框，并對(duì)輸入圖像進(jìn)行標(biāo)識(shí)，完成扣件定位。

與普通目標(biāo)檢測(cè)方法相比，在進(jìn)行基于軌道檢測(cè)圖像的扣件定位時(shí)，由于拍攝圖像和扣件的相對(duì)一致性，在利用RPN網(wǎng)絡(luò)進(jìn)行候選區(qū)域選擇時(shí)，不需要在每個(gè)錨點(diǎn)生成大量不同大小和比例的錨框，而是可以根據(jù)圖像中扣件位置及分布信息優(yōu)化錨框的大小、比例及重疊評(píng)價(jià)。由于圖像大小和扣件大小在不同的采集參數(shù)、不同縮放比下有所不同，因此，本文不采用相對(duì)坐標(biāo)代替絕對(duì)坐標(biāo)來(lái)進(jìn)行錨框尺度優(yōu)化。

設(shè)訓(xùn)練數(shù)據(jù)集中，共標(biāo)注出個(gè)扣件，其中第個(gè)扣件的候選區(qū)域坐標(biāo)分別為長(zhǎng)寬值w，h和中心位置坐標(biāo)x，y，圖像整體長(zhǎng)寬為w和h，由于扣件相對(duì)于圖像的尺度和高寬比是一致的，因此本文設(shè)定尺度及高寬比計(jì)算如下：

在候選框生成時(shí)，可能有重疊部分，本文采用非極大值抑制(Non-maximum suppression, NMS)方法來(lái)進(jìn)行候選框刪除，其計(jì)算過(guò)程如下：

1) 取所有候選框中分值最大的一個(gè)；

2) 剩余框依次與1)中選出的框計(jì)算交并比(Intersection over Union，IoU)，如果高于設(shè)定閾值，則認(rèn)為此框無(wú)效，將其刪除；

3) 未被刪除的框中，繼續(xù)選取最大分值項(xiàng)，重復(fù)以上步驟，直至沒(méi)有候選框可被刪除。

由于扣件在使用中沒(méi)有重疊現(xiàn)象，因此，本文設(shè)定閾值為0。

此外，由于模型中參數(shù)更新的速度由學(xué)習(xí)率決定，為避免基于經(jīng)驗(yàn)設(shè)置學(xué)習(xí)率導(dǎo)致模型無(wú)法達(dá)到最佳性能運(yùn)行的情況，實(shí)驗(yàn)中使用自適應(yīng)學(xué)習(xí)率，提高模型優(yōu)化速度，計(jì)算公式如下：

式中：為學(xué)習(xí)率，為衰減后的學(xué)習(xí)率，初始值設(shè)置為0.001，在訓(xùn)練過(guò)程中，每個(gè)epoch結(jié)束后，在驗(yàn)證集上評(píng)估當(dāng)前模型loss和精度，每隔一個(gè)epoch檢測(cè)loss值的變化，當(dāng)其小于0.000 1時(shí)，學(xué)習(xí)率進(jìn)行衰減。

3 實(shí)例分析

3.1 圖像獲取

本文使用的軌道檢測(cè)設(shè)備為北京某公司設(shè)計(jì)制造的新型軌道巡檢儀，該檢測(cè)儀由電動(dòng)巡檢小車(chē)和軌道狀態(tài)巡檢系統(tǒng)兩部分組成，如圖4所示。其中，電動(dòng)巡檢小車(chē)由4個(gè)小型軌道輪、車(chē)體和2個(gè)座椅組成；軌道狀態(tài)系統(tǒng)由1臺(tái)主機(jī)和2臺(tái)高清線(xiàn)陣圖像掃描模塊組成。

(1) 電動(dòng)巡檢小車(chē)；(2) 軌道狀態(tài)巡檢系統(tǒng)

巡檢儀工作時(shí)需要有1～2名操作人員搭乘、操作巡檢車(chē)前進(jìn)至被檢區(qū)間開(kāi)始檢查，狀態(tài)巡檢系統(tǒng)采集速度為20 km/h，總重量約為300 kg。此外，該巡檢系統(tǒng)有如下特點(diǎn)：1) 動(dòng)態(tài)采集軌道表面數(shù)據(jù)，可覆蓋整個(gè)軌道結(jié)構(gòu)表面；2)海量圖像數(shù)據(jù)實(shí)時(shí)壓縮存儲(chǔ)及顯示加速技術(shù)；3)搭載精確定位技術(shù)，里程定位精度0.3 m；4)高清圖像采集，像素分辨率最高可達(dá)0.3 mm；5)采用輕量化、結(jié)構(gòu)化設(shè)計(jì)，操作簡(jiǎn)單方便，可快速拆裝。

本文試驗(yàn)線(xiàn)路為某市高鐵線(xiàn)路正線(xiàn)，檢測(cè)長(zhǎng)度為10 km，檢測(cè)獲得有砟軌道和無(wú)砟軌道扣件，檢測(cè)圖像如圖5所示。

3.2 數(shù)據(jù)集構(gòu)建

針對(duì)試驗(yàn)所獲得數(shù)據(jù)，本文隨機(jī)選取了1 200張軌道圖像，選取其中600張作為訓(xùn)練圖像數(shù)據(jù)集，600張作為測(cè)試圖像數(shù)據(jù)集。

(a) 有砟軌道；(b) 無(wú)砟軌道

在建立訓(xùn)練數(shù)據(jù)集時(shí)，目標(biāo)檢測(cè)標(biāo)注是圖像檢測(cè)中的重要步驟，本次試驗(yàn)中選用LabelImg軟件進(jìn)行圖像標(biāo)注，將單張圖像中的有效扣件作為目標(biāo)檢測(cè)區(qū)域，如圖6所示。

圖6 圖像標(biāo)注

經(jīng)過(guò)標(biāo)注后可以得到檢測(cè)圖像中扣件目標(biāo)ROI的坐標(biāo)，生成坐標(biāo)數(shù)據(jù)集，并以該數(shù)據(jù)集為準(zhǔn)進(jìn)行網(wǎng)絡(luò)優(yōu)化和訓(xùn)練測(cè)試。

3.3 定位結(jié)果分析

本文扣件定位模型運(yùn)行硬件環(huán)境為GPU為NVIDIA RTX2080，CPU為Intel i7 9700，內(nèi)存32GB；軟件環(huán)境為Windows 10，Tensorflow，Python 3.6，CUDA 9.0，cuDNN 7.3。

經(jīng)過(guò)模型訓(xùn)練，將包含有砟軌道和無(wú)砟軌道圖像測(cè)試數(shù)據(jù)集輸入訓(xùn)練模型，得到扣件檢測(cè)結(jié)果，利用原始Faster R-CNN方法和本文方法部分檢測(cè)結(jié)果如圖7和圖8所示。

(a) 有砟軌道；(b) 無(wú)砟軌道

通過(guò)圖7和圖8的對(duì)比可以看出，其中利用原始Faster R-CNN方法也可以對(duì)扣件進(jìn)行定位，但由于RPN網(wǎng)絡(luò)生成的隨機(jī)性，輸出的定位邊框大小不一，不利于后續(xù)處理；而經(jīng)過(guò)改進(jìn)后的網(wǎng)絡(luò)，扣件定位準(zhǔn)確，輸出定位邊框較為一致，便于后續(xù) 處理。

為評(píng)價(jià)扣件定位檢測(cè)結(jié)果，本文選擇了檢出率和準(zhǔn)確率2個(gè)指標(biāo)。其中，檢出率R是指檢出的扣件正確檢測(cè)的占所有待檢測(cè)扣件的比例，準(zhǔn)確率R是指檢出扣件中正確檢測(cè)的占所有檢出扣件的比例。二者的計(jì)算公式如下：

式中：F表示正確檢出的扣件數(shù)量；F表示未檢測(cè)出的扣件數(shù)量；F表示錯(cuò)誤檢出的扣件數(shù)量。為驗(yàn)證本文方法的有效性，利用常用的YOLO V3，SSD與傳統(tǒng)的Faster R-CNN算法處理本試驗(yàn)中的數(shù)據(jù)集，分析結(jié)果如表1所示。

表1 扣件定位結(jié)果對(duì)比

從表1各種方法的扣件定位結(jié)果可以看出，傳統(tǒng)Faster R-CNN方法采用多復(fù)選框的方法檢測(cè)，雖然檢測(cè)準(zhǔn)確率較高，但計(jì)算效率低；SSD方法提高了計(jì)算效率，但檢測(cè)準(zhǔn)確性有所降低；YOLO V3具有最快的速度，但其檢測(cè)精度最低。本文方法與各種常用方法相比，具有較高的檢出率和準(zhǔn)確率，同時(shí)，單張圖像的處理時(shí)間短，檢測(cè)效率高。這說(shuō)明，通過(guò)對(duì)RPN網(wǎng)絡(luò)的優(yōu)化，本文算法在保持并提高計(jì)算效率的基礎(chǔ)上，提高了檢測(cè)的準(zhǔn)確率，彌補(bǔ)了傳統(tǒng)Faster R-CNN算法快速識(shí)別中的缺點(diǎn)，在檢測(cè)效率和準(zhǔn)確率上得到了均衡的提高，適用于扣件的快速、準(zhǔn)確檢測(cè)定位。

4 結(jié)論

1) 構(gòu)建了基于Faster R-CNN的扣件檢測(cè)模型，根據(jù)軌道扣件的檢測(cè)特點(diǎn)，提出了傳統(tǒng)Faster R-CNN的改進(jìn)算法，基于扣件目標(biāo)圖像的參數(shù)優(yōu)化RPN的檢測(cè)框，減少了計(jì)算量，有利于計(jì)算速度的提高。

2) 進(jìn)行高鐵扣件檢測(cè)試驗(yàn)，采集圖像并建立訓(xùn)練與測(cè)試數(shù)據(jù)集進(jìn)行檢測(cè)試驗(yàn)，分析結(jié)果表明本文提出方法相對(duì)于常用檢測(cè)方法，具有更高的檢測(cè)準(zhǔn)確率和效率。

[1] 代先星, 陽(yáng)恩慧, WANG Kelvin Chenping, 等. 鐵路扣件缺陷自動(dòng)檢測(cè)研究進(jìn)展[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2017, 14(11): 2452?2459. DAI Xianxing, YANG Enhui, WANG Kelvin Chenping, et al. Technology progress of automatic railway fastener inspection[J]. Journal of Railway Science and Engineering, 2017,14(11): 2452?2459.

[2] 田秀淑, 杜彥良, 趙維剛. 基于瞬態(tài)沖擊響應(yīng)特性的無(wú)砟軌道砂漿層脫空的檢測(cè)和識(shí)別[J]. 振動(dòng)與沖擊, 2019, 38(18): 148?153. TIAN Xiushu, DU Yanliang, ZHAO Weigang. Detection and identification of mortar void in the ballastless track of high-speed railway based on transient impact characteristics[J]. Journal of Vibration and Shock, 2019, 38(18): 148?153.

[3] 周武星, 朱鋒, 張小紅. 慣導(dǎo)最優(yōu)過(guò)程噪聲參數(shù)確定及其在高鐵軌道檢測(cè)中的應(yīng)用[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2019, 16(9): 2137?2142. ZHOU Wuxing, ZHU Feng, ZHANG Xiaohong. Determination of optimal process noise parameters of INS and its application in high-speed railway track irregularity measuring[J]. Journal of Railway Science and Engineering, 2019,16(9): 2137?2142.

[4] 劉俊博, 黃雅平, 王勝春, 等. 基于機(jī)器視覺(jué)的多線(xiàn)路鋼軌扣件缺損檢測(cè)方法[J]. 中國(guó)鐵道科學(xué), 2019, 40(4): 27?35. LIU Junbo, HUANG Yaping, WANG Shengchun, et al. Rail fastener defect detection method for multi railways based on machine vision[J]. China Railway Science, 2019, 40(4): 27?35.

[5] 王宇桐, 許貴陽(yáng), 周素霞. 基于垂向定位與灰度投影的地鐵扣件定位方法[J]. 鐵道建筑, 2019, 59(6): 112?116. WANG Yutong, XU Guiyang, ZHOU Suxia. Metro fastener location method based on vertical location and gray projection[J]. Railway Engineering, 2019, 59(6): 112?116.

[6] 趙建龍, 顧桂梅. 基于引導(dǎo)濾波和積分投影算法的軌道扣件定位[J]. 蘭州交通大學(xué)學(xué)報(bào), 2019, 38(3): 31?36. ZHAO Jianlong, GU Guimei. Track fastener positioning based on guided filtering and integral projection algorithm[J]. Journal of Lanzhou Jiaotong University, 2019, 38(3): 31?36.

[7] 戴鵬, 王勝春, 杜馨瑜, 等. 基于半監(jiān)督深度學(xué)習(xí)的無(wú)砟軌道扣件缺陷圖像識(shí)別方法[J]. 中國(guó)鐵道科學(xué), 2018, 39(4): 43?49. DAI Peng, WANG Shengchun, DU Xinyu, et al. Image recognition method for the fastener defect of ballastless track based on semi-supervised deep learning[J]. China Railway Science, 2018, 39(4): 43?49.

[8] 王昆, 鄭樹(shù)彬, 柴曉冬, 等. 軌道扣件幾何特征提取算法研究[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2015, 12(6): 1458? 1463. WANG Kun, ZHENG Shubin, CHAI Xiaodong, et al. The algorithmic research of extract of rail and fastener geometry characteristic[J]. Journal of Railway Science and Engineering, 2015, 12(6): 1458?1463.

[9] 孫睿, 陳興杰, 李立明, 等. 基于流行排序的軌道扣件定位方法研究[J]. 鐵道科學(xué)與工程學(xué)報(bào), 2020, 17(2): 288?296. SUN Rui, CHEN Xingjie, LI Liming, et al. Research on location method of track fasteners based on manifold sorting[J]. Journal of Railway Science and Engineering, 2020, 17(2): 288?296.

[10] 龍炎. 基于深度學(xué)習(xí)的鐵路扣件檢測(cè)系統(tǒng)的研究[D]. 北京: 北京交通大學(xué), 2018: 41?46. LONG Yan. Study on detection system of rail fastener based on deep learning[D]. Beijing: Beijing Jiaotong University, 2018: 41?46.

[11] 李兆洋, 李柏林, 羅建橋, 等. 基于改進(jìn)SSD模型的高鐵扣件定位算法[J]. 鐵道標(biāo)準(zhǔn)設(shè)計(jì), 2020, 64(5): 24?29. LI Zhaoyang, LI Bailin, LUO Jianqiao, et al. High-speed rail fastener positioning algorithm based on improved SSD model[J]. Railway Standard Design, 2020, 64(5): 24?29.

[12] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 580–587.

[13] Uijlings J R R, Sande K, Gevers T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154?171.

[14] Zitnick C L, Dollár P. Edge boxes: Locating object proposals from edges[C]// European Conference on Computer Vision. Zurich: Springer, 2014: 391?405.

[15] Girshick R. Fast R-CNN[C]// Proceedings of IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440–1448.

[16] Ren S, He K M, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. MIT Press, 2015: 91? 99.

Research on railway fastener positioning based on Faster R-CNN

BAI Tangbo1, 2, YANG Jianwei1, 2, XU Guiyang1, 2, QIU Shi3

(1. School of Mechanical-electronic and Vehicle Engineering, Beijing University of Civil Engineering and Architecture, Beijing 100044, China;2. Beijing Key Laboratory of Performance Guarantee on Urban Rail Transit Vehicles, Beijing University of Civil Engineering and Architecture, Beijing 100044, China; 3. School of Civil Engineering, Central South University, Changsha 410075, China)

Accurate fastener positioning is the basis for fastener condition detection and the ensurance for railway vehicles safety. The traditional method based on image processing is difficult to meet the need of rapid and accurate intelligent detection. In view of this, a deep learning method based on improved Faster R-CNN was proposed in this paper to locate fasteners. Firstly, the detection image data set was established and labeled. Then, the Faster R-CNN detection model was built according to the characteristics of the fasteners image. The proposal region border information in the model was optimized by using the labeled data to improve the recall efficiency and precision. Through the analysis and verification of actual detection data, the method proposed in this paper improves the detection efficiency and positioning effect. Compared with other target detection methods, it has higher recall rate and identification accuracy, and can locate fasteners quickly and accurately.

railway; fastener positioning; image processing; Faster R-CNN

U213.2；TP274

A

10.19713/j.cnki.43?1423/u.T20200405

1672 ? 7029(2021)02 ? 0502? 07

2020?05?14

北京市教委科技計(jì)劃一般項(xiàng)目(KM202010016003)；國(guó)家自然科學(xué)基金資助項(xiàng)目(51975038，51605023)

邱實(shí)(1985?)，男，重慶人，教授，博士，從事軌道結(jié)構(gòu)檢測(cè)技術(shù)研究；E?mail：sheldon.qiu@csu.edu.cn

(編輯 陽(yáng)麗霞)