基于機(jī)器視覺(jué)的多線路鋼軌扣件缺損檢測(cè)方法

劉俊博，黃雅平，王勝春，趙鑫欣，鄒 琪，張興園

(1.北京交通大學(xué) 交通數(shù)據(jù)分析與挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 100044；2.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 基礎(chǔ)設(shè)施檢測(cè)研究所，北京 100081)

通訊作者：黃雅平(1974—)，女，內(nèi)蒙古赤峰人，教授，博士研究生導(dǎo)師。E-mail: yphuang@bjtu.edu.cn

隨著我國(guó)鐵路運(yùn)營(yíng)里程的飛速增長(zhǎng)，如何有效地保障鐵路運(yùn)營(yíng)安全已成為鐵路養(yǎng)護(hù)工作中的關(guān)鍵問(wèn)題。扣件是連接鋼軌和道床的重要軌道組件，鋼軌的振動(dòng)和環(huán)境溫差等因素會(huì)使扣件損壞，導(dǎo)致鋼軌移位，甚至造成列車(chē)脫軌等嚴(yán)重安全事故。近年來(lái)，基于機(jī)器視覺(jué)技術(shù)的檢測(cè)方法憑借其高效、可靠、成本低等特點(diǎn)，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。國(guó)內(nèi)外學(xué)者提出了許多基于機(jī)器視覺(jué)的檢測(cè)方法，用于鋼軌磨損狀態(tài)檢測(cè)[1-4]、接觸網(wǎng)缺陷狀態(tài)檢測(cè)[5]、鋼軌塞釘狀態(tài)檢測(cè)[6]和鋼軌扣件缺損檢測(cè)[7]等任務(wù)。

基于機(jī)器視覺(jué)的鋼軌扣件缺損檢測(cè)系統(tǒng)是通過(guò)安裝在檢測(cè)列車(chē)底部的高速線陣相機(jī)獲取軌道圖像；然后，利用扣件區(qū)域定位模塊精確地定位扣件區(qū)域；最后，通過(guò)扣件缺損識(shí)別模塊來(lái)識(shí)別扣件缺損狀態(tài)。對(duì)于扣件區(qū)域定位，現(xiàn)有的方法是先檢測(cè)鋼軌、枕木和扣件的邊緣、角點(diǎn)等幾何特征[8]，再利用軌道組件的位置分布定位扣件區(qū)域。然而，這些初級(jí)圖像特征的抗干擾性較差，而且此類方法大多是針對(duì)特定的道床類型設(shè)計(jì)，無(wú)法應(yīng)用到多線路鋼軌扣件檢測(cè)任務(wù)中，存在推廣性較差的問(wèn)題。

對(duì)于扣件的缺損識(shí)別，現(xiàn)有方法可分為有監(jiān)督和無(wú)監(jiān)督2類。有監(jiān)督的扣件識(shí)別方法采用小波變換(Wavelet Transform，WT)[9]、獨(dú)立成分分析(Independent Component Analysis，ICA)[10]等手工設(shè)計(jì)的特征表示扣件區(qū)域，再利用多層感知機(jī)(Multi-Layer Perceptron，MLP)[11]、隱含狄利克雷分布(Latent Dirichlet Allocation，LDA)[12]、AdaBoosting[13]、Viola-Jones[14]、貝葉斯壓縮感知(Bayesian Compression Sensing，BCS)[15]等分類方法識(shí)別扣件缺損。無(wú)監(jiān)督的扣件識(shí)別方法使用梯度方向直方圖(Histogram of Oriented Gradient，HOG)[16]或局部二值模式(Local Binary Pattern，LBP)[17]特征表示扣件區(qū)域，再利用模板匹配的方法識(shí)別扣件缺損。然而，在進(jìn)行多線路檢測(cè)時(shí)，有監(jiān)督的扣件識(shí)別方法需要在每條鐵路線路上重新采集和標(biāo)注大量的扣件樣本用于訓(xùn)練，訓(xùn)練過(guò)程非常耗時(shí)、費(fèi)力；無(wú)監(jiān)督的扣件識(shí)別方法雖然不需要訓(xùn)練，但性能略低。

本文首先提出了一種基于在線學(xué)習(xí)策略的扣件區(qū)域定位算法，用于定位扣件區(qū)域，并自動(dòng)地采集和標(biāo)注大量扣件樣本，然后利用自動(dòng)標(biāo)注的扣件樣本預(yù)訓(xùn)練扣件缺損識(shí)別算法學(xué)習(xí)扣件圖像的深度特征，最后利用遷移學(xué)習(xí)的思想將預(yù)訓(xùn)練模型遷移到多條線路中使用。試驗(yàn)表明，該方法可以滿足多線路鋼軌扣件的檢測(cè)需求，具有較大的理論意義和實(shí)用價(jià)值。

1 基于在線學(xué)習(xí)策略的扣件區(qū)域定位算法

扣件區(qū)域定位是指從原始的軌道圖像中精確地定位并提取扣件區(qū)域?，F(xiàn)有的扣件區(qū)域定位方法多基于邊緣特征和互信息相關(guān)性，即先檢測(cè)鋼軌和枕木的邊緣特征，再利用它們的位置關(guān)系確定扣件區(qū)域。然而，進(jìn)行多線路檢測(cè)時(shí)，道床類型和扣件類型不是固定的1種類型，這將導(dǎo)致定位性能下降。圖1展示了不同線路的道床類型和扣件類型。

圖1 不同線路的道床類型和扣件類型

針對(duì)當(dāng)前的扣件定位方法無(wú)法進(jìn)行多線路檢測(cè)的問(wèn)題，提出了一種基于在線學(xué)習(xí)策略的扣件區(qū)域定位算法。

1)扣件區(qū)域定位

原始的軌道圖像中包含5條先驗(yàn)信息：①每幀軌道圖像只包含1條鋼軌；②鋼軌垂直于圖像的x軸；③鋼軌寬度是固定的像素值；④扣件區(qū)域在鋼軌兩側(cè)固定寬度的范圍內(nèi)；⑤每幀軌道圖像至少包含6個(gè)扣件區(qū)域。

基于以上信息，首先利用基于直線線段檢測(cè)器(Line Segment Detector，LSD)的鋼軌邊界定位方法[18]，快速地定位鋼軌位置，減少扣件候選區(qū)域的范圍；然后，采用滑動(dòng)窗口法在扣件候選區(qū)域內(nèi)提取子窗口，并計(jì)算子窗口HOG特征與扣件模板HOG特征的相似度；最后，選擇相似度最高的子窗口作為最優(yōu)扣件區(qū)域，根據(jù)軌道組件的位置分布和扣件區(qū)域的對(duì)稱性推斷其他扣件區(qū)域。

采用軌道狀態(tài)巡檢系統(tǒng)[19]獲取軌道圖像，每幀軌道圖像的尺寸為(800×1 230)像素，每個(gè)扣件區(qū)域的尺寸為(90×100)像素，鋼軌寬度為60像素，扣件區(qū)域的橫向間隔為55～65像素，縱向間隔為275～315像素?？奂^(qū)域定位算法的示意圖如圖2所示。圖中：紅色虛線表示檢測(cè)到的鋼軌邊界，綠色虛線的區(qū)域?yàn)榭奂蜻x區(qū)域，綠色矩形框?yàn)檫x擇的最優(yōu)扣件區(qū)域，藍(lán)色虛線框包圍的黃色矩形框?yàn)橥茢喑龅目奂^(qū)域。

圖2 扣件區(qū)域定位算法示意圖

2)在線學(xué)習(xí)策略

在線學(xué)習(xí)策略用于動(dòng)態(tài)地更新扣件模板庫(kù)。具體而言，扣件模板庫(kù)被分為在線庫(kù)和離線庫(kù)，離線庫(kù)包含人工復(fù)檢的扣件模板，該庫(kù)不會(huì)在檢測(cè)過(guò)程中更新，而在線庫(kù)在檢測(cè)過(guò)程中將先利用K近鄰(K-Nearest Neighbor，K-NN)算法對(duì)檢測(cè)到的扣件區(qū)域進(jìn)行相似度計(jì)算，再根據(jù)更新規(guī)則進(jìn)行動(dòng)態(tài)更新。

由于在線學(xué)習(xí)策略基于1個(gè)先驗(yàn)知識(shí)，即相鄰幀的軌道圖像，其光照條件、軌旁環(huán)境和扣件類型不會(huì)發(fā)生太劇烈的變化。所以，規(guī)定在線模板庫(kù)的更新規(guī)則如下：① 將鋼軌兩側(cè)相似度最高的扣件區(qū)域添加到在線模板庫(kù)中的正?？奂^(qū)域隊(duì)列的尾部；②在鋼軌兩側(cè)的非扣件區(qū)域隨機(jī)抓取2個(gè)背景區(qū)域，添加到在線模板庫(kù)中的背景區(qū)域隊(duì)列尾部；③如果在線模板庫(kù)中某一隊(duì)列的長(zhǎng)度大于預(yù)設(shè)閾值N，則刪除該隊(duì)列頭部的模板。

根據(jù)更新規(guī)則，隊(duì)列頭部的模板來(lái)源于間隔較遠(yuǎn)的軌道圖像，隊(duì)列尾部新插入的模板則來(lái)源于較近時(shí)間段獲取的軌道圖像。因此，隊(duì)列頭部模板的光照條件、軌旁環(huán)境和扣件類型可能與當(dāng)前幀軌道圖像相差較大。當(dāng)模板隊(duì)列的長(zhǎng)度超過(guò)預(yù)設(shè)閾值N時(shí)，優(yōu)先刪除隊(duì)列頭部的模板。該策略可保證在線模板庫(kù)自適應(yīng)當(dāng)前幀軌道圖像的光照條件、軌旁環(huán)境和扣件類型，提升扣件區(qū)域定位算法的精確性。

3)自動(dòng)樣本標(biāo)注

當(dāng)前有監(jiān)督扣件缺損識(shí)別方法在訓(xùn)練過(guò)程中需要大量的訓(xùn)練樣本，然而在實(shí)際應(yīng)用中手動(dòng)地收集和標(biāo)注扣件訓(xùn)練樣本非常的耗時(shí)和費(fèi)力。因此，提出自動(dòng)樣本標(biāo)注方法，利用在線模板庫(kù)對(duì)定位得到的扣件區(qū)域進(jìn)行預(yù)分類，構(gòu)建大型扣件訓(xùn)練數(shù)據(jù)集，用于預(yù)訓(xùn)練扣件缺損識(shí)別算法。

自動(dòng)樣本標(biāo)注的詳細(xì)流程如圖3所示。在扣件區(qū)域定位階段，為了提高定位效率，只使用模板庫(kù)中的正常模板和背景模板，但在自動(dòng)樣本標(biāo)注階段，需要使用正常、損壞和丟失3種扣件模板計(jì)算扣件區(qū)域的分類得分，最后將分類得分高于閾值λ的扣件區(qū)域作為訓(xùn)練樣本。

圖3 自動(dòng)樣本標(biāo)注流程

K-NN算法常用的分類依據(jù)是投票法。然而在鋼軌扣件缺損檢測(cè)任務(wù)中，有缺損的扣件數(shù)量很少，導(dǎo)致正常的扣件模板數(shù)量與有缺損的扣件模板數(shù)量是不平衡的，并且還會(huì)有錯(cuò)誤標(biāo)記的噪聲模板，影響了K-NN算法的分類性能。因此，設(shè)計(jì)了1個(gè)權(quán)重函數(shù)，為

(1)

其中,

此權(quán)重函數(shù)計(jì)算輸入扣件區(qū)域圖像x與每個(gè)類別扣件模板的平均巴氏系數(shù)來(lái)度量相似性，既可以處理不同類別的扣件模板數(shù)量的不平衡問(wèn)題，也降低了K-NN算法對(duì)噪聲扣件模板的敏感性，可在一定程度上提升分類精度。

與以往的有監(jiān)督扣件缺損識(shí)別方法相比，自動(dòng)樣本標(biāo)注方法避免了人工操作，提升了扣件缺損檢測(cè)系統(tǒng)的自動(dòng)化程度，更具有實(shí)用性。需要注意的是，使用此方法自動(dòng)標(biāo)注的扣件樣本可能會(huì)出現(xiàn)少量錯(cuò)誤標(biāo)注。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法

深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像識(shí)別、目標(biāo)跟蹤等任務(wù)，并取得了巨大的突破。相較于傳統(tǒng)的圖像分類方法，深度卷積神經(jīng)網(wǎng)絡(luò)從仿生學(xué)的角度出發(fā)，使用多個(gè)層次的卷積層模擬人腦神經(jīng)系統(tǒng)中的層次結(jié)構(gòu)，經(jīng)過(guò)多次迭代學(xué)習(xí)后，能夠?qū)W習(xí)提取到更有判別力的特征，有效地提升圖像識(shí)別的性能。

使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類任務(wù)時(shí)，需要輸入大量的訓(xùn)練樣本。然而，在多線路扣件檢測(cè)任務(wù)中，手動(dòng)地為每條線路標(biāo)注大量的扣件樣本非常耗費(fèi)人力和物力，不具有可實(shí)踐性。本文方法可自動(dòng)地標(biāo)注大量扣件樣本，用于預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)。然后，針對(duì)每條待檢測(cè)線路，只需用少量的待檢測(cè)線路的扣件樣本對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，即可達(dá)到較好的分類性能。在實(shí)際的檢測(cè)任務(wù)中，也可自動(dòng)地收集線路中的扣件樣本對(duì)扣件缺損識(shí)別模型定期地進(jìn)行微調(diào)，以抵御由于天氣、季節(jié)的變化造成的環(huán)境差異(例如，雨、雪天氣)導(dǎo)致的模型分類性能退化，使得扣件缺損識(shí)別模型可以在此線路上達(dá)到更好的分類性能。

1)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

以AlexNet[20]模型為基礎(chǔ)，針對(duì)扣件區(qū)域圖像的特點(diǎn)設(shè)計(jì)扣件缺損識(shí)別算法的網(wǎng)絡(luò)結(jié)構(gòu)。由于扣件區(qū)域圖像的尺寸較小，圖像內(nèi)容相對(duì)單一，刪除AlexNet模型的前2個(gè)卷積層，并降低全連接層的神經(jīng)元個(gè)數(shù)，以提升網(wǎng)絡(luò)的計(jì)算速度。同時(shí)，為保持圖像特征的感受野尺寸不變，增加卷積層中卷積核的尺寸?？奂睋p識(shí)別算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。圖中：每個(gè)卷積層的卷積核尺寸為(7×7)像素，步長(zhǎng)為1，3個(gè)卷積層的卷積核個(gè)數(shù)分別為128，256和512個(gè)；池化操作的方式選擇取最大值，窗口尺寸為(2×2)像素，步長(zhǎng)為2；第1和第2個(gè)全連接層有1 024個(gè)神經(jīng)節(jié)點(diǎn)，用于將卷積層提取的圖像特征在高維空間進(jìn)行表達(dá)；最后1個(gè)全連接層有3個(gè)神經(jīng)節(jié)點(diǎn)，分別表示扣件區(qū)域圖像分類的類別，即正常、損壞和丟失。

圖4 扣件缺損識(shí)別算法網(wǎng)絡(luò)結(jié)構(gòu)(單位：像素)

此外，每個(gè)卷積層和全連接層后都使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數(shù)，有助于加速網(wǎng)絡(luò)的收斂。在第1和第2個(gè)全連接層后使用了隨機(jī)失活(DropOut)策略，可有效地防止網(wǎng)絡(luò)過(guò)擬合。在設(shè)計(jì)的扣件缺損識(shí)別算法網(wǎng)絡(luò)結(jié)構(gòu)中沒(méi)有使用局部響應(yīng)歸一化(Local Response Normalization，LRN)層，因?yàn)長(zhǎng)RN層對(duì)網(wǎng)絡(luò)性能的提升很小，但是增加了額外的內(nèi)存開(kāi)銷(xiāo)和計(jì)算成本[21]。

2)數(shù)據(jù)增強(qiáng)方法

深度卷積神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練樣本，且每類訓(xùn)練樣本的數(shù)量應(yīng)大致平衡。然而，在扣件缺損檢測(cè)任務(wù)中，有缺損的扣件數(shù)量遠(yuǎn)遠(yuǎn)低于正?？奂臄?shù)量，不利于深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。因此，提出樣本隨機(jī)排序策略來(lái)減小樣本數(shù)量失衡對(duì)識(shí)別性能的影響。樣本隨機(jī)排序策略分為5個(gè)步驟，具體如下。

步驟1 根據(jù)樣本標(biāo)簽對(duì)訓(xùn)練數(shù)據(jù)集排序；

步驟2 找到樣本數(shù)量最多的類別，記錄其樣本數(shù)量為M；

步驟3 為每個(gè)類別都創(chuàng)建1個(gè)長(zhǎng)度為M的編號(hào)列表，并進(jìn)行隨機(jī)排序；

步驟4 遍歷讀取每個(gè)類別編號(hào)列表中的編號(hào)m，并與此類別的總數(shù)取余，得到1個(gè)索引值，根據(jù)此索引值找到對(duì)應(yīng)的圖像，添加到圖像列表L中；

步驟5 合并所有類別的圖像列表L，并進(jìn)行隨機(jī)排序，將此圖像列表作為網(wǎng)絡(luò)的輸入。

為了防止大量重復(fù)樣本造成網(wǎng)絡(luò)模型過(guò)擬合，在網(wǎng)絡(luò)的數(shù)據(jù)輸入層對(duì)每個(gè)有缺損扣件樣本添加高斯噪聲，并隨機(jī)選擇高斯參數(shù)，從而減少訓(xùn)練數(shù)據(jù)的重復(fù)。此方法計(jì)算開(kāi)銷(xiāo)小，增加噪聲后的圖像不需要存儲(chǔ)到硬盤(pán)。在試驗(yàn)中，均值的取值范圍是[-2,2]，標(biāo)準(zhǔn)差的取值范圍是[0,1]，高斯系數(shù)的取值范圍是[16,64]。

3 試驗(yàn)驗(yàn)證

扣件缺損檢測(cè)系統(tǒng)采用C++開(kāi)發(fā)，使用Opencv3.0，CUDA8.0，Caffe[22]等工具庫(kù)，計(jì)算服務(wù)器采用2個(gè)Intel E5-2630v4型CPU和1個(gè)NVIDIA Tesla k40c型GPU計(jì)算卡。

1)多線路鋼軌扣件數(shù)據(jù)集

由于在鐵路檢測(cè)任務(wù)中沒(méi)有公開(kāi)的鋼軌扣件數(shù)據(jù)集，試驗(yàn)所用的鋼軌扣件數(shù)據(jù)全部采集自真實(shí)鐵路線路，并進(jìn)行了人工標(biāo)注。數(shù)據(jù)集包含2個(gè)部分：①扣件區(qū)域定位試驗(yàn)數(shù)據(jù)。此部分試驗(yàn)數(shù)據(jù)只標(biāo)注了扣件區(qū)域的位置，用于測(cè)試扣件區(qū)域定位算法的性能和自動(dòng)收集扣件樣本。②扣件缺損識(shí)別試驗(yàn)數(shù)據(jù)。此部分試驗(yàn)數(shù)據(jù)標(biāo)注了扣件的分類標(biāo)簽，用于微調(diào)和測(cè)試扣件缺損識(shí)別算法的性能。鋼軌扣件數(shù)據(jù)集包含多種常見(jiàn)的扣件類型，可根據(jù)扣件形狀分為鉤型、螺母型和α型。此外，在有砟鐵路線路的扣件數(shù)據(jù)中，主體部分被道砟覆蓋的扣件區(qū)域被標(biāo)注為損壞扣件。各鐵路線路中鋼軌扣件試驗(yàn)數(shù)據(jù)的詳細(xì)信息見(jiàn)表1和表2。

表1 扣件區(qū)域定位試驗(yàn)數(shù)據(jù)詳細(xì)信息

表2 扣件缺損識(shí)別試驗(yàn)數(shù)據(jù)詳細(xì)信息

2)扣件區(qū)域定位

扣件區(qū)域定位試驗(yàn)采用檢測(cè)率作為評(píng)價(jià)指標(biāo)，并設(shè)置交并比(Intersection over Union，IoU)閾值為0.9，以保證扣件區(qū)域定位的有效性。

試驗(yàn)采用了2種試驗(yàn)方案：方案1是使用模板庫(kù)的離線部分；方案2是使用本文方法，即添加在線模板庫(kù)。在線模板庫(kù)的最大隊(duì)列長(zhǎng)度設(shè)置為300個(gè)，2種試驗(yàn)方案的離線模板庫(kù)相同，即包含20張扣件區(qū)域模板圖像和20張非扣件區(qū)域模板圖像，近鄰模板數(shù)量K設(shè)置為19張。

表3 采用不同方案得到的扣件區(qū)域定位試驗(yàn)檢測(cè)率/%

各線路的測(cè)試結(jié)果見(jiàn)表3。從表3可以看出：方案1的平均檢測(cè)率低于方案2；方案1對(duì)各個(gè)線路的檢測(cè)率有較大的幅度的變動(dòng)，而方案2對(duì)各個(gè)線路的檢測(cè)率基本都達(dá)到了99%以上，表明本文的扣件區(qū)域定位算法具有較高的可靠性和良好的多線路適應(yīng)能力。

為了測(cè)試在線模板庫(kù)的最大隊(duì)列長(zhǎng)度對(duì)扣件區(qū)域定位結(jié)果的影響，將近鄰模板數(shù)量K固定為19張，并使用檢測(cè)率和檢測(cè)速度作為評(píng)價(jià)指標(biāo)，檢測(cè)速度以每秒幀數(shù)為單位。試驗(yàn)采用1#鐵路線路的數(shù)據(jù)，試驗(yàn)結(jié)果見(jiàn)表4。

表4 不同隊(duì)列長(zhǎng)度下檢測(cè)結(jié)果

從表4可以看出：隨著在線模板庫(kù)最大隊(duì)列長(zhǎng)度的增加，檢測(cè)率也隨之增加，但是變化幅度并不大，同時(shí)，也導(dǎo)致了檢測(cè)速度不斷下降，影響系統(tǒng)的運(yùn)行效率；總體來(lái)說(shuō)，在本文方法中，增加在線模板庫(kù)的最大隊(duì)列長(zhǎng)度有助于提升檢測(cè)率，但也會(huì)降低檢測(cè)速度，進(jìn)而影響系統(tǒng)效率。在實(shí)際應(yīng)用時(shí)，可根據(jù)需求靈活調(diào)整。

為了測(cè)試近鄰模板數(shù)量對(duì)扣件區(qū)域定位結(jié)果的影響，將在線模板庫(kù)的最大隊(duì)列長(zhǎng)度設(shè)置為300個(gè)，然后取不同的K值進(jìn)行試驗(yàn)。試驗(yàn)采用1#鐵路線路的數(shù)據(jù)，試驗(yàn)結(jié)果見(jiàn)表5。

表5 不同K值下的檢測(cè)結(jié)果

從表5可以看出：使用更大的K值會(huì)對(duì)扣件區(qū)域定位算法的檢測(cè)率有一定的幫助，但是并沒(méi)有大幅度的改善，而且會(huì)帶來(lái)系統(tǒng)效率上的損失。

3)扣件缺損識(shí)別

扣件缺損識(shí)別試驗(yàn)采用精確率、召回率和F1分?jǐn)?shù)3個(gè)指標(biāo)評(píng)價(jià)算法的可靠性。

首先，使用自動(dòng)樣本標(biāo)注方法在1#，2#，3#和4#線路數(shù)據(jù)上自動(dòng)地采集訓(xùn)練樣本，最終采集到正?？奂?5 686個(gè)、損壞扣件1 596個(gè)、丟失扣件1 080個(gè)。然后，結(jié)合本文的樣本隨機(jī)排序策略對(duì)采集的扣件樣本集進(jìn)行數(shù)據(jù)增強(qiáng)，用于預(yù)訓(xùn)練扣件缺損識(shí)別算法。最后，再分別使用5#，6#和7#線路的扣件數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型。為了試驗(yàn)的公平性，在對(duì)每條鐵路線路微調(diào)時(shí)均使用相同數(shù)量的樣本，即正常、損壞和丟失的扣件樣本圖像各2 000張，剩余扣件樣本圖像用于測(cè)試算法性能。

網(wǎng)絡(luò)模型采用隨機(jī)梯度下降(Stochastic Gradieot Descent，SGD)算法進(jìn)行訓(xùn)練，輸入樣本批量大小為128個(gè)，動(dòng)量設(shè)置為0.9，權(quán)重衰減值為0.000 5，DropOut比例設(shè)置為0.5。訓(xùn)練周期為20個(gè)時(shí)期(epochs)，初始學(xué)習(xí)率設(shè)置為10-4，每訓(xùn)練5個(gè)epochs后，學(xué)習(xí)率下降10倍。試驗(yàn)結(jié)果見(jiàn)表6。

表6 扣件缺損識(shí)別多線路試驗(yàn)結(jié)果

從表6可以看出：7#線路的測(cè)試結(jié)果稍優(yōu)于5#和6#線路的測(cè)試結(jié)果，這是由于7#線路中只存在1種類型的扣件，而5#和6#線路中存在2種類型的扣件；扣件缺損識(shí)別算法只使用了少量的訓(xùn)練樣本就達(dá)到了較為可靠的性能，表明本文的扣件缺損識(shí)別算法具有良好的多線路適應(yīng)能力。

為了證明扣件缺損識(shí)別算法的優(yōu)勢(shì)，使用了5種試驗(yàn)方案進(jìn)行對(duì)比試驗(yàn)，測(cè)試數(shù)據(jù)均采用7#線路數(shù)據(jù)。方案1是利用模板庫(kù)的離線部分結(jié)合K-NN算法識(shí)別扣件缺損。方案2是增加了在線模板庫(kù)，再使用K-NN算法識(shí)別扣件缺損。方案3是本文提出的自動(dòng)樣本標(biāo)注方法，即在方案2的基礎(chǔ)上，增加了分類權(quán)重函數(shù)。這3種方案的優(yōu)勢(shì)在于不需要訓(xùn)練分類模型。方案4是直接使用預(yù)訓(xùn)練的網(wǎng)絡(luò)模型進(jìn)行扣件缺損識(shí)別，不使用7#線路數(shù)據(jù)進(jìn)行微調(diào)。方案5是使用7#線路數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型。試驗(yàn)結(jié)果見(jiàn)表7。

表7 扣件缺損識(shí)別對(duì)比試驗(yàn)結(jié)果

從表7可以看出：方案4和方案5的綜合性能遠(yuǎn)遠(yuǎn)高于其他方案，顯著地提高了扣件缺損檢測(cè)系統(tǒng)的可靠性，并且,使用待檢測(cè)線路的扣件樣本進(jìn)行微調(diào)可以有效地提升扣件缺損識(shí)別算法在此線路上的識(shí)別性能。此外，本文提出的自動(dòng)樣本標(biāo)注方法在識(shí)別性能上優(yōu)于僅使用離線模板庫(kù)的方法。方案2沒(méi)有使用本文提出的權(quán)重函數(shù)，在線模板庫(kù)中的正?？奂０鍞?shù)量遠(yuǎn)遠(yuǎn)大于有缺損扣件模板數(shù)量，導(dǎo)致識(shí)別性能較差，這符合本文的預(yù)期。本文的自動(dòng)樣本標(biāo)注方法雖然不適合作為最終的分類器，但其識(shí)別精確率較高，并且無(wú)需經(jīng)過(guò)訓(xùn)練，非常適合用于自動(dòng)地標(biāo)注扣件樣本。

4)圖像特征對(duì)比

對(duì)于圖像識(shí)別問(wèn)題，提取具有判別力的圖像特征是非常重要的。試驗(yàn)選取以往方法中常用的HOG和LBP特征與基于深度卷積神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法提取的圖像特征進(jìn)行比較，結(jié)果見(jiàn)表8。

從表8可以看出：傳統(tǒng)的HOG和LBP方法雖然可以用作描述鋼軌扣件，但所提取的圖像特征較為粗糙，包含了大量的背景元素；而基于深度卷積神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法提取的圖像特征則集中于描述鋼軌扣件，忽略了圖像背景元素的特征。顯然，本文基于深度卷積神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法提取的圖像特征更具有判別力，且對(duì)圖像光照條件的變化不敏感。

表8 不同方法提取的圖像特征對(duì)比

4 結(jié) 語(yǔ)

本文提出了1種基于機(jī)器視覺(jué)的多線路鋼軌扣件缺損檢測(cè)方法，可用于多線路檢測(cè)任務(wù)?；谠诰€學(xué)習(xí)策略的扣件區(qū)域定位算法，不僅增強(qiáng)了扣件區(qū)域定位模塊的可靠性和多線路適應(yīng)能力，而且可以自動(dòng)地采集和標(biāo)注扣件樣本?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)的扣件缺損識(shí)別算法，提升了扣件缺損識(shí)別模塊的可靠性，并利用微調(diào)技術(shù)提升了網(wǎng)絡(luò)模型的多線路適應(yīng)能力。試驗(yàn)結(jié)果表明，本文方法具有較高的可靠性和良好的多線路適應(yīng)能力，其表現(xiàn)優(yōu)于之前的扣件缺損檢測(cè)方法，對(duì)于多線路鋼軌扣件缺損檢測(cè)任務(wù)具有很強(qiáng)的實(shí)用價(jià)值和理論意義。