基于少樣本學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法

劉俊博，杜馨瑜，王勝春，顧子晨，王 凡，戴 鵬

(1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 基礎(chǔ)設(shè)施檢測(cè)研究所,北京 100081；2.北京鐵科英邁技術(shù)有限公司，北京 100081)

近年來(lái)，我國(guó)鐵路高速化和重載化程度不斷提升，如果線路中鋼軌出現(xiàn)病害，將嚴(yán)重影響鐵路運(yùn)輸安全，因此，亟需研究更高效、更準(zhǔn)確的鋼軌表面缺陷檢測(cè)方法，為鐵路管理部門(mén)制定維修養(yǎng)護(hù)計(jì)劃提供數(shù)據(jù)支撐，以保障鐵路運(yùn)輸安全。

基于機(jī)器視覺(jué)的無(wú)損檢測(cè)技術(shù)具有成本低、速度快、客觀性強(qiáng)等優(yōu)點(diǎn)，一直受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，已成功應(yīng)用于高鐵接觸網(wǎng)部件檢測(cè)[1]、軌道結(jié)構(gòu)病害識(shí)別[2]、鋼軌扣件檢測(cè)[3-4]和鋼軌表面缺陷檢測(cè)[5-8]等領(lǐng)域。在鋼軌表面缺陷檢測(cè)方面，傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)方法可以分為有監(jiān)督式和無(wú)監(jiān)督式兩類(lèi)。有監(jiān)督式方法通常采用滑動(dòng)窗口從原始鋼軌圖像中提取子區(qū)域，然后使用光譜特征[5]、最大穩(wěn)定極值區(qū)域[6]等提取子區(qū)域特征，最后，訓(xùn)練K-近鄰或支撐向量機(jī)識(shí)別子區(qū)域是否存在缺陷。無(wú)監(jiān)督式方法通常采用局部歸一化[7]、邁克爾遜對(duì)比度[8]等方法增強(qiáng)原始圖像，然后利用輪廓投影、比例強(qiáng)調(diào)最大熵等自動(dòng)閾值方法定位缺陷區(qū)域。然而，上述方法均依賴(lài)圖像局部紋理特征，在實(shí)際檢測(cè)任務(wù)中容易受到光照條件、圖像噪聲、軌道環(huán)境等因素的干擾，存在魯棒性差的問(wèn)題。

近年來(lái)，F(xiàn)aster-RCNN[9]、SSD[10]、YOLOv3[11]等目標(biāo)檢測(cè)方法在鐵路基礎(chǔ)設(shè)施病害檢測(cè)任務(wù)中得到廣泛應(yīng)用。得益于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DCNN)強(qiáng)大的學(xué)習(xí)能力和公開(kāi)的目標(biāo)檢測(cè)數(shù)據(jù)集中千萬(wàn)級(jí)的已標(biāo)注圖像，該類(lèi)目標(biāo)檢測(cè)方法能夠自動(dòng)地從大量訓(xùn)練樣本中學(xué)習(xí)目標(biāo)物體潛在的特征模式，極大地提高了目標(biāo)檢測(cè)的魯棒性和檢測(cè)速度。然而，現(xiàn)有方法應(yīng)用于鋼軌表面缺陷檢測(cè)任務(wù)時(shí)仍難以滿(mǎn)足“零漏報(bào)、低誤報(bào)”的性能需求，其原因主要在于以下3個(gè)方面：

(1)缺陷樣本數(shù)量少?；贒CNN的目標(biāo)檢測(cè)方法屬于有監(jiān)督式學(xué)習(xí)方法，通常分為目標(biāo)定位和目標(biāo)分類(lèi)兩個(gè)階段，需要輸入大量已標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練；然而，實(shí)際檢測(cè)任務(wù)中，有缺陷鋼軌圖像的數(shù)量相對(duì)稀缺，導(dǎo)致無(wú)法手動(dòng)收集和標(biāo)注足夠的訓(xùn)練樣本。

(2)不同類(lèi)別缺陷樣本數(shù)量差異大?，F(xiàn)有方法訓(xùn)練目標(biāo)分類(lèi)階段時(shí)，各類(lèi)別的訓(xùn)練樣本數(shù)量需要大致平衡；然而，實(shí)際檢測(cè)任務(wù)中，無(wú)法保證每類(lèi)有缺陷鋼軌的圖像樣本數(shù)量平衡，導(dǎo)致影響網(wǎng)絡(luò)的分類(lèi)性能。

(3)缺陷區(qū)域面積小易漏檢。每幅有缺陷鋼軌圖像一般只包含1～2處缺陷區(qū)域，并且缺陷區(qū)域面積通常較?。欢F(xiàn)有方法對(duì)小目標(biāo)對(duì)象的定位精度不足，因此對(duì)于小面積的鋼軌表面缺陷區(qū)域存在漏檢現(xiàn)象。

針對(duì)以上問(wèn)題，本文通過(guò)數(shù)據(jù)增益、損失函數(shù)優(yōu)化和網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化3個(gè)方面的改進(jìn)，提出一種基于少樣本學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法，利用相對(duì)少的缺陷樣本實(shí)現(xiàn)端到端的鋼軌表面缺陷檢測(cè)?；谏贅颖緦W(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法整體流程見(jiàn)圖1。

圖1 基于少樣本學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法整體流程

首先，設(shè)計(jì)樣本隨機(jī)組合策略，構(gòu)建鋼軌表面缺陷數(shù)據(jù)集，將少量已標(biāo)注的鋼軌圖像隨機(jī)拼接，解決有缺陷樣本數(shù)量稀缺的問(wèn)題；然后，提出一種圖像代表性特征學(xué)習(xí)算法，改進(jìn)深度網(wǎng)絡(luò)的分類(lèi)損失函數(shù)，降低各類(lèi)別樣本數(shù)量不平衡對(duì)網(wǎng)絡(luò)分類(lèi)性能的影響；最后，基于多層級(jí)特征融合的鋼軌表面缺陷檢測(cè)網(wǎng)絡(luò)，提升小面積鋼軌缺陷區(qū)域的檢測(cè)性能。試驗(yàn)結(jié)果表明：該方法在2種鋼軌類(lèi)型的數(shù)據(jù)集中均取得最優(yōu)性能，并在實(shí)際線路檢測(cè)任務(wù)中，檢測(cè)率達(dá)到100%，能夠滿(mǎn)足鋼軌表面缺陷檢測(cè)任務(wù)“零漏報(bào)、低誤報(bào)”的性能需求。

1 鋼軌表面缺陷數(shù)據(jù)集構(gòu)建

鋼軌表面缺陷數(shù)據(jù)集構(gòu)建包含3個(gè)部分：鋼軌圖像提取、鋼軌圖像預(yù)處理和樣本隨機(jī)組合策略。該方法能夠利用少量已標(biāo)注的鋼軌圖像快速生成大量的訓(xùn)練樣本圖像，解決訓(xùn)練樣本不足的問(wèn)題。

1.1 鋼軌圖像提取

軌道圖像是利用檢測(cè)車(chē)的高速線陣相機(jī)動(dòng)態(tài)拍攝獲得的，包含鋼軌、鋼軌扣件、軌枕或混凝土基座、道砟，以及其他軌道基礎(chǔ)設(shè)施等。為降低不相干物體對(duì)檢測(cè)結(jié)果的影響，需要從原始軌道圖像中提取出鋼軌區(qū)域，再針對(duì)鋼軌圖像執(zhí)行表面缺陷檢測(cè)。

對(duì)每一幀軌道圖像，鋼軌區(qū)域具有固定的寬度W和長(zhǎng)度L，且必定垂直于圖像的X軸。其中，長(zhǎng)度L等于軌道圖像的高度，為840像素；寬度W需要根據(jù)鋼軌類(lèi)型選取，對(duì)于60 kg/m鋼軌，W=60像素，對(duì)于75 kg/m鋼軌，W=65像素?；谝陨舷闰?yàn)知識(shí)，首先利用LSD[12]算法檢測(cè)圖像中所有的直線；然后，兩兩計(jì)算垂直于圖像X軸的直線的間距，如果間距小于θ，則進(jìn)行合并；最后，找到間距在[W-γ,W+γ]區(qū)間的兩條最長(zhǎng)直線視為鋼軌區(qū)域兩側(cè)邊界，即可提取出鋼軌區(qū)域圖像。上述θ和γ為預(yù)設(shè)閾值，是手工選取的經(jīng)驗(yàn)參數(shù)。

1.2 鋼軌圖像預(yù)處理

檢測(cè)車(chē)通常在夜間天窗時(shí)間執(zhí)行鋼軌病害檢測(cè)任務(wù)，拍攝軌道的光源強(qiáng)度和角度相對(duì)固定。鋼軌中間區(qū)域與車(chē)輪踏面接觸最頻繁，較為光滑，在圖像中灰度值較高；鋼軌邊緣區(qū)域由于存在銹跡和污物，在圖像中灰度值較低；缺陷區(qū)域由于凹陷，在圖像中灰度值也較低。因此，可以利用圖像處理方法進(jìn)一步擴(kuò)大有缺陷區(qū)域與正常區(qū)域的像素值差異。

首先，計(jì)算鋼軌圖像中各像素值的對(duì)數(shù)，計(jì)算方式為

(1)

然后，進(jìn)行Z-Score標(biāo)準(zhǔn)化，計(jì)算方式為

(2)

最后，將各像素的z值歸一化到[0,255]區(qū)間，得到預(yù)處理后的鋼軌圖像。鋼軌圖像預(yù)處理結(jié)果見(jiàn)圖2。

圖2 鋼軌圖像預(yù)處理結(jié)果

1.3 樣本隨機(jī)組合策略

樣本隨機(jī)組合策略的具體步驟如下：

Step1以數(shù)字表示鋼軌圖像類(lèi)別：0為“正常鋼軌”；1為“鋼軌掉塊”；2為“鋼軌表面擦傷”；3為“鋼軌表面塌陷”；4為“鋼軌表面有異物”。

Step2各類(lèi)別的鋼軌圖像數(shù)量記為N0、N1、N2、N3、N4，其中N0為最大值。

Step3為每種類(lèi)別創(chuàng)建一個(gè)長(zhǎng)度為T(mén)×N0的有編號(hào)圖像列表，并亂序排列。

Step4循環(huán)讀取每種類(lèi)型列表中的編號(hào)i，與此類(lèi)型的圖像數(shù)量取余得到索引值；然后根據(jù)索引值找到對(duì)應(yīng)的鋼軌圖像，并隨機(jī)執(zhí)行翻轉(zhuǎn)、添加噪聲等操作；最后將處理后的鋼軌圖像添加到此類(lèi)型列表中。

Step5將所有類(lèi)型的圖像列表合并，并亂序排列，每次讀取T幅鋼軌圖像橫向拼接為一幅訓(xùn)練樣本圖像，共獲得5×N0幅訓(xùn)練樣本圖像。

上述步驟中，T為一幅訓(xùn)練樣本圖像中鋼軌圖像數(shù)量，對(duì)于60 kg/m鋼軌，T=14，對(duì)于75 kg/m鋼軌，T=13。基于本樣本隨機(jī)組合策略生成的鋼軌表面缺陷訓(xùn)練樣本圖像見(jiàn)圖3。

圖3 鋼軌表面缺陷訓(xùn)練樣本圖像

2 圖像代表性特征學(xué)習(xí)算法

鋼軌表面缺陷檢測(cè)任務(wù)中，各類(lèi)別鋼軌缺陷的訓(xùn)練樣本數(shù)量是不平衡的，影響檢測(cè)網(wǎng)絡(luò)對(duì)鋼軌缺陷類(lèi)別的分類(lèi)性能。本節(jié)首先深入分析深度網(wǎng)絡(luò)的分類(lèi)原理，然后有針對(duì)性地改進(jìn)分類(lèi)損失函數(shù)，最后給出損失函數(shù)優(yōu)化步驟。

2.1 深度網(wǎng)絡(luò)分類(lèi)原理

現(xiàn)有的基于DCNN的目標(biāo)檢測(cè)方法使用Softmax函數(shù)作為目標(biāo)分類(lèi)階段的分類(lèi)器，然后將分類(lèi)預(yù)測(cè)結(jié)果和真實(shí)的類(lèi)別標(biāo)簽輸入到交叉熵函數(shù)中計(jì)算分類(lèi)損失值，再通過(guò)反向傳播算法更新各層網(wǎng)絡(luò)的參數(shù)。Softmax函數(shù)和交叉熵函數(shù)聯(lián)合稱(chēng)為Softmax損失函數(shù)，對(duì)于第i個(gè)訓(xùn)練樣本的特征向量xi和對(duì)應(yīng)的類(lèi)別標(biāo)簽yi，Softmax損失函數(shù)的定義為

(3)

式中：N為訓(xùn)練樣本總數(shù)；Wj為第j個(gè)類(lèi)別的權(quán)重參數(shù)向量；bj為第j個(gè)類(lèi)別的偏置向量；M為類(lèi)別總數(shù)。根據(jù)余弦距離公式cos(θ)=WTx/W·x,Softmax損失函數(shù)可重寫(xiě)為

(4)

深度網(wǎng)絡(luò)的訓(xùn)練過(guò)程實(shí)際上是尋找一組權(quán)重參數(shù)矩陣和偏置向量使所有訓(xùn)練樣本的整體損失達(dá)到最小，即，預(yù)測(cè)的分類(lèi)概率值越大，損失值就越小，分類(lèi)準(zhǔn)確率也越高。通過(guò)觀察式(4)可知，影響預(yù)測(cè)分類(lèi)概率值大小的變量有4個(gè)：權(quán)重向量Wyi、特征向量xi、特征向量余弦距離cos(θyi)和偏置向量byi。顯然，為提高xi屬于yi類(lèi)的分類(lèi)概率值，應(yīng)該增加Wyi、cos(θyi)、byi的值。然而，當(dāng)yi類(lèi)的訓(xùn)練樣本數(shù)量遠(yuǎn)大于其他類(lèi)別的樣本數(shù)量時(shí)，Wyi和byi也會(huì)遠(yuǎn)大于其他類(lèi)別，cos(θyi)的作用會(huì)被降低。

此外，低質(zhì)量的訓(xùn)練樣本也會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練困難。通常來(lái)說(shuō)，同類(lèi)別圖像的特征應(yīng)該非常相似，其特征向量的方向和范數(shù)值應(yīng)該幾乎相同。然而，在實(shí)際任務(wù)中，訓(xùn)練樣本的質(zhì)量很難保證，同類(lèi)別圖像的特征向量范數(shù)xi存在很大差異，其大小與訓(xùn)練樣本的圖像質(zhì)量高度相關(guān)。

基于以上分析，如果每個(gè)類(lèi)別的權(quán)重參數(shù)范數(shù)Wj相等，且每個(gè)訓(xùn)練樣本的特征向量范數(shù)xi相等，則網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)更關(guān)注于優(yōu)化不同類(lèi)別特征向量之間的余弦距離，使不同類(lèi)別圖像特征之間的距離更大，相同類(lèi)別圖像特征之間的距離更小，從而學(xué)習(xí)提取更具代表性的圖像特征。

2.2 改進(jìn)的分類(lèi)損失函數(shù)

當(dāng)訓(xùn)練數(shù)據(jù)數(shù)量不平衡時(shí)，如果第j類(lèi)的樣本數(shù)量較多，則第j類(lèi)對(duì)應(yīng)的Wj、bj也會(huì)較大，導(dǎo)致網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果中圖像屬于第j類(lèi)的概率較高，因此針對(duì)權(quán)重參數(shù)設(shè)置約束損失函數(shù)，定義為

(5)

(6)

該損失函數(shù)通過(guò)約束各類(lèi)別的權(quán)重參數(shù)范數(shù)等于所有類(lèi)別權(quán)重參數(shù)范數(shù)的平均值，來(lái)降低樣本數(shù)量不平衡對(duì)網(wǎng)絡(luò)分類(lèi)性能的影響。

當(dāng)所有類(lèi)別的權(quán)重參數(shù)的范數(shù)相等時(shí)，如果‖xi‖較小，則xi屬于每個(gè)類(lèi)別的預(yù)測(cè)概率會(huì)相似，這也表明xi是圖像分類(lèi)成功的關(guān)鍵因素，因此針對(duì)特征向量設(shè)置約束損失函數(shù)，定義為

(7)

(8)

該損失函數(shù)激勵(lì)每個(gè)訓(xùn)練樣本特征向量范數(shù)盡可能地接近所有訓(xùn)練樣本特征向量的范數(shù)平均值，減少低質(zhì)量訓(xùn)練樣本對(duì)網(wǎng)絡(luò)分類(lèi)性能的影響。

此外，偏置向量的大小與樣本數(shù)量正相關(guān)，當(dāng)訓(xùn)練集中各類(lèi)別樣本數(shù)量差異大時(shí)，會(huì)導(dǎo)致樣本數(shù)量少的類(lèi)別置信度低。因此，本文將網(wǎng)絡(luò)模型中所有偏置向量初始化為0，并設(shè)置其學(xué)習(xí)率為0。

綜上，改進(jìn)的分類(lèi)損失函數(shù)形式化為

Lcls=LSoftmax+λLW+βLX

(9)

式中：λ、β為平衡因子，用于控制每個(gè)約束損失函數(shù)的敏感程度。

2.3 損失函數(shù)優(yōu)化

改進(jìn)的分類(lèi)損失函數(shù)使用隨機(jī)梯度下降法進(jìn)行優(yōu)化，梯度

(10)

(11)

為方便書(shū)寫(xiě)，先定義符號(hào)公式為

(12)

則式(10)和式(11)中的?LSoftmax/?Wyi和?LSoftmax/?xi可以根據(jù)鏈?zhǔn)椒▌t展開(kāi)為

(13)

(14)

接著，λ?LW/?Wyi和β?LX/?xi的計(jì)算公式為

(15)

(16)

最后，

(17)

(18)

3 基于多層級(jí)特征融合的鋼軌表面缺陷檢測(cè)網(wǎng)絡(luò)

鋼軌表面缺陷區(qū)域的面積通常較小，現(xiàn)有方法存在漏檢現(xiàn)象。本文提出一種基于多層級(jí)特征融合的鋼軌表面缺陷檢測(cè)網(wǎng)絡(luò)，提升小面積鋼軌缺陷區(qū)域的檢測(cè)精度。

3.1 網(wǎng)絡(luò)架構(gòu)

現(xiàn)有的基于DCNN的目標(biāo)檢測(cè)方法是利用不同感受野的特征圖獨(dú)立地預(yù)測(cè)目標(biāo)的邊界框和分類(lèi)概率值，然后使用非極大值抑制(Non-Maximum Suppression,NMS)算法來(lái)篩選最優(yōu)的檢測(cè)結(jié)果。然而，淺層特征圖雖包含較多的細(xì)節(jié)信息，但缺少高層語(yǔ)義信息，預(yù)測(cè)的邊界框位置較精確，分類(lèi)概率值較低；深層特征圖的感受野較大，包含豐富的高層語(yǔ)義信息，預(yù)測(cè)的邊界框分類(lèi)概率值較高，但位置不精確；使用NMS算法篩選后，分類(lèi)概率值低但位置精確的邊界框會(huì)被舍棄。

為此，本文提出基于多層級(jí)特征融合的目標(biāo)檢測(cè)網(wǎng)絡(luò)，用于定位和識(shí)別鋼軌表面缺陷。其網(wǎng)絡(luò)架構(gòu)見(jiàn)圖4，包括6級(jí)特征提取層、3種目標(biāo)檢測(cè)器和1個(gè)檢測(cè)結(jié)果輸出層，共使用55個(gè)卷積層和5個(gè)最大池化層。

圖4 基于多層級(jí)特征融合的鋼軌表面缺陷檢測(cè)網(wǎng)絡(luò)架構(gòu)

6級(jí)特征提取層中，第1級(jí)包含1個(gè)3×3×32的卷積層；第2級(jí)包含2個(gè)1×1×64的卷積層和1個(gè)3×3×32的卷積層；第3級(jí)包含2個(gè)1×1×128的卷積層和2個(gè)3×3×64的卷積層；第4級(jí)包含2個(gè)1×1×256的卷積層和8個(gè)3×3×128的卷積層；第5級(jí)包含2個(gè)1×1×512的卷積層和8個(gè)3×3×256的卷積層；第6級(jí)包含2個(gè)1×1×1024的卷積層和4個(gè)3×3×512的卷積層。所有卷積層的步長(zhǎng)均為1，特征提取層之間的最大池化層用于降采樣特征圖，其窗口為2×2，步長(zhǎng)為2；為防止網(wǎng)絡(luò)過(guò)擬合，每個(gè)卷積層都使用批量歸一化層[13]，并采用Leaky ReLU[14]作為激活函數(shù)，以加快網(wǎng)絡(luò)收斂速度。

目標(biāo)檢測(cè)器在特征圖上生成6種不同大小的基準(zhǔn)定位框，每個(gè)基準(zhǔn)定位框d使用中心點(diǎn)坐標(biāo)(dx,dy)和寬高(dw,dh)來(lái)表示?；鶞?zhǔn)定位框與真實(shí)標(biāo)注框用于回歸學(xué)習(xí)邊界框的4個(gè)偏移量(px,py,pw,ph)，當(dāng)輸入的待檢測(cè)圖像尺寸為320×320像素時(shí)，3個(gè)目標(biāo)檢測(cè)器共產(chǎn)生12 600個(gè)基準(zhǔn)定位框。然而，基準(zhǔn)定位框中只有很少數(shù)量包含鋼軌缺陷區(qū)域，因此，如果基準(zhǔn)定位框與任意真實(shí)標(biāo)注框的IoU值大于0.7，則標(biāo)記該框?yàn)橛腥毕輼颖?，并分配?duì)應(yīng)的真實(shí)標(biāo)注框的標(biāo)簽。得到有缺陷基準(zhǔn)定位框后，根據(jù)1∶3的比例從IoU值小于0.7的基準(zhǔn)定位框中挑選非缺陷樣本，并分配標(biāo)簽為正常鋼軌區(qū)域。

鋼軌表面缺陷檢測(cè)分為以下5個(gè)步驟：

Step1待檢測(cè)圖像調(diào)整至320×320像素。

Step2根據(jù)多層級(jí)特征融合策略，先分別將第5、6級(jí)特征提取層輸出的特征圖進(jìn)行2倍上采樣，再分別與第4、5級(jí)特征提取層輸出的特征圖級(jí)聯(lián)，最后對(duì)3種不同感受野的特征圖分別定義不同的目標(biāo)檢測(cè)器，預(yù)測(cè)不同大小缺陷區(qū)域的邊界框和分類(lèi)概率值。

(19)

(20)

式中：k為不同感受野的特征圖，k∈[1,2,3]。將特征圖的每個(gè)位置對(duì)應(yīng)到原圖的坐標(biāo)作為基準(zhǔn)定位框的中心坐標(biāo)，即得到每個(gè)位置6種基準(zhǔn)定位框。

Step4使用目標(biāo)檢測(cè)器預(yù)測(cè)邊界框偏移量并計(jì)算分類(lèi)特征向量。每個(gè)目標(biāo)檢測(cè)器都采用7個(gè)卷積層，前6層用于對(duì)級(jí)聯(lián)的多層級(jí)特征進(jìn)行降維和跨通道特征融合，最后1層負(fù)責(zé)預(yù)測(cè)每個(gè)邊界框偏移量和分類(lèi)特征向量，其通道數(shù)量C=6×4+Classes,即6種不同大小的基準(zhǔn)定位框乘以4個(gè)偏移量再加類(lèi)別總數(shù)Classes。

Step5測(cè)試階段，通過(guò)基準(zhǔn)定位框與預(yù)測(cè)的邊界框偏移量得到候選邊界框，將預(yù)測(cè)的分類(lèi)特征向量輸入到分類(lèi)器中計(jì)算候選邊界框的分類(lèi)概率，使用NMS算法篩選最終的鋼軌缺陷區(qū)域檢測(cè)結(jié)果。

3.2 多任務(wù)損失函數(shù)

本文所提的鋼軌表面缺陷檢測(cè)網(wǎng)絡(luò)采用多任務(wù)損失函數(shù)進(jìn)行端到端的訓(xùn)練，定義為

L=Lloc+Lcls

(21)

(22)

(23)

(24)

4 試驗(yàn)驗(yàn)證

本節(jié)試驗(yàn)使用Opencv3.0、CUDA9.0、Cudnn7.5.1、Pytorch0.4等工具庫(kù)實(shí)現(xiàn)，計(jì)算服務(wù)器的硬件采用2顆Intel E5-2697v4 CPU和2塊NVIDIA RTX 2080Ti GPU加速計(jì)算卡。

4.1 鋼軌表面缺陷數(shù)據(jù)集

為評(píng)估本文方法對(duì)不同鋼軌類(lèi)型的檢測(cè)性能，分別從60、75 kg/m的軌道圖像中提取鋼軌區(qū)域圖像，并人工標(biāo)注缺陷區(qū)域位置和類(lèi)別。鋼軌圖像詳細(xì)信息見(jiàn)表1。然后采用本文提出的樣本隨機(jī)組合策略，共獲得60 kg/m樣本圖像137 185幅，75 kg/m樣本圖像134 835幅。最后以9∶1的比例將樣本圖像分為訓(xùn)練集和測(cè)試集，用于訓(xùn)練和測(cè)試網(wǎng)絡(luò)模型性能。

表1 鋼軌圖像詳細(xì)信息 幅

4.2 訓(xùn)練參數(shù)選取

本節(jié)實(shí)驗(yàn)使用ResNet-50[15]和原始鋼軌圖像數(shù)據(jù)搭建圖像分類(lèi)網(wǎng)絡(luò)，以選取合適的訓(xùn)練參數(shù)。平衡因子對(duì)深度網(wǎng)絡(luò)模型分類(lèi)性能的影響見(jiàn)圖5。

圖5 平衡因子對(duì)深度網(wǎng)絡(luò)模型分類(lèi)準(zhǔn)確率的影響

首先，將β固定為0.01，從0到0.015之間選擇λ的值，實(shí)驗(yàn)結(jié)果如圖5(a)所示，當(dāng)λ=0.008時(shí)，分類(lèi)準(zhǔn)確率達(dá)到最高值。然后，將λ固定為0.008，從0到0.015之間選擇β的值，實(shí)驗(yàn)結(jié)果如圖5(b)所示，隨著β從0增加到0.01，分類(lèi)準(zhǔn)確率也隨之上升。實(shí)驗(yàn)結(jié)果表明，權(quán)重參數(shù)約束函數(shù)可減少訓(xùn)練樣本不平衡對(duì)分類(lèi)性能的影響；特征向量約束損失函數(shù)可使深度網(wǎng)絡(luò)學(xué)習(xí)到更具代表性的特征，從而提升深度網(wǎng)絡(luò)的分類(lèi)性能。

為更顯著地觀察圖像代表性特征學(xué)習(xí)算法的作用，本節(jié)實(shí)驗(yàn)利用LeNet++[16]提取特征，減少M(fèi)NIST數(shù)據(jù)集中5個(gè)類(lèi)別的樣本數(shù)量構(gòu)建不平衡數(shù)據(jù)集，并分別使用標(biāo)準(zhǔn)Softmax損失函數(shù)和本文提出的圖像代表性特征學(xué)習(xí)算法進(jìn)行訓(xùn)練，將學(xué)習(xí)的特征向量可視化。不平衡數(shù)據(jù)集特征向量可視化結(jié)果見(jiàn)圖6，其中Baseline是指標(biāo)準(zhǔn)Softmax損失函數(shù)學(xué)習(xí)的特征空間分布。實(shí)驗(yàn)結(jié)果表明，Baseline結(jié)果中每個(gè)類(lèi)別的特征向量呈現(xiàn)不均勻的分布，樣本數(shù)量多的類(lèi)別所占據(jù)的特征空間遠(yuǎn)遠(yuǎn)大于樣本數(shù)量少的類(lèi)別。本文方法結(jié)果中，每個(gè)類(lèi)別的特征向量均衡地分布在特征空間中，通過(guò)提升β的值，同類(lèi)別特征向量更加聚集，不同類(lèi)別的特征向量的間距更大。此現(xiàn)象表明，本文提出的圖像代表性特征學(xué)習(xí)算法能夠提高特征向量的類(lèi)內(nèi)緊密性和類(lèi)間可分離性，使深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更具代表性的特征。

圖6 不平衡數(shù)據(jù)集特征向量可視化結(jié)果

4.3 鋼軌表面缺陷檢測(cè)對(duì)比試驗(yàn)

本節(jié)通過(guò)對(duì)比試驗(yàn)的方式評(píng)價(jià)本文方法對(duì)鋼軌表面缺陷的檢測(cè)性能，采用精確率、召回率、精確率與召回率的調(diào)和平均數(shù)F1作為評(píng)價(jià)指標(biāo)。對(duì)比方法中，MSER+SVM[6]是一種有監(jiān)督學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法，MLC+PEME[8]是一種無(wú)監(jiān)督學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法，F(xiàn)aster-RCNN[9]、SSD[10]、YOLOv3[11]是目前最流行的3種基于DCNN的目標(biāo)檢測(cè)方法。此外，為了驗(yàn)證本文所提圖像代表性特征學(xué)習(xí)算法的改進(jìn)效果，采用標(biāo)準(zhǔn)Softmax損失函數(shù)結(jié)合本文所提的多層級(jí)特征融合網(wǎng)絡(luò)(Multi-level Feature Fusion Network,MLFFN)作為對(duì)比方法。

訓(xùn)練過(guò)程中采用十折交叉驗(yàn)證的方式分配訓(xùn)練集和驗(yàn)證集的樣本數(shù)量，即每輪訓(xùn)練開(kāi)始前，從訓(xùn)練集中隨機(jī)抽取十分之一的數(shù)據(jù)作為驗(yàn)證集。樣本輸入批量大小設(shè)置為128，損失函數(shù)平衡因子λ=0.008，β=0.01，動(dòng)量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.000 5，初始學(xué)習(xí)率為0.015，訓(xùn)練周期為60輪。每訓(xùn)練10輪更改一次輸入圖像的尺寸，從[320，608]區(qū)間內(nèi)隨機(jī)選取一個(gè)8的倍數(shù)的數(shù)值作為接下來(lái)10輪的輸入圖像尺寸，每訓(xùn)練20輪次將隨機(jī)梯度下降法的學(xué)習(xí)率調(diào)整為當(dāng)前的0.1倍。訓(xùn)練完成后，選擇在驗(yàn)證集上性能最好的參數(shù)作為網(wǎng)絡(luò)模型最終的參數(shù)。對(duì)比試驗(yàn)均在本文方法構(gòu)建的測(cè)試集上進(jìn)行，試驗(yàn)結(jié)果見(jiàn)表2。

表2 鋼軌表面缺陷檢測(cè)方法對(duì)比試驗(yàn)結(jié)果

根據(jù)表2對(duì)比試驗(yàn)結(jié)果可以得出：

(1)基于DCNN的檢測(cè)方法的性能遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)機(jī)器視覺(jué)方法，證明了深度卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大學(xué)習(xí)能力。

(2)得益于多層級(jí)圖像特征融合，SSD、YOLOv3、MLFFN+Softmax和本文方法的性能大幅超越了只使用單層級(jí)圖像特征進(jìn)行目標(biāo)檢測(cè)的Faster-RCNN方法。

(3)MLFFN+Softmax方法采用本文所提的多層級(jí)特征融合網(wǎng)絡(luò)提升了對(duì)小面積缺陷區(qū)域的檢測(cè)性能，在精確率、召回率和F1指標(biāo)上均高出YOLOv3約0.5%。

(4)本文方法在2種鋼軌類(lèi)型的數(shù)據(jù)集上均取得了最優(yōu)的性能指標(biāo)，超過(guò)MLFFN+Softmax約1.2%～1.6%，表明應(yīng)用圖像代表性特征學(xué)習(xí)算法訓(xùn)練的網(wǎng)絡(luò)模型正確檢測(cè)的缺陷區(qū)域數(shù)量增加了約1 200～1 600處，充分證明了本文方法的優(yōu)越性。

4.4 實(shí)際線路檢測(cè)對(duì)比試驗(yàn)

為了驗(yàn)證本文方法在實(shí)際檢測(cè)任務(wù)中的性能，本節(jié)采用實(shí)際線路中連續(xù)100 km的軌道圖像進(jìn)行對(duì)比試驗(yàn)。軌道圖像共計(jì)103 962張，經(jīng)人工檢查，共存在鋼軌表面缺陷區(qū)域89個(gè)。實(shí)際線路檢測(cè)對(duì)比試驗(yàn)結(jié)果見(jiàn)表3。

表3 實(shí)際線路檢測(cè)對(duì)比試驗(yàn)結(jié)果

從表3試驗(yàn)結(jié)果可以得出：

(1)Faster-RCNN[9]和SSD[10]的錯(cuò)誤檢測(cè)數(shù)量較少，但漏檢的數(shù)量分別為15處和8處，影響檢測(cè)系統(tǒng)的有效性，威脅鐵路運(yùn)輸安全。

(2)YOLOv3[11]的檢測(cè)率達(dá)到了96.63%，但是錯(cuò)檢數(shù)量也較多，增大了人工復(fù)核的工作量，導(dǎo)致檢測(cè)效率降低。

(3)本文方法不僅能夠檢測(cè)到全部的鋼軌缺陷，檢測(cè)率達(dá)到100%，而且錯(cuò)檢數(shù)量較少，充分證明了本文方法的有效性，能夠滿(mǎn)足鋼軌表面缺陷檢測(cè)任務(wù)“零漏報(bào)、低誤報(bào)”的要求。

5 結(jié)論

本文提出一種基于少樣本學(xué)習(xí)的鋼軌表面缺陷檢測(cè)方法。該方法首先利用樣本隨機(jī)組合策略從少量已標(biāo)注鋼軌圖像生成大量訓(xùn)練樣本圖像，從而解決有缺陷鋼軌圖像數(shù)量稀缺的問(wèn)題；然后，利用圖像代表性特征學(xué)習(xí)算法降低各缺陷類(lèi)別樣本數(shù)量不平衡對(duì)深度網(wǎng)絡(luò)模型的影響；最后，利用多個(gè)層級(jí)網(wǎng)絡(luò)層中不同尺度的圖像特征進(jìn)行鋼軌表面缺陷定位和識(shí)別，從而實(shí)現(xiàn)少樣本條件下鋼軌表面缺陷檢測(cè)。本文進(jìn)行了大量對(duì)比試驗(yàn)，試驗(yàn)結(jié)果證明了本文方法的有效性和實(shí)用性。