基于代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)的扣件缺陷檢測算法

侯 云，范 宏，熊 鷹，李 立，李柏林

（西南交通大學(xué) 機(jī)械工程學(xué)院, 四川 成都 610031）

扣件作為連接鋼軌與軌枕的重要部件，起著固定鋼軌的作用。列車在運(yùn)行過程中產(chǎn)生的異常振動(dòng)可能導(dǎo)致扣件發(fā)生斷裂或者脫落。這些情況如不能及時(shí)地處理，可能影響扣件功能和列車運(yùn)行安全。傳統(tǒng)的扣件檢測方法主要依靠人工進(jìn)行檢測，該方法效率低，很難滿足現(xiàn)代高速鐵路的需求。

國內(nèi)外許多學(xué)者將圖像處理技術(shù)引入到扣件檢測領(lǐng)域，并提出了諸多自動(dòng)檢測算法。文獻(xiàn)［1］依據(jù)鐵路各部件先驗(yàn)位置關(guān)系定位出扣件子區(qū)域后，利用小波變換、結(jié)合PCA 降維對扣件子區(qū)域進(jìn)行特征提取，并將所提特征輸入到RBF 神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類。文獻(xiàn)［2］依據(jù)先驗(yàn)位置關(guān)系確定出扣件子區(qū)域后，利用Daubechies小波和Haar 小波對扣件子區(qū)域提取特征，并將所提特征輸入到多層感知器神經(jīng)分類器中進(jìn)行分類。文獻(xiàn)［3］將扣件子區(qū)域的方向場作為特征，并在此基礎(chǔ)上利用模板匹配的方法對扣件狀態(tài)進(jìn)行識別。文獻(xiàn)［4］利用墊板位置定位扣件子區(qū)域，然后分別對扣件關(guān)鍵部位提取PHOG 和MSLBP特征并將其進(jìn)行融合，最后使用支持向量機(jī)對融合特征進(jìn)行分類。文獻(xiàn)［5］根據(jù)軌枕與鋼軌的相對位置定位扣件子區(qū)域，繼而分別對4個(gè)扣件關(guān)鍵部位提取Haar-like 特征，并將所提特征輸入到AdaBoost分類器進(jìn)行分類。文獻(xiàn)［6］利用鋼軌和軌枕的邊緣直線特征定位扣件子區(qū)域，并將子區(qū)域的Haarlike 特征與概率主題模型結(jié)合檢測扣件狀態(tài)。文獻(xiàn)［7］利用墊板位置定位扣件子區(qū)域，并基于扣件子區(qū)域的邊緣特征實(shí)現(xiàn)扣件的缺失檢測。文獻(xiàn)［8］通過構(gòu)建扣件鄰域紋理圖和引導(dǎo)圖與被定位圖之間置信圖的極大值點(diǎn)快速定位扣件子區(qū)域，并基于半監(jiān)督深度學(xué)習(xí)方法建立扣件缺陷識別模型，實(shí)現(xiàn)無砟軌道扣件缺陷樣本識別。文獻(xiàn)［9］根據(jù)軌道圖像的先驗(yàn)知識和模板匹配方法定位扣件區(qū)域，并利用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)扣件缺陷識別。文獻(xiàn)［10］利用模板匹配以及扣件先驗(yàn)位置關(guān)系定位扣件子區(qū)域，并以2 個(gè)相鄰扣件子區(qū)域的特征差值作為依據(jù)檢測扣件缺失狀態(tài)。上述扣件檢測方法均是在人為選定的小批量、各類樣本均衡的扣件數(shù)據(jù)集上進(jìn)行的試驗(yàn)。由于小批量的均衡數(shù)據(jù)集不能很好地體現(xiàn)實(shí)際扣件數(shù)據(jù)集的數(shù)據(jù)分布，這些傳統(tǒng)的扣件檢測方法的適應(yīng)性往往較差。在實(shí)際情況中，扣件斷裂或者丟失的情況很少發(fā)生，這導(dǎo)致所收集的扣件數(shù)據(jù)集中斷裂或丟失的缺陷扣件樣本數(shù)遠(yuǎn)小于正常扣件樣本數(shù)。這種現(xiàn)象稱之為類不平衡，其中缺陷扣件稱之為小類，正?？奂Q之為大類。在扣件檢測算法中，研究者往往更關(guān)注扣件斷裂或丟失的小類情況。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為一種非常流行的方法，在很多領(lǐng)域都有應(yīng)用［11-13］，并取得了較傳統(tǒng)分類器更好的識別效果。卷積神經(jīng)網(wǎng)絡(luò)避免了復(fù)雜的圖像特征提取過程，可以直接輸入原始圖像進(jìn)行處理。深度卷積神經(jīng)網(wǎng)絡(luò)是在大批量且分布相對均衡的圖像訓(xùn)練集上，以最小化訓(xùn)練集的整體誤差為目標(biāo)構(gòu)建最優(yōu)分類模型。對于不平衡數(shù)據(jù)集而言，這往往會(huì)導(dǎo)致分類器傾向于將斷裂或者丟失的扣件誤認(rèn)為是正?？奂?。因此，直接將深度學(xué)習(xí)算法應(yīng)用到不平衡的扣件數(shù)據(jù)集是不合適的。目前，一些學(xué)者將代價(jià)敏感策略引入到深度神經(jīng)網(wǎng)絡(luò)中，通過給小類分配較大的代價(jià)因子的方式提高小類樣本的識別率［14-16］。但是，這些方法都沒有考慮同一類別中不同樣本個(gè)體之間存在的差異。在實(shí)際分類中，扣件的斷裂程度不同，其識別的難度也會(huì)不同。如果分類器不考慮類別內(nèi)樣本間客觀存在的這種差異，往往會(huì)降低最終模型的識別率。

本文針對扣件數(shù)據(jù)集不平衡問題，借鑒Ada?Boost 算法的思想，對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出一種同時(shí)關(guān)注類別間差異和類別內(nèi)差異的基于代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)的扣件缺陷檢測算法。

1 代價(jià)敏感策略

卷積神經(jīng)網(wǎng)絡(luò)的核心是利用反向傳播算法最小化訓(xùn)練集整體誤差，以訓(xùn)練得到最優(yōu)的網(wǎng)絡(luò)模型。假設(shè)訓(xùn)練集X中有N個(gè)樣本，這些樣本可分為K個(gè)類別，即

式中：Xcj為第j類的樣本集合；Nj為第j類的樣本個(gè)數(shù)。

訓(xùn)練集整體誤差E為

式中：Xi為訓(xùn)練集中第i個(gè)樣本；E（Xi）為訓(xùn)練集中樣本Xi的誤差。

由式（3）可見，CNN 的整體誤差是所有訓(xùn)練樣本誤差的平均值。對于扣件這種不平衡數(shù)據(jù)集而言，由于斷裂或丟失的扣件樣本較少，這類樣本在整體誤差函數(shù)中只占很小的比重，這很容易導(dǎo)致最終得到的神經(jīng)網(wǎng)絡(luò)模型偏向于正常樣本。為了克服傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的這一缺陷，代價(jià)敏感策略［14-16］將代價(jià)矩陣引入到神經(jīng)網(wǎng)絡(luò)中，對不同類別分配不同的懲罰因子，使算法偏向于小類樣本。目前，這些已提出的代價(jià)敏感策略只考慮不同類別樣本之間的差異，并沒有考慮同一類別中不同個(gè)體之間的差異。以扣件圖像為例，圖1 為2 個(gè)斷裂程度不同的扣件樣本，斷裂程度相對較小的扣件所提特征往往處于分類邊界附近，處于分類邊界處的樣本要比遠(yuǎn)離邊界的樣本更難學(xué)習(xí)，卻對確定分類邊界起著更為重要的作用。

圖1 2種不同斷裂程度的扣件

AdaBoost 算法［17］是一種增強(qiáng)困難樣本學(xué)習(xí)的有效方法，其思想是通過給錯(cuò)誤學(xué)習(xí)的樣本分配更大權(quán)重的方式，使后續(xù)學(xué)習(xí)過程關(guān)注那些更難學(xué)習(xí)的樣本。受AdaBoost 算法啟發(fā)，本文提出一種代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)算法，使訓(xùn)練網(wǎng)絡(luò)在考慮類別間差異的同時(shí)增強(qiáng)類內(nèi)難樣本的學(xué)習(xí)。與傳統(tǒng)代價(jià)敏感策略不同，本文算法在訓(xùn)練過程中給每個(gè)樣本分配不同的權(quán)重，并在后續(xù)學(xué)習(xí)中依據(jù)先前網(wǎng)絡(luò)的錯(cuò)誤率不斷地調(diào)節(jié)這些權(quán)重。其目的是使每個(gè)類別中分類錯(cuò)誤的樣本比分類正確的樣本具有相對更大的權(quán)重，從而使后續(xù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)關(guān)注各個(gè)類別中的難學(xué)習(xí)樣本。與此同時(shí)，本文算法對更新后的各類樣本權(quán)重進(jìn)行了特殊的歸一化處理，以便提高缺陷樣本的關(guān)注度。為實(shí)現(xiàn)上述步驟，本文將訓(xùn)練集整體誤差函數(shù)式（3）修改為

式中：Wl（Xi）為樣本Xi在第l次迭代時(shí)的權(quán)重；當(dāng)l=0時(shí)，W0（Xi）為初始權(quán)重。

在AdaBoost 算法中，每個(gè)樣本的初始權(quán)重都設(shè)置為1/N。而本文算法按照1 種非對稱的方式將每類樣本的初始權(quán)重W0對應(yīng)地設(shè)置為

在計(jì)算完成1 次迭代之后，算法利用當(dāng)前訓(xùn)練好的網(wǎng)絡(luò)對訓(xùn)練集進(jìn)行測試，并計(jì)算錯(cuò)誤率ε為

式中：Nerror為識別錯(cuò)誤的樣本數(shù)。

當(dāng)錯(cuò)誤率ε小于0.5時(shí)，計(jì)算權(quán)重更新參數(shù)α為

每個(gè)樣本在第l次迭代時(shí)的權(quán)重Wl按照下式更新。

其中，

式中：yi為樣本Xi的預(yù)測類別；di為樣本Xi的真實(shí)類別。

由式（8）可見，當(dāng)樣本判斷正確時(shí)，其權(quán)重縮小為原來的e-α；當(dāng)樣本判斷錯(cuò)誤時(shí)，其權(quán)重不變。

由式（4）可見，訓(xùn)練集整體誤差是所有樣本誤差的加權(quán)和，由于正?？奂颖緮?shù)量眾多，這類樣本勢必要在整體誤差函數(shù)中占主導(dǎo)作用，這往往會(huì)使得缺陷扣件樣本在訓(xùn)練過程中被忽略，從而導(dǎo)致缺陷樣本識別率低。為了增大缺陷樣本在整體誤差函數(shù)中的比重，提高對這類樣本的關(guān)注度，本文算法對更新后的樣本權(quán)重進(jìn)行一個(gè)特殊的歸一化處理，使每類樣本的權(quán)重和為1/K。

不同于AdaBoost 算法，本文算法只選擇最優(yōu)訓(xùn)練模型作為最終的輸出模型，而不是對所有弱分類器進(jìn)行集成。

2 扣件缺陷檢測的代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)

以VGG19 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，針對扣件數(shù)據(jù)集不平衡的特點(diǎn)，引入代價(jià)敏感策略設(shè)計(jì)扣件缺陷檢測的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。由于扣件子區(qū)域?yàn)榛叶葓D像，需要將網(wǎng)絡(luò)第1層卷積核的顏色通道設(shè)置為1。由于扣件數(shù)據(jù)集只包括3 個(gè)類別，最后1個(gè)全連接層的神經(jīng)節(jié)點(diǎn)數(shù)相應(yīng)地設(shè)置為3，分別對應(yīng)扣件正常、斷裂和丟失3種狀態(tài)。除此之外，其他與原始VGG19 網(wǎng)絡(luò)保持一致。該網(wǎng)絡(luò)由16 個(gè)卷積層和3個(gè)全連接層組成，每個(gè)卷積層的卷積核尺寸為（3×3）像素，步長為1 像素；池化操作的方式取最大值池化（Maximum pooling），窗口尺寸為（2×2）像素，步長為2 像素；激活函數(shù)采用修正線性單元（Rectified linear unit，ReLU）；每個(gè)卷積操作后采用批歸一化處理（Batch normaliza?tion）；前2 個(gè)全連接層后使用隨機(jī)失活（Dropout）策略。輸入圖像的大小為（180×180）像素，而扣件圖像實(shí)際大小為（180×120）像素，需要將扣件圖像進(jìn)行插值運(yùn)算以便適應(yīng)該網(wǎng)絡(luò)。

圖2 基于代價(jià)敏感策略訓(xùn)練網(wǎng)絡(luò)

為了增強(qiáng)網(wǎng)絡(luò)對缺陷扣件的學(xué)習(xí)，將代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于扣件檢測中，以減小樣本數(shù)量失衡對識別性能的影響。修改后模型的訓(xùn)練過程主要分為3個(gè)步驟，具體如下。

步驟1：按照式（5）設(shè)置訓(xùn)練集中每個(gè)樣本的初始權(quán)重；

步驟2：開始訓(xùn)練，迭代每完成1 次后，對訓(xùn)練集進(jìn)行測試，統(tǒng)計(jì)錯(cuò)誤率，調(diào)整每個(gè)樣本權(quán)重并對其進(jìn)行歸一化處理；

步驟3：重復(fù)執(zhí)行步驟2，直至所有迭代次數(shù)完成為止；

步驟4：結(jié)束訓(xùn)練，保存模型參數(shù)。

該網(wǎng)絡(luò)采用隨機(jī)梯度下降算法進(jìn)行訓(xùn)練，樣本批量大小為100個(gè)，迭代訓(xùn)練次數(shù)（Epochs）為80次，隨機(jī)失活比例為0.5，動(dòng)量（Momentum）為0.9，權(quán)重衰減因子為0.000 3。初始學(xué)習(xí)率為0.1，每迭代10次后學(xué)習(xí)率下降至原來的0.1。

需要說明的是，在本文算法中，訓(xùn)練集整體誤差是由單個(gè)樣本誤差的加權(quán)和組成，因此其反向傳播過程與原始VGG19網(wǎng)絡(luò)算法一致。

3 試驗(yàn)驗(yàn)證

試驗(yàn)利用Python 軟件開發(fā)，使用CUDA9.0，Tensorflow 等工具庫。計(jì)算服務(wù)器采用1 塊Intel Xeon Silver 4110 型CPU 和1 塊NVIDIA GeForce GTX 1080 Ti型GPU計(jì)算卡。

3.1 試驗(yàn)數(shù)據(jù)集

利用文獻(xiàn)［10］提出的扣件定位方法，分別截取高速鐵路無砟和普速鐵路有砟軌道的扣件子區(qū)域圖像作為研究對象，驗(yàn)證算法的有效性。其中，高速鐵路無砟軌道的扣件數(shù)據(jù)集由20 000 張扣件子區(qū)域圖像組成，包括正常圖像19 836張、斷裂圖像93張以及丟失圖像71張。圖像大小為（180×120）像素，如圖3所示。

圖3 高速鐵路扣件典型樣本

普速鐵路有砟軌道的扣件數(shù)據(jù)集由20 000 張扣件子區(qū)域圖像組成，其中包括正常圖像19 334張、斷裂遮擋圖像503 張以及丟失圖像163 張。圖像大小為（180×120）像素，如圖4所示。

本試驗(yàn)分別將2 個(gè)扣件數(shù)據(jù)集都平均分成5份，其中4份作為訓(xùn)練集，剩余1份作為測試集。

圖4 普速鐵路扣件典型樣本

3.2 試驗(yàn)評價(jià)指標(biāo)

平均準(zhǔn)確率是傳統(tǒng)分類中常用的評價(jià)指標(biāo)。由于它可能會(huì)導(dǎo)致分類器忽略小類樣本，這個(gè)評價(jià)指標(biāo)已被證明不適用于不平衡分類［18］。例如，現(xiàn)有1個(gè)數(shù)據(jù)集包括999 個(gè)正樣本以及1 個(gè)負(fù)樣本，以準(zhǔn)確率為導(dǎo)向的分類器會(huì)將所有的樣本都認(rèn)為是正樣本，這樣其準(zhǔn)確率依然會(huì)達(dá)到99.9%，但是對于負(fù)樣本而言其準(zhǔn)確率卻為0%。在實(shí)際應(yīng)用中，往往扣件斷裂或丟失的負(fù)樣本才是更被關(guān)注的。為了克服平均準(zhǔn)確率的缺陷，本文引入一種新的評價(jià)指標(biāo)G-mean［16］來衡量分類器的分類性能。G-mean平衡了不同類別的召回率，當(dāng)其中任意1個(gè)小類的召回率值為0時(shí)，最終的G-mean值為0。

其中，

式中：Gmean為G-mean 值；Rj為第j類樣本的召回率；Nrj為第j類中識別正確的樣本個(gè)數(shù)。

3.3 試驗(yàn)結(jié)果

應(yīng)用本文方法、原始VGG19 網(wǎng)絡(luò)算法以及國內(nèi)外其他3 種識別率較高的扣件檢測算法對3.1 選取的高速鐵路無砟和普速鐵路有砟軌道扣件數(shù)據(jù)集進(jìn)行識別，其結(jié)果見表1。

表1 扣件數(shù)據(jù)集試驗(yàn)結(jié)果

由表1 可知：在高速鐵路無砟軌道扣件數(shù)據(jù)集上，本文算法與傳統(tǒng)扣件檢測方法相比，盡管準(zhǔn)確率提高得并不明顯（＞0.3%），但是卻取得了更高的G-mean 值（＞13%）；在普速鐵路有砟軌道扣件數(shù)據(jù)集上，本文算法取得比傳統(tǒng)扣件檢測方法更高的準(zhǔn)確率（＞2%）以及G-mean 值（＞39%）。所有的算法在高速鐵路無砟軌道扣件數(shù)據(jù)集上的分類性能均比在普速鐵路有砟軌道扣件數(shù)據(jù)集上高，這是因?yàn)楦咚勹F路無砟軌道扣件數(shù)據(jù)集不受道砟影響，背景情況單一；而普速鐵路有砟軌道扣件數(shù)據(jù)集受道砟影響較大，背景較復(fù)雜。相比于原始VGG19 網(wǎng)絡(luò)算法，本文算法在高速鐵路無砟和普速鐵路有砟軌道扣件數(shù)據(jù)集上分別提高了至少10%和25%的G-mean值。分析其原因?yàn)椋?/p>

（1）扣件數(shù)據(jù)集中絕大多數(shù)的扣件是正常的，而斷裂和丟失的扣件樣本較少。傳統(tǒng)的分類器往往人為構(gòu)建一個(gè)小批量的均衡數(shù)據(jù)集來訓(xùn)練模型，而此類算法往往適應(yīng)性較差。本文算法引入代價(jià)敏感策略來修改卷積神經(jīng)網(wǎng)絡(luò)模型中的訓(xùn)練集整體誤差，并利用特殊的歸一化方法增大斷裂和丟失這類缺陷樣本在整體誤差中的比重，能夠使算法偏向于這些小類樣本。

（2）正?？奂蛠G失扣件這2 類樣本間的特征差異較大，容易被正確區(qū)分；而對于斷裂扣件圖像樣本而言，其斷裂程度越小，樣本越難識別。本文算法在訓(xùn)練過程中給不同的樣本分配不同的權(quán)重，并依據(jù)先前分類器的錯(cuò)誤率不斷地增加各個(gè)類別中難學(xué)習(xí)樣本的權(quán)重，從而使算法更關(guān)注斷裂程度小的扣件樣本。

4 結(jié) 語

引入代價(jià)敏感策略對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行修改，提出一種基于代價(jià)敏感卷積神經(jīng)網(wǎng)絡(luò)的檢測圖像識別計(jì)算方法，實(shí)現(xiàn)扣件缺陷檢測。該方法增強(qiáng)了扣件數(shù)據(jù)集中難學(xué)習(xí)樣本以及缺陷扣件類別的學(xué)習(xí)。通過對某高速鐵路無砟及普速鐵路有砟軌道的扣件數(shù)據(jù)集進(jìn)行試驗(yàn)，發(fā)現(xiàn)修改后的算法在處理不平衡數(shù)據(jù)集方面取得了一定程度的提升，在高速鐵路無砟和普速鐵路有砟軌道扣件數(shù)據(jù)集上G-mean 值分別提高了10%和25%以上，這可為實(shí)際相關(guān)應(yīng)用領(lǐng)域提供一定的技術(shù)支撐。