基于卷積神經(jīng)網(wǎng)絡(luò)的防松鐵絲斷裂分類算法研究

王志學(xué)，張 渝，王 楠，羅 林

(西南交通大學(xué) 物理科學(xué)與技術(shù)學(xué)院，四川 成都 610031)

動車組異常檢測技術(shù)對于保證動車運行安全具有重要意義。隨著我國鐵路運輸行業(yè)的高速發(fā)展，運載量和運輸里程大幅增加，如何通過檢測動車關(guān)鍵部件來保障運行安全具有重要的現(xiàn)實意義。動車車體結(jié)構(gòu)復(fù)雜，很多關(guān)鍵部件由大量螺栓連接固定，為防止螺栓丟失和松動，在螺栓上固定有防松鐵絲。隨著動車的長時間運行，由于振動、疲勞、銹蝕以及異物的撞擊等原因，可能導(dǎo)致防松鐵絲發(fā)生斷裂，導(dǎo)致緊固螺栓發(fā)生松動或丟失。嚴(yán)重者，松動或丟失螺栓部位關(guān)鍵部件發(fā)生異常，威脅到動車的行車安全，甚至造成災(zāi)難性事故的發(fā)生。因此，及時發(fā)現(xiàn)螺栓防松鐵絲異常，并進行修復(fù)，對保障動車行車安全具有重要意義。但是，傳統(tǒng)的檢測方法大部分為人工檢測，檢測效率較低，并且長時間檢測會引起檢測人員視覺疲勞，可能導(dǎo)致誤檢，人工檢測不適合防松鐵絲這種目標(biāo)小、數(shù)量大的部件的檢測。得益于工業(yè)相機的發(fā)展，使得對動車車體圖像的采集變得更加容易，同時也促進了更多基于圖像檢測技術(shù)的發(fā)展。例如，在TEDS (Trouble of Moving EMU Detection System)系統(tǒng)中，將采集到的車體圖像顯示在計算機上，供檢測人員進行在線檢測，避免了外場檢測環(huán)境的影響。但是，這種方法同樣需要人工檢測，并沒有提升檢測效率，降低檢測成本。在防松鐵絲檢測中，采用的是先利用工業(yè)相機采集動車車底圖片，再通過模板圖像定位到鐵絲部位，從而將鐵絲圖片裁剪下來供進一步檢測的處理方式。針對采集得到的大量鐵絲樣本，研究一種高效、高準(zhǔn)確性的針對螺栓防松鐵絲斷裂異常的智能檢測算法具有較高的實際應(yīng)用價值。

近年來，隨著深度學(xué)習(xí)方法[1]的發(fā)展以及在圖像處理領(lǐng)域所取得的矚目成就，越來越多的計算機視覺方法均采用深度學(xué)習(xí)方法尤其是卷積神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的特征提取方法，如SIFT[2-3]、SURF[4]和HOG[5]算法等，均采用人工設(shè)計特征，特征不豐富。而卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取和非線性表達能力，可以提取更加豐富的特征，使得其在圖像分類[6-7]、目標(biāo)識別[8-10]、語義分割[11]等方面均取得了領(lǐng)先的水平。調(diào)研發(fā)現(xiàn)，目前有諸多學(xué)者結(jié)合鐵路運輸應(yīng)用進行了一些這方面的研究。文獻[12]提出一種級聯(lián)Faster R-CNN目標(biāo)識別網(wǎng)絡(luò)，利用第一級別進行定位器支座部件的特征提取和定位，第二級別學(xué)習(xí)等電位線散股故障特征，再通過對比分析等電位線的正常及故障占比，實現(xiàn)等電位線的正常與故障分類，達到對等電位線不良狀態(tài)檢測的目的。文獻[13]提出一種MCDDF (Multi-channel Defect Detection Framework)檢測框架,先通過目標(biāo)檢測進行部件的定位，再將定位到的部件經(jīng)過超分辨率提升后傳入缺陷分類通道進行準(zhǔn)確分類，結(jié)合兩通道信息實現(xiàn)了缺陷檢測任務(wù)。文獻[14-15]將可變形卷積和在線困難樣本挖掘引入到TEDS 缺陷檢測與分割模型中，獲得了較好的檢測結(jié)果。為應(yīng)對傳統(tǒng)軌道檢測方法由于對圖像進行定位和分割會產(chǎn)生誤差，從而干擾到后續(xù)分類精度的問題，文獻[16]提出一種基于深度殘差網(wǎng)絡(luò)的軌道結(jié)構(gòu)病害檢測方法。此方法直接利用遷移學(xué)習(xí)方法和深度殘差網(wǎng)絡(luò)對不同的異常進行分類，獲得了較好的識別準(zhǔn)確率。文獻[17]將Faster R-CNN應(yīng)用到鐵路異物侵限檢測中，在對人、車以及部分動物的檢測上達到了較好的精度。

上述檢測方法針對的都是一些具有較明顯異常的檢測對象，而且檢測對象在整幅圖像中的面積占比較大。在防松鐵絲斷裂檢測中，由于鐵絲斷裂處特征較少，特征區(qū)域較小(如圖1所示，在c、d、e、f樣本中，斷裂處的特征不明顯，而且由于特征區(qū)域小，在網(wǎng)絡(luò)進行池化操作時，特征可能直接被池化掉，因此導(dǎo)致分類效果較差)，因此在利用傳統(tǒng)圖片分類方法，即采用單張圖片直接進行分類時，分類精度不高，容易漏判誤判，整體檢測效果較差。

基于以上原因，本文提出一種基于并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)[18]的防松鐵絲斷裂分類模型，通過訓(xùn)練距離度量對防松鐵絲進行分類。模型輸入是防松鐵絲圖片對，一張是模板圖片，另外一張是當(dāng)前采集圖片，通過比對兩張圖片的信息，判斷鐵絲是否斷裂。與傳統(tǒng)分類模型采用交叉熵作為損失函數(shù)不同的是，本模型采用距離度量來衡量圖片之間的相似性，通過最小化無異常樣本對的距離、最大化有異常樣本對的距離達到分類的目的。為進一步提升模型的分類性能，引入一種雙邊界損失函數(shù)。

1 網(wǎng)絡(luò)模型

1.1 分類模型

為實現(xiàn)基于距離度量的防松鐵絲斷裂分類算法，建立并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型。此模型由兩個權(quán)值共享的CNN模型構(gòu)成，兩個模型分支分別接收兩張圖片(I1,I2)∈R1×H×W作為輸入，通過一系列卷積、池化、激活操作，輸出得到兩組特征向量(fω,b(I1),fω,b(I2))∈Rc×h×w。這里I是輸入圖片，H和W代表圖片的高和寬，1代表輸入的是灰度圖片，h和w代表特征向量的寬和高，c代表特征向量的維度，f代表從輸入圖片到特征空間的映射，ω和b為CNN的模型參數(shù)。為區(qū)分正負(fù)樣本，令I(lǐng)p和In分別表示正、負(fù)樣本。模型通過計算特征向量fω,b(I1)和fω,b(I2)之間的距離作為圖片I1和I2之間的相似性度量。對于具有斷裂異常的正樣本對，期望其相似性較小，或者距離更遠(yuǎn)；對于無異常的負(fù)樣本對，期望圖片對之間的相似性較大，或者距離更小。也就是說，模型訓(xùn)練的目的是增大類間距離，減小類內(nèi)距離，從而達到樣本劃分的目的。

1.2 損失函數(shù)

基于以上優(yōu)化目的，選取余弦距離和歐氏距離作為圖片相似度的衡量。對于正負(fù)樣本，盡可能增大類間距離，減小類內(nèi)距離，使正負(fù)樣本更加容易區(qū)分。

(1)余弦距離

基于余弦距離圖片對特征向量之間的相似性可以表示為

( 1 )

對于正樣本，由于斷裂異常的存在，圖片對之間差異較大，期望優(yōu)化后的相似性越小越好。

( 2 )

對于負(fù)樣本，圖片對之間無異常，即認(rèn)為具有更高的相似性，因此有

( 3 )

式中：i為訓(xùn)練中某一個樣本對；m1和m2分別為優(yōu)化的下邊界和上邊界。

因此損失函數(shù)Losscos可以設(shè)置為

( 4 )

式中：N為訓(xùn)練時每一個批次的大?。粂i∈{0,1}代表樣本對的標(biāo)簽，其中正樣本yi=1，負(fù)樣本yi=0。

式( 4 )表示的損失函數(shù)的意義是：

對于正樣本，當(dāng)其距離值大于m1時才對損失函數(shù)有貢獻，當(dāng)其距離值小于等于m1時，認(rèn)為已經(jīng)優(yōu)化至既定的目標(biāo)，不再優(yōu)化，其對損失函數(shù)的貢獻為0。

對于負(fù)樣本，當(dāng)其距離值小于m2時才對損失函數(shù)有貢獻，若距離值大于等于m2，認(rèn)為負(fù)樣本已經(jīng)優(yōu)化至既定的目標(biāo)，其對損失函數(shù)的貢獻為0。

當(dāng)m1=0和m2=1時，式( 4 )變?yōu)閭鹘y(tǒng)的對比損失函數(shù)。在傳統(tǒng)對比損失函數(shù)中，直接優(yōu)化正樣本的距離趨近于1，優(yōu)化負(fù)樣本的距離趨近于0。理論上，只有完全相同的兩張圖片其相似性才為1。但是在實際樣本中，由于鐵絲的變形、部件的移動、光照和污漬等的影響，不存在完全相同的樣本。因此，強制將余弦距離優(yōu)化至趨于1是不合理的，同時也會增加模型訓(xùn)練的難度，對于負(fù)樣本也是同樣的道理。所以，雙邊界m1和m2的引入可以降低模型訓(xùn)練的難度，達到更好的分類性能。

(2)歐式距離

基于歐式距離的圖片對特征向量之間的相似性可以表示為

Dl2(I1,I2)=‖fw,b(I1)-fw,b(I2)‖2

( 5 )

對于正樣本，由于斷裂異常的存在，優(yōu)化圖片對特征之間的歐氏距離至一個較大值，即

( 6 )

對于負(fù)樣本，圖片對之間無異常，距離較小，因此有

( 7 )

式中：i為某一個樣本對；m1和m2為優(yōu)化的下邊界和上邊界。

因此，基于歐氏距離的損失函數(shù)Lossl2可以表示為

( 8 )

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集

實驗所用的數(shù)據(jù)集全部來自利用工業(yè)相機采集到的動車組車底圖像。具體做法是：先利用工業(yè)相機采集得到動車車底圖像，再通過模板圖像定位到所有待檢測鐵絲部位，通過裁剪得到防松鐵絲樣本。本數(shù)據(jù)集共包含2 617對樣本，其中防松鐵絲斷裂樣本(正樣本)1 300對，無異常的樣本(負(fù)樣本)1 317對，所有圖片均為灰度圖。正樣本中，除了鐵絲斷裂異常，還存在有一些水漬、污漬、光照等造成的偽異常，如圖1中b樣本、c樣本所示。這類偽異常會帶來較大的差異響應(yīng)。對于負(fù)樣本，強烈的光照變化、覆蓋面較大的水漬、油漬，會導(dǎo)致較大的相似性變化，使得負(fù)樣本具有較大的不相似性。為了獲得更好的分類性能，模型需要對上述偽異常有較強的魯棒性。

2.2 結(jié)果分析

在網(wǎng)絡(luò)訓(xùn)練時，采用隨機梯度下降算法進行優(yōu)化。初始學(xué)習(xí)率設(shè)置為0.01，每30輪次衰減至之前的0.1。卷積神經(jīng)網(wǎng)絡(luò)的批大小為8，迭代輪次數(shù)為100輪。所有實驗都是基于Pytorch 1.2.0深度學(xué)習(xí)框架編寫，實驗平臺的GPU和CPU配置分別為Nvidia RTX2080Ti GPU和Intel i9-9900X CPU。對樣本按照8∶1∶1劃分為訓(xùn)練、驗證、測試集，所有圖片對都被調(diào)整為128×128大小輸入網(wǎng)絡(luò)。同時，圖片送入網(wǎng)絡(luò)前都會進行隨機的水平、豎直翻轉(zhuǎn)。網(wǎng)絡(luò)模型均采用Resnet34模型[6]作為基本模型。模型每秒浮點運算次數(shù)為 3.7×1010FLOPs/s，推理速度為0.055 s/張。

在進行不同模型對比時，采用10折交叉驗證的方法衡量模型性能，選取召回率(Recall)、準(zhǔn)確率(Precision)和F1指數(shù)作為評價標(biāo)準(zhǔn)。為確保實驗結(jié)果的準(zhǔn)確性，且避免劃分?jǐn)?shù)據(jù)集對結(jié)果的影響，每次訓(xùn)練都隨機生成訓(xùn)練集、驗證集、測試集，所有結(jié)果均進行3次實驗取平均值。

(1)不同損失函數(shù)的對比

為驗證本文算法的有效性，將基于余弦距離和歐式距離的損失函數(shù)進行對比。同時，為驗證雙邊界損失函數(shù)的有效性，針對單邊界和雙邊界的設(shè)置也進行了對比。所有實驗中m1和m2分別設(shè)置為0.1和0.7。值得注意的是，對于兩種距離，余弦距離的值域是[0,1]，歐氏距離的值域范圍是[0,+∞)。因此在設(shè)置損失函數(shù)時，為避免正樣本的距離上界被優(yōu)化至極大值，同時不利于模型收斂，基于歐氏距離的損失函數(shù)最少存在一個優(yōu)化上界。因此，基于歐氏距離的對比實驗中，并未包括雙邊界的實驗項。實驗結(jié)果見表1。

從表1可以看出，在防松鐵絲斷裂分類上，基于余弦距離的損失函數(shù)比基于歐式距離的損失函數(shù)獲得了更好的分類性能。即使是未加入雙邊界的實驗3也比基于歐氏距離中性能最好的實驗2在F1指數(shù)上高出了7.5%。同時，不論對于余弦距離還是歐式距離，在F1評價指標(biāo)上，加入雙邊界的對比損失函數(shù)較傳統(tǒng)的未加雙邊界的對比損失函數(shù)提升明顯(實驗1、實驗2的對比中，雖然實驗2在召回率上比實驗1降低了0.4%，但是在綜合評價指標(biāo)F1上提升了1.7%，整體性能實驗2優(yōu)于實驗1)。例如，在基于余弦距離的對比損失函數(shù)中，實驗6獲得了最高的F1性能，比未加雙邊界的實驗3提升了10.6%。為進行對比，實驗4和實驗5中僅僅加入了單邊界，也較實驗3獲得了明顯的提升，F(xiàn)1指數(shù)分別提升7.7%和2.2%。這也驗證了本文雙邊界對比損失函數(shù)的有效性，即損失函數(shù)中優(yōu)化邊界的加入可以降低模型優(yōu)化的難度，從而提升模型分類性能。

(2)超參數(shù)對模型性能的影響

在本文模型中，為提升分類模型的性能，提出一種雙邊界損失函數(shù)。為確定雙邊界損失函數(shù)中，兩個超參數(shù)m1和m2對分類性能的影響，對不同的超參數(shù)值的組合進行了實驗。采用余弦距離作為損失函數(shù)，m1作為優(yōu)化的下界，取值分別為0、0.1、0.2、0.3、0.4，m2為優(yōu)化的上界，取值為0.6、0.7、0.8、0.9、1.0。具體實驗結(jié)果見表2。

表2 不同雙邊界超參數(shù)的F1對比 %

由表2實驗結(jié)果可以看到，當(dāng)m1和m2分別為0.1和0.7時，模型在F1性能指標(biāo)上達到最高為93.8%。為進一步討論兩個超參數(shù)對模型性能的影響，將表2中的數(shù)據(jù)分別以m1和m2為橫軸繪制條形圖。如圖2(a)所示，觀察其在同一m1值，不同m2值上的平均結(jié)果變化趨勢，當(dāng)m1=0.1時F1取得最高值，m1=0，F(xiàn)1最低。且在m1不為0的取值中，m1=0.4時的F1指數(shù)小于其他取值。由于m1是雙邊界損失函數(shù)的下界，可將其看作噪聲容忍因子[19]，過小的值對噪聲容忍度不高，缺乏魯棒性，較高的值會降低模型對真實異常的響應(yīng)度，降低模型性能。圖2(b)中，觀察其在同一m2值下，不同m1值上的平均結(jié)果變化趨勢，當(dāng)m2=0.7時，平均F1指數(shù)最高。

圖2 不同超參數(shù)下的F1指數(shù)對比

(3)不同分類模型的對比

為與傳統(tǒng)的分類方法(模型A)進行對比，建立3個常用的分類模型(模型B、C、D)，如圖3所示。在模型B中，兩張圖片分別送入兩個CNN分支進行特征提取，將兩個分支的輸出特征在通道維度進行合并。合并后的特征被送至全連接層和softmax層進行最后的分類。模型C采用經(jīng)典的分類模型，即對鐵絲圖片進行二分類，正樣本標(biāo)簽為1，負(fù)樣本標(biāo)簽為0。與模型C不同的是，模型D直接將兩張圖片按通道維度組合成一張“二通道”圖片送至網(wǎng)絡(luò)進行分類。與模型B的不同在于，模型B中兩個CNN分支分別提取兩張圖片的特征，再進行融合。而模型D直接將兩張圖片組成“二通道”圖片送入網(wǎng)絡(luò)進行特征提取，有助于模型從一開始就能提取圖片對的融合信息，在綜合考量兩張圖片信息的基礎(chǔ)上進行分類判斷。模型B、C、D均采用交叉熵?fù)p失函數(shù)進行訓(xùn)練。實驗結(jié)果見表3。

圖3 防松鐵絲斷裂分類模型示意圖

由表3實驗結(jié)果可以看到，傳統(tǒng)的基于交叉熵對圖片進行分類的模型中，模型D比模型B獲得了更好的結(jié)果。因為在模型D中，兩張圖片在輸入網(wǎng)絡(luò)之前被組合為一張“二通道”圖片，更有利于提取兩張圖片的融合信息。即模型D提取的特征是建立在綜合考量兩張圖片信息的基礎(chǔ)上，因此獲得了更好的性能提升。通過比較模型A和模型B、C、D可以看到，基于距離度量的模型在F1指數(shù)上有較大的提升，較模型B、C、D分別提升了13.5%、16.8%、8.2%。而且，在召回率和準(zhǔn)確率上都達到了最高。因此，較基于交叉熵的分類模型，本文基于余弦距離度量圖片相似性的模型可以獲得更高的分類性能。

表3 不同分類模型的對比

3 魯棒性驗證

在基于距離度量的防松鐵絲斷裂分裂算法中，通過距離度量防松鐵絲圖片對之間的相似性，通過比較相似性或者圖片一致性的大小，實現(xiàn)對防松鐵絲圖片的分類。但是，由于動車運行環(huán)境復(fù)雜，圖片采集環(huán)境多變，防松鐵絲圖片中還有較多導(dǎo)致圖片對差異較大的噪聲。例如，圖4正樣本中b樣本存在污漬；c樣本存在大量油漬，而且因為油漬的存在，光照差異明顯；d樣本中由于補光的原因，圖片對曝光不一致。同樣，在圖4負(fù)樣本中，也存在大量水漬、油漬、光照等引起的偽異常。而且，從圖4樣本來看，由于部件的移動、轉(zhuǎn)動、鐵絲的變形等，每對圖片之間還存在較大的結(jié)構(gòu)性差異。

圖4 魯棒性測試樣本對

由于鐵絲斷裂的特征信息較少，而噪聲等偽異常和結(jié)構(gòu)性差異的特征信息較多，導(dǎo)致圖片對之間存在較大的不相似性。因此，算法能否應(yīng)對噪聲和結(jié)構(gòu)性差異具有較強的魯棒性，是對防松鐵絲進行正確分類的關(guān)鍵之一。為驗證本算法的魯棒性，從正負(fù)樣本中挑選了部分具有較大非異常差異的圖片對進行測試，測試結(jié)果見表4。由于對比的樣本是以一對圖片作為基數(shù)計算其置信度，因此本對比實驗未將模型C納入測試。

表4 不同分類模型的魯棒性對比 %

由表4測試結(jié)果可以看到，模型A中：對于正樣本，b、c樣本中存在油漬以及因為油漬帶來的強烈光照變化，a、f 樣本中存在曝光差異，但是模型分類為正樣本的置信度達到90%以上。而且，從d、e樣本可以看出，除了防松鐵絲斷裂區(qū)域，兩對樣本的噪聲差異(如光照、油漬、水漬等)較少，但是模型還是以較高的置信度識別為正樣本，說明模型對噪聲有較高的魯棒性。同樣，對于負(fù)樣本，a、b、e、f樣本中分別存在油漬和光照、曝光不同、油漬、水漬的異常，圖片對本身存在較大的差異性，相似性比較低。但是模型并沒有因此類偽異常導(dǎo)致的大差異性將負(fù)樣本誤分為正樣本。在c、d樣本中，由于部件的轉(zhuǎn)動，導(dǎo)致兩次拍攝的圖片形態(tài)不一致，圖片對具有較大的結(jié)構(gòu)不相似性，模型也能夠?qū)ζ溥M行正確的分類。

在與其他模型的對比中，可以看到模型B、C在一些大差異樣本上的置信度較低，如模型B中，負(fù)樣本a、e的置信度只有12.3%、42.8%，正樣本d、e、f的置信度只有60%左右。模型C中，負(fù)樣本a的置信度只有34.0%，正樣本d、e、f的置信度為70%左右。若以50.0%作為閾值，模型B中的負(fù)樣本a、e，模型C中的負(fù)樣本a將被錯分為正樣本。同時，雖然模型B在正樣本b、c的置信度達到了最高，對于其他樣本，模型A均獲得了最高的置信度。

由上述驗證結(jié)果可知，本模型針對水漬、油漬、光照、曝光還有部件轉(zhuǎn)動等導(dǎo)致的偽異常，較其他模型具有更強的魯棒性。

4 結(jié)束語

在防松鐵絲斷裂分類任務(wù)中，由于斷裂特征信息較少，特征區(qū)域小，不利于提取有效特征信息，從而導(dǎo)致傳統(tǒng)分類方法精度不高。本文提出一種基于距離度量的孿生網(wǎng)絡(luò)模型，通過距離衡量圖片對之間的相似度，對圖片進行正確分類。同時，相比傳統(tǒng)的對比損失函數(shù)，本文提出的雙邊界對比損失函數(shù)，不僅降低了網(wǎng)絡(luò)優(yōu)化的難度，而且對噪聲有較強的魯棒性。實驗結(jié)果表明，本文的分類模型較傳統(tǒng)的分類模型性能更優(yōu)，在準(zhǔn)確率、召回率和F1指數(shù)上都高于傳統(tǒng)分類模型。此外，模型對光照、污漬、曝光、部件移動和轉(zhuǎn)動等偽差異具有較強的魯棒性。