基于改進AlexNet網(wǎng)絡(luò)的軌道缺陷識別方法

趙家祥　方建軍　劉澤宇　施代能

［摘 要］針對鐵路維護采用人工巡查方式存在準確率不足、效率低下等問題，提出一種基于輕量化AlexNet網(wǎng)絡(luò)的軌道缺陷識別方法。該方法主要包括融入注意力機制、裁剪全連接層、引入批量歸一化取代原有的局部響應(yīng)歸一化等。實驗對比驗證結(jié)果表明，改進后的網(wǎng)絡(luò)具有更好的識別效果，模型的準確率提高了2.8個百分點，推理速度和穩(wěn)定性都得到相應(yīng)提升。

［關(guān)鍵詞］ 軌道缺陷；AlexNet；注意力機制；批量歸一化

［中圖分類號］ U 216.3 ［文獻標志碼］ A ［文章編號］ 1005-0310（2023）02-0007-05

A Track Defect Identification Method Based on Improved AlexNet Network

ZHAO? Jiaxiang， FANG? Jianjun， LIU? Zeyu， SHI? Daineng

（College of Urban Rail Transit and Logistics， Beijing Union University， Beijing 100101， China）

Abstract： ?In response to the insufficient accuracy and low efficiency in the manual inspection for railway maintenance， a track defect identification method based on lightweight AlexNet network is proposed. This method mainly includes integrating attention mechanism， cutting the fully connected layer， and introducing batch normalization instead of the original local response normalization. The results of experimental comparison and verification show that the improved network has better recognition effect， the accuracy of the model is increased by 2.8 percentage points， and the reasoning speed and stability are improved correspondingly.

Keywords： Track defect；AlexNet；Attention mechanism；Batch normalization

0 引言

鐵路作為國家的戰(zhàn)略性基礎(chǔ)設(shè)施，在我國經(jīng)濟發(fā)展中起著至關(guān)重要的作用。截至2021年12月，我國鐵路運營里程突破15萬km［1］。繁忙的鐵路運輸和高速重載列車的快速發(fā)展，急需采用現(xiàn)代化的檢測手段來保證鐵路運營安全。

鋼軌、軌枕和扣件作為軌道的主要組成部件，在長時間運營過程中，會出現(xiàn)鋼軌表面損傷、軌枕破損、扣件丟失和螺栓丟失等情況，對鐵路運營安全形成威脅［2］。傳統(tǒng)的人工巡檢方式耗費大量的人力物力，無法適應(yīng)現(xiàn)代化的鐵路建設(shè)［3］。目前，國內(nèi)外學(xué)者圍繞軌道缺陷無損檢測進行研究，主要采用漏磁檢測［4］、無線傳感器檢測［5］、復(fù)合電磁檢測［6］和深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)檢測等軌道缺陷檢測方法。前3種方法對硬件維護成本要求較高，且檢測結(jié)果易受環(huán)境影響。隨著深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域的興起，不少學(xué)者將其運用到鐵路圖像的處理。Wei等［7］利用VGG16網(wǎng)絡(luò)對軌道扣件缺陷進行檢測和識別，該方法表明，利用CNN進行扣件缺陷檢測是可行的。劉欣等［8］提出了基于CNN的軌道扣件檢測算法，該算法引入ReLU函數(shù)和Dropout方法后，準確率達到98.1%，與經(jīng)典CNN相比，準確率有明顯的提高。孫次鎖等［9］基于AlexNet網(wǎng)絡(luò)模型的深度卷積網(wǎng)絡(luò)架構(gòu)，依照鋼軌探傷車檢測數(shù)據(jù)的特點修改了卷積層的深度，同時采用Early Stopping和Dropout方法進行訓(xùn)練，該模型在鋼軌傷損準確率、誤報率等指標上的識別結(jié)果基本可以滿足實際需要?？偠灾?，深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)具有較強的軌道缺陷特征學(xué)習(xí)和特征表達能力，對各種復(fù)雜環(huán)境的泛化能力較強，對軌道缺陷的識別效果較好，但實時性還有待進一步提高。

本文基于輕型AlexNet網(wǎng)絡(luò)對軌道缺陷識別方法進行改進，具體包括：在AlexNet網(wǎng)絡(luò)結(jié)構(gòu)中增加注意力機制，裁剪全連接層數(shù)，并添加批量歸一化處理，在減少網(wǎng)絡(luò)復(fù)雜度、提高實時性的同時，保證識別精度。

1 數(shù)據(jù)集構(gòu)建

算法訓(xùn)練采用Railway Track Fault Detection數(shù)據(jù)集［10］，該數(shù)據(jù)集包含鋼軌表面損傷、軌枕破損、扣件丟失和螺栓丟失等軌道缺陷情況，如圖1所示。數(shù)據(jù)集內(nèi)的樣本分辨率為224×224，為達到更好的訓(xùn)練效果，需要對數(shù)據(jù)集進行數(shù)據(jù)增強處理。本文對圖片采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、正負90度內(nèi)隨機旋轉(zhuǎn)、隨機改變圖片的亮度和對比度等技術(shù)，在保證目標特征沒有發(fā)生改變的情況下擴充數(shù)據(jù)集。增強后的數(shù)據(jù)集內(nèi)共有3 791張圖片，其中，有缺陷圖片為1 890張，無缺陷圖片為1 901張。

2 模型改進

基于AlexNet網(wǎng)絡(luò)改進后的模型整體架構(gòu)如圖2所示，主要包括引入注意力機制、裁剪全連接層和進行批量歸一化處理，旨在提高軌道狀態(tài)識別的準確率，保障鐵路運營安全。

2.1 引入注意力機制

注意力機制能夠重點關(guān)注與目標相關(guān)的信息而忽略圖像中的其他信息，從而提高網(wǎng)絡(luò)特征提取能力。輕型AlexNet網(wǎng)絡(luò)雖然實時性較強，但特征提取能力有限，在復(fù)雜環(huán)境下的識別精度很難得到保障。本文在AlexNet網(wǎng)絡(luò)的第一個卷積層后面添加卷積塊注意力機制模塊（Convolutional Block Attention Module，CBAM）［11］，通過CBAM的通道注意力機制和空間注意力機制提高輕型AlexNet網(wǎng)絡(luò)對數(shù)據(jù)集的特征提取能力，具體結(jié)構(gòu)如圖3所示。

通道注意力模塊能夠關(guān)注輸入圖片中對分類起決定作用的像素區(qū)域，更加關(guān)注圖像中的鐵軌、螺栓、扣件等區(qū)域。首先，在每個通道上分別對AlexNet第一層卷積池化后輸出的特征圖進行最大池化和平均池化；再通過一個多層感知機（Multilayer Perceptron，MLP），將通道數(shù)壓縮為原來的1/16，即圖3中的FC1，之后再擴張回48個通道，形成FC2；然后，把兩個經(jīng)過ReLU激活函數(shù)后的輸出按元素相加，通過Sigmoid函數(shù)得到通道注意力得分；最后，將通道注意力得分與第一層卷積池化后的特征圖相乘，得到通道注意力的輸出。

空間注意力模塊由兩個池化層、一個卷積層和一個激活函數(shù)組成。首先，將通道注意力輸出的結(jié)果作為輸入，沿著通道軸進行平均池化和最大池化操作，再將利用Concat操作得到的兩個特征圖拼接在一起；然后，通過一個卷積核大小為7×7的標準卷積層和Sigmoid函數(shù)得到空間注意力得分；最后，將空間注意力得分與前面通道注意力的輸出相乘，得到空間注意力的輸出。

2.2 裁剪全連接層

全連接層的作用是對圖片進行正確分類，并輸出圖像分類結(jié)果。AlexNet網(wǎng)絡(luò)的全連接層參數(shù)較多，約占整個參數(shù)的96 % ［12］。同時，全連接層會降低訓(xùn)練速度，容易發(fā)生過擬合。相比于經(jīng)典AlexNet使用的ImageNet數(shù)據(jù)集，本次實驗的數(shù)據(jù)集相對較小。因此，我們裁剪了AlexNet網(wǎng)絡(luò)中FC6和FC7兩個全連接層，從而減少整個網(wǎng)絡(luò)的參數(shù)量；并在FC8和FC9之間加入Dropout函數(shù)，隨機舍棄一些神經(jīng)元，防止網(wǎng)絡(luò)過擬合；同時，將輸出改為2維，分別為正常軌道和異常軌道兩類。改進后的結(jié)構(gòu)如圖4所示。另外，通過實驗發(fā)現(xiàn)，如果去掉所有全連接層，模型的分類效果會變差，網(wǎng)絡(luò)的識別準確率會下降，因此本文只裁減了部分全連接層。

2.3 批量歸一化處理

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的是訓(xùn)練數(shù)據(jù)的分布，當(dāng)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的分布不一致時，網(wǎng)絡(luò)的泛化能力會下降［13］。AlexNet網(wǎng)絡(luò)采用局部響應(yīng)歸一化（LRN）操作，增強了模型的泛化能力，使識別率提高了1%～2%。但在后來的研究中發(fā)現(xiàn)，LRN對網(wǎng)絡(luò)的影響并不大，同時還會大幅增加計算量［14］。LRN是對于在通道數(shù)上的一次局部歸一化操作，批量歸一化（Batch Normalization，BN）則是對于每一次輸出的一個面來進行歸一化操作。相比于LRN算法，BN算法能夠使網(wǎng)絡(luò)訓(xùn)練速度提升10倍［15］，從而提升訓(xùn)練效果。因此，本文運用表現(xiàn)更好的批量歸一化算法來代替LRN進行優(yōu)化處理。

BN算法能使網(wǎng)絡(luò)中每層輸入數(shù)據(jù)的分布相對穩(wěn)定，加快學(xué)習(xí)速度，從而使網(wǎng)絡(luò)學(xué)習(xí)更加穩(wěn)定。模型經(jīng)過歸一化處理后，能防止發(fā)生梯度消失的問題［16］。同時，BN算法還能起到正則化效果，防止模型過擬合。

3 實驗結(jié)果分析3.1 實驗環(huán)境

在本實驗環(huán)境中，深度學(xué)習(xí)框架為Pytorch 1.11.0，CPU型號為i5-8300H，GPU型號為GeForce GTX 1050Ti，內(nèi)存大小為16 GB，操作系統(tǒng)為Windows 10。在訓(xùn)練與測試過程中：采用交叉熵函數(shù)作為損失函數(shù)，用SGD優(yōu)化算法對參數(shù)進行迭代計算；將學(xué)習(xí)率設(shè)置為0.001，為防止網(wǎng)絡(luò)不能收斂，每迭代50次進行一次學(xué)習(xí)率衰減，衰減系數(shù)為0.5；將Batch size設(shè)置為32，Dropout設(shè)置為0.5，訓(xùn)練迭代次數(shù)為200。本文選擇每類樣本70%的圖片作為訓(xùn)練集，其他圖片作為測試集。

3.2 實驗結(jié)果及分析

為驗證改進后所得網(wǎng)絡(luò)模型的效果，本文基于第1節(jié)所述的數(shù)據(jù)集進行對比實驗，將epoch設(shè)為200次，學(xué)習(xí)率等參數(shù)不變，保證了除模型外的其他實驗條件相同。圖5是經(jīng)典AlexNet網(wǎng)絡(luò)模型的準確率和損失值變化曲線圖。網(wǎng)絡(luò)的準確率和損失值均在150次迭代后趨于收斂，曲線局部突變比較明顯，說明模型訓(xùn)練結(jié)果不太穩(wěn)定。

圖6是改進的AlexNet網(wǎng)絡(luò)模型的準確率和損失值曲線圖。改進后，模型的準確率和損失值在50次迭代后趨于收斂，曲線局部突變較少，魯棒性有所提升，模型的準確率也進一步提升，損失值進一步下降。由于裁減了全連接層，減少了約2/3的網(wǎng)絡(luò)參數(shù)，模型的訓(xùn)練速度得到了提高，推理速度也得到了提升，F(xiàn)PS達到427.5。

對多個模型進行對比實驗，結(jié)果如表1所示。

模型在未添加BN層時，迭代200次后仍未收斂且精度較低。在添加BN層后，模型收斂所需的迭代次數(shù)減少，準確率得到提高。在此基礎(chǔ)上，裁剪部分全連接層，模型精度沒有大幅度下降，但模型的參數(shù)量大大減少，推理速度得到提高，能夠滿足軌道缺陷實時檢測的要求。

4 結(jié)束語

本文提出一種基于改進的AlexNet網(wǎng)絡(luò)模型的軌道缺陷識別方法，與原網(wǎng)絡(luò)相比，添加了注意力機制，引入了批量歸一化處理，裁剪了部分全連接層，減少了網(wǎng)絡(luò)參數(shù)。優(yōu)化后，模型的準確率比原來提高了2.8個百分點，具有更好的識別效果。同時，在訓(xùn)練過程中，模型的收斂速度更快，前向推理時間可達2.339ms，每秒處理幀數(shù)提高了17.5。由此可見，改進后的輕量化網(wǎng)絡(luò)模型在獲得更高準確率的同時，推理速度進一步提高，能夠滿足軌道缺陷任務(wù)對實時性的要求。

［參考文獻］

［1］ 全國鐵路營運總里程逾十五萬公里——夯基筑路護航發(fā)展［EB/OL］.（2022-01-10）［2022-10-20］. http：//www.gov.cn/xinwen/2022-01/10/content_5667326.htm.

［2］ 殷超.基于機器視覺的軌道缺陷識別方法研究［D］.蘭州：蘭州交通大學(xué)，2016：1-2.

［3］ 韋若禹，李舒婷，吳松榮，等.基于改進YOLO V3算法的軌道扣件缺陷檢測［J］.鐵道標準設(shè)計，2020，64（12）：30-36.

［4］ JIA Y L， LIANG K W， WANG P， et al. Enhancement method of magnetic flux leakage signals for rail track surface defect detection［J］. IET Science， Measurement & Technology，2020，14（6）：711-717.

［5］ ZHAO Y L， LIU Z Q， YI D， et al. A review on rail defect detection systems based on wireless sensors［J］. Sensors，2022，22（17）：6409.

［6］ 許鵬，耿明，方舟，等.基于復(fù)合電磁的高速軌道缺陷檢測方法研究［J］.機械工程學(xué)報，2021，57（18）：57-65.

［7］ WEI X K， YANG Z M， LIU Y X， et al. Railway track fastener defect detection based on image processing and deep learning techniques： a comparative study［J］. Engineering Applications of Artificial Intelligence，2019，80：66-81.

［8］ 劉欣，張瑤，熊新娟.基于卷積神經(jīng)網(wǎng)絡(luò)的軌道扣件狀態(tài)檢測［J］.實驗室研究與探索，2018，37（11）：58-61.

［9］ 孫次鎖，劉軍，秦勇，等.基于深度學(xué)習(xí)的鋼軌傷損智能識別方法［J］.中國鐵道科學(xué)，2018，39（5）：51-57.

［10］ GERRY. Railway track fault detection resized （224×224）［EB/OL］.（2022-08-11）［2022-10-20］. https：//www.kaggle.com/datasets/gpiosenka/railway-track-fault-detection-resized-224-x-224.

［11］ WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）. Munich， Germany：ECCV，2018： 3-19.

［12］ 許江華，解妍，陳德裕.一種改進AlexNet的車牌識別方法［J］.軟件導(dǎo)刊，2022，21（6）：205-209.

［13］ 肖小梅，楊紅云，易文龍，等.改進的Alexnet模型在水稻害蟲圖像識別中的應(yīng)用［J］.科學(xué)技術(shù)與工程，2021，21（22）：9447-9454.

［14］ 郭敏鋼，宮鶴.AlexNet改進及優(yōu)化方法的研究［J］.計算機工程與應(yīng)用，2020，56（20）：124-131.

［15］ 楊紅云，萬穎，王映龍，等.基于批歸一化與AlexNet網(wǎng)絡(luò)的水稻病害識別［J］.激光與光電子學(xué)進展，2021，58（6）：164-174.

［16］ 湯仕豪. 基于小型無人機的建筑內(nèi)部災(zāi)情信息獲取與建圖［D］.大連：大連理工大學(xué)，2020：13-14.

（責(zé)任編輯 白麗媛）

［收稿日期］ 2022-10-25

［作者簡介］ 趙家祥（1999—），男，遼寧大連人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院碩士研究生，主要研究方向為智能交通；劉澤宇（2000—），男，河北唐山人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院碩士研究生，主要研究方向為智能交通；施代能（1997—），男，湖南邵陽人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院碩士研究生，主要研究方向為智能交通。

［通訊作者］方建軍（1970—），男，湖北羅田人，北京聯(lián)合大學(xué)城市軌道交通與物流學(xué)院教授，主要研究方向為智能交通、智能機器人。E-mail：jianjun@buu.edu.cn