基于輕量化GoogLeNet模型的軌道扣件缺陷狀態(tài)識(shí)別

李少佳，胡美振，陳輝東，劉艷霞

(北京聯(lián)合大學(xué) 城市軌道交通與物流學(xué)院，北京 100101)

0 引言

隨著我國高速鐵路越來越普及，運(yùn)行速度越來越快，對(duì)鐵路基礎(chǔ)設(shè)施安全性的要求也越來越高。軌道扣件作為軌道最重要的部件之一，其健康狀態(tài)會(huì)直接影響運(yùn)輸安全[1-2]。

傳統(tǒng)軌道扣件健康狀態(tài)的維護(hù)一直通過人工巡檢來完成，但是隨著我國軌道交通的發(fā)展，鋼軌數(shù)量日益擴(kuò)增，人工巡檢任務(wù)繁重且成本較高，而且視覺的過度疲勞也容易出現(xiàn)漏檢，給軌道交通安全帶來一定的風(fēng)險(xiǎn)。LeNet-5作為卷積神經(jīng)網(wǎng)絡(luò)的開山之作，吸引了包括工業(yè)界在內(nèi)的眾多研究人員[3-4]。牛津大學(xué)研發(fā)了VGGNet網(wǎng)絡(luò)，通過多個(gè)3×3卷積核和2×2 MaxPooling層的疊加，構(gòu)建了16層和19層的VGGNet網(wǎng)絡(luò)[5]。與2012年研發(fā)成功的AlexNet網(wǎng)絡(luò)相比，錯(cuò)誤率大幅下降，同時(shí)也提高了網(wǎng)絡(luò)的泛化能力。然而對(duì)于軌道扣件的狀態(tài)檢測來說，VGGNet網(wǎng)絡(luò)的參數(shù)量大，推理速度慢[6]，無法滿足軌道扣件的狀態(tài)識(shí)別任務(wù)對(duì)實(shí)時(shí)性的要求。2014年，在ImageNet舉辦的圖像分類大賽ILSVRC[7]中，由Google團(tuán)隊(duì)提出的GoogLeNet[8]網(wǎng)絡(luò)斬獲了該年度ImageNet競賽中分類任務(wù)的冠軍，其在網(wǎng)絡(luò)中引入了Inception結(jié)構(gòu)，避免了梯度爆炸，并融合了多尺度特征[9]，在大多數(shù)分類任務(wù)中均取得良好效果。

目前，軌道扣件的檢測方法大多是基于改進(jìn)形狀匹配的扣件缺陷檢測方法，該方法無須提前對(duì)扣件進(jìn)行定位，采用多模板匹配方法，以提高模板的多樣性，單張圖片的匹配時(shí)間為180 ms[10]。還有基于多傳感器信息融合的軌道扣件缺陷檢測方法，通過結(jié)構(gòu)光設(shè)備采集扣件信息，使用ResNet18網(wǎng)絡(luò)進(jìn)行檢測[11]。再有基于改進(jìn)YOLOv4的鐵路扣件檢測[12-13]，使用CSPDarknet53作為特征提取網(wǎng)絡(luò)，提高了CNN的學(xué)習(xí)能力，從而提高了網(wǎng)絡(luò)的檢測精度[14]。另有基于語義融合的扣件檢測，通過信息熵來確定權(quán)值，判斷待檢測扣件的狀態(tài)[15]。雖然這些方法對(duì)于軌道扣件狀態(tài)檢測的精度均可達(dá)到90%以上，但是識(shí)別速度還無法滿足軌道扣件識(shí)別的實(shí)時(shí)性要求。

本文通過對(duì)GoogLeNet網(wǎng)絡(luò)中的Inception結(jié)構(gòu)、網(wǎng)絡(luò)層數(shù)及卷積核個(gè)數(shù)等進(jìn)行一系列輕量化改進(jìn)，在保證檢測精度的同時(shí)，降低網(wǎng)絡(luò)復(fù)雜度。隨后通過與主流網(wǎng)絡(luò)模型VGG16、VGG19和GoogLeNet的對(duì)比實(shí)驗(yàn)表明，輕量化GoogLeNet(Lightweight GoogLeNet)模型在軌道扣件數(shù)據(jù)集上取得識(shí)別精度和速度的最佳平衡，滿足軌道扣件狀態(tài)識(shí)別對(duì)實(shí)時(shí)性的要求。

1 扣件數(shù)據(jù)集的構(gòu)建

1.1 數(shù)據(jù)集的采集

由于軌道扣件沒有公開的數(shù)據(jù)集，我們自行采集并構(gòu)建了軌道扣件數(shù)據(jù)集。其中，大部分樣本通過實(shí)地拍攝獲得，少數(shù)通過網(wǎng)絡(luò)收集，共得到335張不同缺陷狀態(tài)的軌道扣件圖片，包括正常、斷裂、移位和缺失4類，如圖1所示。

圖1 數(shù)據(jù)集樣本Fig.1 Sample of Dataset

1.2 數(shù)據(jù)增強(qiáng)

計(jì)算機(jī)視覺研究在近幾年取得重大進(jìn)展的原因之一是大規(guī)模數(shù)據(jù)集的出現(xiàn)，樣本數(shù)量的多少對(duì)網(wǎng)絡(luò)訓(xùn)練起到了至關(guān)重要的作用。由于很難獲取現(xiàn)實(shí)中軌道扣件缺陷狀態(tài)的樣本，數(shù)據(jù)集樣本量較小，所以我們使用roboflow對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)采樣增強(qiáng)，主要增強(qiáng)方法包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、鏡像、灰度處理、曝光處理、隨機(jī)裁剪及色彩變化等[16]，圖像增強(qiáng)后的效果如圖2所示。由此我們得到了789張圖片，然后將其按照9∶1的比例分成訓(xùn)練集和驗(yàn)證集。

圖2 圖像增強(qiáng)處理后的數(shù)據(jù)集樣本Fig.2 Sample of Dataset after Image Enhancement

2 輕量化GoogLeNet模型

因?yàn)檐壍揽奂?shù)據(jù)集圖片的顏色趨于黑色，通過數(shù)據(jù)增強(qiáng)后也只有不到1 000張圖片，對(duì)于原始GoogLeNet網(wǎng)絡(luò)來說，使用9個(gè)Inception模塊容易造成過擬合現(xiàn)象，所以，需要通過減少網(wǎng)絡(luò)的深度和參數(shù)量來緩解過擬合現(xiàn)象。另外，由于軌道扣件圖片中沒有重疊和遮擋現(xiàn)象，且采集的扣件樣式相對(duì)固定，而軌道扣件檢測中對(duì)實(shí)時(shí)性要求較高，所以，采用輕量化網(wǎng)絡(luò)更容易同時(shí)滿足扣件識(shí)別任務(wù)對(duì)精度和速度的要求。輕量化GoogLeNet模型的總體架構(gòu)如圖3所示。

圖3 輕量化GoogLeNet網(wǎng)絡(luò)模型Fig.3 Lightweight GoogLeNet Network Model

2.1 輕量化Inception模塊

軌道扣件狀態(tài)識(shí)別的數(shù)據(jù)比較集中，松動(dòng)移位和斷裂等缺陷樣本與正常樣本的區(qū)別不大，對(duì)紋理特征等細(xì)節(jié)信息的依賴相對(duì)較大。而在原始Inception結(jié)構(gòu)中通過5×5大小的卷積操作后，特征圖會(huì)被壓縮得很小，容易丟失圖像的細(xì)節(jié)信息。我們將原Inception結(jié)構(gòu)中的5×5 Conv及其前面的1×1 Conv構(gòu)成的整個(gè)Inception分支去掉；同時(shí)將3×3 Conv及其前面的1×1 Conv的卷積核個(gè)數(shù)減少為原來的一半。另外，考慮到批歸一化(BN)操作可以提升模型訓(xùn)練精度，而且不含訓(xùn)練參數(shù)，對(duì)推理速度幾乎沒有影響，所以，我們在輕量化的Inception結(jié)構(gòu)卷積層后分別添加了BN操作。輕量化前后的Inception結(jié)構(gòu)如圖4所示。

圖4 Inception模塊以及輕量化inception模塊Fig.4 Inception Module and Lightweight Inception Module

2.2 優(yōu)化網(wǎng)絡(luò)模型結(jié)構(gòu)

在原始的GoogLeNet網(wǎng)絡(luò)模型中，包括9個(gè)Inception模塊，并且在第4個(gè)和第7個(gè)模塊中引入輔助分類器模型，防止梯度消失與過擬合現(xiàn)象。改進(jìn)后的輕量化GoogLeNet模型用7個(gè)輕量化Inception模塊取代原始的9個(gè)Inception模塊。因?yàn)楦倪M(jìn)后的Inception模塊中使用了批歸一化(BN)操作，所以為了避免重復(fù)輕量化，GoogLeNet模型中取消了Inception模塊之前的兩個(gè)局部響應(yīng)歸一化(Local Response Norm)層。除此之外，將原來第4個(gè)和第7個(gè)Inception模塊后連接的兩個(gè)輔助分類器減少為1個(gè)，且將其位置調(diào)整到第5個(gè)輕量化Inception模塊之后，并在輔助分類器中引入批歸一化(BN)操作，如圖5所示。輕量化GoogLeNet模型的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)如表1所示。

表1 輕量化GoogLeNet模型的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置Table 1 Network Structure and Parameter Settings of Lightweight GoogLeNet Model

圖5 基于BN的輔助分類器Fig.5 BN-based Auxiliary Classifier

2.3 激活函數(shù)

在輕量化GoogLeNet模型中，我們使用了Tanh激活函數(shù)取代ReLU激活函數(shù)。Tanh激活函數(shù)和ReLU激活函數(shù)分別如式(1)和式(2)所示。ReLU激活函數(shù)也被稱為單側(cè)抑制函數(shù)，當(dāng)輸出值小于0時(shí)就會(huì)導(dǎo)致一部分神經(jīng)元得不到更新。Tanh激活函數(shù)可以解決這一問題，并應(yīng)用于輕量化GoogLeNet模型中，與ReLU激活函數(shù)相比，網(wǎng)絡(luò)精度提高了1.2個(gè)百分點(diǎn)。

(1)

(2)

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

在訓(xùn)練過程中，服務(wù)器使用Ubuntu 20.0.4系統(tǒng)，深度學(xué)習(xí)框架為Pytorch 1.10.0，CPU型號(hào)為Intel(R)Core(TM)i7-7700，GPU為NVIDIA GeForce GTX 1080，顯卡內(nèi)存為8 G。Pytorch是基于Torch的開源機(jī)器學(xué)習(xí)庫，在處理圖像的過程中可以對(duì)GPU進(jìn)行加速。

3.2 消融實(shí)驗(yàn)

首先將包含4種扣件狀態(tài)類型的數(shù)據(jù)集打亂順序，然后以9∶1的比例將其劃分為訓(xùn)練集和驗(yàn)證集，并將輸入圖像統(tǒng)一縮放為224×224的RGB圖像。在訓(xùn)練過程中，將網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 3，Dropout設(shè)置為0.5，batch size設(shè)置為32，使用ADAM優(yōu)化器對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行優(yōu)化更新，加快模型收斂。對(duì)輕量化模型的不同版本進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)Table 2 Ablation Experiments

由表2可知，采用Tanh激活函數(shù)比ReLU激活函數(shù)更有利于改進(jìn)輕量化GoogLeNet模型的訓(xùn)練精度。在推理時(shí)間相同的情況下，采用Tanh激活函數(shù)可使模型精度提高1.2個(gè)百分點(diǎn)。而且添加BN操作后，可進(jìn)一步使模型精度提高9.8個(gè)百分點(diǎn)，達(dá)到92.7%，所以，改進(jìn)輕量化模型采用BN加Tanh激活函數(shù)的版本。

3.3 對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證輕量化GoogLeNet模型的優(yōu)勢，本文分別在VGG16、VGG19、GoogLeNet和輕量化GoogLeNet網(wǎng)絡(luò)模型上，對(duì)軌道扣件數(shù)據(jù)集進(jìn)行訓(xùn)練。這些網(wǎng)絡(luò)模型在訓(xùn)練階段的驗(yàn)證準(zhǔn)確率曲線和損失曲線如圖6所示。

從圖6可以看出：由于軌道扣件各種缺陷狀態(tài)的樣本量較少，對(duì)于VGG16和VGG19這兩個(gè)規(guī)模較大的網(wǎng)絡(luò)模型來說，容易造成過擬合現(xiàn)象，并且VGG16和VGG19的驗(yàn)證準(zhǔn)確率曲線一直處于上下浮動(dòng)狀態(tài)，模型魯棒性較差；從驗(yàn)證損失曲線來看，這兩個(gè)網(wǎng)絡(luò)模型在損失下降的過程中都存在較大波動(dòng)，網(wǎng)絡(luò)損失下降過程不穩(wěn)定，最終的分類準(zhǔn)確率分別只有71%和73.2%。對(duì)于GoogLeNet網(wǎng)絡(luò)模型來說，雖然原始網(wǎng)絡(luò)模型驗(yàn)證準(zhǔn)確率曲線的波動(dòng)性略好于輕量化GoogLeNet網(wǎng)絡(luò)模型，但是輕量化GoogLeNet網(wǎng)絡(luò)模型的驗(yàn)證準(zhǔn)確率高于原始網(wǎng)絡(luò)模型，最終達(dá)到90%以上，在損失曲線下降率方面也要優(yōu)于原始網(wǎng)絡(luò)模型。在訓(xùn)練結(jié)束后，利用軌道扣件測試集對(duì)3種經(jīng)典網(wǎng)絡(luò)模型和改進(jìn)的輕量化GoogLeNet網(wǎng)絡(luò)模型進(jìn)行測試，結(jié)果如表3所示。

圖6 各個(gè)網(wǎng)絡(luò)模型的驗(yàn)證準(zhǔn)確率和損失曲線圖Fig.6 Validation Accuracy and Loss Curves for Each Network Model

由表3可知，對(duì)于軌道扣件數(shù)據(jù)集，原始GoogLeNet的網(wǎng)絡(luò)參數(shù)量比VGG16和VGG19小1個(gè)數(shù)量級(jí)，為13.378 280 M，網(wǎng)絡(luò)精度達(dá)到了84.1%，F(xiàn)PS為145.4，識(shí)別精度和速度都優(yōu)于VGG網(wǎng)絡(luò)。但對(duì)軌道扣件狀態(tài)識(shí)別任務(wù)來說，實(shí)時(shí)性仍然有待提高。本文對(duì)其改進(jìn)后提出的輕量化GoogLeNet網(wǎng)絡(luò)模型，其參數(shù)量僅有4.089 048 M，推理時(shí)間為3.933 3 ms，F(xiàn)PS可達(dá)254.2，滿足扣件缺陷識(shí)別任務(wù)對(duì)實(shí)時(shí)性的要求，而且網(wǎng)絡(luò)測試精度達(dá)到92.7%，比原始GoogLeNet網(wǎng)絡(luò)提高了8.6個(gè)百分點(diǎn)。

表3 模型結(jié)果統(tǒng)計(jì)Table 3 Model Results Statistics

4 結(jié)束語

由于軌道扣件檢測任務(wù)對(duì)網(wǎng)絡(luò)實(shí)時(shí)性要求較高，本文針對(duì)自行構(gòu)建的專用數(shù)據(jù)集特點(diǎn)，對(duì)GoogLeNet網(wǎng)絡(luò)模型進(jìn)行輕量化改進(jìn)，主要包括裁剪Inception結(jié)構(gòu)、增加BN操作、 減少網(wǎng)絡(luò)層數(shù)和輔助分類器的個(gè)數(shù)，并用Tanh激活函數(shù)代替ReLU激活函數(shù)。改進(jìn)后的輕量化GoogLeNet網(wǎng)絡(luò)模型在提升精度的同時(shí)，還大大提高了網(wǎng)絡(luò)實(shí)時(shí)性，更適用于軌道扣件狀態(tài)的識(shí)別任務(wù)。