張云佐,楊攀亮,王 蕾
(石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 河北 石家莊 050043)
隨著我國高速鐵路的快速發(fā)展,高鐵安全運(yùn)營的重要性日益凸顯。鐵路移動通訊系統(tǒng)是保障鐵路無線通信的重要環(huán)節(jié),山區(qū)、隧道通信網(wǎng)絡(luò)的覆蓋主要依靠泄漏電纜和直放站。由于泄漏電纜長期經(jīng)受列車高速行駛時產(chǎn)生的氣壓沖擊以及各種環(huán)境的影響,容易產(chǎn)生松動和脫落[1-3]。一旦發(fā)生故障會對鐵路的安全運(yùn)營產(chǎn)生嚴(yán)重影響。為保證鐵路移動通訊系統(tǒng)的安全運(yùn)行,需要對泄漏電纜定期檢查,主要是判斷泄漏電纜卡具是否出現(xiàn)故障。泄漏電纜卡具檢測是指在場景圖像中指出卡具目標(biāo),其目的是利用目標(biāo)檢測技術(shù)對泄漏電纜卡具狀態(tài)進(jìn)行監(jiān)測和分析,從而實現(xiàn)對卡具故障的檢測和識別。
目標(biāo)檢測技術(shù)主要經(jīng)歷了三個階段。第一階段是傳統(tǒng)模式,通過圖片準(zhǔn)備、區(qū)域選擇、特征提取和分類器的方法進(jìn)行目標(biāo)檢測。傳統(tǒng)模式時間復(fù)雜度較高、冗余窗口多且對多變化的物體通用性較差[4-5];第二階段是基于R-CNN的深度學(xué)習(xí)目標(biāo)檢測算法,主要包括:R-CNN[6],F(xiàn)ast R-CNN(ICCV2015)[7]和 Faster R-CNN(NIPS2015)[8],基于R-CNN的算法速度慢,實時性較差。第三階段是基于回歸方法的深度學(xué)習(xí)目標(biāo)檢測算法,主要包括:YOLO[9-10]和SSD[11],YOLO精度不高,而SSD以其速度快精度高的特點得到更廣泛的應(yīng)用。
結(jié)合泄漏電纜卡具目標(biāo)特征和高鐵安全的現(xiàn)實需求,本文主要研究基于MobileNet- SSD算法的卡具檢測技術(shù),進(jìn)而實現(xiàn)對鐵路隧道泄漏電纜卡具的檢測,便于鐵路管理部門對卡具的數(shù)量、狀態(tài)等信息進(jìn)行統(tǒng)計和監(jiān)控。
本文主要應(yīng)用的是MobileNet-SSD[12-13]網(wǎng)絡(luò)模型,該模型以Mobilenet為主體網(wǎng)絡(luò),將其中最后的全連接層改成卷積層,接著增加了4組卷積層來構(gòu)造網(wǎng)絡(luò)結(jié)構(gòu)。這些層的大小逐漸減小且每個層用于預(yù)測檢測的卷積模型不同,可以實現(xiàn)多尺度目標(biāo)檢測[9]。MobileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖 1所示。
在圖1中,輸入一張300×300×3的圖像,通過深度可分離卷積操作可以得到大小不同的特征圖(feature map)分別是 Conv11、Conv13、Conv14、Conv15、Conv16、Conv17,不同特征圖所對應(yīng)的特征不同,感受野不同,對應(yīng)的默認(rèn)框也不同。該模型可以在多個特征圖上同時進(jìn)行Soft-max分類和位置回歸。
圖1 M obileNet-SSD網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Mob ileNet-SSD work structure
Mobilenet網(wǎng)絡(luò)將經(jīng)典的卷積操作轉(zhuǎn)換為了深度卷積和1×1點卷積操作相結(jié)合。該網(wǎng)絡(luò)取消了pooling層,而是通過調(diào)整卷積的步長達(dá)到降低特征圖大小的目的。和傳統(tǒng)VGG模型相比,它可以實現(xiàn)從通道級別上,減小整體網(wǎng)絡(luò)模型計算量。
算法的基本流程為:
(1)獲取一定批次的卡具圖片,及對應(yīng)的真實框坐標(biāo)和類標(biāo)簽;
(2)對圖片進(jìn)行預(yù)處理,將圖片尺寸縮放為300×300;
(3)通過特征提取層提取特征,共 6層;
(4)生成 anchor,對每層特征圖分別預(yù)測anchor的分類及坐標(biāo),并將特征圖的anchor分類極坐標(biāo)整合在一起;
(5)將所有的anchor與真實框按IOU配對,返回anchor對應(yīng)的真實框坐標(biāo)及分類標(biāo)簽;
(6) 分別計算每一個anchor的location loss和classification loss,由于正負(fù)樣本不均衡,對loss進(jìn)行困難樣本挖掘,保證正負(fù)樣本比例1∶3,并對loss標(biāo)準(zhǔn)化處理;
(7)采用非極大值抑制挑選出分類置信度最高的anchor。
實驗通過loss函數(shù)計算真實值與預(yù)測值的誤差,使得每一個prior box回歸到真實框的位置。
本網(wǎng)絡(luò)模型中l(wèi)oss函數(shù)的表達(dá)式如式(1)所示,它主要用到了兩項的加和,類別的置信度損失和對預(yù)測框的位置回歸的損失[14-16]。
式(1)中,N是匹配的預(yù)測框的個數(shù),x表示匹配了的框是否屬于類別p,取值{0,1},l表示是預(yù)測框,g是真實值,c是指所框選目標(biāo)屬于類別p的置信度。
預(yù)測類別的置信度損失函數(shù)如式(2)所示:
預(yù)測框位置回歸的損失函數(shù)如式(4)所示:
本實驗在64位Win10系統(tǒng)計算機(jī)上完成,計算機(jī)的配置為:
CPU:Intel Core(i7-9750H),主頻2.6 GHz,
內(nèi)存:8.0 GB,
GPU:Nvidia GeForce GTX 1660 Ti。
在 TensorFlow 深度學(xué)習(xí)框架中完成了MobileNet-SSD算法的實現(xiàn)。
本次實驗采用的數(shù)據(jù)集為高鐵隧道現(xiàn)場采集的707張帶有卡具的圖片,其中532張圖片作訓(xùn)練集,175張圖片作測試集,將圖像中所有的卡具歸為一類,利用Python開發(fā)的提供圖像標(biāo)注的算法,將每個帶標(biāo)簽的圖像生成對應(yīng)的 XML文件。訓(xùn)練的學(xué)習(xí)率為0.001,batch_size設(shè)置為16,共進(jìn)行12010step。
Step.1 輸入圖片,將圖片尺寸調(diào)整為300×300的尺寸大??;
Step.2 對特征層采用滑動窗口的方式使用卷積核做卷積計算;
Step.3 卷積處理時預(yù)測出不同長寬的邊界框集合;
Step.4 設(shè)置閾值舍棄低于閾值的檢測窗口;
Step.5 非極大值抑制消去多余窗口獲得檢測結(jié)果。主要目的是根據(jù)置信度大小,對所有檢測框進(jìn)行排序,輸出置信度最高的檢測框。
在實驗中,loss函數(shù)的變化趨勢如圖2所示,其中 localization_loss對應(yīng)的是位置回歸的 loss值,由圖2可知,其在整體上呈現(xiàn)出下降趨勢,并逐漸逼近于0。
圖2 localiz ation_loss變化曲線Fig.2 localiz ation_loss curve
圖3中,Classification_loss對應(yīng)的是分類loss,其在整體上呈現(xiàn)震蕩,主要是由于目標(biāo)卡具有兩種不同形態(tài)但將其全部歸為一類卡具標(biāo)簽所引起的。
圖3 classification_loss變化曲線Fig.3 classification_loss curve
兩種卡具圖像如圖4所示。
圖4 卡具圖片F(xiàn)ig.4 Jig picture
圖5對應(yīng)的是整體loss的變化趨勢,它由分類和回歸 loss組成,其數(shù)值先降低,隨后在 1.6附近震蕩。這部分是由于網(wǎng)絡(luò)模型結(jié)構(gòu)所造成的,若要減小loss,則需調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)。
圖5 T italLoss變化曲線Fig.5 T otalLoss curve
目前計算平均目標(biāo)檢測算法的主要參數(shù)有mAP(Mean Average Precision,平均準(zhǔn)確率均值)、AP(Average Precision,平均準(zhǔn)確率)和 IOU(Inter-section Over Union,交并比)。其中 IOU是模型所預(yù)測的檢測框和真實的檢測框的交集和并集之間的比例,也稱為 Jaccard 指數(shù)。精確度(Precision)是指在被判斷為準(zhǔn)確的圖片中,真正判斷準(zhǔn)確的泄露電纜卡具的比例。召回率(Recall)是指被準(zhǔn)確預(yù)測的樣本占所有樣本的比例。精確度、AP、mAP 和召回率的計算公式如公式(5)-(8)所示:
圖6 mAP值基于0.5IOUFig.6 mAP value based on 0.5 IOU
圖7 預(yù)測結(jié)果(a~d)Fig.7 Pr edicted results (a~d)
該實驗結(jié)果表明:在高鐵隧道泄漏電纜卡具目標(biāo)檢測任務(wù)中利用MobileNet-SSD算法可以很好的解決檢測卡具的任務(wù)。
本文基于MobileNet-SSD模型,對隧道內(nèi)泄漏電纜卡具數(shù)據(jù)集進(jìn)行訓(xùn)練,完成了卡具自動檢測的任務(wù),為卡具故障識別奠定了基礎(chǔ)。該模型結(jié)合了YOLO算法的回歸思想以及Faster R-CNN的anchor機(jī)制達(dá)到了識別速度快精度高的要求,對泄漏電纜卡具的智能檢測有很大幫助。但該模型也具有一定的局限性:首先由于數(shù)據(jù)集的不足,本實驗將兩種類別的卡具歸為一類進(jìn)行處理對分類損失造成一定的影響,因此在接下來需要增加不同種卡具樣本數(shù)量,實現(xiàn)對不同卡具的目標(biāo)檢測及分類,可以從一定程度上提高檢測效果。其次,由于隧道內(nèi)卡具背景差異較小,當(dāng)背景發(fā)生較大變化時會對檢測結(jié)果造成一定程度的影響。最后,增加樣本的多樣性,提高網(wǎng)絡(luò)模型的魯棒性對實現(xiàn)鐵路隧道泄漏電纜卡具的智能檢測至關(guān)重要,這也是下一步研究的主要方向。