基于Yolov5的軌旁受電弓缺陷在線(xiàn)檢測(cè)方法研究

楊旭生，江現(xiàn)昌，敖斌，范英芝，鄧春林

（南昌軌道交通集團(tuán)有限公司運(yùn)營(yíng)分公司，江西 南昌 330038）

1 概述

目前，車(chē)輛受電弓異常狀態(tài)的檢測(cè)方法仍然停留在人工檢測(cè)階段，該方式存在效率低下、無(wú)客觀檢測(cè)標(biāo)準(zhǔn)等諸多問(wèn)題。針對(duì)目前軌道交通車(chē)輛日常檢修作業(yè)的需求，本文設(shè)計(jì)了基于軌旁相機(jī)軌道交通車(chē)輛受電弓缺陷智能檢測(cè)系統(tǒng)，利用軌旁高清成像與機(jī)器學(xué)習(xí)相結(jié)合實(shí)現(xiàn)的列車(chē)受電弓異常狀態(tài)的自動(dòng)化檢測(cè)，可大幅降低人工作業(yè)量，保障車(chē)輛檢修質(zhì)量，進(jìn)而實(shí)現(xiàn)軌道交通車(chē)輛檢修的減員增效。

2 軌旁受電弓缺陷檢測(cè)方法

軌旁相機(jī)在接收到觸發(fā)信號(hào)時(shí)，對(duì)列車(chē)受電弓區(qū)域進(jìn)行圖像采集，并將采集的圖像傳輸?shù)降孛娣?wù)器中，通過(guò)服務(wù)器中已部署的缺陷智能識(shí)別算法檢測(cè)受電弓區(qū)域是否存在異常。軌旁相機(jī)采集到的受電弓區(qū)域圖像如圖1所示。

受電弓缺陷智能識(shí)別算法可概括為2大步：（1）利用改進(jìn)的Yolov5目標(biāo)檢測(cè)算法對(duì)受電弓精確定位；（2）通過(guò)歷史圖像對(duì)比方法判定受電弓是否存在異常。具體流程圖如圖2。

2.1 受電弓定位

受電弓精確定位是實(shí)現(xiàn)受電弓缺陷檢測(cè)的前提。通過(guò)基于Yolov5n的圖像目標(biāo)檢測(cè)網(wǎng)絡(luò)作為算法模型實(shí)現(xiàn)對(duì)受電弓目標(biāo)定位，本文在引入該模型時(shí)，進(jìn)行了部分改進(jìn)，提高了定位精度，并在項(xiàng)目應(yīng)用中達(dá)到了較好的結(jié)果。

（1）mosaic-9數(shù)據(jù)增強(qiáng)。為進(jìn)一步提升定位精確性，本文Yolov5n中除了使用傳統(tǒng)數(shù)據(jù)增強(qiáng)方式外，還用了Mosaic-4數(shù)據(jù)增強(qiáng)。采用Mosaic-9方式對(duì)原始訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)，也就是對(duì)9張圖像進(jìn)行縮放、裁剪、排布，其增強(qiáng)流程如圖3所示，Mosaic-9增強(qiáng)細(xì)節(jié)如圖4所示。

（2）FReLU激活函數(shù)。為了更好地完成圖像識(shí)別任務(wù)，解決自適應(yīng)獲取空間相關(guān)性難的問(wèn)題，引入了FReLU（Funnel Active）激活函數(shù)。該激活函數(shù)通過(guò)增加微小計(jì)算成本，重新設(shè)置了一個(gè)空間條件，將ReLU和PReLU轉(zhuǎn)化為二維視覺(jué)激活函數(shù)。

ReLU激活函數(shù)如下式。

PReLU激活函數(shù)如下式。

FReLU激活函數(shù)如下式。

其中，T(■)表示二維空間條件?？臻g條件用較為簡(jiǎn)單的形式實(shí)現(xiàn)像素級(jí)建模，并用正則卷積獲得復(fù)雜的可視化布局。本文通過(guò)引入FReLU激活函數(shù)可進(jìn)一步提升受電弓定位精度及定位魯棒性。

（3）損失函數(shù)改進(jìn)。Yolov5n原始模型中使用的損失函數(shù)為GIou，增加了對(duì)錯(cuò)誤候選框的懲罰，檢測(cè)效果較好，GIoU具體形式如下。

但是，GIoU依然會(huì)有定位框回歸不穩(wěn)定的情況，對(duì)于復(fù)雜近距離環(huán)境中的檢測(cè)目標(biāo)仍然難以應(yīng)對(duì)，存在檢測(cè)魯棒性差及收斂速度慢等問(wèn)題，為了應(yīng)對(duì)該問(wèn)題，本文引入了一個(gè)連續(xù)可導(dǎo)的損失函數(shù)PIoU，以此優(yōu)化IoU的定位精度。該損失函數(shù)通過(guò)引入一個(gè)旋轉(zhuǎn)參數(shù)，便讓之前的訓(xùn)練標(biāo)注框能夠更加緊湊的定位目標(biāo)。為了精確地獲取OBB間的IoU，通過(guò)累積內(nèi)部重疊像素進(jìn)行統(tǒng)計(jì)的凡世計(jì)算IoU。PIoU函數(shù)通過(guò)IoU度量導(dǎo)出，其形式為像素級(jí)，方法比較簡(jiǎn)單且適用于水平和垂直方向定位邊界框，其具體形式如下。

其中，M為所有正樣本數(shù)據(jù)集，|M|為正樣本數(shù)，真實(shí)目標(biāo)b和b′目標(biāo)框的b∩b′和b∪b′分別表示兩者的交集區(qū)域和并集區(qū)域。

2.2 缺陷判定

通過(guò)前述受電弓定位過(guò)程，便可在原始圖像中得到受電弓精確的ROI，進(jìn)一步利用滑動(dòng)窗口在受電弓ROI中進(jìn)行滑動(dòng)，同時(shí)，在同一相機(jī)同一受電弓的歷史圖像ROI中以相同的方式相同的窗口進(jìn)行滑動(dòng)，并在窗口滑動(dòng)至相同位置時(shí)計(jì)算兩窗口內(nèi)的結(jié)構(gòu)相似度，在窗口滑動(dòng)過(guò)程中，只要存在某一結(jié)構(gòu)相似度小于設(shè)定相似度閾值，即可判定該受電弓存在異常。

（1）滑動(dòng)窗口（如圖5）。本文采用的缺陷檢測(cè)思路是通過(guò)采集圖像與歷史基準(zhǔn)圖像相似度對(duì)比，若相似度小于某一閾值則判定為異常。若在對(duì)比過(guò)程中直接使用原始ROI大小，當(dāng)異常較大時(shí)可以準(zhǔn)確地判定，但是，當(dāng)異常部分只占原始ROI很小一部分時(shí)，整體ROI的相似度仍然會(huì)很大，從而會(huì)導(dǎo)致漏判。因此，本文在判定過(guò)程中引入滑動(dòng)窗口的思想，通過(guò)遍歷的方式對(duì)受電弓ROI是否異常進(jìn)行精確判定。

在實(shí)際應(yīng)用過(guò)程中，根據(jù)受電弓ROI的實(shí)際大小設(shè)置滑動(dòng)窗口的大小，本文使用的窗口大小為128×128，從ROI的左上角開(kāi)始，先向右滑動(dòng)，再向下滑動(dòng)，滑動(dòng)步長(zhǎng)均設(shè)置為3。

（2）結(jié)構(gòu)相似度。給定兩個(gè)圖像x和y，其結(jié)構(gòu)相似性可按照以下表達(dá)式求出。

其中μx是x的平均值，μy是y平均值，σx2是x的方差，σy2是y的方差，σxy是x和y的協(xié)方差。C1=(k1L)2,C2=(k2L)2是兩個(gè)常數(shù)，用來(lái)維持穩(wěn)定。L是像素值的動(dòng)態(tài)范圍。k1=0.01，k2=0.03。

結(jié)構(gòu)相似性的范圍在-1～1，當(dāng)兩張圖一模一樣時(shí)，SSIM=1。在判定當(dāng)前圖像受電弓ROI是否異常時(shí)，需要設(shè)定一個(gè)相似性閾值t,當(dāng)結(jié)構(gòu)相似性指數(shù)大于該閾值時(shí)，認(rèn)為當(dāng)前圖像正常，反之，則判定為異常，并進(jìn)行報(bào)警。該閾值設(shè)定時(shí)，可通過(guò)統(tǒng)計(jì)方式獲得，即通過(guò)正常樣本與異常樣本分別與對(duì)應(yīng)的歷史基準(zhǔn)圖像計(jì)算相關(guān)性，可獲得一個(gè)相關(guān)性指數(shù)分布，示意如圖6。

最終，判定規(guī)則具體形式如下。

3 實(shí)驗(yàn)與結(jié)果

本文中實(shí)驗(yàn)所設(shè)計(jì)的硬件配置，GPU為NVIDIA GeForce GTX 750Ti，cuda 10.2，CPU為Intel i7-9000，主頻3G，RAM16G。

3.1 受電弓定位驗(yàn)證

在受電弓定位過(guò)程中，訓(xùn)練階段使用pytorch訓(xùn)練Yolov5n定位模型，并將模型轉(zhuǎn)化為onnx格式，最終通過(guò)opencv454中DNN模塊調(diào)用部署進(jìn)行測(cè)試。本文在訓(xùn)練受電弓定位模型時(shí)共標(biāo)注樣本3000張，其中2600張作為訓(xùn)練集，400張作為驗(yàn)證集。網(wǎng)絡(luò)輸入層大小調(diào)整為512，batchsize設(shè)置為16，并采用coco預(yù)訓(xùn)練模型。在訓(xùn)練過(guò)程中，其模型損失值變化過(guò)程如圖7所示，從圖中可以看出，在經(jīng)過(guò)大約800次epoch后，損失值基本不再降低，說(shuō)明模型已趨于收斂。受電弓ROI定位效果示意圖如圖8。

在測(cè)試受電弓定位模型時(shí)，使用了108251張圖像，定位準(zhǔn)確率可達(dá)到99.98%，具體如表1。

表1 受電弓定位準(zhǔn)確率統(tǒng)計(jì)表

3.2 缺陷識(shí)別驗(yàn)證

在定位到受電弓后，便截取處受電弓ROI圖像，按照上述方式進(jìn)行窗口滑動(dòng)并計(jì)算結(jié)構(gòu)相似度，最終判定是否存在異常。其中，相似度閾值t設(shè)定為0.83。

受電弓異常檢出率統(tǒng)計(jì)結(jié)果如表2，受電弓異物檢出率可達(dá)到97%以上，值得說(shuō)明的是，受電弓異常檢測(cè)實(shí)驗(yàn)中漏檢樣本全是極微小變形及異物，若要對(duì)該類(lèi)異常準(zhǔn)確判定，可在滑動(dòng)窗口設(shè)計(jì)時(shí)引入金字塔思想，這是本文后續(xù)研究的方向。在受電弓缺陷檢測(cè)時(shí)，從輸入圖像至判定結(jié)果輸出視為一次計(jì)算，一次計(jì)算算法平均耗時(shí)為21.33ms。

表2 受電弓異常檢測(cè)統(tǒng)計(jì)結(jié)果

4 結(jié)語(yǔ)

本文對(duì)軌道列車(chē)受電弓缺陷智能檢測(cè)技術(shù)進(jìn)行了研究，提出了一種基于深度學(xué)習(xí)與圖像對(duì)比的軌旁受電弓缺陷智能檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)受電弓異常具有較高的檢出率，并且誤檢和漏檢相對(duì)較少，但是，對(duì)極小的異常仍然無(wú)法達(dá)到較好的檢出效果，這仍是本文后續(xù)研究努力的方向。