基于YOLOv3-tiny的列車輪對踏面缺陷定位與測量方法

金楷榮，王俊平，陳勝藍(lán)

（株洲中車時代電氣股份有限公司，湖南 株洲 412001）

0 引言

輪對作為列車走行部的關(guān)鍵部件，在鋼軌上長時間的運(yùn)行容易導(dǎo)致踏面發(fā)生損傷，將直接影響列車運(yùn)行的安全性。

國內(nèi)外輪對檢測方法可概括為兩類：靜態(tài)檢測和動態(tài)檢測［1］。目前國內(nèi)車輛段對于列車輪對踏面的損傷檢測，大多數(shù)是基于人工的靜態(tài)檢測，存在效率低、實(shí)時性差以及耗時較長等明顯缺陷。動態(tài)檢測是通過在軌旁安裝的傳感器、補(bǔ)光裝置等設(shè)備，在列車通過時采集輪對信息并完成檢測，在效率和實(shí)時性上具有較大優(yōu)勢。各國相關(guān)研究人員分別提出了振動加速度法［2-4］、超聲法［5-7］和圖像法等動態(tài)檢測技術(shù)。其中，圖像法因安裝簡單、非接觸式、展示直觀以及追溯和回放方便等優(yōu)點(diǎn)，具有較大的發(fā)展空間。文獻(xiàn)［8-9］利用平穩(wěn)小波和Canny算子實(shí)現(xiàn)對缺陷的檢測和定位。文獻(xiàn)［10］利用灰度共生矩陣和反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)對缺陷進(jìn)行分類，能夠準(zhǔn)確識別出擦傷區(qū)域。但是上述方法魯棒性較差，在圖像光照不均勻或踏面表面生銹等極端情況下，檢測效果不佳。這是因?yàn)镃anny算子、灰度共生矩陣等特征都是人工設(shè)定的。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法在不斷發(fā)展，目標(biāo)檢測算法按照設(shè)計(jì)思想的差異性可分為兩類，一類是以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（regionbased convolutional neural network，R-CNN）［11］、Faster R-CNN［12］等為代表的Two-step算法，另一類是以單步檢測（single shot detection，SSD）［13］、YOLO［14］為代表的One-step算法。文獻(xiàn)［15］采用Faster R-CNN實(shí)現(xiàn)了踏面二維圖像缺陷檢測和分類，檢出率能夠達(dá)到85%。文獻(xiàn)［16］提出一種基于改進(jìn)VGG16模型的踏面檢測算法，有效降低了推理計(jì)算量。文獻(xiàn)［17］提出了一種基于Canny-YOLOv3的踏面損傷檢測方法，其首先通過Canny算子分割出踏面區(qū)域，再采用YOLOv3算法檢測出踏面區(qū)域的損傷位置。

上述深度學(xué)習(xí)算法都實(shí)現(xiàn)了踏面缺陷的檢出，但檢測算法本身不論是對大目標(biāo)（人、車、建筑物等）還是小目標(biāo)（車牌、螺栓、缺陷等），檢測框尺寸都會出現(xiàn)過大或者過小的情況。實(shí)際上，目前國內(nèi)的車輛檢修段大都會根據(jù)長度對缺陷進(jìn)行分級并執(zhí)行不同的修理計(jì)劃。針對該問題，本文提出了一種輪對缺陷的定位與測量算法，主要技術(shù)思路如下：（1）基于YOLOv3-tiny算法模型和OpenVINO組件實(shí)現(xiàn)低CPU消耗的輪對踏面缺陷的粗定位；（2）得到感興趣區(qū)域（region of interest，ROI）區(qū)域后，利用傳統(tǒng)的圖像處理方法進(jìn)行尺寸測量并優(yōu)化檢測框。

1 踏面缺陷檢測問題描述

列車輪對的檢測棚通常建造在列車入庫位置的前方，在列車慢速通過的過程中，軌道兩旁的8個可見光相機(jī)和8個補(bǔ)光裝置被依次觸發(fā)，以采集輪對圖像信息。動態(tài)采集的圖像會存在一定的拖影；同時由于補(bǔ)光裝置和輪對的新舊程度不同，圖像中也會出現(xiàn)不同程度的反光現(xiàn)象。踏面缺陷主要包括擦傷和剝離，經(jīng)過預(yù)處理后的圖像如圖1所示。

圖1 輪對踏面缺陷樣例Fig.1 Example of wheel tread defect

1.1 缺陷定位算法

YOLO算法發(fā)展迅速，版本不斷更迭，其中YOLOv3版本是目前公認(rèn)綜合性能最好的。本文采用的YOLOv3-tiny算法是YOLOv3的輕量級版本，二者的主要區(qū)別在于特征提取網(wǎng)絡(luò)的深度和YOLO層尺度。YOLOv3-tiny網(wǎng)絡(luò)模型是由13個卷積層和6個池化層組成，前5個池化層的步長為2，剩余一個池化層步長為1。在卷積網(wǎng)絡(luò)中，輸入的圖片尺寸決定了輸出圖片尺寸，淺層網(wǎng)絡(luò)容易表征小目標(biāo)物體，深層網(wǎng)絡(luò)容易表征大目標(biāo)物體。YOLOv3-tiny根據(jù)該種思想，采用兩尺度預(yù)測方式，使用尺度為13×13和26×26的兩個YOLO輸出層。YOLOv3-tiny網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示。

圖2 YOLOv3-tiny結(jié)構(gòu)Fig.2 Structure of YOLOv3-tiny

1.1.1 網(wǎng)絡(luò)訓(xùn)練

不同于人臉識別或者車輛檢測等場景下的檢測，輪對踏面缺陷檢測無法提供深度學(xué)習(xí)所需的數(shù)據(jù)量。為了避免出現(xiàn)過擬合現(xiàn)象，采用數(shù)據(jù)增強(qiáng)技術(shù)對原始樣本進(jìn)行擴(kuò)充，即對原圖進(jìn)行平移、翻轉(zhuǎn)、旋轉(zhuǎn)、縮放以及亮度增強(qiáng)等操作。圖像增強(qiáng)效果如圖3所示。

圖3 圖像增強(qiáng)效果Fig.3 Image enhancement effect

從擴(kuò)充后的樣本集中隨機(jī)選擇600張圖像用于模型評估，其中500張作為訓(xùn)練樣本，100張作為測試樣本。每個檢測器只檢測缺陷，故將類別數(shù)和濾波器filter數(shù)分別設(shè)置為1和18。訓(xùn)練參數(shù)如表1所示。

表1 訓(xùn)練參數(shù)Tab.1 Training parameters

1.1.2 評價指標(biāo)

為了分析定位模型的性能，將平均精度和平均交并比（average IoU）作為衡量指標(biāo)。Tp和Fn分別表示正樣本被預(yù)測正確和錯誤的數(shù)量，Tn和Fp分別表示負(fù)樣本被預(yù)測正確和錯誤的數(shù)量。具體評價指標(biāo)如下：

（1）召回率（RRecall）。其為在實(shí)際為正的樣本中被預(yù)測為正樣本的概率，計(jì)算公式為

（2）精確率（PPrecision）。在檢測為正樣本的樣本中，實(shí)際也為正樣本的樣本所占比例，其計(jì)算公式為

（3）平均精度（AP）。其能夠直觀反映檢測正確的樣本比例，計(jì)算公式為

為了更加直觀地顯示，平均精度經(jīng)常使用由PPrecision-RRecall曲線和坐標(biāo)軸圍成的面積表示。

（4）平均交并比。其為檢測樣本交并比IoU的平均值，IoU為預(yù)測檢測框BP、實(shí)際檢測框Bgt的交集面積和并集面積之比，見式（4）。很明顯，IoU值越大，說明重合度越高，檢測框定位精度越高。

1.2 尺寸測量算法

為了優(yōu)化定位模型給出的檢測框尺寸，本文基于傅里葉變換提出了尺寸測量算法。

1.2.1 傅里葉變換

在圖像處理中，時域和頻域下的圖像表示完全不同的信息：在時域下，數(shù)字圖像表示二維空間矩形區(qū)域上的離散函數(shù)；在頻域下，圖像表現(xiàn)出來的是頻率的分布、各頻率的相位和比例［18］。通過頻域和時域?yàn)V波都能夠?qū)崿F(xiàn)圖像增強(qiáng)。傅里葉變換提供了一種從空域到頻域自由轉(zhuǎn)換的方法，其將圖像從灰度分布轉(zhuǎn)化到頻率分布上進(jìn)行分析。下面給出二維離散傅里葉變換（DFT）［19］。

f(x，y)是一副M×N圖像，對應(yīng)的二維傅里葉變換F(u，v)被定義為

式中：e-j2π(ux/M+vy/N)和 ej2π(ux/M+vy/N)分別為正變換核和逆變換核；x，y為空間域采集值；F(u，v)為f(x，y)的頻域圖像譜，是兩個實(shí)頻率變量u，v的復(fù)值函數(shù)，其中頻率u對應(yīng)x軸，頻率v對應(yīng)y軸；u，v為頻域采樣值，u=0，1，2，…，M-1，v=0，1，2，…，N-1。

傅里葉變換的振幅譜F(u，v)、相位譜φ(u，v)和能量譜E(u，v)分別為

式中：Re(u，v)，Im(u，v)——F(u，v)的實(shí)部和虛部。

二維離散傅里葉變換因計(jì)算量較大而限制了其在工程上的應(yīng)用?？焖俑道锶~變換（FFT）在傅里葉變換的基礎(chǔ)上，消除了重復(fù)或者多余的運(yùn)算，大大提高了計(jì)算效率。當(dāng)圖像的寬度或者高度為2的冪時，直接采用FFT進(jìn)行變換；否則，需要先對圖像進(jìn)行填充。

1.2.2 帶阻濾波

對頻域下的圖像處理而言，高頻分量表示突變部分，其包含邊緣信息和各種噪聲；低頻分量表示灰度變化平緩的部分，即圖像背景。但由于踏面缺陷的紋理較為復(fù)雜，邊緣交錯分布，單一的低通和高通濾波不能滿足要求。低通濾波雖能濾除噪聲，但也會平滑缺陷邊緣噪聲；高通濾波則會在增強(qiáng)邊緣噪聲的同時放大噪聲的干擾。大量的試驗(yàn)結(jié)果證明［20］，帶阻濾波的方法能夠在抑制噪聲的基礎(chǔ)上增強(qiáng)缺陷邊緣的對比度。圖像濾波的數(shù)學(xué)表達(dá)式如下：

式中：H(u，v)——濾波器函數(shù)；G(u，v)——經(jīng)過濾波后的頻域。

帶阻濾波器函數(shù)表達(dá)式為

式中：Dl，Dh——截止頻率；n——濾波器的階數(shù)；D(u，v)——點(diǎn)(u，v)到傅里葉頻率原點(diǎn)的距離。

本文利用開源機(jī)器視覺軟件Halcon制作帶阻濾波器，通過對比多組參數(shù)（Sigma1，Sigma2）的濾波效果后，選擇（8，1）作為濾波器參數(shù)。

1.2.3 算法流程

本文測量算法主要采用傅里葉變換、閾值分割及最小外接矩形求解等方法，效果如圖4所示。該測量算法的主要步驟如下：

圖4 缺陷測量過程Fig.4 Process of defect measurement

（1）獲取感興趣區(qū)域ROI。在檢測框周圍分別添加20個像素的寬度后進(jìn)行裁剪。

（2）獲取初步的缺陷邊緣信息。通過傅里葉變換，將ROI區(qū)域變換到頻域，構(gòu)建合適的帶阻濾波器進(jìn)行卷積。

（3）獲取包含邊緣的連通域。進(jìn)行閾值分割，保留亮度較高（前60%）的部分。

（5）計(jì)算長和寬。針對最終保留的邊緣，求解最小外接矩形。

2 實(shí)驗(yàn)結(jié)果和分析

本文的踏面缺陷檢測實(shí)驗(yàn)主要包括定位和測量兩個實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境具體如下：

（1）系統(tǒng)及硬件，采用聯(lián)想Thinkpad P53電腦和Windows 10操作系統(tǒng)，顯卡為Nvidia Quadro T2000；

（2）軟件及生存環(huán)境，訓(xùn)練框架為DarkNet、CUDA 10.0和cuDNN7.4.1，部署框架為 VS2017、OpenVINO2019R3和OpenCV4.4。

2.1 缺陷定位實(shí)驗(yàn)

為了評價YOLOv3-tiny模型性能，選擇目前綜合性能很好的YOLOv3模型進(jìn)行對比，圖5示出IoU閾值0.5下的精確率-召回率（PPrecision-RRecall）曲線，簡稱“PR曲線”。表2給出了兩種模型的AP、平均IoU和置信度為0.5時的RRecall。

圖5 PR曲線（IoU閾值為0.5）Fig.5 PR curves(IoU threshold is 0.5)

表2 兩種模型的AP和平均IoUTab.2 APand averageIoUfor both models

對于一個優(yōu)秀的檢測器，準(zhǔn)確率會隨著召回率的提高緩慢下降，曲線會盡可能地往右上角延伸，即PR曲線包含的面積越大，檢測性能越好。從圖5可以看出，YOLOv3-tiny和YOLOv3兩個模型的PR曲線比較接近，YOLOv3-tiny在召回率為0.5時開始下降，在0.75左右開始急劇下降，AP值為89.4%，對比模型YOLOv3的AP值為91.5%。模型YOLOv3-tiny作為一個簡化版的YOLOv3，雖然在精度方面略有下降，但能夠滿足缺陷檢測的要求［17，21］，并且在速度方面具有一定的優(yōu)勢。

圖6示出缺陷定位實(shí)驗(yàn)的效果圖，并把檢測到的缺陷放大展示出來?？梢钥闯?，圖中部分檢測框尺寸偏大。

圖6 定位實(shí)驗(yàn)效果Fig.6 Performance of positioning experiment

為了降低程序在推理過程中的CPU消耗，采用OpenVINO組件進(jìn)行部署。表3示出直接推理和使用OpenVINO組件進(jìn)行推理的測試結(jié)果。

表3 兩種部署方式的CPU消耗情況Tab.3 CPU consumption of the two deployment methods

可見，使用OpenVINO組件部署深度學(xué)習(xí)模型能夠大幅度地降低推理過程中的CPU消耗，這是因?yàn)镮ntel公司的硬件能夠加速讀取描述神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的.xml文件和儲存模型權(quán)重參數(shù)的.bin文件。

2.2 尺寸測量實(shí)驗(yàn)

缺陷定位實(shí)驗(yàn)的檢測框尺寸難免會出現(xiàn)偏差，因此需利用尺寸測量算法對其進(jìn)行優(yōu)化，使最終的檢測框更貼合缺陷邊緣。

2.2.1 邊緣檢測算法對比

踏面缺陷測量的關(guān)鍵點(diǎn)是邊緣提取的準(zhǔn)確性，邊緣是整個圖像中灰度變化最為劇烈的點(diǎn)的集合。目前在空間域進(jìn)行邊緣檢測中比較常見的算子有很多，如Canny算子、Soble算子、拉普拉斯算子和Roberts算子等。此外，在時域下對圖像進(jìn)行濾波，也能夠?qū)崿F(xiàn)邊緣檢測。各個邊緣檢測算子效果如圖7所示。拉普拉斯算子、Roberts算子和Soble算子提出的邊緣強(qiáng)度太過微弱。Canny算子只能提取出部分邊緣。Kirsch算子的提取效果和傅里葉變換方法的效果較為接近，不同的是Kirsch算子對噪聲比較敏感，對后期的邊緣正確提取會造成一定的影響。

圖7 各個邊緣檢測算子效果Fig.7 Performance of each edge detection operator

2.2.2 算法效果

各個缺陷形態(tài)差異大，邊緣的變化情況也有很大區(qū)別。本文按照邊緣是否清晰將缺陷分為兩類：

（1）第一類（類別1）的缺陷，形狀相對規(guī)則，邊緣明顯，通過分割后的連通域個數(shù)會相對較少，便于分析。

（2）第二類（類別2）的缺陷，磨損情況復(fù)雜，各種小的損傷分布在主缺陷區(qū)域附近，缺陷邊緣不清晰；同時位于踏面邊緣的缺陷還存在一定的反光現(xiàn)象，給邊緣提取和分割造成較大的難度。

兩類缺陷的測量效果示例分別如圖8和圖9所示。

圖8 缺陷測量效果（類別1）Fig.8 Effects of defect measurement(category 1)

圖9 缺陷測量效果（類別2）Fig.9 Effects of defect measurement(category 2)

對于缺陷類別1，所得到的缺陷最小外接矩形框相比定位算法的檢測框更加準(zhǔn)確。對于缺陷類別2，由于踏面缺陷情況復(fù)雜，盡管對分割后的區(qū)域進(jìn)行了篩選，但仍保留了部分錯誤區(qū)域，效果欠佳。對于該種情況，使用定位實(shí)驗(yàn)中的檢測框作為最小外接矩形框。從上述實(shí)驗(yàn)不難看出，本文所提缺陷測量算法能夠更加準(zhǔn)確地將缺陷邊緣和大致形狀提取出來，進(jìn)一步實(shí)現(xiàn)缺陷位置的精確定位。圖10示出檢測框優(yōu)化后的效果圖，可以看出，優(yōu)化前的檢測框尺寸稍微偏大，優(yōu)化后的檢測框與缺陷邊緣貼合更好，能夠更加精確地表示缺陷的實(shí)際尺寸。

圖10 檢測框優(yōu)化效果Fig.10 Optimization effect of detection frame

針對100個測試樣本的132個缺陷，在定位實(shí)驗(yàn)的基礎(chǔ)上進(jìn)行了缺陷尺寸測量。其中，42個缺陷的檢測框較為準(zhǔn)確，剩余90個缺陷的檢測框尺寸存在一定偏差，實(shí)驗(yàn)成功對其中74個檢測框進(jìn)行優(yōu)化，具體情況如表4所示。

表4 檢測框尺寸優(yōu)化情況Tab.4 Optimization of bounding box size

從表4的結(jié)果可以看出，本文所提缺陷檢測算法能夠有效地對定位實(shí)驗(yàn)中大部分檢測框進(jìn)行優(yōu)化，從而獲得更加精確的缺陷尺寸。優(yōu)化失敗的原因是因?yàn)椴糠秩毕菪螤钸^于復(fù)雜，同時存在一定的反光情況。對于優(yōu)化失敗的情況，本文使用定位實(shí)驗(yàn)的檢測框作為最終檢測框。

3 結(jié)語

針對基于深度學(xué)習(xí)模型的踏面缺陷檢測框尺寸不夠準(zhǔn)確的問題，本文提出一種融合YOLOv3-tiny算法和傳統(tǒng)圖像算法的踏面缺陷定位與測量方法，并通過OpenVINO組件對模型進(jìn)行部署，實(shí)現(xiàn)了對踏面缺陷的精確檢測。針對已有的輪對踏面樣本集，在定位實(shí)驗(yàn)中，YOLOv3-tiny的平均精度為89.4%，與YOLOv3模型精度較為接近；在尺寸測量實(shí)驗(yàn)中，能夠?qū)?0個檢測框中的74個進(jìn)行優(yōu)化。同時，采用OpenVINO組件部署后，CPU的消耗率從60%降低至10%以下，大大減輕了工控機(jī)CPU的計(jì)算負(fù)擔(dān)。但對于反光嚴(yán)重、形狀復(fù)雜的缺陷，采用本文方法尚難以實(shí)現(xiàn)精確測量。因此，后續(xù)將繼續(xù)研究更優(yōu)的輪對缺陷尺寸測量算法。