基于背景建模的鋼軌表面缺陷像素級檢測方法

陶丹丹

基于背景建模的鋼軌表面缺陷像素級檢測方法

陶丹丹

(遼寧鐵道職業(yè)技術(shù)學院 鐵道車輛學院，遼寧 錦州 121000)

鋼軌表面缺陷具有獨特性和稀疏性，利用機器視覺技術(shù)自動地檢測鋼軌表面缺陷仍存在很大挑戰(zhàn)。提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法，利用鋼軌圖像固有特性構(gòu)建圖像背景分布模型，找到背景分布簇中心，以定位到可疑像素點；提出一種鋼軌表面缺陷像素級識別方法，根據(jù)可疑像素點的上下文特征和空間位置先驗概率識別該像素點是否屬于真實缺陷，并在鋼軌缺陷數(shù)據(jù)集和實際線路上進行試驗驗證。研究結(jié)果表明：該方法在重載鐵路和客運鐵路2種鋼軌缺陷數(shù)據(jù)集上均取得良好的識別性能，并在實際線路上達到100%的檢測率。

鋼軌表面缺陷；像素級檢測；背景模型；機器視覺

鐵路運輸是支撐我國經(jīng)濟社會發(fā)展的中堅力量，鋼軌病害嚴重影響列車運行安全，容易導致重大鐵路事故[1]。隨著列車運行頻次和重載化程度的提升，大量鐵路線路中鋼軌病害問題頻繁出現(xiàn)，其中，鋼軌表面缺陷最為常見，例如，鋼軌波紋磨損、軌頭剝落、軌頭塌陷和鋼軌表面裂紋。因此，必須定期地檢測線路中的鋼軌狀態(tài)。近年來，許多國內(nèi)外學者提出了各種基于傳感器的無損檢測方法，例如，超聲波[2]，渦流[3]，陀螺儀[4]，布拉格光纖光 柵[5]和視覺相機[6]。在鐵路基礎設施病害檢測領(lǐng)域，基于視覺相機的機器視覺技術(shù)憑借其成本低、速度快、客觀性強等優(yōu)點，已成功應用于軌道輪廓測 量[7]、軌距測量[8]、鋼軌扣件檢測[9?10]、鋼軌塞釘檢測[11]、接觸網(wǎng)組件及異物檢測[12]和鋼軌表面缺陷檢測[13]等任務。現(xiàn)有的基于機器視覺的鋼軌表面缺陷檢測方法可分為區(qū)域級方法和像素級方法。基于有監(jiān)督學習的區(qū)域級檢測方法先利用最大穩(wěn)定極值區(qū)域(Maximally Stable Extremal Regions, MSER)[14]或光譜特征(Spectral Features)[15]來表示鋼軌圖像，然后訓練K近鄰(K-Nearest Neighbor)或支撐向量機(Support Vector Machine, SVM)等分類器來識別鋼軌表面缺陷?；跓o監(jiān)督學習的區(qū)域級檢測方法先利用局部歸一化(Local Normalization, LN)[16]或逆Perona-Malik擴散模型[17]對圖像進行去噪，然后利用輪廓投影(Projection Profile, PP)或自適應閾值二值化(Adaptive Threshold Binarization)來定位缺陷區(qū)域的像素。然而，上述方法依賴全局或局部的圖像紋理特征，容易受到光照條件、圖像背景、圖像噪聲等外界因素的干擾，并且檢測結(jié)果只能表示存在缺陷，無法準確地識別缺陷嚴重程度。像素級檢測方法先利用邁克爾遜對比度(Michelson-like Contrast, MLC)[6]調(diào)整鋼軌圖像的對比度，然后利用受限最大熵(Proportion Emphasized Maximum Entropy, PEME)方法來定位缺陷區(qū)域的像素。然而，此類方法的檢測性能高度依賴圖像增強方法的性能，在實際檢測時會受到圖像噪聲的影響，產(chǎn)生較多的虛警。綜上所述，利用機器視覺技術(shù)進行鋼軌表面缺陷檢測任務仍然存在以下3個挑戰(zhàn)：鋼軌表面缺陷具有獨特性。不同的鋼軌表面缺陷，其紋理、形狀、大小均不同，難以利用現(xiàn)有的紋理或形狀特征算子進行統(tǒng)一表示；鋼軌表面缺陷具有稀疏性。首先，缺陷區(qū)域的面積占整個鋼軌圖像面積的比例非常??；其次，相對于正常鋼軌區(qū)域的數(shù)量，缺陷區(qū)域的數(shù)量也非常少。小目標檢測在計算機視覺領(lǐng)域?qū)儆跇O具挑戰(zhàn)性的任務，并且缺陷區(qū)域數(shù)量少的特性也會造成樣本集不平衡問題，難以有效地訓練大型有監(jiān)督機器學習模型(如，深度卷積神經(jīng)網(wǎng)絡)；鋼軌表面區(qū)域存在動態(tài)性。由于鐵路沿線自然環(huán)境非常復雜，在不同區(qū)段、不同光照條件下采集的鋼軌表面圖像中存在不同程度的噪聲點，鋼軌表面由于銹跡、污漬也會存在不同程度的反射不均現(xiàn)象。為解決以上問題，提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法。首先，提出一種鋼軌圖像背景分布模型構(gòu)建方法，利用鋼軌圖像特有的視覺特性構(gòu)建圖像背景分布模型,并使用均值漂移(Mean Shift)算法[18]尋找背景分布簇的中心，以定位到所有的可疑像素點；然后，提出一種鋼軌表面缺陷像素級識別方法，利用可疑像素點與分布簇中心之間的加權(quán)馬氏距離作為上下文特征，并結(jié)合像素點的空間位置先驗概率來識別該像素點是否屬于真實缺陷；最后，在重載鐵路和客運專線鐵路2種鋼軌缺陷數(shù)據(jù)集上與現(xiàn)有方法進行對比試驗。結(jié)果表明，該方法的檢測性能優(yōu)于現(xiàn)有方法，能夠滿足檢測任務的需求。此外，該方法在實際線路試驗中取得100%的檢測率，進一步證明了方法的有效性。

(a) 原始圖像；(b) 預處理圖像；(c) 可疑像素點

1 鋼軌圖像背景分布模型構(gòu)建方法

軌道狀態(tài)巡檢系統(tǒng)[1]配備多臺高清線掃描相機，以固定角度拍攝軌道高清圖像，其中包含鋼軌、軌枕、鋼軌扣件等基礎設施。此外，軌道病害檢測任務大多在夜間天窗時間執(zhí)行，巡檢系統(tǒng)還配備高功率LED燈作為光源，為軌道提供光照均勻的視場。為減少不相關(guān)目標對象的干擾，先利用輪廓投影方法從原始軌道圖像中提取鋼軌區(qū)域圖像，然后進行預處理操作，降低外界因素的影響，最后，構(gòu)建鋼軌圖像背景分布模型，定位出可疑像素點，處理流程如圖1所示。

1.1 圖像預處理

鋼軌表面由5個曲面構(gòu)成，這種特性造成鋼軌表面存在光線反射不均現(xiàn)象，導致圖像背景存在動態(tài)性。如圖1(a)所示，鋼軌中間區(qū)域與列車車輪接觸最頻繁，表面較為光滑，對光線形成鏡面反射，在圖像中灰度值較高，鋼軌邊緣區(qū)域存在銹跡和污物，缺陷區(qū)域存在凹陷，表面不平整，對光線形成漫反射，在圖像中灰度值較低。為進一步增加缺陷區(qū)域與圖像背景的差異，需要對圖像進行預處理。

首先，將原始圖像中每個像素的灰度值都進行對數(shù)變換，計算公式如下：

然后，對圖像執(zhí)行Z-Score標準化，計算公式如下：

式中：表示整幅圖像的灰度平均值；表示整幅圖像的灰度標準差。通過Z-Score標準化，像素灰度值高于平均值時為正數(shù)，低于平均值時為負數(shù)，從而進一步加大缺陷區(qū)域與圖像背景的差異。最后，將每個像素的值歸一化到[0,255]。鋼軌圖像預處理結(jié)果如圖1(b)所示。

1.2 鋼軌圖像背景分布模型

鋼軌圖像經(jīng)過預處理后，正常區(qū)域與缺陷區(qū)域的對比度更強，可以將正常區(qū)域視為圖像背景，缺陷區(qū)域視為圖像前景。像素點在特征空間中分布為多個簇，每個簇的中心可以表示與其相關(guān)的局部區(qū)域模式。因此，只要找到這些簇的中心，再設置條件約束，即可得到鋼軌圖像背景分布模型，屬于背景分布簇的像素點為正常區(qū)域，反之，則為可疑像素點(包括缺陷區(qū)域和噪聲)。均值漂移算法能夠迭代地尋找特征空間中零梯度局部密度最大處，可用來尋找分布簇中心。

通過統(tǒng)計分析鋼軌缺陷數(shù)據(jù)集中的鋼軌圖像，屬于真實缺陷區(qū)域的像素點數(shù)量占該列像素點總數(shù)的比例最多為8%。因此，可以設置約束條件=0.1對分布簇中心進行篩選，得到背景分布簇中心：

最后，鋼軌圖像中不屬于背景分布簇的像素點即為可疑像素點，如圖1(c)所示?？梢钥闯?，結(jié)果圖中既包含缺陷區(qū)域像素點，也包含圖像噪聲點，因此，需要進一步識別可疑像素點是否屬于真實缺陷區(qū)域。

2 鋼軌表面缺陷像素級識別方法

通過鋼軌圖像背景分布模型定位出的可疑像素點中既包含真實缺陷區(qū)域像素點，也包含圖像噪聲點。因此，進一步提出鋼軌表面缺陷像素級識別方法，以提升檢測結(jié)果的準確性。為實現(xiàn)這一目標，本節(jié)基于背景分布模型計算可疑像素點的上下文特征，并結(jié)合像素點的空間位置先驗概率，計算可疑像素點的顯著性得分，最后，設置閾值，以識別可疑像素點是否屬于真實缺陷區(qū)域。

2.1 基于背景模型的像素點上下文特征

通過上下文特征，一方面可以提升屬于真實缺陷區(qū)域的像素點的顯著程度，另一方面也可以抑制圖像噪聲對檢測結(jié)果的干擾，增強魯棒性，從而得到穩(wěn)健的檢測結(jié)果。

2.2 空間位置先驗概率

如圖2所示，鋼軌表面是由多個曲面組成，車輪踏面與鋼軌中間部位頻繁接觸，產(chǎn)生摩擦力推動列車行駛。車輪輪緣用于保持車輪運動方向，較少與鋼軌接觸。因此，如果可疑像素點位于鋼軌表面中間部位，則其屬于真實缺陷區(qū)域的概率較高，反之，其屬于真實缺陷區(qū)域的概率較低?；诖朔N特性，可以使用拋物線模型描述鋼軌表面像素的空間位置先驗概率，如圖3所示，兩側(cè)位置概率低，中間位置概率高。

圖2 60 kg/m鋼軌截面圖

式中：表示該像素的列編號，需要歸一化到[0,1]區(qū)間，，，分別為拋物線的系數(shù)，選擇圖3中拋物線上任意3個點代入式(8)，即可解得=?2，=2，=0。

圖3 拋物線模型示例圖

2.3 真實缺陷像素點識別

得到可疑像素點的上下文特征和空間位置先驗概率后，即可計算該像素點的顯著性得分，計算公式定義如下：

閾值會對檢測結(jié)果造成一定的影響，閾值設置較小時，檢測結(jié)果的召回率會上升，精確率會下降，閾值設置較大時，檢測結(jié)果的精確率會提升，但召回率會下降。因此，實際應用時，需要根據(jù)具體應用情況來選取閾值，選取方式既可以設置固定閾值，也可以通過自適應閾值策略來計算。

3 試驗驗證

本節(jié)首先介紹試驗數(shù)據(jù)集的構(gòu)成，然后介紹試驗結(jié)果評價指標，接著，匯報本文方法在鋼軌缺陷數(shù)據(jù)集上的檢測結(jié)果，并與現(xiàn)有方法進行對比分析，最后，匯報本文方法在實際鐵路線路上的檢測結(jié)果。

3.1 試驗數(shù)據(jù)集

為了評估本文方法在不同鋼軌上的檢測性能，本文試驗數(shù)據(jù)集分為2個部分：重載鐵路鋼軌缺陷數(shù)據(jù)集和客運專線鋼軌缺陷數(shù)據(jù)集，其中重載鐵路鋼軌缺陷數(shù)據(jù)集包含80張鋼軌表面圖像，客運專線鋼軌缺陷數(shù)據(jù)集包含140張鋼軌表面圖像，每張圖像至少包含1處缺陷區(qū)域，并人工進行像素級和區(qū)域級的標注。鋼軌表面圖像如圖4所示。

3.2 試驗結(jié)果評價指標

試驗結(jié)果采用像素級和區(qū)域級2種評價標準。像素級采用精確率(Precision)、召回率(Recall)和F1- Score 3種評價指標，其計算公式如下：

式中：表示檢測正確的缺陷像素點數(shù)量；表示檢測錯誤的像素點數(shù)量；表示未檢測到的缺陷像素點數(shù)量。

(a) 重載鐵路鋼軌表面圖像；(b) 客運專線鋼軌表面圖像

區(qū)域級同樣采用精確率、召回率和F1-Score 3種評價指標，表示檢測正確的缺陷區(qū)域數(shù)量，表示檢測錯誤的缺陷區(qū)域數(shù)量，表示未檢測到的缺陷區(qū)域數(shù)量。對任意缺陷區(qū)域，像素級檢測方法如果檢測的缺陷像素點數(shù)量占該缺陷區(qū)域像素點總數(shù)的80%以上，則認為正確檢測到該缺陷區(qū)域，反之，則視為未檢測到該缺陷區(qū)域。

3.3 鋼軌缺陷數(shù)據(jù)集檢測結(jié)果

本節(jié)試驗使用鋼軌缺陷數(shù)據(jù)集評估本文方法的檢測性能，并與2種區(qū)域級和一種像素級的鋼軌表面缺陷檢測方法進行對比分析。對比方法中，MSER+SVM[14]是一種基于有監(jiān)督學習的區(qū)域級檢測方法，LN+PP[16]是一種基于無監(jiān)督學習的區(qū)域級檢測方法，MLC+PEME[6]是一種像素級檢測方法。本節(jié)試驗使用交叉驗證策略來固定閾值，即，先分別從2種鋼軌缺陷數(shù)據(jù)集中抽取10%的鋼軌表面圖像作為驗證集，然后在一定范圍內(nèi)變動的值，并觀察驗證集上的性能趨勢，重復以上步驟5次，選擇取得最高性能的值。本節(jié)試驗中，重載鐵路鋼軌缺陷數(shù)據(jù)集選擇=57，客運專線鋼軌缺陷數(shù)據(jù)集選擇=69。2種數(shù)據(jù)集的對比試驗結(jié)果如表1和表2所示，可視化檢測結(jié)果如圖5所示。

表1 區(qū)域級檢測方法對比試驗結(jié)果

表2 像素級檢測方法對比試驗結(jié)果

(a) 原始圖像；(b) Ground truth；(c) MESR +SVM；(d) LN+PP；(e) MLC+PEME；(f) 本文方法

通過檢測結(jié)果可以看出，本文方法在2種鋼軌數(shù)據(jù)集上取得了最優(yōu)的檢測性能，并顯著地優(yōu)于現(xiàn)有方法。對比方法中，MSER+SVM[14]是基于有監(jiān)督學習訓練的模型，其檢測性能相較于LN+PP[16]方法更高，但是，該方法需要人工標注缺陷樣本，在實際工程中，需要耗費一定的人力進行樣本標注。LN+PP[16]方法容易受到圖像光照條件和噪聲點的影響，因此，檢測性能也較低。MLC+PEME[6]方法針在缺陷區(qū)域與圖像背景的對比度較強的鋼軌圖像上檢測性能較好，但是，鋼軌邊緣部位的低灰度特性會影響檢測結(jié)果。本文方法得益于利用基于背景模型的上下文特征和像素點空間位置先驗概率，特征的魯棒性更強，能夠降低光照條件和圖像噪聲的影響。

表3 實際客運專線上各方法對比試驗結(jié)果

3.4 實際線路檢測結(jié)果

為了進一步驗證本文方法的有效性，本節(jié)試驗從實際客運專線采集50 km連續(xù)的鋼軌表面圖像共計51 465張，并使用本文方法與現(xiàn)有方法進行對比試驗。由于鋼軌表面圖像采集自客運專線，試驗中，本文方法的閾值仍然設置為69。檢測結(jié)果的正確性使用人工復核的方式，實際客運專線對比試驗結(jié)果如表3所示。

通過試驗結(jié)果可以看出，本文方法能夠檢測出所有鋼軌表面缺陷區(qū)域，檢測率達到100%，充分地證明了本文方法的有效性。LN+PP[16]方法的錯誤檢測數(shù)量最低，但該方法漏檢了11處缺陷區(qū)域，影響鐵路運輸?shù)陌踩?。MSER+SVM[14]和MLC+ PEME[6]方法的檢測率雖然也能達到了90%以上，但是，這2種方法會產(chǎn)生大量的錯誤檢測，導致人工復核的工作量大幅度增加，影響檢測效率。本文方法不僅能夠檢測到所有的缺陷區(qū)域，而且產(chǎn)生的錯誤檢測數(shù)量不多，更能滿足鐵路鋼軌表面缺陷檢測任務的需求。

4 結(jié)論

1) 提出一種基于背景建模的鋼軌表面缺陷像素級檢測方法，通過構(gòu)建鋼軌圖像背景分布模型，得到初步的檢測結(jié)果，利用背景模型計算可疑像素點的上下文特征，并結(jié)合像素點空間位置先驗概率得到顯著性得分，以提升圖像噪聲對檢測結(jié)果的影響。該方法有效地解決了鋼軌表面缺陷的獨特性、稀疏性和圖像背景的動態(tài)性問題，可以無監(jiān)督的執(zhí)行鋼軌表面缺陷像素級檢測任務，并為類似的檢測問題提供了新思路。

2) 構(gòu)建了2種類型的鋼軌表面缺陷數(shù)據(jù)集，通過對比試驗的方式，與現(xiàn)有方法進行比較，本文所述方法在2種數(shù)據(jù)集上均取得了最優(yōu)性能，證明了本文所述方法具有較強的準確性和適用性。

3) 在實際客運專線上進行對比試驗，證明了本文所述方法能夠有效地檢測實際鐵路線路中的鋼軌表面缺陷區(qū)域，檢測性能優(yōu)于現(xiàn)有方法，對鐵路鋼軌表面缺陷檢測任務具有較強的理論意義和實用價值。

[1] 許貴陽, 史天運, 任盛偉, 等. 基于計算機視覺的車載軌道巡檢系統(tǒng)研制[J]. 中國鐵道科學, 2013, 34(1): 139?144. XU Guiyang, SHI Tianyun, REN Shengwei, et al. Development of the on-board track inspection system based on computer vision[J]. China Railway Science, 2013, 34(1): 139?144.

[2] LI Ying, Trinh H, Haas N, et al. Rail component detection, optimization, and assessment for automatic rail track inspection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 760?770.

[3] LI Xiaoqing, GAO Bin, Woo W L, et al. Quantitative surface crack evaluation based on eddy current pulsed thermography[J]. IEEE Sensors Journal, 2017, 17(2): 412?421.

[4] Broquetas A, Comerón A, Gelonch A, et al. Track detection in railway sidings based on MEMS gyroscope sensors[J]. Sensors (Basel, Switzerland), 2012, 12(12): 16228?16249.

[5] Filograno M L, Rodriguez-Barrios A, Corredera P, et al. Real-time monitoring of railway traffic using fiber Bragg gratings[C]// Proc SPIE 7653, Fourth European Workshop on Optical Fibre Sensors, 2010, 7653: 76533M.

[6] LI Qingyong, REN Shengwei. A visual detection system for rail surface defects[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, 42(6): 1531?1542.

[7] Alippi C, Casagrande E, Scotti F, et al. Composite real-time image processing for railways track profile measurement[J]. IEEE Transactions on Instrumentation and Measurement, 2000, 49(3): 559?564.

[8] ZHANG Zhifeng, FENG Qibo, GAO Zhan, et al. A new laser displacement sensor based on triangulation for gauge real-time measurement[J]. Optics & Laser Technology, 2008, 40(2): 252?255.

[9] 劉俊博, 黃雅平, 王勝春, 等. 基于機器視覺的多線路鋼軌扣件缺損檢測方法[J]. 中國鐵道科學, 2019, 40(4): 27?35. LIU Junbo, HUANG Yaping, WANG Shengchun, et al. Rail fastener defect detection method for multi railways based on machine vision[J]. China Railway Science, 2019, 40(4): 27?35.

[10] LIU Junbo, HUANG Yaping, ZOU Qi, et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors Journal, 2019, 19(16): 6844? 6857.

[11] 杜馨瑜, 戴鵬, 李穎, 等. 基于深度學習的鐵道塞釘自動檢測算法[J]. 中國鐵道科學, 2017, 38(3): 89?96. DU Xinyu, DAI Peng, LI Ying, et al. Automatic detection algorithm for rail plug based on deep learning[J]. China Railway Science, 2017, 38(3): 89?96.

[12] 周威, 孫忠國, 任盛偉, 等. 基于多目立體視覺的接觸網(wǎng)幾何參數(shù)測量方法[J]. 中國鐵道科學, 2015, 36(5): 104?109. ZHOU Wei, SUN Zhongguo, REN Shengwei, et al. Measurement method for geometric parameters of overhead contact line based on multi-view stereovision[J]. China Railway Science, 2015, 36(5): 104?109.

[13] 李清勇, 章華燕, 任盛偉, 等. 基于鋼軌圖像頻域特征的鋼軌波磨檢測方法[J]. 中國鐵道科學, 2016, 37(1): 24?30. LI Qingyong, ZHANG Huayan, REN Shengwei, et al. Detection method for rail corrugation based on rail image feature in frequency domain[J]. China Railway Science, 2016, 37(1): 24?30.

[14] Dubey A K, Jaffery Z A. Maximally stable extremal region marking-based railway track surface defect sensing[J]. IEEE Sensors Journal, 2016, 16(24): 9047? 9052.

[15] Molodova M, LI Zili, Nú?ez A, et al. Monitoring the railway infrastructure: Detection of surface defects using wavelets[C]// 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013). October 6-9, 2013, The Hague, Netherlands. IEEE, 2013: 1316? 1321.

[16] LI Qingyong, REN Shengwei. A real-time visual inspection system for discrete surface defects of rail heads[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2189?2199.

[17] HE Zhendong, WANG Yaonan, YIN Feng, et al. Surface defect detection for high-speed rails using an inverse P-M diffusion model[J]. Sensor Review, 2016, 36(1): 86?97.

[18] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603?619.

Pixel-level detection method of rail surface defects based on background modeling

TAO Dandan

(Railway Vehicles College, Liaoning Railway Vocational and Technical College, Jinzhou 121000, China)

Rail surface defects are unique and sparse. It is still a great challenge to detect rail surface defects automatically by machine vision technology. A pixel-level detection method of rail surface defects based on background modeling was proposed, which uses the inherent characteristics of rail surface image to construct the image background distribution model, and finds the center points of background distribution cluster to locate abnormal pixel points. A pixel level recognition method of rail surface defects was proposed, which can identify whether the abnormal pixel point is a real defect region according to its context feature and spatial position prior probability. The rail defect datasets and the actual railway line are used to test the detection performance of the proposed method. The experimental results show that the proposed method has achieved good detection performance on two kinds of rail defect datasets and 100% detection rate on the actual railway line.

rail surface defects; pixel-level detection; background model;machine vision

U213.53

A

1672 ? 7029(2021)02 ? 0343 ? 08

10.19713/j.cnki.43?1423/u.T 20200339

2020?04?21

遼寧省教育廳科學研究經(jīng)費項目(LJKY2020113)

陶丹丹(1987?)，女，遼寧錦州人，講師，從事鐵道機車車輛、鐵道設施檢測研究；E?mail：dandantao2020@163.com

(編輯 涂鵬)