基于視覺的鋼軌表面缺陷識別方法綜述

張博 劉秀波 趙志榮 陳茁

（1.中國鐵道科學(xué)研究院集團(tuán)有限公司基礎(chǔ)設(shè)施檢測研究所，北京 100081；2.朔黃鐵路發(fā)展有限責(zé)任公司，河北滄州 062350）

鋼軌運(yùn)輸、鋪設(shè)及運(yùn)營過程中，鋼軌表面會出現(xiàn)不同程度的傷損［1］，主要傷損類型有軌頭磨耗、波浪磨耗、軌頭壓潰和局部壓陷、輪軌接觸疲勞裂紋、壓陷和掉塊、鋼軌表面縱向裂紋、鋼軌外傷（擦傷、壓痕、磨痕等）、鋼軌銹蝕等，幾種常見的鋼軌表面缺陷傷損如圖1所示。鋼軌缺陷影響列車運(yùn)行安全，須及時識別缺陷類型并進(jìn)行維護(hù)，以保障鐵路運(yùn)輸安全［2］。

圖1 幾種常見的鋼軌表面缺陷

在鋼軌表面缺陷中，鋼軌擦傷、壓陷、剝離掉塊、波形磨耗、表面裂紋、銹蝕等具有相應(yīng)的顏色、形狀及紋理特征，可以用視覺方法識別［3-5］。傳統(tǒng)的鋼軌表面缺陷主要依靠人工巡檢，效率低下，很難滿足鐵路運(yùn)營維護(hù)要求。基于計算機(jī)視覺技術(shù)的鋼軌表面缺陷視覺檢測法具有非接觸、準(zhǔn)確性高、無遺漏、快速、高效等優(yōu)點［6］，被越來越多的研究者關(guān)注并提出了多種表面缺陷識別方法。文獻(xiàn)［7］采用動態(tài)閾值分割法進(jìn)行閾值分割，提取鋼軌表面缺陷區(qū)域。文獻(xiàn)［8］在對圖像濾波后，采用背景建模差分的方法分割出缺陷區(qū)域。文獻(xiàn)［9］采用組合邏輯的方法提取鋼軌表面缺陷后，利用BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)對缺陷的分類。

這些研究利用圖像處理和智能算法識別鋼軌表面缺陷并對缺陷進(jìn)行分類。為了掌握基于視覺的鋼軌表面缺陷識別方法，本文對該領(lǐng)域的研究方法和成果進(jìn)行綜述。首先對鋼軌表面圖像預(yù)處理和軌面區(qū)域的提取方法進(jìn)行了概述，然后對基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的鋼軌表面缺陷識別、分類的方法進(jìn)行了分析，最后對未來研究的發(fā)展趨勢給出了建議。

1 鋼軌表面圖像預(yù)處理

在鋼軌表面圖像采集過程中，設(shè)備及環(huán)境因素可能會導(dǎo)致采集的圖片質(zhì)量不佳，因此要進(jìn)行圖像預(yù)處理，在保留有效信息的同時過濾噪聲干擾。鋼軌表面圖像的預(yù)處理一般包括圖像去噪和增強(qiáng)。由于處理彩色圖像的算法復(fù)雜度高，計算較為費(fèi)時，鋼軌表面圖像常采用灰度圖像或轉(zhuǎn)化為灰度圖像［10］。

1.1 圖像去噪

鋼軌表面圖像的去噪通常使用濾波的方法，通過圖像的平滑處理消除鋼軌表面圖像的噪聲，提升圖像質(zhì)量，且該方法運(yùn)算速度快。文獻(xiàn)［6，11］對鋼軌表面圖像進(jìn)行了中值濾波，以孤立噪聲點并使圖像邊緣平滑，減少噪聲對圖像質(zhì)量的影響（圖2）。文獻(xiàn)［12］利用高斯濾波進(jìn)行圖像的平滑處理，濾除鋼軌表面的細(xì)小突變。

圖2 圖像中值濾波去噪

1.2 圖像增強(qiáng)

圖像增強(qiáng)技術(shù)即通過提高圖像的對比度改善圖像質(zhì)量［13］。文獻(xiàn)［4，14］利用直方圖均衡化算法，對鋼軌表面圖像中過于集中的像素點，應(yīng)用點變換的方法使其均勻分布在各區(qū)間上，增強(qiáng)鋼軌表面圖像的對比度。文獻(xiàn)［15-16］引入灰度對比圖算法，將鋼軌表面灰度圖轉(zhuǎn)化為灰度對比圖，處理后的鋼軌表面圖像灰度值呈均勻分布，抑制了過度光亮部分。經(jīng)過圖像增強(qiáng)處理后，鋼軌表面圖像的對比度得到提高（圖3），在后續(xù)處理中可以更好地區(qū)分鋼軌表面和非鋼軌表面。

圖3 圖像增強(qiáng)處理

2 軌面區(qū)域提取

現(xiàn)場采集的圖片中除了鋼軌部分，還包含了非鋼軌區(qū)域。非鋼軌區(qū)域的圖像信息對后續(xù)的缺陷檢測會產(chǎn)生干擾，并且直接對整個采集圖像進(jìn)行缺陷識別會耗費(fèi)大量的內(nèi)存并增加處理時間。因此，需要提取出鋼軌的軌面區(qū)域［17］。

灰度水平投影法［9，18-19］是軌面區(qū)域定位的主要方法。車輪與鋼軌表面由于長期摩擦而造成軌面亮度較高，利用這一特點繪制軌道圖像的灰度水平投影曲線，根據(jù)鋼軌與非鋼軌區(qū)域的像素灰度分布來區(qū)別并分割出軌面區(qū)域，如圖4 所示。該方法提取軌面區(qū)域的準(zhǔn)確度高，計算速度快，但需要合理選取閾值。

圖4 灰度水平投影法的軌面區(qū)域提取

文獻(xiàn)［20］采用基于霍夫變換的方法檢測鋼軌表面邊緣線，兩邊緣線之間即鋼軌表面，其準(zhǔn)確性容易受鋼軌下邊緣干擾。文獻(xiàn)［21］采用軌道色相特征分析模型，利用鋼軌與道砟交界處色相值的突變確定鋼軌邊緣，該方法需要輸入RGB圖像進(jìn)行處理，計算量大。

3 基于機(jī)器學(xué)習(xí)的鋼軌表面缺陷識別

提取出軌面區(qū)域后，即可對鋼軌表面缺陷進(jìn)行識別。缺陷識別屬于圖像識別范疇，常采用機(jī)器學(xué)習(xí)的方法來識別分類。利用圖像處理算法將缺陷區(qū)域提取出來，選取缺陷的特征向量輸入機(jī)器學(xué)習(xí)分類器，訓(xùn)練分類器實現(xiàn)缺陷的分類［22］。

3.1 缺陷提取

鋼軌表面缺陷提取就是利用圖像分割技術(shù)將缺陷部分和圖像背景進(jìn)行分割，提取出缺陷部分的圖像信息［23］。主要方法有邊緣檢測法和閾值分割法。

邊緣檢測法［14，24-25］是利用邊緣檢測算子，通過搜尋鋼軌缺陷區(qū)域與背景區(qū)域邊界的有階躍變化或屋頂狀灰度變化的像素集合，確定圖像中的缺陷區(qū)域的輪廓，如圖5 所示。定位邊緣后通常需要結(jié)合形態(tài)學(xué)運(yùn)算［26］，將檢測到的邊緣連接成缺陷區(qū)域的完整輪廓。該方法計算量大，缺陷提取速度較慢，當(dāng)目標(biāo)圖像很大時很難滿足高效分割處理的要求。

圖5 邊緣檢測法

基于閾值分割的方法［7-8，15］通過建立圖像背景與軌面圖像做差分，再設(shè)定閾值為分割標(biāo)準(zhǔn)，將缺陷區(qū)域從鋼軌表面圖像中分割提取出來，如圖6 所示。該類方法的效率高、運(yùn)算速度快，尤其是針對缺陷與背景對比度較高的圖像。但是對于復(fù)雜的圖像，其缺陷提取的精確度很大程度上受閾值選擇的影響，需要引入復(fù)雜的算法來確定閾值［27］。

圖6 閾值分割法

3.2 缺陷特征描述

完成鋼軌表面缺陷的提取后，要對缺陷進(jìn)行特征描述，計算出缺陷的特征向量。描述鋼軌表面缺陷的特征包括灰度、幾何、形狀特征［24］。

鋼軌表面缺陷的灰度特征不易受圖像的方向和尺寸影響，但對目標(biāo)的局部細(xì)節(jié)不能細(xì)致描述［28］。幾何特征是鋼軌表面缺陷的幾何度量，包括區(qū)域面積和周長［29］。區(qū)域面積就是缺陷邊界包圍的面積，用來衡量缺陷區(qū)域的大小；區(qū)域周長可以用構(gòu)成區(qū)域邊界的像素點的個數(shù)總和來表示［7］。鋼軌表面缺陷如疤痕和裂紋等在形狀上有很大區(qū)別，一般用長短軸、離心率、矩形度、致密度等來描述缺陷的形狀特征［22］。

由于鋼軌表面缺陷形態(tài)復(fù)雜多變、分布不一，單一的特征參數(shù)無法準(zhǔn)確全面地描述缺陷，通常結(jié)合多種特征參數(shù)來對缺陷類型進(jìn)行檢測［30］。選取的缺陷特征不宜過多也不宜過少［22］，過多會增加缺陷分類器的計算復(fù)雜度，過少會影響缺陷的完整描述而導(dǎo)致分類器的識別準(zhǔn)確度降低。

3.3 缺陷分類

缺陷分類的基本做法是設(shè)計機(jī)器學(xué)習(xí)分類器，利用選取的特征向量學(xué)習(xí)一個從輸入樣本到輸出類別的判別函數(shù)，把被識別的缺陷歸為某一類別［13］。

常用的機(jī)器學(xué)習(xí)分類器有決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等［3］。文獻(xiàn)［31］利用支持向量機(jī)構(gòu)造分類器實現(xiàn)對鋼軌表面疤痕分類識別，總體識別率達(dá)到75%。文獻(xiàn)［3，9，13］設(shè)計了包括輸入層、隱含層和輸出層的3層BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，輸入矩形度、致密度、長寬比、灰度均值、方差等特征向量，對鋼軌表面缺陷進(jìn)行識別分類，其中文獻(xiàn)［9］對疤痕和波紋擦傷缺陷的分類正確率達(dá)到95%。文獻(xiàn)［32-33］采用弱分類器集合的思想對鋼軌表面缺陷進(jìn)行識別分類，以決策樹C4.5 算法作為基本分類器，通過AdaBoost 算法對其識別性能進(jìn)行提升，對常見鋼軌表面缺陷的識別平均正確率為97.02%。

利用機(jī)器學(xué)習(xí)算法對鋼軌表面缺陷進(jìn)行識別、分類可以得到良好的分類效果，但需要先將缺陷區(qū)域提取出來并計算缺陷的特征向量，需要設(shè)計相應(yīng)的算法來實現(xiàn)。由于缺陷形態(tài)復(fù)雜多變且在鋼軌表面分布不一，缺陷區(qū)域提取的準(zhǔn)確性和特征向量的合理選擇都將對缺陷識別分類的準(zhǔn)確率產(chǎn)生重要影響［33］。

4 基于深度學(xué)習(xí)的鋼軌表面缺陷識別

深度學(xué)習(xí)是模式識別領(lǐng)域近年來快速發(fā)展起來的一種高效的識別分類方法，被廣泛應(yīng)用到圖像的識別中［34］。深度學(xué)習(xí)算法利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從大量圖像數(shù)據(jù)中自動學(xué)習(xí)圖像的分層特征表達(dá)。圖7為一個典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

圖7 典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［5］

文獻(xiàn)［35］提出基于卷積神經(jīng)網(wǎng)絡(luò)的算法，采用2層卷積層+最大池化層的結(jié)構(gòu)進(jìn)行缺陷分類。將圖像分為3 類，其中無缺陷樣本8 000 張，裂紋和疤痕缺陷樣本各6 000 張。該模型對鋼軌表面缺陷的綜合檢測精度達(dá)到70%以上，對疤痕的檢測精度達(dá)到83.72%。文獻(xiàn)［5］設(shè)計了3層卷積層+最大池化層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用22 400 張鋼軌圖像對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，模型區(qū)分正常和有表面缺陷的鋼軌的準(zhǔn)確率可達(dá)到92.00%。文獻(xiàn)［36］采用基于Inception-v3結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)區(qū)分正常和有缺陷的鋼軌圖像，利用8 069 張鋼軌表面圖像進(jìn)行模型訓(xùn)練驗證，在測試集上實現(xiàn)了92.08%的識別準(zhǔn)確率。

深度學(xué)習(xí)算法實現(xiàn)了很好的鋼軌表面缺陷識別效果。該算法直接輸入原始圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)圖像的特征表達(dá)，實現(xiàn)圖像的識別分類，不需要人工設(shè)計算法進(jìn)行缺陷的提取和特征向量描述。但是，深度學(xué)習(xí)算法需要大量的樣本數(shù)據(jù)對網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行訓(xùn)練，而且對大量數(shù)據(jù)的訓(xùn)練要求計算機(jī)平臺具有很高的的運(yùn)算能力［34］。

5 發(fā)展趨勢

研究者對基于機(jī)器視覺的表面缺陷識別已經(jīng)做了很多工作，但仍存在很多難點：①鋼軌表面缺陷的形狀大小不一且方向各異，可供識別的特征信息只有灰度和梯度，傳統(tǒng)的基于紋理形狀分析的算法難以實現(xiàn)對各種鋼軌表面缺陷的有效識別；②不同時刻的光照變化、軌頭表面反射不均等干擾因素增加了識別的難度。

結(jié)合當(dāng)前研究的現(xiàn)狀和難點，未來的研究方向包括以下幾個方面。

1）圖像的優(yōu)化預(yù)處理

圖像預(yù)處理可以過濾鋼軌表面圖像的噪聲，而圖像去噪的操作會在一定程度上造成圖像的細(xì)節(jié)模糊，這些細(xì)節(jié)往往與表面缺陷元素有關(guān)。因此，需要設(shè)計有效的濾波方法在濾除噪聲的同時最大程度地保留圖像細(xì)節(jié)。針對實際應(yīng)用時的復(fù)雜背景，設(shè)計基于中值濾波、高斯濾波等多種濾波方法的濾波器組去噪會成為未來的研究方向。

2）鋼軌表面缺陷的快速準(zhǔn)確提取

鋼軌表面缺陷提取是利用機(jī)器學(xué)習(xí)實現(xiàn)缺陷識別分類的關(guān)鍵環(huán)節(jié)。現(xiàn)有的基于邊緣檢測的方法需要結(jié)合形態(tài)學(xué)運(yùn)算提取缺陷區(qū)域的完整輪廓，計算量大且速度較慢?；陂撝捣指畹姆椒ㄟ\(yùn)算速度快，但其缺陷提取的精確度很大程度上受閾值選擇的影響。實際應(yīng)用中的圖像背景復(fù)雜，閾值選擇的準(zhǔn)則較難確定。因此，如何實現(xiàn)鋼軌表面缺陷的快速準(zhǔn)確提取將是未來研究的重要內(nèi)容，對現(xiàn)有基于邊緣檢測方法的改進(jìn)和引入優(yōu)化算法以實現(xiàn)閾值分割等都是未來的研究方向。

3）對基于深度學(xué)習(xí)的缺陷識別方法的深化完善

應(yīng)用深度學(xué)習(xí)進(jìn)行鋼軌表面缺陷識別時不需要進(jìn)行缺陷提取和缺陷的特征向量描述，簡化了人工設(shè)計的處理步驟。基于深度學(xué)習(xí)的缺陷識別將是未來的熱門研究方向。但是深度學(xué)習(xí)算法需要大量的樣本數(shù)據(jù)對網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行訓(xùn)練以實現(xiàn)較好的識別效果，而對樣本數(shù)量的要求可達(dá)百萬以上。同時，對大量數(shù)據(jù)的訓(xùn)練也帶來了很大的運(yùn)算量。因此需要研究者在收集大量圖像樣本的基礎(chǔ)上，找到適合鋼軌表面缺陷識別的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)，提出系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)優(yōu)化方法，以達(dá)到滿意的識別效果。

6 結(jié)語

為保障鐵路運(yùn)輸?shù)陌踩?，需要及時發(fā)現(xiàn)鋼軌的表面缺陷并進(jìn)行維護(hù)。由于具有非接觸、快速、準(zhǔn)確等優(yōu)點，基于機(jī)器視覺的識別方法得到了研究者越來越多的關(guān)注。本文綜述了利用機(jī)器視覺進(jìn)行鋼軌表面缺陷識別這一領(lǐng)域的研究方法和成果，闡述了實現(xiàn)圖像質(zhì)量優(yōu)化的圖像預(yù)處理技術(shù)并總結(jié)了提取軌面區(qū)域的方法，對使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的2 類缺陷識別方法進(jìn)行了梳理和分析，并基于目前的研究成果和難點對未來研究的發(fā)展趨勢進(jìn)行了探究。