曹義親,劉龍標(biāo)
(華東交通大學(xué)軟件學(xué)院,南昌 330013)
(*通信作者電子郵箱569144312@qq.com)
隨著國(guó)內(nèi)外鐵路行業(yè)的蓬勃發(fā)展,列車的運(yùn)行速度、運(yùn)營(yíng)里程、載重量都在日益增長(zhǎng),潛在鐵路基礎(chǔ)設(shè)施中的安全隱患也在日益凸顯[1]。鋼軌作為鐵路軌道重要一部分,由于受持續(xù)行車、載荷及自然因素的作用,它的表面不可避免會(huì)產(chǎn)生各種磨蝕缺陷,容易危及行車質(zhì)量與安全[2]。因此,及時(shí)發(fā)現(xiàn)軌面缺陷對(duì)保障鐵路運(yùn)輸安全至關(guān)重要[3-4]。
目前,存在許多鋼軌探傷方法,如超聲檢測(cè)、渦流檢測(cè)、漏磁檢測(cè)等物理方法[5-6],但大多只能檢測(cè)鋼軌內(nèi)部,且檢測(cè)速度慢,檢測(cè)結(jié)果對(duì)探測(cè)器工作狀態(tài)敏感、不穩(wěn)定[7]。相較于其他方法,基于機(jī)器視覺的檢測(cè)方法因具有非接觸、高速、低成本等優(yōu)點(diǎn)被諸多學(xué)者研究。如Trinh 等[8]提出了一種實(shí)時(shí)的自動(dòng)視覺軌道檢測(cè)系統(tǒng);該方法檢測(cè)準(zhǔn)確率較高,但只能對(duì)錨桿等軌道元件進(jìn)行檢測(cè),擴(kuò)展性較差。Dubey等[9]提出了最大穩(wěn)定極值域的視覺檢測(cè)技術(shù)用于軌道缺陷的檢測(cè),并且對(duì)缺陷的幾何特征進(jìn)行標(biāo)記和可視化;但由于實(shí)際軌面缺陷形狀各異,在有復(fù)雜噪聲干擾時(shí),精度有待提高。Min 等[10]提出一種基于機(jī)器視覺的形態(tài)學(xué)處理和方向鏈碼的方法對(duì)缺陷進(jìn)行快速提取,但該系統(tǒng)處在初步實(shí)現(xiàn)階段,檢測(cè)的實(shí)時(shí)性和對(duì)軌面光照影響的魯棒性較差。深度學(xué)習(xí)是機(jī)器視覺的一個(gè)分支,源于人工神經(jīng)網(wǎng)絡(luò),可以模仿人類思維模式記錄和開發(fā),深受學(xué)者青睞[11]。Zhang 等[12]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和聲發(fā)射(Acoustic Emission,AE)事件概率分析的軌道健康檢測(cè)方法,檢測(cè)結(jié)果較好;但由于要獲取每個(gè)缺陷類別中缺陷樣本的概率值均值,并將該值與判定閾值進(jìn)行比較,耗時(shí)較多,實(shí)時(shí)性難以保證。Shang 等[13]提出基于CNN 的圖像識(shí)別和分類的軌面缺陷檢測(cè)方法。該方法有一定的檢測(cè)效果,但在不同訓(xùn)練集中參數(shù)調(diào)整不易,有時(shí)召回率緩慢增加時(shí),準(zhǔn)確率迅速下降,結(jié)果并不穩(wěn)定。基于深度學(xué)習(xí)的檢測(cè)仍面臨算法性能優(yōu)化與改進(jìn)、精度提升、模型輕量化等關(guān)鍵技術(shù)的挑戰(zhàn)[14],加之現(xiàn)實(shí)鐵路線路繁多且所處區(qū)段各異、自然環(huán)境復(fù)雜多變,諸多方法在這些嚴(yán)苛因素干擾下的有效性難以保證。軌道圖像會(huì)因光照不均勻、可識(shí)別的特征有限、對(duì)比度低、反射特性易變等特性,使得基于機(jī)器視覺的軌道缺陷檢測(cè)仍存在諸多待研究的問題。
袁小翠等[15]提出了基于目標(biāo)方差加權(quán)的類間方差閾值分割法WOV(Weighted Object Variance),直接對(duì)鋼軌表面缺陷進(jìn)行提取,對(duì)灰度分布不均的軌面圖像有一定的檢測(cè)效果;但實(shí)際線路中軌面缺陷較小,缺陷和背景大小有很大差異,會(huì)直接影響類間方差走勢(shì)。該法雖對(duì)最大類間方差法Otsu[16]有所改進(jìn),但其本質(zhì)還是試圖最大化類間方差,因此對(duì)實(shí)際軌面圖像檢測(cè)的精度還有待于提高。為提高精度,Yu等[17]提出了一種從粗到細(xì)的缺陷識(shí)別模型,該模型從子圖像級(jí)、區(qū)域級(jí)和像素級(jí)三個(gè)不同的尺度來對(duì)缺陷進(jìn)行檢測(cè),能有效對(duì)抗光照反射不均的影響和其他噪聲的干擾,但是同時(shí)考慮三個(gè)尺度具有一定的復(fù)雜性。為提高效率,賀振東等[18]提出基于背景差分的鋼軌表面缺陷檢測(cè)方法BGD(BackGround Difference),將視頻中的背景差分法應(yīng)用到單張的軌面圖像中,有效減弱了光照、反射不均等影響,對(duì)塊狀缺陷檢測(cè)效果較好,背景僅使用灰度列均值建立,雖然簡(jiǎn)單快速,但對(duì)陰影、銹跡等抗干擾能力較弱,且對(duì)線狀缺陷的檢測(cè)效果較差。閔永智等[19]提出基于圖像灰度梯度特征的背景差分軌面缺陷檢測(cè)方法BGD2(BGD based on gray gradient),該法基于雙邊濾波設(shè)計(jì)了一個(gè)平滑濾波器對(duì)背景進(jìn)行建模,能夠較好地檢測(cè)裂紋和疤痕缺陷,但該方法參數(shù)過多,同一組參數(shù)無法適應(yīng)形狀大小各異的軌面缺陷,如逐一適配成本過高。
為此,本文提出了一種基于缺陷比例限制的背景差分鋼軌表面缺陷檢測(cè)方法。該方法主要包括軌面圖像預(yù)處理、背景建模與差分、缺陷比例上限閾值截?cái)?、缺陷比例最大熵閾值分割、連通區(qū)域標(biāo)記濾波五個(gè)步驟。首先采用基于雙邊網(wǎng)格的快速雙邊去噪方法對(duì)軌面進(jìn)行去噪處理;其次利用軌面圖像列灰度均值和列灰度中值快速建立背景模型,將預(yù)處理的軌面圖像與背景圖像進(jìn)行差分,初步凸顯缺陷;然后利用軌面圖像缺陷占比較低的特征,對(duì)差分結(jié)果進(jìn)行缺陷比例上限閾值截?cái)?,縮小差分圖像背景灰度值范圍,增強(qiáng)對(duì)比度,從而進(jìn)一步凸顯缺陷;隨后再利用軌面圖像缺陷占比較低的特征改進(jìn)最大熵閾值分割,采用自適應(yīng)加權(quán)因子對(duì)目標(biāo)熵進(jìn)行全局可變加權(quán),選擇最優(yōu)閾值對(duì)截?cái)嘟Y(jié)果進(jìn)行分割,在保留缺陷必要信息的同時(shí),減弱諸如銹跡、污漬、塵土等噪聲干擾;最后利用連通區(qū)域標(biāo)記法把缺陷面積低于鋼軌損傷標(biāo)準(zhǔn)的區(qū)域判定為噪聲,從而實(shí)現(xiàn)鋼軌表面缺陷檢測(cè)。
由于鐵路線路建造在不同區(qū)段上,列車運(yùn)行在不同的自然條件下,并且車輪與軌面有不同接觸狀況,從而會(huì)導(dǎo)致同一軌面圖像特征存在很大差異。如圖1 所示,從左到右至少有強(qiáng)光照、正常、陰影、缺陷、銹跡和塵土等軌面區(qū)域。
圖1 實(shí)際采集的鋼軌圖像Fig.1 Rail image collected in practical environment
由于軌面圖像可識(shí)別特征有限,圖像的灰度信息顯得尤為重要。圖2(a)所示為圖1(b)的灰度分析劃分圖,沿列車行駛方向劃有6 道縱線(C1~C6):分別依次穿過強(qiáng)光照、正常、陰影、缺陷、銹跡和塵土軌面區(qū)域。垂直于列車行駛方向劃有兩道橫線(R1、R2):R1除未穿過缺陷區(qū)域外,和R2一樣從左到右依次穿過上述6種不同軌面區(qū)域。圖2(b)、(c)是縱橫線段處軌面相對(duì)應(yīng)的灰度變化。
分析圖2(b)、(c)中的灰度分布曲線可以得出以下3 個(gè)結(jié)論:
1)全局范圍內(nèi)背景灰度值變化較大,局部范圍內(nèi)灰度變化較小。由于軌面的光照和反射特性不同,若從全局考慮,鋼軌圖像的背景往往具有較大的動(dòng)態(tài)灰度范圍(幾乎從最大值到最小值);若從局部考慮(沿著列車行駛方向的一條縱線上)光照和反射特性比較穩(wěn)定;因此,局部窗口內(nèi)往往具有較小的灰度變化。
2)缺陷與背景之間的灰度值無序。一般情況下缺陷的灰度值小于背景的灰度值,然而,由于光照和反射特性的不規(guī)則變化,這個(gè)順序往往可以改變。如圖2(b)中的一些帶銹跡或塵土的像素與帶缺陷像素相比,具有更小或相等的灰度值。
3)局部范圍內(nèi)包含缺陷的軌面區(qū)域灰度值有明顯突變。如圖2(b)的345~365 行、圖2(c)的175~200 列的灰度值較低且變化較大。
圖2 鋼軌表面圖像灰度分布Fig.2 Grayscale distribution of rail image
由1.1 節(jié)可知,沿著列車行駛方向的一條縱線上光照和反射特性比較穩(wěn)定,灰度值變化較小,因此列灰度信息價(jià)值較高。賀振東等[18]643提出了基于列灰度均值的背景差分方法對(duì)缺陷進(jìn)行分割,Gan 等[20]提出了基于均值漂移方法的粗提取器在軌面中沿縱向建立背景模式對(duì)缺陷進(jìn)行粗定位。均值是通過整組數(shù)據(jù)計(jì)算得來的,容易受數(shù)據(jù)中極端值的影響(如軌面圖像某條縱線上存在缺陷或其他噪聲時(shí)),所以僅基于列灰度均值建立的背景模型并不穩(wěn)定;中值則是通過數(shù)據(jù)排序得來的,不受極端值影響,但它并不能代表整體集中趨勢(shì)。所以本文將均值和中值綜合考慮以探尋軌面列灰度值的規(guī)律。
從本實(shí)驗(yàn)室收集整理的鋼軌圖像數(shù)據(jù)庫(kù)中隨機(jī)選取200張帶缺陷的軌面圖像,記錄每一張圖像缺陷的列坐標(biāo)范圍;隨后計(jì)算圖像缺陷范圍內(nèi)每一列的灰度均值(grayscale MEAn of Column,CMEA)和灰度中值(grayscale MEDian of Column,CMED),并比較該范圍內(nèi)每一列CMED 和CMEA 的大小關(guān)系(注:設(shè)置一個(gè)flag標(biāo)記,僅當(dāng)某一列的CMED 大于CMEA 時(shí),標(biāo)記flag=1),隨后統(tǒng)計(jì)每張圖像缺陷范圍內(nèi)flag=1 的個(gè)數(shù),當(dāng)該值超過其缺陷范圍列數(shù)的90%時(shí),判定該張軌面圖像缺陷范圍內(nèi)的CMED 大于CMEA(記為A 類軌面);同法可判定CMED 小于CMEA(記為B 類軌面)。最后畫出A、B 兩類軌面圖像的CMEA、CMED分布曲線圖,分析其潛在規(guī)律。
本次實(shí)驗(yàn)樣本中76%屬于A 類軌面,24%屬于B 類軌面,通過觀察可知:A 類軌面往往背景較均勻,B 類軌面的鋼軌圖像往往背景較為復(fù)雜,有大量的噪聲干擾。分析軌面圖像的列灰度均值、中值的分布曲線可知:無論是A 類軌面還是B 類軌面,缺陷范圍以內(nèi)的列不是CMEA 大就是CMED 大,并且有明顯的突變和差異;缺陷范圍以外的列,CMEA 和CMED 幾乎相等,差異很小,如圖3所示。
圖3 鋼軌表面圖像的列灰度均值、中值分布曲線Fig.3 Distribution curves of column grayscale mean and median of rail surface image
從鋼軌圖像數(shù)據(jù)庫(kù)中隨機(jī)選取165 張帶缺陷的軌面圖像,為了降低人工成本,圖像中所有的缺陷都被標(biāo)記為最小外接矩形,因此缺陷面積近似于其最小外接矩形面積;最后計(jì)算軌面圖像的缺陷比例。
通過如圖4 所示的統(tǒng)計(jì)直方圖可知,有約95%的軌面圖像缺陷區(qū)域占軌面總區(qū)域的比例不超過10%,存在極少數(shù)缺陷占比較大的,但也均不超過30%。因此實(shí)際鐵路軌道中絕大部分的軌面是無缺陷的,即使存在缺陷,缺陷占軌面總區(qū)域的比例也很小。
圖4 鋼軌表面缺陷占比統(tǒng)計(jì)Fig.4 Statistical chart of rail surface defect proportion
圖5 為本文軌面缺陷檢測(cè)方法的流程,主要包括三個(gè)部分:軌面圖像的預(yù)處理、基于缺陷比例限制改進(jìn)的背景差分對(duì)比度增強(qiáng)(BGD based on Defect Proportion Limitation,DPL_BGD)和基于缺陷比例限制改進(jìn)的最大熵閾值分割(Maximum Entropy based on Defect Proportion Limitation,DPL_ME)。其中預(yù)處理部分采用基于雙邊網(wǎng)格的快速雙邊去噪[21];DPL_BGD 部分包括列均值和列中值快速背景建模與差分、缺陷比例上限閾值截?cái)?;DPL_ME 部分包括缺陷比例最大熵閾值分割、連通區(qū)域標(biāo)記濾波。
圖5 軌面缺陷檢測(cè)方法流程Fig.5 Rail surface defect detection method flowchart
2.2.1 基于列灰度均值、中值的背景建模
由于單張鋼軌圖像的缺陷檢測(cè)無法從安裝在測(cè)試列車下的攝像機(jī)生成的視頻序列中學(xué)習(xí)到背景模型,因此動(dòng)態(tài)目標(biāo)檢測(cè)中的背景差分方式不能直接用于軌面缺陷檢測(cè)[22-23]。為此,賀振東等[18]643提出了基于列灰度均值的背景建模方法。
假設(shè)垂直列車行駛方向?yàn)閤軸,沿著列車行駛方向?yàn)閥軸。計(jì)算出每列的灰度均值,建立鋼軌背景圖像模型:
其中:Ibm(x)為第x列的軌面背景;Mean_y(·)為計(jì)算每列灰度均值的函數(shù);Iy(x)為第x列上所有像素的灰度值;col為軌面圖像列數(shù)。
基于列灰度均值建模容易受極端值影響使背景模型不穩(wěn)定,而使用復(fù)雜的方法建立背景模型又會(huì)犧牲時(shí)間效率(如基于雙邊濾波設(shè)計(jì)的濾波器建模[19]223,耗時(shí)較大,參數(shù)過多)??紤]到軌面圖像缺陷范圍外CMEA 和CMED 差異很小,背景建模時(shí)在缺陷范圍外取其任意一值均可,而缺陷范圍內(nèi)的CMEA 和CMED 之間有明顯的突變和差異,且缺陷處的灰度值往往比較低,所以在缺陷范圍內(nèi)取其較大值能在差分時(shí)使背景圖像與原軌面圖像缺陷之間盡可能產(chǎn)生更大的灰度差值,以更好地凸顯缺陷,使差分結(jié)果具有更高的對(duì)比度。
為此,本文提出基于列灰度均值、中值的背景建模方法,計(jì)算出每列的灰度均值和中值,取其較大者建立背景模型:
其中:Fbm(x)為第x列的軌面背景;Mean_y(·)為計(jì)算軌面每列灰度均值的函數(shù);Median_y(·)為計(jì)算軌面每列灰度中值的函數(shù);M1和M2分別為軌面每列的均值和中值,M1=Mean_y(Fy(x)),M2=Median_y(Fy(x));Fy(x)為第x列上所有像素的灰度值;col為軌面圖像列數(shù)。
2.2.2 背景差分
為了更好地突顯缺陷,減少光照、反射不均等干擾,將預(yù)處理后的圖像與背景模型進(jìn)行差分操作,得到差分圖像:
其中:Fp(x,y)為預(yù)處理后的圖像;Fbm(x,y)為背景模型。
如表1 所示,本文差分方法在耗時(shí)較少的情況下,較文獻(xiàn)[18-19]的差分結(jié)果具有更高的對(duì)比度。
此外,通過圖6 的差分前后灰度分布對(duì)比圖可知,差分后增強(qiáng)了缺陷目標(biāo)從復(fù)雜的背景中分割出來的可能性(注:圖6(a)、(b)左側(cè)的C1~C5五條劃分線分別穿過缺陷1、陰影、正常、缺陷2 和銹跡軌面區(qū)域)。如圖6(a)所示,不同的軌面區(qū)域具有不同的灰度值,且灰度值的跨度范圍較廣,找不到一個(gè)合適閾值能將缺陷目標(biāo)從復(fù)雜的背景分割中分割出來。
如圖6(b)左側(cè)所示,經(jīng)本文方法差分后的差分圖像,極大減弱了光照及反射不均帶來的干擾,且背景均勻,較好地凸顯了缺陷區(qū)域,這將有利于軌面缺陷檢測(cè);如圖6(b)右側(cè)所示,不管何種軌面區(qū)域都具有相近的灰度值,所以此時(shí)較容易將缺陷目標(biāo)從復(fù)雜的背景中分割出來,但還有不少背景可能會(huì)在分割時(shí)被錯(cuò)分為缺陷。因此,本文將設(shè)計(jì)一個(gè)缺陷比例限制濾波器來對(duì)差分圖進(jìn)行缺陷比例上限截?cái)啵M(jìn)一步增強(qiáng)差分圖的對(duì)比度,使背景被錯(cuò)分為缺陷的概率降低。
表1 文獻(xiàn)[18]、文獻(xiàn)[19]和本文差分圖的對(duì)比度和耗時(shí)對(duì)比Tab.1 Contrast and time consuming comparison between different image methods in reference 18 and 19 with proposed method
圖6 差分前后灰度分布曲線對(duì)比Fig.6 Comparison of grayscale distribution curves before and after difference
2.2.3 缺陷比例限制濾波
基于以下兩個(gè)事實(shí),差分圖像Fdif(x,y)可以進(jìn)一步地增強(qiáng):第一,差分圖像中缺陷處的灰度值小于背景的灰度值;第二,軌面絕大部分無缺陷,即使存在缺陷,缺陷占軌面總區(qū)域的比例也很小,極少數(shù)缺陷比例較大的,也不超過30%。因此,本文通過缺陷比例限制濾波器進(jìn)一步增強(qiáng)差分圖像,該濾波器需要給定一個(gè)缺陷比例(defect proportion,dp)的上界,然后根據(jù)具體軌面圖像給出一個(gè)閾值Tdp對(duì)其差分圖進(jìn)行缺陷比例上限閾值截?cái)唷?/p>
考慮到一個(gè)L個(gè)灰度級(jí)的差分圖(L是圖中出現(xiàn)過的灰度級(jí)總數(shù)),令N為差分圖中像素的總數(shù),ni(i=0,1,…,L)是具有灰度級(jí)為i的像素?cái)?shù)量,假設(shè)已經(jīng)選定一個(gè)閾值t,C1是灰度級(jí)為[0,t]的一組像素,C2是灰度級(jí)[t+1,L-1]的一組像素。N1(t)是集合C1中直到灰度級(jí)t的累計(jì)像素個(gè)數(shù),表示為:
則截?cái)嚅撝礣dp由如下公式定義:
閾值Tdp可將差分圖Fdif(x,y)像素分為兩組CO=Fdif(x,y)<Tdp和CB=Fdif(x,y)≥Tdp,CO包括缺陷和背景,CB只包括背景。因此通過缺陷比例限制濾波器處理后的截?cái)鄨D像Fdplf(x,y)可以表示為:
如圖7 所示,經(jīng)過缺陷比例上限閾值截?cái)嗪螅瑴p小了差分圖背景的灰度值范圍,在保留缺陷必要信息的同時(shí)具有更均勻的背景,更強(qiáng)的對(duì)比度(注:經(jīng)計(jì)算,差分圖的平均背景方差和對(duì)比度分別為24.15 和28.21,截?cái)鄨D的分別為16.42 和42.83)。
圖7 差分圖和截?cái)鄨D對(duì)比Fig.7 Comparison of difference image and truncation image
綜上所述,經(jīng)過基于列均值、中值的背景差分和缺陷比例上限閾值截?cái)嗪螅軜O大提升軌面圖像的對(duì)比度,這將極有利于后續(xù)步驟中的軌面缺陷分割。
2.3.1 最大熵閾值分割方法
Kapur等[24]提出最大熵閾值(Maximum Entropy,ME)分割法,此法把圖像分為目標(biāo)和背景兩部分,熵代表信息量,熵越大代表圖像信息越大,ME就是找出一個(gè)最佳閾值使得目標(biāo)和背景兩部分的熵之和最大。
現(xiàn)假設(shè)某圖像具有k個(gè)灰度級(jí),其對(duì)應(yīng)灰度級(jí)k發(fā)生的概率為Pk,已經(jīng)選定一個(gè)閾值t,C1是灰度級(jí)范圍為[0,t]的一組像素,C2是灰度級(jí)范圍為[t+1,L-1]的一組像素。
C1和C2分別表示目標(biāo)和背景,則它們各自的熵E1(t)和E2(t)可以分別表示為:
其中:U1(t)和U2(t)分別為目標(biāo)集合C1和背景集合C2發(fā)生的累計(jì)概率。
因此,ME法最優(yōu)的閾值t被確定為:
ME 為鋼軌圖像閾值分割提供了一個(gè)很有吸引力的解決方案,但它并不完美,因?yàn)檫€存在較多的噪聲,如圖8(c)所示。因此,本文將提出一個(gè)新方法來改進(jìn)ME 使得分割后的圖像具有更高的質(zhì)量、更少的噪聲。
圖8 ME方法的截?cái)鄨D分割結(jié)果Fig.8 Truncated image segmented by ME method
2.3.2 基于缺陷比例的ME閾值分割方法
如圖9(a)所示,截?cái)鄨D特征較為特殊,其全局灰度分布為最右側(cè)呈左向半單峰,即絕大部分背景灰度值都在255 附近;如圖9(b)所示,灰度累計(jì)概率曲線圖,U(255)常常大于0.5,而U(i)~U(220)常常小于0.01(其中U(·)表示到達(dá)某灰度級(jí)時(shí)的累計(jì)概率),這一事實(shí)影響了最大熵函數(shù)閾值的選取。
圖9 截?cái)鄨D灰度分布和累計(jì)概率分析Fig.9 Grayscale distribution and cumulative probability analysis diagram of truncated image
最大熵的閾值TME主要由目標(biāo)熵E1(t)決定。理想的分割閾值應(yīng)使目標(biāo)熵相對(duì)較小,背景熵相對(duì)較大,這樣才能得到更小閾值,消除更多的噪聲。為了達(dá)到這個(gè)目標(biāo),本文將對(duì)最大熵方法中的目標(biāo)熵進(jìn)行全局可變加權(quán),使得加權(quán)后的目標(biāo)熵小于或等于原始目標(biāo)熵,因此,DPL_ME 閾值分割法可表示為:
其中:E1(t)和E2(t)分別表示目標(biāo)熵和背景熵;W為全局可變加權(quán)因子,W取值應(yīng)為[0,1],從而使W·E1(t) ≤E1(t)成立。當(dāng)圖像中缺陷目標(biāo)較大時(shí),W應(yīng)取較小值;當(dāng)缺陷目標(biāo)較小時(shí),W應(yīng)取較大值;對(duì)沒有缺陷的軌面圖像,加權(quán)因子W應(yīng)該趨近于1。由于不同軌面上缺陷的形狀大小不一,若采用全局恒定不變的加權(quán)因子,恐不適用實(shí)際情況,因此對(duì)目標(biāo)熵采用全局可變加權(quán)。式(7)中的U1(t)表示缺陷目標(biāo)出現(xiàn)的累計(jì)概率,取值范圍為[0,1],缺陷占比越大概率越大,隨著t增大呈現(xiàn)非線性增大。為符合加權(quán)因子的要求,加權(quán)因子W初定義為:
但為避免W分布中異常值的影響,用多項(xiàng)式回歸擬合出一條近似W分布的平滑曲線P(t);由于隨著t增大,P(t)在t∈(0,220)減小得非常緩慢,加權(quán)效果較弱,為增加減小的加速度,將擬合曲線P(t)進(jìn)行平方后作為目標(biāo)熵的加權(quán)因子,即加權(quán)因子W最終定義為:
則式(10)可以改寫為:
DPL_ME 結(jié)合了缺陷比例和全局可變加權(quán)因子,與ME相比,在保留缺陷完整信息情況下,獲得了更小的閾值,消除了更多噪聲,如圖10(c)、(d)所示;并且能讓剩余噪聲盡可能降到鋼軌表面?zhèn)麚p標(biāo)準(zhǔn)以下,以便在連通區(qū)域標(biāo)記法中濾除,如圖10(e)、(f)所示,本文方法將剩余噪聲全部濾除,缺陷檢測(cè)效果顯著提升。
圖10 ME和本文方法閾值分割結(jié)果對(duì)比Fig.10 Comparison of threshold segmentation results of ME algorithm and proposed method
從圖10(c)、(d)可以看出,閾值分割后還存在一些面積比較小的缺陷,而這些小缺陷在短時(shí)間內(nèi)不會(huì)危害列車行駛質(zhì)量安全,可以判定為噪聲。根據(jù)鋼軌損傷標(biāo)準(zhǔn)[25],面積大于80 mm2的缺陷就可能會(huì)對(duì)列車造成威脅,因此本文將面積大于80 mm2的連通區(qū)域判定為缺陷,否則就判定為噪聲。步驟如下:
1)確定閾值分割圖中所有的連通區(qū)域;
2)計(jì)算每個(gè)連通區(qū)域的面積;
3)去除損傷標(biāo)準(zhǔn)允許范圍內(nèi)的小區(qū)域。
如圖10(e)、(f)所示,利用此法對(duì)分割后的二值圖的缺陷區(qū)域進(jìn)行統(tǒng)計(jì)、濾波,能有效去除軌面圖像中暫不會(huì)危害鐵路系統(tǒng)行車質(zhì)量與安全的噪聲,最終完成軌面缺陷檢測(cè)。
仿真實(shí)驗(yàn)所使用的計(jì)算機(jī)硬件配置為:Inter Core i7 6700 CPU@3.40 GHz,8 GB內(nèi)存,64位Windows 10操作系統(tǒng),采用Matlab R2018a實(shí)現(xiàn)本文方法。
為驗(yàn)證本文檢測(cè)方法的有效性,選用錯(cuò)誤分類誤差(Mis-Classification Error,MCE)[26]、召回率(Recall rate,Rc)、精確率(Precision rate,Pr)[27]、平均值F-Score,以及方法運(yùn)行時(shí)間5個(gè)評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)。
1)MCE表示經(jīng)過某種閾值分割方法分割后的二值圖像被錯(cuò)誤分類的比例,用來衡量單張圖像的分割結(jié)果。它的取值范圍為[0,1],0表示沒有被錯(cuò)分的情況,1表示完全被錯(cuò)分的情況。MCE的值越小,分割效果越好。MCE對(duì)于此類分割問題的定義為:
其中:SO和SB分別表示標(biāo)準(zhǔn)分割圖像的目標(biāo)區(qū)域和背景區(qū)域;FO和FB分別表示經(jīng)過分割方法得到的目標(biāo)區(qū)域和背景區(qū)域;Num(·)表示區(qū)域中像素點(diǎn)數(shù)目。
2)召回率Rc、精確率Pr和F-Score是模式識(shí)別和信息檢索等領(lǐng)域最常用的指標(biāo),用來綜合評(píng)價(jià)鋼軌表面缺陷的識(shí)別、分類等檢測(cè)結(jié)果。分別定義如下:
其中:TP表示正確識(shí)別目標(biāo)的個(gè)數(shù)(True Positive);FP表示錯(cuò)誤識(shí)別目標(biāo)的個(gè)數(shù)(False Positive);TN表示正確未識(shí)別目標(biāo)的個(gè)數(shù)(True Negative)。對(duì)于軌面缺陷檢測(cè)來說,假如沒能檢測(cè)出部分缺陷,將很可能會(huì)危害列車的行車質(zhì)量安全,嚴(yán)重時(shí)可能會(huì)造成事故,因此召回率相對(duì)更重要,故式(17)中的X取值為2(即:F2-Score),讓召回率權(quán)重高于精確率。但是隨著召回率上升,準(zhǔn)確率會(huì)下降,因此如何達(dá)到二者的平衡是衡量缺陷檢測(cè)方法的重要考量。
為了既保證盡可能真實(shí)的缺陷能夠被檢測(cè),又能達(dá)到召回率和精確率的平衡,本文測(cè)試了不同缺陷比例上界限dp對(duì)本文方法性能的影響(dp=0.03,0.09,0.15,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9)。
圖11 為不同dp下的軌面缺陷召回率和精確率的曲線。根據(jù)精確率曲線可以發(fā)現(xiàn)精確率隨dp的增大而減?。桓鶕?jù)召回率曲線可以發(fā)現(xiàn)dp<0.3 時(shí),召回率隨dp的增大而增大;當(dāng)dp>0.3時(shí),召回率隨dp的增大而減小。這是因?yàn)槿毕荼壤辖鏳p控制著要過濾的信息量,當(dāng)dp較低時(shí),保留的信息較少,可能把一些缺陷也過濾掉;當(dāng)dp較大時(shí),雖然保留了更多的缺陷,但是同時(shí)也帶來更多無缺陷信息和噪聲,因此考慮到召回率和精確率的平衡把缺陷比例上界dp設(shè)為0.3。
為驗(yàn)證本文檢測(cè)方法的魯棒性,針對(duì)鋼軌表面多種復(fù)雜情況進(jìn)行了實(shí)驗(yàn)。表2所示的是圖12中的不同軌面的噪聲干擾情況,包括不同光照(正常、強(qiáng)、不均、弱光照等)軌面,是否存在有陰影、銹跡、塵土等。
如圖12 軌面1~4 所示,無論軌面在何種光照條件和噪聲干擾下,在背景差分和缺陷比例上限閾值截?cái)嗪?,均能使軌面圖背景變得均勻、缺陷目標(biāo)凸顯;隨后在缺陷比例閾值分割中獲得較優(yōu)的閾值,對(duì)截?cái)鄨D進(jìn)行二值化,消除軌面絕大部分噪聲,保留真實(shí)缺陷。實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)多種復(fù)雜情況的缺陷圖像均取得了較為理想的檢測(cè)效果。
圖11 不同缺陷比例對(duì)精確率和召回率的影響Fig.11 Influence of different defect proportion on precision rate and recall rate
表2 軌面圖像噪聲干擾情況Tab.2 Noise interference conditions of rail surface image
圖12 多種復(fù)雜條件下的軌面缺陷檢測(cè)結(jié)果圖Fig.12 Result diagrams of rail surface defect detection under various complicated conditions
本文從實(shí)驗(yàn)室收集整理的鋼軌圖像數(shù)據(jù)庫(kù)中隨機(jī)選取1 000 張帶缺陷的鋼軌圖像進(jìn)行測(cè)試,其中包含600 張至少存在一個(gè)缺陷的圖像、400 張沒有缺陷的圖像(由于在實(shí)際運(yùn)營(yíng)的鐵路中,大部分的鐵路圖像都是無缺陷的,因此加入無缺陷圖像可以更好地反映實(shí)際情況),缺陷總數(shù)為740 個(gè)。將本文方法與目標(biāo)方差加權(quán)的類間方差閾值分割方法WOV[15]、背景差分法BGD[18]、基于圖像灰度梯度特征的軌面檢測(cè)方法BGD2[19],以及Otsu[16]、ME[24]等相關(guān)經(jīng)典方法進(jìn)行比較,采用召回率、精確率、加權(quán)調(diào)和平均F2-Score、平均錯(cuò)誤分類誤差和平均運(yùn)行時(shí)間等指標(biāo)進(jìn)行定量分析對(duì)比。
如表3 所示,本文方法的召回率、精確率、加權(quán)調(diào)和平均值F2-Score均高于其他方法,平均錯(cuò)誤分類誤差MCE 值均低于其他方法,在缺陷檢測(cè)耗時(shí)上,略高于除BGD2 外的其他方法。如圖13 所示,Otsu、ME、WOV 這三種方法均是未對(duì)圖像做其他預(yù)處理,直接在原軌面圖像的背景對(duì)象和缺陷目標(biāo)中利用某個(gè)平衡函數(shù)選取一個(gè)閾值進(jìn)行分割,雖然簡(jiǎn)單,在相對(duì)友好軌面上能有一定的分割效果,但在實(shí)際軌面中,由于干擾因素較多,分割效果較差;BGD方法根據(jù)軌面圖像沿列車行駛方向反射特性穩(wěn)定的特性采用均值背景建模,對(duì)沿列車行駛方向反射特性穩(wěn)定的軌面圖像檢測(cè)效果較好,但在有不規(guī)則陰影等噪聲干擾時(shí),容易把部分區(qū)域誤檢測(cè)為缺陷;BGD2 方法利用局部灰度和梯度變化,基于雙邊濾波器設(shè)計(jì)了一個(gè)平滑濾波器對(duì)背景進(jìn)行建模,能夠較好地檢測(cè)裂紋和疤痕缺陷,但該方法參數(shù)過多,同一組參數(shù)無法適應(yīng)形狀各異及較多噪聲干擾的軌面,檢測(cè)時(shí)容易把噪聲誤判為缺陷。
表3 不同方法在鋼軌表面缺陷檢測(cè)上的性能指標(biāo)對(duì)比Tab.3 Performance index comparison of different methods on rail surface defect detection
本文方法利用灰度列均值和列中值進(jìn)行快速背景建模,采用差分和缺陷比例上限閾值截?cái)?,最大限度地使原軌面背景均勻且凸顯真實(shí)缺陷;隨后利用缺陷比例,采用自適應(yīng)加權(quán)因子,選擇出一個(gè)較優(yōu)的閾值二值化軌面圖像,最后利用連通區(qū)域?yàn)V波器把缺陷面積低于鋼軌損傷標(biāo)準(zhǔn)的區(qū)域判定為噪聲去除,因此在多種環(huán)境因素干擾下(如光照不均、銹跡、陰影等)對(duì)多種缺陷(如裂痕、疤痕、磨蝕、擦傷等)均有較為滿意的檢測(cè)結(jié)果。對(duì)比分析結(jié)果顯示了本文方法的優(yōu)勢(shì),具有較好的應(yīng)用價(jià)值。
圖13 多種軌面缺陷檢測(cè)方法結(jié)果對(duì)比Fig.13 Result comparison of various rail surface defect detection methods
本文針對(duì)鋼軌表面圖像具有光照不均勻、可識(shí)別的特征有限、對(duì)比度低、反射特性易變等難點(diǎn),提出了基于缺陷比例限制的背景差分鋼軌表面缺陷檢測(cè)方法。該方法具有以下優(yōu)點(diǎn):
1)DPL_BGD 不僅有效克服了光照不均,可利用特征有限等問題,且極大增強(qiáng)了軌面圖像對(duì)比度。
2)DPL_ME基于缺陷比例限制和自適應(yīng)加權(quán)因子得到比ME更小的閾值,在保留缺陷必要信息的同時(shí),減弱諸如銹跡、污漬、塵土等噪聲的干擾。
3)背景建模時(shí)僅計(jì)算軌面圖像每列的灰度均值和中值,計(jì)算量小,速度快,滿足實(shí)時(shí)性要求。
4)可變參數(shù)少,易于調(diào)節(jié),可控性強(qiáng)。
本文方法召回率達(dá)到94.19%,精確率達(dá)到88.34%,加調(diào)和平均F2-Score值為92.96%,平均錯(cuò)誤分類誤差MCE 低至0.006 4,除耗時(shí)略高之外,其余評(píng)價(jià)指標(biāo)均優(yōu)于對(duì)比實(shí)驗(yàn)中的相關(guān)方法。
本文僅討論了噪聲與缺陷位置不重合的情況,該方法檢測(cè)速度的進(jìn)一步優(yōu)化和噪聲與缺陷位置重合情況的區(qū)分將是下一步研究的內(nèi)容。