基于區(qū)域特征的缺陷扣件視覺檢測

范 宏，侯 云，李柏林，熊 鷹

(西南交通大學 機械工程學院，四川 成都 610031)

鐵路作為交通運輸?shù)闹饕绞?，在國民?jīng)濟發(fā)展和國防建設中扮演著舉足輕重的角色。高速鐵路以其快捷、舒適的優(yōu)點，正逐漸受到世界各國的高度重視。近年來，中國高速鐵路發(fā)展突飛猛進，逐漸成為世界高速鐵路的領跑者。

同時，我國高速鐵路已經(jīng)由大規(guī)模“設計建造”階段轉(zhuǎn)入長期“運營維護”階段，再加之我國高速鐵路具有線路建設周期短、開通運營時間短等特點，運營線上基礎結(jié)構(gòu)的劣化已進入顯現(xiàn)期，部分路段結(jié)構(gòu)局部傷損嚴重[1]。調(diào)查表明，無砟軌道已出現(xiàn)諸多結(jié)構(gòu)性傷損與部件損傷，例如部件(軌道板、底座、支承層)裂紋、部件之間黏結(jié)失效破壞、扣件彈條斷裂等，這些都會對軌道結(jié)構(gòu)服役性能和行車安全產(chǎn)生不可忽視的影響[2]。

高安全性和高可靠性是軌道交通永恒的話題，然而傳統(tǒng)耗時、費力的人工巡檢模式已經(jīng)不能滿足現(xiàn)階段高速鐵路系統(tǒng)的養(yǎng)護需求，急需開發(fā)針對高速鐵路系統(tǒng)的自動高效的巡檢設備。鐵路巡檢系統(tǒng)就是高速鐵路系統(tǒng)的關(guān)鍵項目之一。鐵路巡檢系統(tǒng)由一系列功能模塊組成，包括軌距測量[3]，鋼軌輪廓測量[4]，鋼軌表面缺陷檢測[5]和扣件缺陷檢測[6]等。本文主要研究基于機器視覺的扣件缺陷自動檢測技術(shù)，重點是扣件檢測的圖像處理算法，圖像采集系統(tǒng)不做具體闡述。

1 相關(guān)工作與系統(tǒng)架構(gòu)

1.1 研究現(xiàn)狀

近年來國內(nèi)外研究者針對鐵路巡檢系統(tǒng)展開積極探索，并取得了一定成果，如中國的軌道巡檢系統(tǒng)[7]，以及國外的Tvis系統(tǒng)[8]，Lcms系統(tǒng)[9]等?？奂詣訖z測作為鐵路巡檢系統(tǒng)的一個重要功能模塊，同樣受到國內(nèi)外學者的高度重視并涌現(xiàn)出了多種檢測算法。

在國外，文獻[10-13]利用小波變換或主成分分析方法進行特征描述，利用感知神經(jīng)網(wǎng)絡進行扣件分類識別。文獻[14]運用頻譜估計和信號處理方法尋找扣件頻譜特征完成扣件的定位及檢測。文獻[15]在Harris角點檢測的基礎上用模板匹配的方法來識別彈條扣件的狀態(tài)。文獻[16]使用梯度直方圖描述扣件特征，然后使用支持向量機對扣件狀態(tài)進行識別。文獻[17]引入深度學習框架，構(gòu)建多個訓練集，以由粗到精的模式利用卷積神經(jīng)網(wǎng)絡提取扣件特征，最后將學習到的扣件特征送入多個一對一支持向量機中，實現(xiàn)多種類型彈條扣件的檢測。文獻[18]首先使用霍夫變換確定扣件區(qū)域，然后基于感興趣區(qū)域的邊緣特征以檢測扣件是否丟失。

在國內(nèi)，文獻[19]采用基于像素值的小波變換定位扣件區(qū)域，然后使用形態(tài)學方法獲得扣件輪廓并實施扣件檢測。文獻[20]采用方向場描述扣件特征，并在此基礎上進行加權(quán)模板匹配，最后以模板匹配系數(shù)作為扣件識別依據(jù)，從而實現(xiàn)扣件狀態(tài)的檢測。文獻[21]根據(jù)軌枕和鋼軌的交叉位置定位扣件區(qū)域，然后用Haar矩形特征描述扣件的四個關(guān)鍵部分，最后用AdaBoost分類方法識別扣件狀態(tài)。文獻[22]融合扣件宏觀Lbp紋理特征與金字塔梯度特征，采用支持向量機進行分類。文獻[23]融合改進的邊緣梯度特征和扣件端部的宏觀紋理特征，并采用貝葉斯壓縮感知模型判斷扣件狀態(tài)。文獻[24]根據(jù)幾何先驗信息定位扣件區(qū)域，然后沿圖像對稱軸鏡像半幅扣件圖像生成虛擬樣本，最后以Phog特征描述扣件并用改進的稀疏表示算法實現(xiàn)扣件的識別。文獻[25]首先檢測軌枕與鋼軌的直線特征并以此定位出扣件區(qū)域，然后提取Haar-like特征，最后利用概率主題模型檢測斷裂與丟失扣件。文獻[26]利用直射式激光三角測量法原理研發(fā)扣件檢測系統(tǒng)，首先根據(jù)扣件的深度信息定位扣件并利用扣件間距進行驗證，然后提取彈條的Hgoh特征，最后根據(jù)特征向量的模識別缺失扣件，采用SVM分類器識別斷裂扣件。

然而，現(xiàn)有算法普遍存在特征區(qū)分性弱的問題，從而導致整個扣件檢測算法對外界環(huán)境適應性差。大部分算法都是針對普速有砟軌道的，雖然文獻[20]是針對高速無砟軌道的，但它所用圖像采集自實驗室環(huán)境下并且只能檢測出扣件丟失，不能檢測出扣件斷裂。因此，本文提出一種針對高速無砟軌道缺陷扣件的檢測算法，該算法在提取局部極小值區(qū)域的基礎上，采用模板匹配精確定位扣件位置，結(jié)合扣件的結(jié)構(gòu)信息提取扣件彈條的區(qū)域特征并輸入決策樹，實現(xiàn)扣件丟失和扣件斷裂的檢測。

1.2 系統(tǒng)框架

鐵路巡檢系統(tǒng)架構(gòu)見圖1。兩臺線陣CCD相機與光源被安裝在車底，分別負責一側(cè)軌道的圖像采集。為了獲得高質(zhì)量的圖像，相機被安裝在鋼軌正上方并與列車走行方向成一定的夾角，光源垂直于鋼軌頂面安裝。采集到的圖像內(nèi)容通常包括鋼軌、扣件、軌枕、軌道板等。車載工控機將相機傳輸來的圖像信息與當前線路里程等信息合并，形成最終采集數(shù)據(jù)并存儲于便攜式硬盤中。便攜式硬盤可以連接到離線計算機以進行數(shù)據(jù)分析和處理，包括缺陷扣件的自動檢測。

圖1 鐵路巡檢系統(tǒng)架構(gòu)

2 扣件檢測算法

待檢測的圖像由線陣相機采集得到，這不僅避免了面陣相機采集圖像的重疊和數(shù)據(jù)冗余，還保持了目標(扣件)的視角和尺度不變。光照和噪聲的影響是設計檢測算法的最大挑戰(zhàn)。為了提高檢測算法的魯棒性，采用均值濾波來抑制噪聲，用扣件的局部極小值區(qū)域代替原始扣件區(qū)域以克服光照變化的影響，最后提取扣件局部區(qū)域特征，實現(xiàn)扣件的缺陷檢測和位置標記。

缺陷扣件檢測算法流程見圖2。由于扣件區(qū)域只占原始圖中很小一部分，為了減少計算量并過濾掉其他背景，首先截取原始圖像中的感興趣區(qū)域(ROI)，并對之進行均值濾波處理。接著，為了克服扣件外觀變化帶來的影響，提取感興趣區(qū)域的極小值區(qū)域，將灰度圖像轉(zhuǎn)變成二值圖像。然后，采用模板匹配算法實現(xiàn)扣件的精確定位并得到扣件子圖。之后，基于扣件子圖提取扣件的區(qū)域特征。最后，根據(jù)扣件的區(qū)域特征設計決策樹，實現(xiàn)扣件缺陷識別。

2.1 ROI提取與圖像預處理

因為采集相機相對于列車是固定的，高速鐵路線路的曲線半徑又很大，所以相機相對于鐵軌在橫向的位移變化很小，限定在一個很小的范圍。因此，為了減少計算量并濾除非扣件部分的干擾，可以截取原始圖像中的一個固定區(qū)域作為研究的感興趣區(qū)域。由于相機鏡頭暴露在車底，極易受到灰塵與水汽的污染，此外，軌道板老化、油斑污染等都會引入諸多噪聲到原始圖像中。為了去除噪聲并使圖像極小值區(qū)域最大程度的連通，本文采用均值濾波進行圖像預處理。定義矩形濾波器窗口大小為w×h，均值濾波后的圖像M(x,y)為

(1)

式中：Sx,y為均值濾波器窗口的中心點與原始圖像G(s,t)重合時，窗口內(nèi)所有像素點的坐標集合。

2.2 圖像極小值區(qū)域提取

圖像二值化是扣件精確定位和識別的基礎，是扣件自動檢測的關(guān)鍵步驟，其目的是突出扣件關(guān)鍵區(qū)域，同時消除復雜背景以及光照變化給扣件識別帶來的影響。由于扣件圖像的背景極其復雜，包括雨水、油污、老化線路、扣件顏色及型號多樣等情況，因此需要一種適用于多種背景的魯棒二值化算法?；诠庠窗惭b角度和圖像特點，本文提出一種提取扣件局部極小值區(qū)域的算法以實現(xiàn)對扣件圖像的二值化。該算法充分考慮到圖像的光照特性，通過比較中心像素點與其上下局部鄰域點的大小來確定中心像素點的值(0或1)，然后逐點計算，最終實現(xiàn)整幅圖像的二值化。極小值區(qū)域為

MRn=s(gc-n-gc)×s(gc+n-gc)

(2)

(3)

式中：gc為中心像素點Pc的灰度值；gc-n為Pc的上鄰域點Pc-n的灰度值；gc+n為Pc的下鄰域點Pc+n的灰度值；n為鄰域半徑。Pc的鄰域結(jié)構(gòu)見圖3。

圖3 中心像素點的鄰域結(jié)構(gòu)

局部極小值圖的效果見圖4。在該步驟之后，每個圖像從灰度圖轉(zhuǎn)換為具有低噪聲和銳化對象的二值圖像。

圖4 局部極小值效果圖

2.3 扣件精確定位

為了進一步濾除扣件以外的無關(guān)圖像區(qū)域，需進行扣件定位。扣件的精確定位可以簡化后續(xù)的扣件識別難度，基于扣件的二值圖像，采用模板匹配方法實現(xiàn)扣件的精確定位。為了提高丟失扣件的定位準確率，把同一個軌枕上相對的兩個扣件整體作為模板，扣件模板見圖5。這樣，當有一側(cè)扣件丟失時，由于對側(cè)的扣件會起到牽制作用，模板匹配算法仍然可以完成對丟失扣件的精確定位，避免了以單個扣件為模板導致的對丟失扣件的錯誤定位，進而導致后續(xù)的扣件識別錯誤。

由于模板與匹配圖像均是二值圖像，為了降低噪聲對匹配結(jié)果的影響，算法在計算相似性時，可以將模板作為掩膜，只計算掩膜下的相似性。為了減少計算量，采用計算復雜度低的絕對差作為模板匹配算法的相似性測度

T(s,t)]∧T(s,t)|

1≤i≤l-L+1 1≤j≤m-M+1

(4)

式中：S(x,y)為大小l×m的搜索圖像；T(x,y)為大小L×M的模板圖像；∧為邏輯與運算符。

在實現(xiàn)扣件定位時，設S(x,y)為扣件局部極小值圖(圖4)，設T為扣件模板圖(圖5)。首先取模板大小的滑動窗口遍歷整個搜索圖，并根據(jù)式(4)計算窗口下子圖與模板的相似度，得到相似性矩陣D；然后在所有取到的子圖中，找到與模板圖相似度最高的子圖作為最終匹配結(jié)果。如果D(i，j)是相似性矩陣D中的最小元素，那么匹配得到的子圖位置就是(i，j)，即扣件在搜索圖中的位置，扣件定位的示例見圖6。

圖5 本文算法使用的模板

圖6 扣件定位的示例圖像

2.4 扣件區(qū)域特征提取

目標圖像經(jīng)過上述處理后，按照扣件區(qū)域的二值圖像進行扣件特征提取?？奂棗l是扣件受力的關(guān)鍵部分，彈條斷裂是扣件常見的故障形式，扣件丟失也可看作是上下彈條同時斷裂，因此，通過檢測上下彈條是否存在便可推斷出扣件是否斷裂或丟失?；谝陨戏治觯疚奶崛】奂舷聫棗l的區(qū)域特征作為扣件識別的特征。

根據(jù)扣件結(jié)構(gòu)的先驗知識，首先分割出扣件上下彈條區(qū)域，它們在扣件子圖中是兩個固定矩形區(qū)域，見圖7(a)。然后根據(jù)二值圖像形態(tài)學操作，分別找出上下彈條范圍內(nèi)面積最大的八連通區(qū)域，見圖7(b)。最后分別計算上下彈條的最大連通區(qū)域的面積以及質(zhì)心并將它們作為扣件的區(qū)域特征用以后續(xù)的扣件缺陷識別，見圖7(c)。

圖7 扣件區(qū)域特征提取示意

2.5 扣件缺陷識別

完成扣件特征提取后，利用這些特征進行扣件缺陷識別。由于扣件區(qū)域特征包括三個分量(面積、質(zhì)心橫坐標、質(zhì)心縱坐標)，結(jié)合扣件缺陷識別任務對識別結(jié)果的具體要求(盡可能不漏檢，誤檢可以適當放寬)，本文采用決策樹算法實現(xiàn)扣件缺陷識別。決策樹依據(jù)目標特征的重要程度依次對每一個特征都做一個劃分，后一個劃分是基于前一個劃分的結(jié)果，最終生成多個葉節(jié)點，完成目標的分類。

本文所用的決策樹具體結(jié)構(gòu)見圖8，首先用區(qū)域面積V1(特征分量1)和兩個閾值T0、T1將整個數(shù)據(jù)集劃分成三部分，排除大部分正常和缺陷扣件，難以區(qū)分的部分留給下一個特征區(qū)分；然后用區(qū)域質(zhì)心橫坐標V2(特征分量2)和閾值T2從上次劃分殘留的部分中繼續(xù)排除缺陷扣件；最后用區(qū)域質(zhì)心縱坐標V3(特征分量3)和閾值T3將余下的數(shù)據(jù)進一步劃分為兩部分。決策樹中所用的閾值由先驗知識和試驗統(tǒng)計結(jié)果得到，其中CH與CV分別為對應矩形彈條區(qū)域中心的橫縱坐標值?？奂毕葑R別完畢，系統(tǒng)將丟失和斷裂扣件的原始圖像存于不同的文件夾里，以供人工確認，養(yǎng)護人員根據(jù)原始圖像上的里程信息標簽，就能迅速找到缺陷扣件并更換。

圖8 決策樹結(jié)構(gòu)圖

3 試驗結(jié)果與分析

3.1 試驗準備

使用由鐵路巡檢系統(tǒng)在多條高速鐵路線路上采集到的鐵路圖像測試本文提出的扣件缺陷自動檢測算法。為了與實際使用工況保持一致，從不同線路區(qū)間選取多種環(huán)境和背景下的圖像組成測試數(shù)據(jù)集，包括雨天、新線路、老線路、低光照、不同形狀扣件等。測試數(shù)據(jù)集共包含50 000幅圖像，每幅圖像包括6個扣件，其中缺陷扣件圖像(丟失或斷裂)500幅，其余為正?？奂D像。試驗的其他關(guān)鍵參數(shù)設置如下：w=h=3；n=6；T0=110；T1=180；T2=3；T3=4。

3.2 扣件缺陷檢測試驗

測試數(shù)據(jù)集被用于測試本文算法，并在試驗中對比了兩種典型的扣件缺陷檢測算法，包括基于向量場特征的檢測算法，基于融合梯度特征與紋理特征的檢測算法，所有算法都使用VS2010編碼實現(xiàn)。使用漏檢率(未檢出的缺陷圖像占總?cè)毕輬D像的比值)和誤檢率(錯誤檢出的缺陷圖像占總測試圖像的比值)作為評估試驗性能的指標。

不同扣件檢測算法的試驗性能對比見表1。由表1可知，本文提出的檢測算法性能最佳，漏檢率與誤檢率均低于其他算法。漏檢率為0.6%，較低的漏檢率可以發(fā)現(xiàn)更多潛在的安全風險，是巡檢員最關(guān)心的因素。誤檢率為0.32%，因此檢測100 km的線路，僅有大約160幅圖像需要人工確認，這是巡檢員可以接受的工作強度。部分漏檢示例見圖9。由圖9(a)可知，扣件彈條斷裂且不在原位，但是彈條的壓痕明顯，導致該區(qū)域的二值圖像與正?？奂浅Ｏ嗨啤Ｓ蓤D9(b)可知，扣件彈條雖然斷裂，但仍留在原位，形成了與正?？奂嗨频耐庥^。因此，它們都被錯誤地檢測為扣件彈條存在。

表1 扣件識別結(jié)果

圖9 漏檢示例圖像

4 結(jié)論

開發(fā)基于機器視覺的鐵路巡檢系統(tǒng)是提高高速鐵路列車效率、可靠性、安全性的有效途徑。通過這種自動巡檢系統(tǒng)，可以將巡檢員從耗時而且枯燥的工作中解脫出來，他們只需要對自動檢出的故障圖像進行人工復查即可。本文提出了一種新的基于局部區(qū)域特征的缺陷扣件檢測方法。在分析扣件圖像特點的基礎上，利用扣件極小值區(qū)域圖以及模板匹配實現(xiàn)扣件精確定位，接著提取扣件的區(qū)域特征并送進決策樹完成扣件圖像的分類。試驗表明本文算法表現(xiàn)良好。

然而，由于高速鐵路線路圖像背景復雜、環(huán)境多變、圖像數(shù)量巨大，本文扣件檢測算法在性能上仍有提升空間，尤其是誤檢率仍偏高。當前算法在特征提取時只考慮了局部區(qū)域內(nèi)像素的大小關(guān)系，沒有考慮像素的絕對灰度值。在以后的工作中，我們將同時考慮局部區(qū)域內(nèi)灰度值的相對關(guān)系和絕對大小以提取更具區(qū)分性的特征，進一步提升扣件檢測算法性能。