采用非經典感受野交互的鋼軌緊固件螺母中心多特征分級定位算法

彭智勇,馬子驥,王超,劉宏立

(湖南大學電氣與信息工程學院,410082,長沙)

鋼軌緊固件對于保證鐵路安全來說至關重要,傳統(tǒng)的更換和檢修緊固件的方法是通過人工方式。通過人工方式對鋼軌進行檢修效率低且危險系數高。隨著機器視覺的發(fā)展,人們提出了一些通過視覺的方法自動檢測緊固件缺失和失效的方法。Marino等提出了一套實時六角螺母檢測系統(tǒng),采用離散小波變換和多層感知機分類器[1];Yang等提出了一種基于方向場的模板匹配緊固件缺失檢測方法[2];Xia等采用Adaboost算法來檢測緊固件損壞情況[3];Fang等提出了直線局部二值模式LLBP算法,利用二值化圖像特征檢測緊固件是否缺失[4];Gibert等利用緊固件圖像的梯度直方圖HOG特征,采用SVM算法進行緊固件狀態(tài)分類[5];Aytekin等采用高速3D相機來實現六角螺母實時檢測[6];Mazzeo等利用小波變換和主成分分析法對緊固件圖像進行預處理,然后通過分類判斷六角螺母是否缺失[7];Singh等引入自動視頻分析技術,結合圖像處理和分析方法實現扣件狀態(tài)檢測[8]。然而,這些算法的目的都在于判定緊固件是否缺失或者損壞。為了搭建一套能夠自動更換磨損和失效緊固件的系統(tǒng),有必要對緊固件中的六角螺母中心位置進行精確定位。對于緊固件整體的定位,謝鳳英等提出一種利用互信息的模板匹配緊固件定位法[9];劉甲甲等利用鋼軌和軌枕位置信息,采用交叉定位方法分割出緊固件子圖像[10]。通過緊固件的整體定位獲取緊固件子圖像,在子圖像上對緊固件六角螺母的中心進行定位,可以減少原始圖片大小,提高算法時間效率。

Li等提出了一種基于Canny算子和霍夫變換的六角螺母定位方法[11],該方法的應用背景不同于鋼軌緊固件環(huán)境,該方法中檢測的是用于電力系統(tǒng)的六角螺母,可以獲得較為清晰的原始圖片,而在鐵路系統(tǒng)中,緊固件受陰影、污漬、鐵銹以及碎石的影響,難以獲得干凈完整的圖像。實驗結果表明,簡單地使用Canny算子和霍夫變換來定位緊固件,定位結果準確率低,不能滿足要求。圖1給出了一幅鋼軌緊固件的現場照片和Canny算子處理結果。原始圖片中的緊固件受油漬和其他雜物的影響,從Canny算子處理結果可以看出,大部分有效輪廓都被淹沒在背景噪聲中。

本文提出了一種基于輪廓特征的定位方法,需要正確提取出六角螺母的邊和墊片的圓輪廓。Grigorescu等提出了一種生物視覺啟發(fā)輪廓檢測模型,即非經典感受野(NCRF)模型[12]。NCRF模型能夠有效抑制紋理和噪聲并保留物體真實輪廓。本文首先針對緊固件的特征對NCRF模型進行改進,提出適用于緊固件結構的R-NCRF模型,能夠有效地抑制緊固件輪廓檢測中的噪聲,接著使用霍夫變換檢測墊片的圓輪廓和六角螺母的六角邊,最后結合圓輪廓和六角邊輪廓來精確定位六角螺母中心。

(a)現場照片 (b)Canny算子處理結果圖1 鋼軌緊固件照片及Canny算子輪廓檢測結果

1 六角螺母中心定位算法

1.1 R-NCRF模型

NCRF模型是一種模擬生物視覺系統(tǒng)的輪廓檢測算法,旨在抑制紋理并保留物體輪廓。Grigorescu等提出了各向同性抑制和各向異性抑制兩種非經典感受野抑制模型[12]。Tang等在此基礎上提出了一種蝶形NCRF模型[13],加入端區(qū)刺激效應。其他改進模型也被相繼提出[14-17]。許慶功提出了一種結合人眼視覺特性的Roberts自適應邊緣檢測算法[18],該算法提高了抗噪能力,然而,由于Roberts算子是一種局部梯度算子,提取輪廓的能力有限。

蝶形NCRF模型由位于中心的經典感受野(RF)區(qū)域和周邊的NCRF區(qū)域組成。經典感受野區(qū)域包含一個特定方向的Gabor濾波器,非經典感受野包括側抑制區(qū)和端刺激區(qū)。圖2給出了蝶形NCRF模型示意圖。

圖2 蝶形NCRF模型

刺激響應能夠促進輪廓聚集,在蝶形NCRF模型中位于端刺激區(qū)中的所有點都會對中心點產生刺激效果,距離和方向對比度越小,對中心點的刺激作用越強烈。然而,針對緊固件輪廓檢測任務,需要提取的輪廓特征是已知的,即六角形和圓。因此,本文對一般的蝶形NCRF模型進行改進,使之更好地適應緊固件檢測的需求。

具體來說,對于六角邊輪廓,只有與中心共線的點才對中心產生刺激作用。共線點的刺激作用使得處于同一直線上的點相互加強,突出了直線輪廓。對于圓來說,與中心點處于同一圓弧的點對中心產生刺激作用,使得位于同一圓輪廓上的點相互加強,突出圓形輪廓。在系統(tǒng)中,相機高度固定,因此圖像中圓的半徑固定。在已知圓半徑和點的方向后,點所在的圓弧可以通過幾何關系確定。圖3給出了點所在的圓弧路徑。其中,θ是Gabor能量方向,R1、R2和R3是刺激路徑,由兩段圓弧和一條直線段組成,在此路徑上的點對點M有刺激作用,刺激大小取決于路徑上的點與M點之間的距離和Gabor能量方向對比度。

圖3 半徑和方向信息確定點所在的圓弧

同時檢測六角邊特征和圓特征,總的刺激能量表示如下

ioc(x,y;θ)]

(1)

式中:WDOG(x,y)是歸一化的高斯差分函數,用于調節(jié)距離對中心的影響權重;E(x,y;θ)是Gabor能量;ioc(x,y;θ)是方向對比度;R是刺激路徑,包括R1、R2和R3,只有在此路徑上的點才會對中心有刺激效果。

在非經典感受野區(qū)域中,除了刺激路徑以外的其他區(qū)域都作為抑制區(qū)。刺激路徑在整個非經典感受野區(qū)域中所占比例很小,為了簡單起見,把所有非經典感受野區(qū)域都視為抑制區(qū),等效于各向同性抑制。抑制能量表示如下

(2)

總的能量響應為

Er(x,y;θ)=E(x,y,θ)+

β1Ee(x,y,θ)+β2Ei(x,y,θ)

(3)

其中β1、β2分別是刺激能量和抑制能量系數,用于控制其對中心點的影響程度。計算出所有點的能量響應后,使用Canny算子中的非極大值抑制和滯后門限處理流程得到輪廓二值圖像。路經非經典感受野(R-NCRF)模型如圖4所示。

圖4 R-NCRF模型

對于圖像中位于噪聲區(qū)域中的點,周邊噪聲的分布無規(guī)律性,刺激路徑上的刺激總能量較小,如圖5a中的A點。當點位于刺激路徑上時(如圖5a中的B點位于直線輪廓上),中心點從刺激路徑上獲得的總的刺激能量較大,加強這些位于給定形狀路徑上的能量響應,可從背景噪聲中突出緊固件中墊片的圓形輪廓和六角螺母的邊輪廓。

1.2 多特征分級定位(MHL)算法

利用R-NCRF模型得出圖像輪廓結果作為中心定位的輸入圖像,圖6給出了一幅應用R-NCRF模型得出的輪廓檢測二值結果。通過輪廓檢測算法得出的輪廓一般是不完整的,例如圖6只保留了部分輪廓特征,圓輪廓和六角邊輪廓有缺失。

中心定位的下一步是從這些不完整的輪廓中準確定位出六角中心,利用的特征越多,定位的魯棒性和準確性越好。多特征分級定位算法結合墊片的圓輪廓特征和六角螺母的六角邊特征來定位螺母中心。

(a)位于不同區(qū)域的兩點

(b)周邊能量總和

(c)總的能量響應圖5 R-NCRF模型原理示意圖

(a)現場照片 (b)R-NCRF處理結果圖6 鋼軌緊固件照片及R-NCRF輪廓檢測結果

研究發(fā)現,圓輪廓特征通常比較穩(wěn)定,因此首先選取圓輪廓來進行初步定位。應用霍夫圓變換檢測出墊片的圓輪廓,然后利用霍夫概率直線檢測算法[19]檢測位于圓內的所有線段,這些線段是六角邊的候選邊。六角形的各條邊之間存在約束關系,稱之為角度約束,即任意兩條邊之間的夾角滿足0°、60°、120°中的一種。候選邊中的每條邊都和其他所有邊有交點,當交角滿足角度約束關系且交點落在圓內時,交點被選為候選頂點。

六角形的頂點之間也存在約束關系,稱之為距離約束,即任意兩頂點之間的距離滿足一定條件。以圖7為例,任意兩點間的距離滿足AB、AC、AD中的一種。相機高度固定時,3種距離值也隨之確定。利用距離約束,可以從候選頂點中選出正確的六角頂點。

圖7 角度約束和距離約束

采用投票法從候選點中選出正確頂點。每一個候選頂點給其他候選頂點(例如點B)投票,當點B到此頂點之間的距離不滿足距離約束時,點B將會獲得一票。錯誤的候選點和其他所有頂點之間的距離一般不滿足距離約束條件,因此將會獲得其余所有點的投票。正確候選點之間滿足距離約束關系,因此正確的候選點不會獲得來自其他正確候選點的投票,所獲得的總票數更少。

已知六角形的兩個頂點即可通過幾何關系求出六角中心,已知3個頂點可求出3個六角中心。對多個六角中心取均值可減小誤差,提高魯棒性。多特征分級定位算法綜合利用多種特征,由粗到精逐級提高定位精度。首先選出兩個得票最少的點,求出六角中心O1。若O1與圓心O之間的距離d1小于給定閾值,即d1=O1O<ε時,認為O1定位正確,O1作為六角中心定位位置,否則以圓心作為六角中心定位位置。若O1定位正確,選出第3個得票最少的頂點,與前面兩個點組成一個點三元組。三元組中的點兩兩連成一條線段,作線段的中垂線。三條中垂線交于三點,取三點的均值坐標作為中點O2,計算O2與O1之間的距離d2,若滿足d2=O2O1<ε,認為O2定位正確,把O2作為新的六角中心點。為了敘述方便,本文中把定位到圓心的精度水平稱為C0級,通過兩點定位到的中心精度水平稱為C1級,通過3個點定位到的中心精度水平稱為C2級。一般情況下,定位精度C2>C1>C0。

2 六角螺母中心定位實驗

2.1 仿真噪聲圖實驗

R-NCRF模型能夠有效地抑制背景噪聲并加強緊固件輪廓。首先使用合成的椒鹽噪聲圖片來模擬緊固件雜亂的工作環(huán)境和各種干擾。分別使用Canny算子、蝶形NCRF模型和R-NCRF模型對噪聲圖片進行輪廓檢測,然后使用霍夫變換算法檢測圓。圖8給出了信噪比為0.4時3種算法的噪聲圖輪廓檢測結果。

(a)S為0.4時的加噪圖像 (b)Canny算子

(c)NCRF模型

(d)R-NCRF模型

從圖8可以看出,與蝶形NCRF模型相比,R-NCRF模型加強了圓輪廓和直線輪廓,R-NCRF模型的刺激區(qū)由扇形縮小為3條刺激路徑,擴大了抑制區(qū)范圍,對輪廓的形狀更有針對性。

2.2 不同條件下的圓輪廓檢測

真實工作環(huán)境下的緊固件主要受陰影、背景雜物、表面污漬和鐵銹的影響,下雨天氣導致的緊固件表面積水也會影響輪廓檢測。本實驗對各種情況分別采集了100幅圖片,比較Canny算子、蝶形NCRF和R-NCRF3種模型的圓檢測準確率。圓檢測準確率是正確檢測出墊片圓輪廓的圖片和總圖片數量的比值。如果用T表示正確檢測到圓輪廓的圖像數,N表示圓輪廓檢測錯誤的圖像數,則圓檢測準確率為

P=T/(T+N)

圖9給出了不同狀態(tài)下的緊固件圖片和不同算法的圓檢測結果。表1給出了不同狀態(tài)下3種算法的樣本圓檢測準確率。從表1中可以看出,同Canny算子相比,蝶形NCRF和R-NCRF的圓檢測準確率有較大提升。檢測結果受污漬影響最大,其次是陰影影響。表面污漬容易引起大尺度上的輪廓中斷或改變輪廓的方向,在這些輪廓中斷和方向改變的地方,刺激路徑上的刺激能量減弱,降低R-NCRF模型的性能。相比之下,陰影情況下,輪廓雖然強度有所減弱,但是輪廓依然是連續(xù)的,刺激路徑可以從連續(xù)的周邊輪廓中獲得刺激能量,加強這些受陰影影響的弱響應輪廓。

(a)無干擾情況 (b)受陰影影響 (c)受雜亂背景影響

(d)受表面污漬影響 (e)受表面水漬影響

圖9 各種不同狀態(tài)下的緊固件圖片及圓檢測結果

2.3 螺母中心定位

當定位出圓后,就得到了六角中心的C0級定位精度,接下來利用六角邊提高定位的精度和魯棒性。為了驗證提出的六角螺母定位算法的有效性,首先選取一幅典型工作環(huán)境下的緊固件照片,觀察多特征分級定位算法每一步的輸出結果。為了敘述簡潔,這里跳過兩個點的C1級定位,直接選出3個頂點進行C2級定位。圖10給出了緊固件螺母中心的多特征分級定位算法總體流程。圖10a中原始圖片中的緊固件受油漬、陰影、雜物和背景碎石的影響,選出的圖片具有代表性。與圖1中Canny算子的結果相比,采用R-NCRF模型的輪廓檢測二值結果,大幅度抑制了噪聲輪廓,而且保留了更多的有效輪廓特征。應用霍夫變換檢測圓成功地定位到了墊片的圓輪廓;對圓內輪廓應用霍夫概率直線檢測檢出直線。利用六角邊之間的角度約束選出候選邊,候選邊相交形成候選頂點。從圖10e中可以看出,候選點中包含一個錯誤的頂點,利用六角形頂點之間的距離約束,選出3個正確的頂點。最后,利用3個頂點準確定位出六角螺母中心。

(a)原始圖片 (b)輪廓二值結果 (c)霍夫圓檢測

(d) 確定候選邊 (e) 確定候選 (f) 通過投票法選 頂點 出正確頂點

(g)三頂點定位中心 (h)最終定位結果圖10 螺母中心多特征分級定位算法總體流程

2.4 誤差評估

針對中心定位精度達到C1級或C2級的圖片,本文提出了一種誤差評估的方法。由于工藝誤差的存在,六角螺母并不是標準的正六邊形,因此無法測量其真正的六角中心,這給誤差評估帶來了一定的困難。一般情況下,墊片中心和六角螺母中心重合。相機成像平面平行于墊片平面和六角螺母上表面,因此圖像中的圓輪廓中心也應重合于六角形中心。實際情況下,由于誤差的存在使得兩個中心并不重合,這兩個中心之間的距離可以用來衡量誤差大小。假設圓心和六角中心之間的距離為d0,六角形對角線長度為L,則六角螺母中心定位的相對誤差er=d0/L。

由于除了算法誤差之外的其他誤差存在,如墊片和六角螺母的加工誤差、相機抖動導致成像平面與螺母表面不平行等,給出的相對誤差評估方法只能作為誤差數量級的一個參考。

從能夠正確檢測到圓輪廓的圖像中選取100幅進行定位等級評估和誤差評估,結果見表2。

表2 定位等級和誤差評估結果

3 結 論

本文提出了一種基于圖像的鋼軌緊固件中心定位算法,該算法利用路徑非經典感受野交互模型對圖像進行紋理和噪聲抑制,與蝶形非經典感受野模型相比,本文模型更好地保留了緊固件特征輪廓,正常條件下和光照影響條件下的圓檢測準確率分別提高了3%和24%。多特征分級定位MHL算法結合緊固件的圓輪廓和六角輪廓的約束條件,從不完整輪廓中精確定位出了緊固件中心。對不同干擾情況下的圖像定位結果進行分析比較,得出如下結論:

(1)針對鋼軌緊固件特性設計的路徑非經典感受野(R-NCRF)模型能夠有效地抑制圖像中的各種干擾噪聲,加強緊固件中的圓輪廓和直線輪廓。尤其是在圖像受光照不均影響時,該模型顯著增強了陰影部分輪廓。

(2)通過緊固件圓輪廓和六角邊輪廓之間以及六角形各邊之間的約束關系,可以從不完全的輪廓中精確定位出緊固件中心。

利用本文提出的緊固件中心定位算法得到的緊固件中心位置信息可用于緊固件自動裝卸系統(tǒng),實現緊固件裝卸的自動化。