基于環(huán)形對(duì)稱Gabor變換的接觸網(wǎng)銷釘檢測(cè)研究

高聰，林建輝，鄧韜，楊見(jiàn)光

(西南交通大學(xué) 牽引動(dòng)力國(guó)家重點(diǎn)實(shí)驗(yàn)室，四川 成都 610031)

0 引言

接觸網(wǎng)是電氣化鐵路的重要組成部分，接觸網(wǎng)支持與懸掛裝置工作狀態(tài)的好壞直接影響列車受流狀況及其受流質(zhì)量，與接觸網(wǎng)的安全狀態(tài)息息相關(guān)[1]。隨著高速鐵路6C系統(tǒng)的發(fā)布實(shí)施，針對(duì)接觸網(wǎng)系統(tǒng)中的關(guān)鍵零部件，利用高清相機(jī)結(jié)合圖像處理技術(shù)進(jìn)行定位識(shí)別及故障分析已經(jīng)成為主要研究方法[2]。

隨著C4檢測(cè)系統(tǒng)技術(shù)指標(biāo)要求不斷細(xì)化，基于圖像處理技術(shù)的非接觸式檢測(cè)技術(shù)研究不斷深化。文獻(xiàn)[3]利用改進(jìn)的HOG特征及離散余弦變換特征增強(qiáng)，訓(xùn)練AdaBoost分類器檢測(cè)承力索座、利用圓弧檢測(cè)和聚類判別輔助承力索缺失；文獻(xiàn)[4]基于HOG特征與二維Gobor小波變換實(shí)現(xiàn)耳片斷裂故障檢測(cè)；文獻(xiàn)[5]基于LBP-HOG實(shí)現(xiàn)了接觸網(wǎng)旋轉(zhuǎn)雙耳區(qū)域識(shí)別；文獻(xiàn)[6]利用HOG特征與支持向量機(jī)和AdaBoost 分類器級(jí)聯(lián)的方法實(shí)現(xiàn)接觸網(wǎng)斜撐套筒的定位；文獻(xiàn)[7]基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法實(shí)現(xiàn)接觸網(wǎng)定位器檢測(cè)和識(shí)別；文獻(xiàn)[8]利用HOG特征以及支持向量機(jī)和極限學(xué)習(xí)機(jī)實(shí)現(xiàn)了定位線夾的定位和檢測(cè)；文獻(xiàn)[9]利用LBP和HOG特征實(shí)現(xiàn)了絕緣子的定位和檢測(cè)。

針對(duì)待檢測(cè)圖像，基于積分圖方法描述圖像旋轉(zhuǎn)不變LBP(rotation invariant local binary pattern)與HOG(histogram of oriented gradients)的融合特征和支持向量機(jī)，采用多尺度滑動(dòng)窗口檢測(cè)旋轉(zhuǎn)雙耳，實(shí)現(xiàn)旋轉(zhuǎn)雙耳定位識(shí)別；采用圓弧檢測(cè)實(shí)現(xiàn)旋轉(zhuǎn)雙耳銷釘準(zhǔn)確定位；利用環(huán)形對(duì)稱Gabor變換(circularly symmetrical Gabor transform, CSGT)完成銷釘圖片紋理邊緣信息的特征提取，最后結(jié)合BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)旋轉(zhuǎn)雙耳銷釘穿插狀態(tài)的判斷識(shí)別。該檢測(cè)方法的流程圖如圖1所示。

1 旋轉(zhuǎn)雙耳識(shí)別及銷釘定位

旋轉(zhuǎn)雙耳的定位識(shí)別可分為樣本訓(xùn)練和定位識(shí)別兩個(gè)階段。樣本訓(xùn)練主要利用特征提取算法計(jì)算正負(fù)樣本兩類的融合特征，訓(xùn)練線性支持向量機(jī)(SVM)分類器。定位識(shí)別主要采用多尺度檢測(cè)方法以及窗口合并，實(shí)現(xiàn)對(duì)不同大小旋轉(zhuǎn)雙耳的定位識(shí)別。

1.1 旋轉(zhuǎn)不變LBP特征

LBP是一種能夠有效度量和提取圖像局部紋理信息的算子，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)[10]。由于具有對(duì)光照不敏感的特性，是紋理和人臉識(shí)別中一種重要的特征提取方法[11]。原始的LBP算子定義為在3×3的窗口內(nèi)，以窗口中心點(diǎn)gc處的像素為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若相鄰像素值大于或等于中心像素值，則該標(biāo)記為1，否則為0。相鄰域內(nèi)8個(gè)點(diǎn)經(jīng)過(guò)比較可產(chǎn)生8位二進(jìn)制數(shù)，轉(zhuǎn)換為十進(jìn)制數(shù)即LBP碼，共有256種。

圖1 銷釘穿插狀態(tài)判別流程圖

(1)

改進(jìn)后的圓形LBP允許在半徑為R的圓形鄰域內(nèi)有任意多個(gè)采樣點(diǎn)，當(dāng)采樣點(diǎn)坐標(biāo)為非整數(shù)時(shí)，參考鄰域4個(gè)整數(shù)坐標(biāo)處灰度值，采用線性插值計(jì)算該采樣點(diǎn)灰度值。為了去除旋轉(zhuǎn)對(duì)LBP值所產(chǎn)生的影響，獲得唯一LBP值，定義旋轉(zhuǎn)不變LBP算子如下：

LBP(gc)=min(ROR(LBP(gc),i))

(2)

式中ROR(LBP(gc),i)代表將LBP二進(jìn)制模式按照順時(shí)針?lè)较蛞莆籭次，找到最小LBP值，即為旋轉(zhuǎn)不變LBP算子[12]。對(duì)于8個(gè)采樣點(diǎn)，有36種旋轉(zhuǎn)不變LBP模式。

1.2 HOG特征

HOG即梯度方向直方圖特征，是一種針對(duì)圖像局部重疊區(qū)域的描述符, 它通過(guò)計(jì)算局部區(qū)域的梯度方向直方圖來(lái)構(gòu)成特征[13]。HOG特征提取的過(guò)程包括：每一個(gè)檢測(cè)窗口劃分成若干個(gè)細(xì)胞單元(cell)，相鄰4個(gè)細(xì)胞單元組成1個(gè)塊(block)，塊與塊之間可以相互重疊。針對(duì)每個(gè)細(xì)胞單元中的像素點(diǎn)I(x,y)，利用如下公式計(jì)算梯度大小m(x,y)和方向θ(x,y)：

dx=I(x+1,y)-I(x-1,y)

(3)

dy=I(x,y+1)-I(x,y-1)

(4)

(5)

(6)

對(duì)每一個(gè)塊中的特征進(jìn)行直方圖歸一化，消除光照變化帶來(lái)的影響。

(7)

式中:v為未歸一化處理的特征向量；υnorm為歸一化處理后的特征向量；‖υ‖2為v的二范數(shù)；無(wú)窮小量ε防止分母為0，所有塊的特征向量連接在一起即為檢測(cè)窗口HOG特征。根據(jù)文獻(xiàn)[14]中實(shí)驗(yàn)證明，將360°分為9個(gè)梯度方向，即每個(gè)梯度方向?yàn)?0°時(shí)檢測(cè)效果較好。

1.3 訓(xùn)練線性支持向量機(jī)及旋轉(zhuǎn)雙耳定位識(shí)別

支持向量機(jī)是利用正負(fù)樣本數(shù)據(jù)，尋找滿足分類間隔最大的超平面，可在小樣本提供的有限特征數(shù)據(jù)下尋找最優(yōu)分類結(jié)果。支持向量機(jī)將不能線性分離的數(shù)據(jù)通過(guò)特定的非線性映射函數(shù)投影到某個(gè)高維特征空間中，在此高維空間尋找一個(gè)最佳超平面，使樣本分類可以滿足類間間隔最大[15]。

正負(fù)樣本剪切于接觸網(wǎng)支撐與懸掛裝置高清圖像，樣本尺寸統(tǒng)一縮放為128×64，正負(fù)樣本如圖2和圖3所示。樣本HOG特征描述時(shí)，將圖像劃分為8×8的cell，2×2個(gè)cell組成一個(gè)block，每個(gè)cell取9個(gè)方向描述特征，1個(gè)block包含4×9=36維特征向量，HOG特征為15×7×36=3 780維向量。樣本旋轉(zhuǎn)不變LBP特征描述時(shí)，選擇圓形LBP描述算子，取半徑R=2，采樣數(shù)P=8。1個(gè)block統(tǒng)計(jì)特征向量為36維，旋轉(zhuǎn)不變LBP特征為15×7×36=3 780維向量。正負(fù)樣本旋轉(zhuǎn)不變LBP與HOG的融合特征向量維數(shù)為7 560，利用所有正負(fù)樣本進(jìn)行訓(xùn)練線性支持向量機(jī)，得到訓(xùn)練后的模型。

圖2 正樣本

圖3 負(fù)樣本

在檢測(cè)圖像中是否含有旋轉(zhuǎn)雙耳時(shí)，采用積分圖的方法描述圖像旋轉(zhuǎn)不變LBP特征和HOG特征，檢測(cè)窗口大小設(shè)置為128×64，檢測(cè)過(guò)程采用多尺度滑動(dòng)窗口掃描，滑動(dòng)步長(zhǎng)為8，通過(guò)合并檢測(cè)結(jié)果中同類窗口完成旋轉(zhuǎn)雙耳最終定位識(shí)別，旋轉(zhuǎn)雙耳檢測(cè)結(jié)果如圖4所示。

圖4 檢測(cè)結(jié)果圖

1.4 旋轉(zhuǎn)雙耳銷釘區(qū)域定位識(shí)別

首先將旋轉(zhuǎn)雙耳區(qū)域圖片尺寸統(tǒng)一縮放為640×320，對(duì)圖像預(yù)處理后利用Canny算子對(duì)旋轉(zhuǎn)雙耳圖像進(jìn)行邊緣信息的提取，采用圓弧檢測(cè)的方法實(shí)現(xiàn)銷釘?shù)臏?zhǔn)確定位。設(shè)定圓弧半徑范圍為(15,25)，可在旋轉(zhuǎn)雙耳正面圖像中檢測(cè)出包含銷釘在內(nèi)的3個(gè)圓弧，通過(guò)圓弧間的相對(duì)位置關(guān)系可以準(zhǔn)確定位銷釘圓弧位置。以圓弧中心位置為中心點(diǎn)，以80×80尺寸剪裁得到雙耳配合處銷釘準(zhǔn)確定位圖片，銷釘識(shí)別定位過(guò)程如圖5所示。

圖5 銷釘定位結(jié)果

2 基于環(huán)形對(duì)稱Gabor和BP神經(jīng)網(wǎng)絡(luò)的銷釘穿插狀態(tài)檢測(cè)

旋轉(zhuǎn)雙耳配合處銷釘背景為耳片，此處銷釘穿插雖然具有相似的形狀結(jié)構(gòu)，但穿插角度不固定，在銷釘穿插狀態(tài)檢測(cè)中不能使用傳統(tǒng)的水平或豎直灰度投影的方法?；诃h(huán)形對(duì)稱Gabor提取銷釘圖片特征，利用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)銷釘穿插正常、松脫及缺失狀態(tài)檢測(cè)，銷釘穿插的3種狀態(tài)如圖6所示。

圖6 銷釘穿插3種狀態(tài)圖

2.1 環(huán)形對(duì)稱Gabor變換

Gabor小波可以近似地模仿人眼視覺(jué)識(shí)別機(jī)制，實(shí)現(xiàn)多尺度和多方向的描述能力。傳統(tǒng)的Gabor函數(shù)中的方向選擇是離散的，不具有旋轉(zhuǎn)不變性。待識(shí)別的圖像中特征具有的方向和角度是不確定的。為了對(duì)圖像特征進(jìn)行更全面的描述，采用環(huán)形對(duì)稱Gabor變換進(jìn)行特征提取，文獻(xiàn)[16]中將環(huán)形對(duì)稱Gabor變換應(yīng)用到人臉識(shí)別領(lǐng)域并取得理想效果。環(huán)形對(duì)稱Gabor變換是忽略式中方向參數(shù)，表達(dá)式如下：

(8)

為了使窗口函數(shù)大小適應(yīng)尺度大小，降低卷積時(shí)的計(jì)算量，可以根據(jù)窗口的大小選擇合適的模板以適應(yīng)各不同尺度。σ/kν決定高斯窗口寬度的大小，文獻(xiàn)[17]取r=floor(nσ/kν)，n可取2,3,4等的方法確定模板的邊長(zhǎng)為2r+1。選擇ν∈{0,1,2,3,4}，n=2，即在5個(gè)尺度下選擇模板r=floor(2σ/kν)對(duì)圖像進(jìn)行環(huán)形對(duì)稱Gabor變換。保證模板可以覆蓋窗口函數(shù)的主要信息，提高特征提取時(shí)的效率。圖7為環(huán)形對(duì)稱Gabor變換的5個(gè)尺度幅值圖像。

圖7 環(huán)形對(duì)稱Gabor的 5個(gè)尺度幅值圖像

2.2 BP神經(jīng)網(wǎng)絡(luò)

在故障識(shí)別分類中，采用機(jī)器學(xué)習(xí)算法中的人工神經(jīng)網(wǎng)絡(luò)。本文使用BP神經(jīng)網(wǎng)絡(luò)，由包含1個(gè)輸入層、1個(gè)輸出層和1個(gè)或者多個(gè)隱層的神經(jīng)網(wǎng)絡(luò)組成，相鄰層之間的神經(jīng)元為全連接，同一層之間的神經(jīng)元無(wú)連接。訓(xùn)練方法采用BP算法，其核心思想是基于誤差反向傳播對(duì)權(quán)重矩陣進(jìn)行校正。在實(shí)際輸出值與期望值輸出不同時(shí)，會(huì)不斷修正權(quán)值，對(duì)網(wǎng)絡(luò)進(jìn)行校正。

在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，隱層節(jié)點(diǎn)數(shù)少會(huì)導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)能力差，隱層節(jié)點(diǎn)數(shù)多容易導(dǎo)致缺乏記憶主要信息的能力，混入大量非規(guī)律的次要信息[18]。多隱層的網(wǎng)絡(luò)相對(duì)單隱層網(wǎng)絡(luò)具有相對(duì)較強(qiáng)的學(xué)習(xí)能力，合理設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)和選取學(xué)習(xí)速率等訓(xùn)練參數(shù)十分重要。選擇學(xué)習(xí)速率的初始值范圍一般為(0.01,0.8)，節(jié)點(diǎn)個(gè)數(shù)可取經(jīng)驗(yàn)公式：

(9)

式中：n為輸入層神經(jīng)元個(gè)數(shù)；m為輸出層神經(jīng)元個(gè)數(shù)；p為隱層神經(jīng)元個(gè)數(shù)；a為修正常數(shù)。

2.3 特征融合及BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

利用環(huán)形對(duì)稱Gabor變換對(duì)圖像進(jìn)行特征處理后，將幅值最大值、幅值最小值和幅值平均圖進(jìn)行融合，可以突出表達(dá)旋轉(zhuǎn)雙耳銷釘紋理信息，邊緣對(duì)比度較大，特征信息較明顯。原始旋轉(zhuǎn)雙耳銷釘圖片尺寸相對(duì)較大，本文選擇將銷釘圖片尺寸分別縮放為10×10、15×15、20×20、25×25和30×30進(jìn)行測(cè)試訓(xùn)練。訓(xùn)練過(guò)程選用60張穿插正常狀態(tài)、80張穿插松脫狀態(tài)、60張穿插缺失狀態(tài)樣本3類融合特征圖訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)，利用環(huán)形對(duì)稱Gabor變換對(duì)銷釘穿插正常狀態(tài)圖像進(jìn)行特征提取后的結(jié)果如圖8所示。

圖8 銷釘穿插正常狀態(tài)特征圖

實(shí)驗(yàn)證明選擇圖片尺寸為15×15結(jié)合使用雙隱層BP神經(jīng)網(wǎng)絡(luò)模型時(shí)有較好的分類識(shí)別結(jié)果，學(xué)習(xí)速率取0.03。BP神經(jīng)網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)量為675，輸出層神經(jīng)元數(shù)量為3；根據(jù)經(jīng)驗(yàn)公式和實(shí)驗(yàn)，第1層隱含層神經(jīng)元數(shù)量取20，第2層隱含層神經(jīng)元數(shù)量取為10。

3 檢測(cè)結(jié)果

在Microsoft Visual C++下基于OpenCV圖像處理平臺(tái)利用本文提出方法，對(duì)43張來(lái)自C4接觸網(wǎng)檢測(cè)系統(tǒng)采集到的接觸網(wǎng)支持與懸掛裝置現(xiàn)場(chǎng)高清圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果如表1所示。

表1 接觸網(wǎng)旋轉(zhuǎn)雙耳定位識(shí)別結(jié)果

利用40張旋轉(zhuǎn)雙耳高清圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，基于圓弧檢測(cè)正確定位38張圖片的銷定區(qū)域，漏檢2張，具有較高的定位精度。

利用旋轉(zhuǎn)雙耳銷釘樣本對(duì)訓(xùn)練模型進(jìn)行驗(yàn)證，其中0代表正常樣本，1代表松脫樣本，2代表缺失樣本，實(shí)驗(yàn)結(jié)果如表2所示(表中“—”表示數(shù)據(jù)不存在)。

表2 銷釘狀態(tài)判別結(jié)果

分析實(shí)驗(yàn)結(jié)果可知，定位算法針對(duì)旋轉(zhuǎn)雙耳檢測(cè)具有較高的定位識(shí)別精度，能夠定位識(shí)別正反面及不同尺度下的旋轉(zhuǎn)雙耳。在檢測(cè)圖像背景干擾較小，只包含單個(gè)旋轉(zhuǎn)雙耳時(shí)具有檢測(cè)精度高的優(yōu)點(diǎn)；在包含2個(gè)旋轉(zhuǎn)雙耳時(shí)具有較高的檢測(cè)精度，漏檢是由于相機(jī)拍攝角度導(dǎo)致未檢測(cè)到的旋轉(zhuǎn)雙耳與后面接觸網(wǎng)支持與懸掛裝置中絕緣子與腕臂部分存在較大重疊與干擾，影響檢測(cè)結(jié)果；對(duì)于不包含旋轉(zhuǎn)雙耳的其他接觸網(wǎng)支持與懸掛裝置圖像無(wú)漏檢和誤檢。模型針對(duì)旋轉(zhuǎn)雙耳銷釘穿插的3種狀態(tài)整體有較好的識(shí)別分類效果，其中對(duì)穿插缺失狀態(tài)正確判別率為96.78%，具有很高的識(shí)別率。對(duì)穿插松脫狀態(tài)的正確判別率雖然只有86.67%，但基本全部誤判為穿插缺失。對(duì)穿插正常狀態(tài)正確判別率為90.32%，具有較高的識(shí)別率。分析誤檢情況的圖片，存在不清晰等問(wèn)題，進(jìn)行特征提取時(shí)不能很好地表達(dá)紋理邊緣信息。

4 結(jié)語(yǔ)

實(shí)驗(yàn)結(jié)果表明，檢測(cè)方法在較復(fù)雜的背景干擾下可實(shí)現(xiàn)旋轉(zhuǎn)雙耳正反面及不同尺度下的定位識(shí)別，利用圓弧精定位旋轉(zhuǎn)雙耳銷釘以及BP神經(jīng)網(wǎng)絡(luò)判別穿插狀態(tài)具有較高的識(shí)別精度。本文對(duì)接觸網(wǎng)支持與懸掛裝置零部件定位識(shí)別進(jìn)行了有益的研究，在實(shí)現(xiàn)接觸網(wǎng)關(guān)鍵零部件故障缺陷智能識(shí)別方面進(jìn)行了嘗試。