雙目結(jié)構(gòu)光的鋼軌表面缺陷檢測系統(tǒng)設(shè)計(jì)

張　華，趙碧霞，劉桂華，王靜強(qiáng)，王　姮

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621000)

0　引言

目前，鋼軌探傷領(lǐng)域采用的主要技術(shù)有超聲探傷技術(shù)、人工目視法、磁場法和電渦流法等。周鵬等[1]提出基于多激光線的鋼軌表面缺陷檢測方法。該方法主要通過向鋼軌表面投射多激光線，根據(jù)相機(jī)采集到的圖像進(jìn)行激光中心線提取等二維圖像處理，雖可以較好地解決由于鋼軌跳動(dòng)造成的“誤檢”問題，但是不能對(duì)細(xì)小的鋼軌裂紋進(jìn)行提取，無法得到鋼軌缺陷的深度信息。Canan Tas timur等[2]研究的基于形態(tài)特征的實(shí)時(shí)視頻缺陷檢測方法，采用形態(tài)學(xué)操作提取特征，并可識(shí)別缺陷區(qū)域。該方法在不同方向和照明條件下均有較高的識(shí)別率。Lin C等[3]提出了基于局部鄰域的表面缺陷檢測方法，利用局部鄰域窗口在整個(gè)檢查圖像上滑動(dòng)，將變異系數(shù)用于均勻性度量。由于無缺陷區(qū)域產(chǎn)生的變異系數(shù)值比缺陷區(qū)域更小，故用閾值法提取和分割缺陷區(qū)域，以提高計(jì)算效率。但該算法僅用于檢測一個(gè)單獨(dú)的特征，不具有普遍適用性。采用以上方法得到的均為有缺陷的二維信息，而非三維信息。所以，針對(duì)裂紋等缺陷，通過上述方法并不能很好地求解深度信息。

本文提出了基于多攝像機(jī)的鋼軌表面三維檢測方法。通過結(jié)合多對(duì)雙目相機(jī)組成的多攝像機(jī)系統(tǒng)與線結(jié)構(gòu)光，根據(jù)圖像預(yù)處理、高斯擬合和極線約束等方法，重建鋼軌樣品的表面輪廓信息，可直觀地獲得鋼軌長度方向上的全貌信息以及缺陷的輪廓和深度信息。

1　相關(guān)原理

1.1　單目相機(jī)標(biāo)定

本文采用張正友平面標(biāo)定方法[4]求解攝像機(jī)內(nèi)外參數(shù)。該方法具有較高的精度和魯棒性。其基本原理為：在攝像機(jī)視場范圍內(nèi)，采集標(biāo)定板的多幅圖像。設(shè)Z=0，K為3×3的攝像機(jī)內(nèi)參數(shù)矩陣，M=(XYZ)T為標(biāo)定板平面上點(diǎn)的齊次坐標(biāo)，m=(uv1)T為標(biāo)定板平面上的點(diǎn)投影到圖像平面上的對(duì)應(yīng)點(diǎn)齊次坐標(biāo)，R=[r1r2r3]和T=[tXtVtZ]T分別為標(biāo)定板相對(duì)于攝像機(jī)坐標(biāo)系中的旋轉(zhuǎn)矩陣和平移向量，λ為常數(shù)因子，則有：

(1)

當(dāng)且僅當(dāng)靶標(biāo)平面拍攝的圖片數(shù)大于3時(shí)，可唯一確定攝像機(jī)內(nèi)參數(shù)矩陣R。根據(jù)攝像機(jī)內(nèi)外參數(shù)矩陣的關(guān)系，便可求出攝像機(jī)的外參數(shù)矩陣。

1.2　多目相機(jī)標(biāo)定

多目標(biāo)定除了要求出各相機(jī)的內(nèi)外參數(shù)[5-6]，還要求出各相機(jī)之間的相對(duì)位置關(guān)系。以三目相機(jī)為例，設(shè)Ck、Cp為相機(jī)之間位置關(guān)系的矩陣，其中k、p分別為1、2、3，則相機(jī)的位置關(guān)系可以表示為：

Ck=RckpCp+tckp

(2)

式中：Rckp為相機(jī)p到相機(jī)k的旋轉(zhuǎn)矩陣；tckp為相機(jī)p到相機(jī)k的平移向量。

將世界坐標(biāo)系作為中間變量，便可得到相機(jī)的位置關(guān)系：

(3)

(4)

式中：Rp為單目相機(jī)在相同世界坐標(biāo)系下的旋轉(zhuǎn)矩陣；tp為平移向量。

則對(duì)于不同位置n幅標(biāo)定板圖片計(jì)算得到的Rckp和tckp，根據(jù)非線性最小二乘(levenberg marquardt，LM)算法，優(yōu)化方程如下：

Rckp,tckp=minJ

(5)

式中：minJ為優(yōu)化目標(biāo)；J=J1+J2+J3。

3臺(tái)相機(jī)的約束關(guān)系如下：

(6)

(7)

(8)

1.3　光條中心提取算法

線激光的光強(qiáng)分布近似高斯分布。本文采用高斯擬合方式提取激光中心線[7-8]。由于圖像是由大量的水平線(橫截面)組成的，故以具有不同期望和方差的高斯信號(hào)作為基礎(chǔ)，最大程度擬合激光條紋圖像的橫截面。當(dāng)找到最佳擬合結(jié)果時(shí)，根據(jù)每個(gè)高斯信號(hào)的對(duì)稱中心來實(shí)現(xiàn)激光條中心的最佳估計(jì)。

假設(shè)采集的圖像為Mi,j(其中，i、j為圖像的像素坐標(biāo)值)。對(duì)于共有N行像素值的圖像，MN(j)為該橫截面圖像中編號(hào)為j的像素值序列。將序列號(hào)作為時(shí)間，則MN(t)成立。將經(jīng)過3次插值采樣的結(jié)果設(shè)為輸入信號(hào)mN(t)，內(nèi)插間隔為t=nTs和Ts。利用閾值法計(jì)算中心點(diǎn)和線寬，令u0為第一級(jí)高斯信號(hào)的初始能量中心，并令ui=u0+si(s為偏移量)；設(shè)z為1個(gè)高斯信號(hào)的可延展度，z=2σ2。其中，σ為線寬，可獲得第一級(jí)高斯分布的可延展信號(hào)z1。高斯信號(hào)序列為g(t)：

(9)

式中：g(t)為疊加而成的人工信號(hào)，該信號(hào)被稱為基本高斯信號(hào)。

(10)

式(10)用于計(jì)算每個(gè)基本高斯信號(hào)和輸入信號(hào)之間的相似性。此時(shí)，設(shè)第一層基本高斯信號(hào)的偏移量為0，且令g(t)=gz1,u0(t)，添加高斯信號(hào)的下一層，并計(jì)算人工信號(hào)g(t)。改變之前設(shè)定的基本高斯信號(hào)的偏移si，并利用式(11)計(jì)算人工信號(hào)和輸入信號(hào)之間的相關(guān)度。

(11)

找到相關(guān)度最大的偏移量si，則人工信號(hào)和輸入信號(hào)具有更高的相似性。重復(fù)多次計(jì)算，直到獲取最優(yōu)的基本高斯信號(hào)。通過每一個(gè)高斯信號(hào)能量中心的偏移量s1,s2,…,sm以及總偏移量T，得到當(dāng)rf(τ)最大時(shí)，人工信號(hào)與輸入信號(hào)非常相似，由此可以得到中心點(diǎn)的最佳估計(jì)。

(12)

式中：λi為不同能量中心的權(quán)重；ri為每個(gè)基本高斯函數(shù)和輸入信號(hào)之間的相似度。ri越高，表明輸入信號(hào)包括更多可擴(kuò)展尺度為zi的高斯信號(hào)。此外，η為每個(gè)高斯信號(hào)能量中心的影響程度的修正比例因子。

1.4　特征點(diǎn)匹配算法

為了重建激光掃描數(shù)據(jù)[9-14]，需要對(duì)2臺(tái)相機(jī)提取到的激光條紋進(jìn)行匹配，在不同視點(diǎn)下投影圖像中，尋找1條激光線在像素間的對(duì)應(yīng)關(guān)系。本文采用極線約束的方法，對(duì)于1幅圖像上的每一個(gè)像素點(diǎn)，它所對(duì)應(yīng)的另一幅圖像上的像素點(diǎn)一定在1條特定的極線上。同時(shí)，它又在這條激光條紋上，則這條極線和激光線的交點(diǎn)就是所求的匹配點(diǎn)。

(13)

式中：u1=(xi1,yi1,1)T；u2=(xi1,yi1,1)T。

對(duì)獲得的匹配點(diǎn)進(jìn)行對(duì)稱性測試，將從左圖像到右圖像的極限約束算法重新應(yīng)用于右圖像到左圖像，并去除只有1個(gè)方向滿足或者2個(gè)方向都不滿足的約束關(guān)系的匹配，即可得到正確的匹配特征點(diǎn)，用于后續(xù)計(jì)算。

2　試驗(yàn)驗(yàn)證

2.1　系統(tǒng)結(jié)構(gòu)

本系統(tǒng)分為運(yùn)動(dòng)控制模塊、圖像采集模塊和軟件處理模塊。運(yùn)動(dòng)控制模塊主要控制鋼軌樣品在水平方向上的運(yùn)動(dòng)，包括傳送帶、編碼器及鋼軌樣品。圖像采集模塊主要包括多對(duì)雙目相機(jī)、線激光發(fā)射器等。軟件處理模塊主要包括圖像處理設(shè)備、圖像顯示設(shè)備、I/O設(shè)備等。將鋼軌樣品置于傳送帶上，通過運(yùn)動(dòng)控制模塊的編碼器控制其進(jìn)行單向運(yùn)動(dòng)。編碼器通過獲取移動(dòng)的距離信息，觸發(fā)圖像采集模塊的多目攝像機(jī)拍照。攝像機(jī)將采集到的帶有激光線的圖像經(jīng)數(shù)據(jù)線傳送到計(jì)算機(jī)控制模塊，進(jìn)行相應(yīng)的三維視覺處理。如果鋼軌樣品表面不存在缺陷，且不考慮鋼軌端面形狀的誤差與鋼軌的擺動(dòng)、扭動(dòng)等因素，則激光光帶在鋼軌表面的投影是固定的。如果鋼軌表面存在缺陷，則激光光帶在鋼軌表面缺陷處發(fā)生變化。通過激光光帶坐標(biāo)的變化情況，可獲得鋼軌表面缺陷的三維信息。將重建得到的鋼軌三維輪廓信息與標(biāo)準(zhǔn)鋼軌輪廓信息作對(duì)比，判斷是否存在缺陷。若存在缺陷，即返回缺陷的深度。

測量系統(tǒng)硬件結(jié)構(gòu)如圖1所示。

圖1　系統(tǒng)硬件結(jié)構(gòu)圖Fig.1　System hardware structure

為了全面重建鋼軌的輪廓，本文設(shè)計(jì)并構(gòu)建了圖像采集模塊，如圖2所示。

圖2　圖像采集模塊Fig.2　Image acquisition module

該模塊共包括5臺(tái)攝像機(jī)、4臺(tái)線性激光發(fā)射器。由相鄰的2臺(tái)相機(jī)組成一對(duì)雙目系統(tǒng)。每臺(tái)激光器位于兩個(gè)相機(jī)之間，成30°～45°角。

本文使用分辨率為640 dpi×480 dpi的彩色工業(yè)相機(jī)，采用線寬為650 nm可調(diào)的紅色線激光器。傳送帶速度為1 m/s。傳送帶每運(yùn)動(dòng)1 mm，編碼器觸發(fā)一次攝像機(jī)采集1次圖像。中央處理器主頻為2.13 GHz，內(nèi)存容量為4 GB。系統(tǒng)搭建環(huán)境為Win7操作系統(tǒng)，編程開發(fā)環(huán)境為Visual Studio 2010。

2.2　試驗(yàn)結(jié)果

通過軟件設(shè)計(jì)界面控制相機(jī)拍攝棋盤格標(biāo)定板的圖片，并利用相機(jī)單目、多目標(biāo)定得到相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣。將紅色線激光投射至鋼軌樣品表面，由相機(jī)采集帶有線激光的圖片，經(jīng)過預(yù)處理、高斯擬合及特征點(diǎn)匹配算法后獲得匹配點(diǎn)。對(duì)獲得的匹配點(diǎn)與相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣進(jìn)行變換，得到三維坐標(biāo)信息。圖3為重建得到的三維點(diǎn)云圖。

圖3　三維點(diǎn)云圖Fig.3　3D cloud map

在標(biāo)準(zhǔn)鋼軌樣品的結(jié)構(gòu)重建過程中，獲得的部分點(diǎn)云圖如圖3(a)所示，經(jīng)過點(diǎn)云拼接得到的完整的點(diǎn)云圖如圖3(b)所示。存在缺陷的鋼軌樣品的結(jié)構(gòu)重建過程中，獲得的部分點(diǎn)云圖如圖3(c)所示，經(jīng)過點(diǎn)云拼接得到的完整的點(diǎn)云圖如圖3(d)所示。對(duì)比兩種樣品的點(diǎn)云圖，可以清晰地看到圖3(c)淺色部分即為缺陷，可據(jù)此對(duì)鋼軌樣品進(jìn)行判定。系統(tǒng)測得缺陷的深度為0.49 mm，已知缺陷的深度為0.51 mm，則測量誤差為4%。

3　結(jié)束語

本文提出了一種基于多目立體視覺的鋼軌表面輪廓三維重建方法。與傳統(tǒng)鋼軌表面缺陷檢測方法相比，該方法能夠全面重建鋼軌的輪廓并獲得三維信息。本文詳細(xì)介紹了系統(tǒng)方案，著重論述了三維重建的原理，設(shè)計(jì)了基于Visual Stdio 2010的鋼軌三維實(shí)時(shí)重建和缺陷檢測軟件系統(tǒng)，并對(duì)該方案進(jìn)行了基于試驗(yàn)平臺(tái)的驗(yàn)證。根據(jù)試驗(yàn)數(shù)據(jù)可知，該系統(tǒng)可以有效地檢測出鋼軌表面的一些缺陷深度信息，達(dá)到實(shí)時(shí)在線檢測的目的。

目前，該檢測系統(tǒng)仍存在一些不足，即沒有對(duì)二維和三維的圖像信息進(jìn)行共同檢測。對(duì)于一些深度缺陷較小的區(qū)域，例如裂紋等，利用線結(jié)構(gòu)光無法重建過小區(qū)域的三維輪廓。下一步需要將二維圖像處理和線結(jié)構(gòu)光三維重建相結(jié)合，以檢測鋼軌表面的缺陷。

參考文獻(xiàn):

[1] 周鵬,徐科,張春陽,等.基于多激光線的鋼軌表面缺陷在線檢測方法[J].北京科技大學(xué)學(xué)報(bào),2015(s1):18-23.

[3] 馬頌德,張正友.計(jì)算機(jī)視覺:計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社,1998.

[4] 李孟,周波,孟正大,等.三目立體相機(jī)的標(biāo)定研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015(2):69-73.

[5] 楊振先.多攝像機(jī)標(biāo)定技術(shù)研究及其應(yīng)用[D].長沙：湖南大學(xué),2011.

[6] FASOGBON P,DUVIEUBOURG L,MACAIRE L.Fast laser stripe extraction for 3D metallic object measurement[C]//Industrial Electronics Society,IECON 2016-42nd Annual Conference of the IEEE.IEEE,2016:923-927.

[7] LI C,YE X,GONG Y,et al.A center-line extraction algorithm of laser stripes based on multi-gaussian signals fitting[C]//2016 IEEE International Conference on Information and Automation (ICIA).IEEE,2016:189-194.

[8] 陳仲銘,彭凌西.線式激光中心二次通道提取算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(9):2464-2468.

[9] PAN Z.Research of target positioning technology in 3D digital photography[C]//International Conference on Smart Grid and Electrical Automation (ICSGEA).IEEE,2016:187-190.

[10]余樂文,張達(dá),張?jiān)?基于線結(jié)構(gòu)光的三維測量系統(tǒng)關(guān)鍵技術(shù)研究[J].光電子·激光,2016(2):156-161.

[11]毛佳紅,婁小平,李偉仙,等.基于線結(jié)構(gòu)光的雙目三維體積測量系統(tǒng)[J].光學(xué)技術(shù),2016,42(1):10-15.

[12]卜燕,王姮,張華,等.一種室內(nèi)障礙物與地面分割的快速方法[J].自動(dòng)化儀表,2016,37(10):13-15.

[13]HASHMI M F,KESKAR A G.Computer-vision based visual inspection and crack detection of railroad tracks[C]//Recent Advances in Electrical and Computer Engineering,2014:102-110.

[14]TENG Z,LIU F,ZHANG B.Visual railway detection by superpixel based intracellular decisions[M].NewYork:Kluwer Academic Publishers,2016.