變焦雙目立體視覺系統(tǒng)在地鐵軌道檢測中的應(yīng)用研究

湯文亮，馬浩航*，鐘 樺，樊曉東，袁 柯

（1.華東交通大學(xué) 信息工程學(xué)院，南昌 330013；2.西安電子科技大學(xué) 電子工程學(xué)院，西安 710071；3.南京火眼猴信息科技有限公司，南京 210000）

0 引言

城市軌道交通作為國家重要基礎(chǔ)設(shè)施，對推進(jìn)城市現(xiàn)代化進(jìn)程、改善交通運(yùn)輸環(huán)境、引導(dǎo)優(yōu)化城市空間布局、帶動城市經(jīng)濟(jì)創(chuàng)新發(fā)展具有巨大推動作用[1，2]。軌道作為城市軌道交通重要組成部分，其出現(xiàn)安全隱患將嚴(yán)重威脅軌道交通安全運(yùn)營及人民群眾的生命財(cái)產(chǎn)安全，必須及時(shí)檢測并排除[3，4]。

對于軌道檢測而言，我國目前多采用人工巡檢模式，需考慮列車運(yùn)行時(shí)間及工作人員安全，且勞動量巨大，漏檢率高。當(dāng)前，地鐵軌道檢測研究向非接觸式、智能化、集成化、自動化發(fā)展。其中，候智雄[5]等人提出借助物聯(lián)網(wǎng)及移動互聯(lián)網(wǎng)技術(shù)，設(shè)計(jì)一種嵌入智能檢測系統(tǒng)的設(shè)備使其搭載在運(yùn)營客車上，設(shè)備具有小型化、低成本等特點(diǎn)，但隨著列車高速運(yùn)行，很難實(shí)現(xiàn)高精度檢測；候濤[6]等人通過改進(jìn) MOG-LRMF算法，提升鐵路環(huán)境下動態(tài)入侵異物檢測的檢測精確度，同時(shí)算法具有較好的抗干擾性和快速性，但其對于高精度軌面檢測（如軌面擦傷等）并不適用；李歡[7]等人設(shè)計(jì)了軌道扣件檢測系統(tǒng)，通過有限元分析，得到軌道扣件車載檢測系統(tǒng)具有良好的穩(wěn)定性和剛度，實(shí)驗(yàn)室階段符合扣件檢測的精度要求，但并沒有進(jìn)行實(shí)地測試；文獻(xiàn)[8～11]主要研究激光測距儀用于軌道檢測，檢測系統(tǒng)發(fā)射激光光束，若軌檢車前方異物會反射激光，接受裝置通過獲取激光判斷異物位置，系統(tǒng)具有高抗干擾、探測能力強(qiáng)等優(yōu)點(diǎn)，但無法用于高精度軌道病害檢測。

雙目立體視覺在工業(yè)測量、機(jī)器人、生物醫(yī)學(xué)等方面有著非常廣泛的研究和應(yīng)用[12～14]，但對于地鐵軌道檢測而言，檢測范圍較大，如果采用傳統(tǒng)的定焦雙目系統(tǒng)會出現(xiàn)檢測精度不高、圖像不清、出現(xiàn)塊效應(yīng)等問題。本文提出的雙目變焦系統(tǒng)能有效解決上述問題。

1 地鐵軌道檢測目標(biāo)分析

1）鋼軌擦傷。鋼軌擦傷多由車輪空轉(zhuǎn)引起，易發(fā)生在內(nèi)燃、電力牽引階段，長度20mm～100mm不等，擦傷處會產(chǎn)生堆高，不及時(shí)排除易引發(fā)鋼軌其他隱患如裂紋、核傷等。

2）扣件缺失和歪斜。一般由列車運(yùn)行振動引起，易導(dǎo)致列車運(yùn)行平穩(wěn)性降低、輪軌相互作用加劇。

3）軌枕開裂。由施工缺陷、列車運(yùn)行、環(huán)境溫度等多種因素引發(fā)，不加修補(bǔ)會進(jìn)一步開裂，危害列車平穩(wěn)運(yùn)行。

4）道床異物。一般包括鋼軌上斷裂的部件、碎石塊等，隨著列車高速引起，可能引發(fā)異物彈起擊穿列車，對列車安全運(yùn)行危害巨大。

2 雙目變焦基本原理

雙目變焦就是把兩個(gè)攝像機(jī)更大程度化模擬人眼以獲得更清晰的圖像，然后通過計(jì)算左右相機(jī)的圖像位置點(diǎn)差異，結(jié)合視差原理以求取監(jiān)測目標(biāo)的幾何信息[15]。雙目變焦原理模型如圖1所示。

圖1 雙目變焦原理

理想狀態(tài)下，把兩個(gè)攝像機(jī)看作是在同一水平線上，其中OL和OR表示左右攝像機(jī)的光心，其連線為基線b，左右像平面到光心的距離為焦距f，PR和PL分別為點(diǎn)P在左右攝像機(jī)的投影點(diǎn)，兩點(diǎn)間橫坐標(biāo)差值為視差d。隨著焦距的改變，左右光心變?yōu)镺`L和O`R，P在像平面的投影點(diǎn)變?yōu)镻`L和P`R，左右像素坐標(biāo)系OL-xlyl和OR-xryr變成O`L-x`l y`l和O`R-x`ry`r，相機(jī)坐標(biāo)系OL-XLYLZL和OR-XRYRZR變成了OL-X`LY`LZ`L和OR-X`RY`RZ`R，世界坐標(biāo)系為OW-XWYWZW，以初始焦距下右像平面為例，設(shè)PR在右像平面坐標(biāo)為（ur，vr），根據(jù)右像平面坐標(biāo)和世界坐標(biāo)系的映射關(guān)系有：

其中，s為比例系數(shù)，dx，dy為相元在x，y方向的單位長度，R為旋轉(zhuǎn)矩陣，T為平移矩陣，XW，YW，ZW即為空間點(diǎn)P的坐標(biāo)，M為內(nèi)參矩陣，A為外參矩陣，同理可以根據(jù)點(diǎn)P在左平面的的坐標(biāo)PL（ul，vl），得出映射關(guān)系。由于理想狀態(tài)下，左右攝像機(jī)嚴(yán)格水平放置，然后根據(jù)視差原理：

整理后得到空間中點(diǎn)P與在左右像平面的投影PL和PR的關(guān)系有：

根據(jù)式(1)、式(3)，結(jié)合實(shí)時(shí)測量獲得的PL和PR的坐標(biāo)，即可獲得空間中點(diǎn)P的三維坐標(biāo)。

3 變焦雙目軌道檢測系統(tǒng)組成

雙目變焦系統(tǒng)可以安裝在軌檢車上，系統(tǒng)主要由圖像采集模塊、相機(jī)標(biāo)定模塊、特征提取模塊、立體匹配模塊、三維重建模塊五部分組成。如圖2所示。

圖2 雙目變焦系統(tǒng)組成

圖像采集模塊，即通過雙目變焦系統(tǒng)中的攝像頭、數(shù)字相機(jī)即圖像采集卡獲取檢測區(qū)域圖像。采集時(shí)需考慮系統(tǒng)應(yīng)用的實(shí)時(shí)性，及不同位置相機(jī)的性能、環(huán)境光照、視點(diǎn)差別等。

相機(jī)標(biāo)定模塊，是確定相機(jī)內(nèi)外部參數(shù)，找到像平面與三維空間映射關(guān)系的過程[16]，對于雙目而言，標(biāo)定還需確定左右相機(jī)的相對位置關(guān)系。相機(jī)標(biāo)定的準(zhǔn)確性直接影響后續(xù)三維重建的精度。本系統(tǒng)采用MATLAB Stereo Camera Calibrator工具箱進(jìn)行標(biāo)定，這種標(biāo)定方法基于張氏標(biāo)定法，具有方便快捷，魯棒性強(qiáng)，精度高的優(yōu)點(diǎn)。

特征提取模塊，特征提取的特征點(diǎn)一般為圖像關(guān)鍵點(diǎn)，在進(jìn)行特征提取前，由于圖像采集模塊獲取的圖像會存在噪聲和畸變，首先需要對采集的圖像進(jìn)行預(yù)處理，然后根據(jù)特征提取算法如SIFT算法、SURF算法等進(jìn)行特征點(diǎn)提取。

立體匹配模塊，由于左右相機(jī)的位置不同、角度不同及焦距變化導(dǎo)致兩幅圖像存在差異，需通過匹配左右攝像機(jī)的相同點(diǎn)消除差異。在匹配相同點(diǎn)時(shí)一般假定兩個(gè)攝像機(jī)嚴(yán)格水平放置，即左圖像上的特征點(diǎn)沿著極線平移能與右圖像的相對特征點(diǎn)重合，左右圖像的視差變化是連續(xù)的。

三維重建模塊，基于前四個(gè)模塊的工作，重構(gòu)檢測區(qū)域的三維景象。

4 硬件組成

雙目變焦軌道檢測系統(tǒng)硬件部分主要包括左右變焦攝像機(jī)，工業(yè)筆記本，車體。主要以軌檢車的形式，有利于檢測系統(tǒng)實(shí)用性，其結(jié)構(gòu)如圖3所示，主要參數(shù)如表1所示。

圖3 檢測系統(tǒng)硬件組成

表1 系統(tǒng)主要硬件參數(shù)

5 實(shí)驗(yàn)分析

5.1 變焦雙目系統(tǒng)標(biāo)定實(shí)驗(yàn)

標(biāo)定的一般流程如圖所示，首先自制8×8棋盤格標(biāo)定模板，模板上每個(gè)正方形格子邊長為15mm，分別設(shè)定左右相機(jī)在25mm、30mm、35mm、40mm、45mm、50mm六種焦距，各拍攝15組不同角度圖片。

圖4 雙目標(biāo)定步驟

然后將圖片輸入MATLAB Stereo Camera Calibrator工具箱中，工具箱自動進(jìn)行圖像角點(diǎn)檢測，省去了傳統(tǒng)標(biāo)定手動設(shè)置角點(diǎn)步驟，提高標(biāo)定效率，部分角點(diǎn)檢測圖如圖5所示。

圖5 部分焦距的角點(diǎn)檢測圖（圖a f=45mm,圖b f=35mm）

將標(biāo)定不同焦距下的15組標(biāo)定結(jié)果取平均值，得到相機(jī)的內(nèi)參數(shù)，如表2所示。

表2 不同焦距下標(biāo)定結(jié)果

根據(jù)所得出的標(biāo)定結(jié)果，算出不同焦距下的相對誤差如圖6所示。

圖6 不同焦距下的相對誤差

如圖可以看出不同焦距下的fl，fr，ul，vl，ur，vr的相對誤差都低于0.05，可以看出借助Stereo Camera Calibrator工具箱進(jìn)行不同焦距下雙目標(biāo)定，標(biāo)定精度高，魯棒性強(qiáng)，且操作簡便，未來應(yīng)用前景廣闊。

5.2 應(yīng)用實(shí)例

將搭載變焦雙目系統(tǒng)的軌檢車進(jìn)行實(shí)地測試，結(jié)果表明搭載變焦雙目系統(tǒng)的軌檢車能夠準(zhǔn)確地確定軌道關(guān)鍵部件的位置，并且快速地調(diào)整相機(jī)焦距以獲取清晰的細(xì)節(jié)圖像。

短焦鏡頭下圖像視野較大便于目標(biāo)檢測。圖7所示為較短焦距參數(shù)下某段鐵軌的實(shí)地采集雙目圖像，其中四個(gè)扣件可以出現(xiàn)在同一場景中，但是其分辨率均較低不利于后續(xù)的細(xì)節(jié)分析和病害發(fā)現(xiàn)。

在本文變焦雙目系統(tǒng)中，通過自動快速拉長焦距可以進(jìn)一步獲得扣件的高清晰細(xì)節(jié)圖像，如圖8所示，對應(yīng)圖7左圖中方框表示扣件目標(biāo)。圖像質(zhì)量充分證明了本文變焦雙目系統(tǒng)的有效性。

圖7 較短焦距下獲取的左右雙目圖像

圖8 較長焦距下獲取的清晰細(xì)節(jié)圖像

圖9和圖10進(jìn)一步展示了上述兩種焦距下三維重建點(diǎn)云的對比結(jié)果。圖9所示點(diǎn)云由圖7雙目圖像所生成，在整體三維結(jié)構(gòu)上視覺效果較好，能夠與圖像中的二維場景相互映證，但是在目標(biāo)扣件處的點(diǎn)云仍然較稀疏，三維結(jié)構(gòu)細(xì)節(jié)不足。

圖9 整體三維點(diǎn)云投影

圖10是較長焦距下圖8所示扣件的三維重建點(diǎn)云。可以明顯發(fā)現(xiàn)，圖8中包含的目標(biāo)扣件細(xì)節(jié)信息更豐富。這對于后續(xù)的病害發(fā)現(xiàn)和分析尤其重要。

圖10 變焦后扣件的三維點(diǎn)云在不同視角下的投影

由于搭載在軌檢車上的變焦雙目僅有俯視拍攝角度，從其他角度觀察會發(fā)現(xiàn)點(diǎn)云空洞，這在一定程度上會影響檢測結(jié)果。這一問題可以根據(jù)實(shí)際需求通過增加拍攝角度來解決。

6 結(jié)語

本文提出將雙目變焦系統(tǒng)放置于軌檢車上以進(jìn)行快速、高精度的軌道檢測，研究結(jié)果表明，標(biāo)定過程借助Stereo Camera Calibrator工具箱進(jìn)行不同焦距下雙目標(biāo)定，能有效增加標(biāo)定精度、穩(wěn)定性，且操作方便快捷；系統(tǒng)在實(shí)地操作的過程中能夠準(zhǔn)確地確定軌道關(guān)鍵部件的位置，并快速調(diào)整到最佳焦距來獲取清晰的細(xì)節(jié)圖像，圖像滿足后續(xù)的病害發(fā)現(xiàn)和分析要求；實(shí)驗(yàn)過程中，搭載在軌檢車上的變焦雙目僅有俯視拍攝角度，從其他角度觀察會發(fā)現(xiàn)點(diǎn)云空洞，這在一定程度上會影響檢測結(jié)果，但可以根據(jù)實(shí)際需求通過增加拍攝角度來解決。