基于機器視覺的軌道交通自動測距研究

畢嘉楨，沈 拓，2，張軒雄

(1.上海理工大學 光電信息與計算機工程學院，上海 200093； 2.同濟大學 上海市軌道交通結構耐久與系統(tǒng)安全重點實驗室，上海 201804)

隨著世界經(jīng)濟以及科學技術的高速發(fā)展，中國城市軌道交通規(guī)模也在逐年增加。隨著軌道交通客流量的增大以及行車速度的提高，列車制動距離也隨著慣性的增大而增大。由于制動距離不足而造成的列車追尾事故時有發(fā)生。城市軌道交通運行的安全性是保障居民平安出行的關鍵，行駛中前后列車之間的距離已成為列車運行安全的首要衡量標準，列車間距測量精度以及速度也尤為重要。

當列車行駛過程中出現(xiàn)信號燈故障或調度問題時，列車的高速度和遠距離的特性導致通過人眼來準確估計與前方列車尾部的距離較為困難。為了保障列車在特殊情況下仍能安全行車，需要列車測距系統(tǒng)來測量與前方列車車尾的距離，并將其轉化為可視化數(shù)據(jù)向駕駛員發(fā)出預警。

傳統(tǒng)的測距手段有激光[1]、雷達[1-4]、超聲波[5]等傳感器技術。相對于傳統(tǒng)的測距手段，視覺信號[6]的探測范圍更廣，目標信息更完整，成本也相對更低。文獻[7]提出了一種基于融合雷達(用于距離測量)和圖像傳感器(用于障礙物檢測)的鐵路障礙物檢測系統(tǒng)。隨著機器視覺技術的發(fā)展，不僅可以從圖像中獲取障礙物信息，還可以利用圖像實現(xiàn)距離的測量，因此更應該使用機器視覺技術獲得更多適合于系統(tǒng)集成的信息。文獻[8]預測智能交通系統(tǒng)(Intelligent Traffic System，ITS)可通過機器視覺來感知環(huán)境條件。在過去的幾年里，機器視覺測距系統(tǒng)也被廣泛使用于汽車領域。文獻[9]通過安裝在車尾的兩個攝像頭來捕捉立體圖像，并進行圖像處理，從而計算與后面車輛之間的距離，并將汽車之間的距離數(shù)據(jù)實時顯示給后方車輛。雖然該方法對距離的計算值是準確的，但由于雙目攝像頭測距算法復雜且標定困難，使得雙目測距系統(tǒng)延遲較大。文獻[10]使用汽車尾部的單個監(jiān)控攝像頭來對駕駛環(huán)境進行分析，通過圖像處理計算出與后方車輛之間的相對距離、速度和加速度。但該方法得到的測量量程和測量精度遠不能達到城市軌道交通的行駛需求。

本文基于機器視覺提出了一種簡單而精確的方法。目前基于單目視覺測距的方法在列車軌道領域還未見報道，并且傳統(tǒng)單目測距的方法是利用物體的實際被拍攝面積和該物體在圖像中被拍攝的圖像面積作比值，從而得出相機與被拍攝物體之間的距離。在列車軌道環(huán)境下，利用傳統(tǒng)單目測距的算法難以計算其面積特征，所以提出利用軌道的特殊環(huán)境，即軌道之間的距離始終為1 435 mm來優(yōu)化距離計算式。本文經(jīng)過實驗驗證了該系統(tǒng)能夠在200 m內有效檢測前方列車距離，可以滿足城市軌道交通安全行駛的要求。

1 軌道檢測

為了獲得行駛列車前方的信息，在列車車頭安裝了一個相機。將收集到的視頻數(shù)據(jù)傳輸?shù)教幚韱卧?，并將圖像分割成單幀圖片，然后利用卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)對圖片中的軌道進行有效檢測。

該方法包括兩個階段：(1)在第1階段中，利用卷積神經(jīng)網(wǎng)絡實現(xiàn)軌道環(huán)境圖像的像素級分類[11-12]。本文的網(wǎng)絡主要包括編碼層和解碼層。編碼層包括3個基本單元，其中兩個核為3且步長為1的卷積層和一個降采樣層為一個基本單元。通過3個最大值池化層得到原圖像的1/8尺寸，然后使用空洞卷積增強特征圖的感受野，從而對軌道進行有效提取。解碼層則使用反卷積層，將1/8尺寸的特征圖逐步還原到原始圖像的大小。將在反卷積過程中還原的圖像分別與編碼層降采樣所得到的同等尺寸的特征圖片進行融合，以提高檢測精度。整個過程如圖1所示；(2)第2階段采用多邊形擬合方法來優(yōu)化提取的軌道輪廓[11-14]。將兩條軌道始終平行這一特性作為有效的參考信息來優(yōu)化軌道檢測結果。圖2是在距離前方列車車尾40 m處采集的數(shù)據(jù)。通過卷積神經(jīng)網(wǎng)絡對其進行軌道檢測，其中圖2(a)和圖2(b)分別為原始圖像和檢測圖像。

圖1 卷積神經(jīng)網(wǎng)絡示意圖Figure 1. Schematic diagram of convolutional neural network

(a)

(b)圖2 原始圖像與檢測圖像對比圖 (a)原始圖像 (b)檢測圖像Figure 2. Comparison between original image and detected image (a) The original image (b) The detected image

在軌道檢測實驗當中，所有的精度結果都使用平均交并比(Mean Intersection Over Union，MIOU)和平均像素準確率(Mean Average Precision，MAP)來度量。MIOU與MAP的計算式如下

(1)

(2)

式中，k+1為類別的總個數(shù)(包含空類)；pii是第i類預測屬于第i類的像素數(shù)，為真正的數(shù)量；pij表示真實值為i，結果被預測為j的數(shù)量；pji表示真實值為j，被預測為i的數(shù)量；pij和pji分別表示假正像素數(shù)和假負像素數(shù)。本文使用分辨率為640×360的圖像進行預測。在得到預測圖像后，將其調整到與輸出值相同的分辨率，即可用標注圖和預測圖求出混淆矩陣，從而進一步對圖像進行評估。實驗結果顯示，該方法的MIOU和MAP分別為98.35%和99.15%，表明該方法可被應用于軌道環(huán)境。

由于采集圖像的條件有限制，實驗無法收集不同氣候下的圖像數(shù)據(jù)。為解決這一問題，如圖3所示，本文通過合成技術合成了虛擬圖像。本文以該虛擬圖像作為軌道圖像來模擬降雪氣候，并驗證了檢測方法對該天氣變化的魯棒性。結果表明，該軌道檢測方法在小雪(包括小雨)條件下仍然可以有效地工作。然而，在濃霧或其他惡劣天氣的情況下，該檢測方法的性能將受到限制。

圖3 雪景圖像檢測效果圖Figure 3. Snow image detection

2 距離公式推算

利用兩個軌道始終平行這一計算原則，不僅可以優(yōu)化軌道的檢測，還能簡化距離的計算步驟?；谛】壮上裨?，建立世界坐標系、相機坐標系、圖像坐標系和像素坐標系以及4個坐標系之間的映射關系[15-16]。以標準軌道間距(1 435 mm)為已知數(shù)據(jù)，推導二維圖像的幾何關系，從而優(yōu)化距離測量的推導計算式。

將三維場景通過攝像機投射到二維圖像平面上。設置任意點P1在世界坐標系中為(Xw，Yw，Zw)， 在相機坐標系中為(Xc，Yc，Zc)，在圖像坐標系中為(x，y)，在像素坐標系中為(u，v)。如圖4所示，Ow為世界坐標系的原點；Oc是相機光軸中心與鏡頭所在平面的交點，將其設置為相機坐標系的原點。圖像坐標系與像素坐標系都垂直于相機光軸。P1是世界坐標中的一個隨機點，P′2是P1在相機中的成像點，P′2是線段OcP1與圖像平面的交點，P2是P′2關于Oc的對稱點。

圖4 小孔成像模型坐標系Figure 4. Schematic diagram of pinhole imaging model

當世界坐標系中的一個點通過鏡頭從相機坐標系投影到圖像坐標系時，基于小孔成像原理，可以推導出世界坐標系與像素坐標系之間的對應關系

(3)

式中，R為3×3的旋轉矩陣；T為3×1的平移向量；0= (0，0，0)T；ax=f/dx；ay=f/dy；dx和dy分別是x軸和y軸上每個像素的物理尺寸；(u0，v0)是相機光軸與像素坐標系相交點的坐標；M1為攝像機的內部參數(shù)；M2為攝像機的外部參數(shù)。

將世界坐標系的原點設置在相機光軸上，即世界坐標系的Zw軸與相機坐標系的Zc軸在同一條直線上。特征點P1所在平面垂直于光軸，其中d為相機鏡頭到特征點P1所在平面的垂直距離，由此可以得到R=I，T= (0，0，d)T，P1點的世界坐標為(Xw，Yw， 0)，Zc=d，則式(3)可轉換為式(4)。

(4)

由式(4)可以通過像素坐標系中的坐標(u，v)推算出在世界坐標系中相對應的Xw與Yw的比值，如式(5)所示。

(5)

(6)

圖5 被測物體面積計算示意圖Figure 5. Diagram for calculating the area of the measured object

根據(jù)實際物體的正視圖面積與照片中圖像面積的比值，可以得到檢測目標的距離計算式。

(7)

但是在實際中，所拍攝的列車照片的尾部輪廓并不規(guī)則，這為檢測輪廓以及計算其面積的工作帶來了困難，使得研究人員難以從列車尾部得到精準的面積值。不僅如此，隨著距離的增加，剖面往往會變得更加模糊，增加了測量系統(tǒng)的測距結果誤差。本文通過上述軌道間固定的距離來優(yōu)化測距計算式，使其更加簡潔和精確。

如圖6中所示，在檢測到的兩條列車軌道的最遠端兩個頂點分別記作A和B，并且構造一個以AB線段為邊長，所在平面垂直于光軸的正方形ABB′A′。

圖6 列車軌道幾何算法示意圖Figure 6. Schematic diagram of the train track geometry model

根據(jù)實際世界中的AB長度(L)計算虛擬正方形在世界坐標系中的面積，其中L為軌道之間固定的實際距離，數(shù)值為1 435 mm。物體的實際面積可以表示為S=L2。該正方形在像素坐標系中的面積可以根據(jù)A、B兩點的像素坐標進行計算。L′是L在圖像上的投影長度，因此L′=uB-uA，S1=L′2。將A、B兩點的像素坐標代入式(7)中，就可以得到相機鏡頭到ABB′A′平面的垂直距離d，如式(8)所示。

(8)

最后，測量相機鏡頭到自身列車車頭最前端的水平距離d′ ，就可以得到自身列車車頭最前端到前方列車車尾的準確距離計算式，如式(9)所示。

D=d-d′

(9)

3 相機標定

基于機器視覺測距原理，根據(jù)張氏相機標定法[17-18]對采集圖像的攝像機的內部參數(shù)和外部參數(shù)進行標定。首先，對事先準備好的棋盤格標定板進行拍攝，通過多次改變拍攝位置和角度捕捉到幾張標定圖像。然后，通過OpenCV提取棋盤格圖像的角點以獲得更豐富的坐標信息，從而對相機進行精準標定，計算出相機的內外參數(shù)[15]。其中，

為相機的外部參數(shù)。

4 實驗結果及誤差分析

在1∶1列車軌道模型處，將攝像機放置在距離地面1.5 m處，并使其位于兩條軌道的中心。為了保證測量的精準度，在采集數(shù)據(jù)的過程中需要將相機的光軸與地平面的夾角固定在一個值上，分別在光軸與水平面的夾角為85°、90°和95°拍攝了一組照片，并將3組照片進行處理分析。每組的第1張照片是在距列車尾部40 m處拍攝，然后每向后推移20 m再采集張圖像，從而組成距離為40～200 m處的一組數(shù)據(jù)集。基于上述算法，在光軸與水平面的夾角為90°時所計算的測量距離與實際距離對比如表1所示。

表1 在90°時機器視覺測量結果與實際距離對比

為了進行有效的數(shù)據(jù)分析，本文還進行了多組對照實驗，即光軸與水平面的夾角為85°和95° 的距離測量實驗。結果表明，通過機器視覺計算得到的距離精度大于94%，并且測量每張圖片的時間成本在40 ms以內。在實際中，火車的制動距離取決于許多因素，包括速度、摩擦、延遲時間、剎車片和制動缸、地理位置、質量分布[17]。根據(jù)《鐵路技術管理規(guī)定》，直線運行的客運列車制動距離應滿足以下指標：初始制動速度為160 km·h-1、200 km·h-1和300 km·h-1時，制動距離分別小于1 400 m、2 000 m和3 700 m。因此，根據(jù)這些要求可以計算出列車的加速度分別為-0.70 m·s-2、-0.77 m·s-2和-0.94 m·s-2。在城市軌道交通中，列車的普遍運行速度為60 km·h-1，在地鐵的制動加速度為-0.70 m·s-2時，制動距離達200 m左右。因此，地鐵之間應該保持至少200 m的距離以避免列車追尾。此外，由于圖像檢測需要時間成本，所以高速運行列車的距離檢測滯后。在實際生活中，即使是當前軌道交通的最大速度，也可以以速度600 km·h-1，運算時間0.04 s進行粗略估算。依據(jù)此數(shù)據(jù)可得距離檢測的滯后距離<7 m(600 km·h-1×0.04 s =6.7 m)。計算期間產(chǎn)生的滯后距離所造成的誤差同樣滿足列車安全運行要求。

(a)

(b)

(c)圖7 誤差率和測量時間分析圖表 (a)85°實驗結果圖 (b)90°檢測圖像 (c)95°實驗結果圖Figure 7. The analysis chart of error rate and measurement time (a) Experimental result analysis at 85° (b) Experimental result analysis at 90° (c) Experimental result analysis at 95°

將3組(85°、90°、95°)所得的實驗數(shù)據(jù)繪制成如圖7所示誤差率圖表。綜上分析可知，產(chǎn)生測量誤差的主要原因在于兩個軌道的中心點位置A、B兩點的像素坐標檢測。由圖7所示誤差率所呈現(xiàn)的變化趨勢可得，在前方列車距離自身列車距離較小時，所采集到的軌道圖片中軌道更為清晰，但是對于檢測兩條軌道的中心點則產(chǎn)生了更大的偏差，導致距離測量誤差率較高；在前方列車距離自身列車距離較大時，雖然圖像的分辨率會隨著距離的增加而降低，但定位A、B兩點的精度卻隨之變高，使得誤差率略微減??；再向更遠的距離進行檢測時，圖像的分辨率對實驗結果的影響成為主要因素，導致誤差率不斷升高。因此，圖像分辨率和軌道中心位置A、B兩點的檢測所產(chǎn)生的誤差組合帶來了如圖7所示的誤差波動。當測量過程中相機的角度全程固定在一個合理范圍內的值時，對測距結果的輕微影響可以忽略不計。

單目測距的實驗通過靜態(tài)攝影來獲取數(shù)據(jù)集，但即使是在視頻數(shù)據(jù)中，也仍然能夠從中提取出清晰圖像作為關鍵幀。因此，在該測距系統(tǒng)中使用的靜態(tài)圖像也可以有效證明此方法能夠實現(xiàn)避免列車碰撞的效果。實驗證明，實驗結論不受相機角度和位置的影響，只要相機在數(shù)據(jù)采集過程中是固定的，該測距系統(tǒng)至少可以在200 m范圍內達到標準。

5 結束語

本文提出了一種基于單目視覺的軌道交通距離測量方法，滿足了智能車輛控制的實時性要求。該系統(tǒng)可以有效檢測出軌道上運行的前后列車之間的距離，將距離轉化成可視化信息呈現(xiàn)給駕駛員，為駕駛員提供報警信號。實驗結果表明該系統(tǒng)能夠滿足軌道交通的需要，保證列車在適宜的氣候條件下安全運行。在軌道交通系統(tǒng)中，可以方便地將已知固定軌道空間(1 435 mm)的距離測量與其他圖像信息集成在一起進行障礙物檢測，實現(xiàn)多功能融合。同時，該方法也是激光或雷達測量距離以外的一種冗余檢測。