基于光流法檢測來車的軌旁作業(yè)安全防護策略

周瑞鴻，林俊亭

(1.蘭州交通大學自動化學院，蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，蘭州 730070)

鐵路現(xiàn)場施工過程中經(jīng)常出現(xiàn)列車碰撞現(xiàn)場工作人員的事故，造成此類事故的主要原因是進行現(xiàn)場作業(yè)時，沒有可靠的防護和預警系統(tǒng)。管理部門已經(jīng)制定了嚴格的上線作業(yè)規(guī)范，但是在特殊情況下，如違規(guī)作業(yè)中，現(xiàn)場工作人員的安全很難得到保障。

高速鐵路采用專用移動通信GSM-R(GSM for Railway)以及衛(wèi)星導航系統(tǒng)GNSS(Global Navigation Satellite System)實現(xiàn)列車接近預警系統(tǒng)，實現(xiàn)與現(xiàn)有的信號設(shè)備相獨立的防護[1-3]，文獻[4]利用雷達信號來檢測作業(yè)防護區(qū)段運動物體，檢測到有列車接近的信息驅(qū)動報警電路進行報警，現(xiàn)場工作人員聽到報警器報警快速撤離危險區(qū)，有效地保證現(xiàn)場施工人員的安全，但是雷達檢測信息的時候誤警率比較高，雷達進行檢測的時候通過發(fā)射電磁波和接受反射回來的電磁波信號判斷是否有車輛駛?cè)搿＠走_檢測信號受電磁波波束角的影響，橫向探測范圍過大，會把不是防護軌上行駛的列車或者沿線的汽車也作為運動目標進行檢測，必然出現(xiàn)誤報警的情況。

近年來國內(nèi)外對基于機器視覺的視頻追蹤以及視頻檢測技術(shù)開展了廣泛的研究，各鄰域?qū)C器視覺的應(yīng)用得到很大的發(fā)展。文獻[5]通過概率框架建立所追蹤的模型，利用本地似然函數(shù)實現(xiàn)信息的融合，最終實現(xiàn)多視角目標的視頻追蹤。文獻[6]將Vibe經(jīng)典算法進行改進，實現(xiàn)對監(jiān)控視頻中目標的選擇性提取，然后對提取的目標進行分析，根據(jù)分析的結(jié)果對目標進行精確跟蹤。

本文針對鐵路現(xiàn)場作業(yè)的需求，提出一種基于光流法視頻檢測列車的防護策略。采用攝像頭和圖像硬件處理平臺實現(xiàn)鐵路現(xiàn)場的防護[7-8]，對視頻中的運動物體進行特征值提取[9]，通過對運動物體的特征值分析，判斷是否為鋼軌上運動的列車。

1 基于光流法檢測列車的鐵路作業(yè)防護策略的工作原理

基于光流法檢測來車的鐵路作業(yè)防護策略由攝像機和嵌入式硬件檢測平臺組成，系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。

圖1 基于光流法檢測來車的結(jié)構(gòu)

設(shè)備的攝像頭檢測防護區(qū)段設(shè)計原理，如圖2所示。作業(yè)人員在進行現(xiàn)場作業(yè)時，將設(shè)備放在施工現(xiàn)場的鋼軌旁邊，將攝像頭通過拉桿升起來，攝像頭距離地面的高度h可以調(diào)節(jié)，攝像頭和水平方向的夾角α和β也可以通過設(shè)備進行調(diào)節(jié)，因此作業(yè)人員可以根據(jù)現(xiàn)場的實際情況對所防護的區(qū)段進行調(diào)節(jié)，提高了設(shè)備的靈活性和適應(yīng)性。

圖2 攝像頭防護區(qū)段設(shè)計原理

設(shè)備所防護區(qū)段的范圍H是由左邊防護區(qū)h1和右邊防護區(qū)h2兩部分之和組成的，原理圖中各個量之間的數(shù)學關(guān)系式為

h1=h/tanβ

(1)

h2=h/tanα

(2)

H=h1+h2

(3)

2 光流計算的主要方法

光流場[10-11]的計算方法很多，基于梯度的方法使用最廣泛，此方法為了處理方便，以物體運動前后圖像中的灰度保持不變作為條件，來導出光流約束方程，方程中含有二維坐標系中橫軸(x軸運動速度)和縱軸(y軸運動速度)兩個變量，用一個方程無法確定兩個變量，需引入其他條件作為約束來確定光流，主要的約束方式有全局約束和局部約束。全局約束是假定物體運動前后整幅圖像上的光流都不變化，局部約束是假定光流在圖像上的某一區(qū)域不發(fā)生變化。

特征匹配和區(qū)域匹配是兩種比較常見的方法，基于區(qū)域匹配是把圖像分割為子塊，利用一組簡單的平移運動來等效復雜的運動，運動估計的依據(jù)是對圖像中分割出的子塊進行匹配，視頻編碼對此方法使用廣泛。

基于能量的方法，首先通過時空整合對圖像序列進行處理，時空整合后可以提高對速度估計的正確性，但是對圖像序列時空整合后會降低時間和空間的分辨率，當同時存在多個運動物體時，估計精度也會很大程度的降低。并且，在進行濾波的過程中帶來很大的運算問題。

基于相位的方法，通過帶通濾波器輸出圖像中的相位特性，利用輸出的相位特性來確定光流。以瞬時運動為定義分速度的依據(jù)，然后依據(jù)尺寸、速度和定向分離輸入信號。

基于神經(jīng)網(wǎng)絡(luò)動力學的方法[14]目前還不太成熟，但是隨著人工智能和生物視覺的研究不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)動力學必然會得到快速的發(fā)展，并且對光流的計算具有非常重要的意義。

本文基于梯度的方法基礎(chǔ)上實現(xiàn)對圖像中光流的計算，該方法是目前對光流的計算中比較主流的方法，可靠性較其他方法高，能較為準確地實現(xiàn)算法中對光流的計算。

2.1 梯度光流場約束方程

假定圖像[12]上像素為(x，y)，該點在t時刻的灰度值為D(x，y，t)，在t+dt時刻，該點運動到新的位置像素為(x+dx，y+dy)，該點所對應(yīng)的灰度值為D′(x+dx，y+dy，t+dt)。

根據(jù)數(shù)學微分思想，當dt→0時，D=D′。即

在圖像灰度緩慢變化的情況下，將(x+dx，y+dy，t+dt)=(x，y，t)進行泰勒級數(shù)展開

D′(x+dx，y+dy，t+dt)≈D(x，y，t)+

(4)

dy，t+dt)-D(x，y，t)

(5)

又因為：D=D′

D′(x+dx，y+dy，t+dt)-D(x，y，t)=0

(6)

所以

(7)

等式左右兩邊同時除以dt，即

(8)

Dxu+Dyv+Dt=0

(9)

式中，Dx，Dy，Dt分別表示參考點灰度隨x，y，t的變化率；u和v分別表示參考點沿著x和y方向的移動速度。

式(9)便是光流基本方程，寫成向量的形式為

ΔD·u+Dt=0

(10)

式中，ΔD=[Dx，Dy]表示梯度方向；u=[u，v]T表示光流。

式(10)為該點像素值的光流約束方程。u和v組成一個二維平面坐標系，約束方程的u=[u，v]T都在式(9)這條直線上，如圖3所示，該直線與梯度ΔD=[Dx，Dy]垂直。由于此方程中包含二維坐標系中橫縱坐標兩個未知數(shù)，一個方程式無法確定兩個未知數(shù)，為求解光流場，必須添加新的約束條件。

圖3 光流基本方程所確定的約束線

2.2 常用的基于梯度的光流計算方法

(1)運動場平滑

假定光流在圖像中是平滑變化的。即運動場既可以滿足約束方程，也可以符合全局平滑性。將光滑性測度和加權(quán)微分約束測度進行結(jié)合，通過設(shè)置加權(quán)參數(shù)平衡約束微分和光滑性微分。

(2)預測校正

通過對光流的估計實現(xiàn)運動物體的運動預測和校正。假設(shè)在一個很小的區(qū)域內(nèi)運動矢量不發(fā)生變化，利用數(shù)學中最小二乘法的思想估計光流值，這是在像素的基礎(chǔ)上對光流進行計算，實現(xiàn)在圖像中利用像素值對運動物體進行預測估計。

(3)平滑約束

平滑約束是由Nagel提出的一種面向平滑的約束，這種方式并沒有將約束放在梯度變化最劇烈的方向，這樣便可以有效地處理視頻圖像中對運動物體與所在背景中存在的遮擋。

3 基于光流法檢測列車的鐵路作業(yè)防護策略算法

算法主要是對鐵路作業(yè)現(xiàn)場進行視頻實時檢測，基于光流場的鐵路作業(yè)現(xiàn)場車輛檢測算法，通過現(xiàn)場拍攝的視頻驗證了該算法的可行性，在檢測到的視頻中，可以檢測到視頻中的運動物體，并且對捕捉到的運動物體進行區(qū)分和識別[13]。

模式識別是指對事物或現(xiàn)象所攜帶的信息進行描述、辨別、分類和解釋[14]。本文選取向量機SVM(SupportVectorMachine)機器學習方法[15，16]來實現(xiàn)區(qū)分行進中的列車及其他運動物體，此方法具有針對小樣本數(shù)據(jù)學習的優(yōu)勢、預測算法簡單、容易移植和魯棒性較好的特點。

基于光流場的視頻檢測運動物體的步驟如圖4所示。

圖4 光流法檢測運動物體的步驟

首先，對采集到的視頻信息進行讀取，然后將其轉(zhuǎn)化為灰度圖后進行光流場計算，對光流場的閥值進行分割得到二值圖像，如果光流場某個位置的閥值很大，說明有運動物體；利用形態(tài)學濾波、腐蝕和關(guān)閉對分割圖形進行處理，統(tǒng)計行人、汽車和火車等不同對象的位置[17]及面積，通過面積的比例判斷是否為鋼軌上行駛的列車，如果檢測結(jié)果為列車，內(nèi)部ARM處理器分析后將下達電流信號，觸發(fā)報警繼電器落下(為了滿足《技規(guī)》中“故障-安全”的原則，本文設(shè)計的報警電路中將報警繼電器的后接點接入報警電路的控制電路中，避免由于繼電器不能準確動作而影響整個系統(tǒng)可靠性的情況，若繼電器不能吸起時，繼電器的后接點接通報警電路，提醒工作人員維修設(shè)備，從而實現(xiàn)整個系統(tǒng)的自檢功能)，從而接通報警電路進行報警，如果判斷為其他運動物體，則進行下一幀圖像的檢測?；诠饬鞣z測列車流程如圖5所示。

圖5 基于光流法檢測列車流程

4 實驗與結(jié)果分析

本文選取基于梯度的方法計算光流，利用材質(zhì)球圖像序列分別將其他方法與本文選取的方法進行仿真比較，材質(zhì)球做逆時針旋轉(zhuǎn)運動，利用不同方法計算光流的實驗結(jié)果如圖6所示。表1為本文使用的梯度算法與其他兩種算法的誤差結(jié)果對比。

圖6 視頻光流

表1 圖像序列計算結(jié)果及誤差對比

圖6(a)為圖像序列的第7幀，圖6(b)為基于匹配的方法計算光流場，結(jié)合表1中的數(shù)據(jù)可知，該計算方法中平均角誤差比較大。圖6(c)為基于能量的方法計算光流，可以看出，光流向周圍失真，并且通過表1中的數(shù)據(jù)看出，該計算方法的標準角誤差比較大，說明平均角誤差的波動性比較大。圖6(d)為基于梯度的方法計算光流，可以看出，光流矢量比較清晰，而且結(jié)合表1中的數(shù)據(jù)可知其平均角誤差比較小，而且波動性很小，就有很好的穩(wěn)定性，所以本文采用基于梯度的方法來計算光流。

本文對鐵路作業(yè)現(xiàn)場拍攝的視頻進行仿真實驗，仿真結(jié)果見圖7。由實驗結(jié)果可知，本文的算法是基于光流法檢測來車的鐵路作業(yè)防護，檢測鐵路現(xiàn)場防護區(qū)段行駛車輛，取代目前人工防護和基于雷達的鐵路車輛檢測方法，由實驗結(jié)果可知，基于光流法的車輛運動檢測，在檢測鐵路防護區(qū)段運動車輛方面效果較好，能夠準確地檢測出視頻中的運動物體，并且可以根據(jù)運動物體判斷是否為鋼軌上運動的列車。本文采用兩個攝像頭分別對防護區(qū)段的上、下行方向進行實時檢測，由于兩個方向的檢測以及報警方式完全相同，所以本文中以一個方向的檢測結(jié)果為例來說明該模型的檢測結(jié)果。

圖7 基于光流法列車檢測實驗結(jié)果

圖7(a)為原始視頻，圖7(b)為添加光流矢量的視頻，給視頻中運動物體進行光流標記，圖7(c)為經(jīng)過閥值分割和形態(tài)學濾波后的結(jié)果，可以看出能準確捕捉當前背景中的運動物體，視頻左邊有列車正在運動，所以此位置光流發(fā)生變化，視頻右上方是北風吹動的樹枝，所以該位置的光流也發(fā)生變化，用該算法計算列車和邊框面積的百分比，當面積百分比大于35%時，判定運動物體為列車，圖中檢測到兩處運動物體，其中左邊物體的面積百分比接近35%，所以認為是列車，右上角運動物體的面積比沒有達到預定的比值，所以沒有判斷為列車。圖7(d)正確標識出列車的位置，通過SVM準確區(qū)分運動的樹枝和運動的列車。

本文采用在實際鐵路現(xiàn)場拍攝的多段視頻進行實驗，對不同角度以及同一場景下的不同運動物體進行提取，包括行進中的列車、旁線公路上的汽車和其他噪聲(如：背景中有風時晃動的樹葉、背景更新殘影和其他旁線運動物體)，檢測結(jié)果見表2。

表2 運動物體檢測實驗結(jié)果

從3段現(xiàn)場拍攝的視頻中共提取3 200不同樣本，其中列車檢測準確率為98.12%，漏檢率為1.28%，誤檢率為1.06%。據(jù)統(tǒng)計，行進中的列車共有19次漏檢，9次誤檢。在19次漏檢中有11次為目標剛進入攝像機的拍攝范圍，目標在視頻中顯示比較小，但是隨著距離越來越近，也能夠準確地檢測出并且標定；8次為在列車與攝像機所在位置非常近的時候，此時列車在圖像中的面積比例相當大，不過作為檢測防護系統(tǒng)，這樣的情況對系統(tǒng)有列車進入防護區(qū)段進行提前報警可靠性沒有影響。9次誤檢中，有7次是與攝像機所在位置比較近物體，在圖像中所占的面積比例比較大，風吹晃動的大樹也被檢測出；還有2次是旁線公路上出現(xiàn)堵車現(xiàn)象，把好幾輛車連起來檢測為列車，因為平時訓練的樣本與這幾種情況的光流相似，所以SVM誤檢為列車。

旁線汽車檢測共發(fā)生10次誤檢和16次漏檢，10次誤檢中有8次是旁線汽車所在位置距離攝像頭防護區(qū)段較遠，汽車的行駛速度比較慢，和平時訓練樣本的光流相差較大，被誤檢為其他噪聲；還有2次是旁線行駛的汽車長度大，并且持續(xù)直線行駛，與平時訓練的列車樣本光流相似，被SVM誤檢為列車。

其他噪聲檢測中16次誤檢和11次漏檢，16次誤檢中有7次是距離攝像頭較遠的旁線運動物體誤檢為背景更新殘影所造成的噪聲，9次是將距離攝像頭較遠的較大移動物體誤檢為背景中晃動的樹葉；11次漏檢中有10次是背景中的樹葉在視頻中晃動幅度很小，并且距離攝像頭較遠；還有1次是將旁線運動的小物體，由于距離攝像頭太遠，沒有檢測到，但是如果運動物體運動到攝像頭的合理位置，肯定也會檢測到，并且這樣的情況不影響本文防護系統(tǒng)的可靠性。

對于整個系統(tǒng)而言，本文所設(shè)計的策略能夠增強人工防護的可靠性，還能避免雷達系統(tǒng)很高的誤警率，可以在實際中應(yīng)用。

根據(jù)現(xiàn)場的實際需求，將算法移植到ARM芯片中在嵌入式硬件平臺具體實現(xiàn)，由于對鐵路現(xiàn)場防護的實時性需求較高，采用的CCD攝像機最高采集頻率是25幀/s，同時采用FPGA編程計數(shù)器和ARM內(nèi)部定時器及計數(shù)器的方式對系統(tǒng)處理頻率進行了測試，由測試結(jié)果得系統(tǒng)的平均處理頻率達到13幀/s，單幅圖像處理時間平均為0.079s。分析攝像頭的可視距離、列車的長度、最高速度和旁線汽車的速度，可知該處理頻率符合實時檢測的條件。

5 結(jié)語

設(shè)計了一種基于光流法檢測來車的鐵路作業(yè)防護策略，通過攝像機對鐵路防護區(qū)段進行實時監(jiān)測，防止目前鐵路作業(yè)中人工三點防護和雷達檢測的不足，通過視頻圖像處理的方法，將作業(yè)現(xiàn)場進行實時監(jiān)測，利用光流法對運動物體進行識別，同時根據(jù)運動物體在圖像中的不同位置的面積比，實現(xiàn)對防護區(qū)段檢測視頻中運動物體的辨別，及時檢測出駛?cè)敕雷o區(qū)段的列車，并且實時報警，提高作業(yè)人員的安全性。模擬實驗表明，該算法可以準確監(jiān)測出防護區(qū)段的行駛車輛，檢測準確率比較高，可以準確區(qū)分鐵路沿線行駛的汽車、行人以及視頻中的其他運動物體，提高了鐵路現(xiàn)場作業(yè)防護的可靠性。