基于幀間差分累積的鐵路限界異物檢測提取算法

郭 碧,丁春平

(1.中鐵第四勘察設(shè)計院集團(tuán)有限公司,武漢 430063； 2.浙江眾合科技股份有限公司,杭州 310051)

伴隨著軌道交通全自動運行系統(tǒng)技術(shù)的發(fā)展，對于無人值守列車前方障礙物探測的需求進(jìn)一步加強(qiáng)，對列車行車前方限界內(nèi)的障礙物檢測已成為亟待解決的課題[1-5]。當(dāng)前，針對軌道交通限界環(huán)境下的障礙物檢測方法按感知方法可分成非接觸式和接觸式[6-7]。已投入運營的全自動運行線路北京燕房線即采用車底安裝的檢測橫梁通過與異物碰撞來實現(xiàn)對侵限異物的檢測與清除；非接觸式方法則包括激光、紅外、視覺識別等，其中視覺傳感器因其安裝簡便、信息豐富、結(jié)果直觀被廣泛采用[8-9]。

按照視頻設(shè)備和被監(jiān)視場景的關(guān)系，利用車載視覺傳感器進(jìn)行的異物檢測為動態(tài)背景下的前景目標(biāo)檢測提取過程。目前，基于視覺傳感器技術(shù)的動態(tài)背景環(huán)境下前景對象的提取方法包括：一是根據(jù)空間坐標(biāo)和成像坐標(biāo)在運動中的對應(yīng)關(guān)系，通過運動補(bǔ)償消減背景變化，再作背景減除提取前景目標(biāo)。文獻(xiàn)[10]即以一維灰度投影結(jié)合高斯濾波來實現(xiàn)圖像快速去抖動，以統(tǒng)計分布方法完成背景更新，通過快速背景差分取得前景目標(biāo)。文獻(xiàn)[11]基于高階奇異值分解和全變分思想，通過求解平穩(wěn)背景、前景對象、動態(tài)背景之間的最小化約束方程，來實現(xiàn)對于運動目標(biāo)的檢測。文獻(xiàn)[12]通過機(jī)器視覺理論和仿射原理構(gòu)造空間模型，來實現(xiàn)對于障礙物入侵的判斷和測量。文獻(xiàn)[13]提出一種基于魯棒M估計全局像素點權(quán)值，通過Mean Shift聚類算法，實現(xiàn)不同運動點的分割動態(tài)背景下的目標(biāo)檢測算法。二是將提取對象進(jìn)行特征描述后，以重匹配方法實現(xiàn)目標(biāo)檢測與跟蹤。如文獻(xiàn)[14]通過對檢測對象進(jìn)行高斯金字塔分解建模后，來匹配動態(tài)背景中對象的位置。文獻(xiàn)[15]采用Random ferns和樸素貝葉斯方法，對目標(biāo)對象進(jìn)行特征描述匹配，通過背景補(bǔ)償引導(dǎo)檢測動態(tài)場景下的目標(biāo)。文獻(xiàn)[16]以軌道線邊緣完整性及其特征來實現(xiàn)對于異物區(qū)域的檢測，通過提取異物特征以支持向量機(jī)對異物進(jìn)行分類和辨識。三是以改進(jìn)光流法等實現(xiàn)動態(tài)背景下目標(biāo)的檢測方法[17]，考慮計算量及實時性，在此場景適用難度較大。鐵路限界內(nèi)的障礙物檢測前景目標(biāo)多樣，背景變化快，且夾雜由軌旁道砟、車輛振動、數(shù)據(jù)處理過程中的大量噪聲，加大了異物檢測提取的復(fù)雜度。

鑒于此，首先根據(jù)鐵路軌道交通線路環(huán)境變化緩和接近，針對動態(tài)背景環(huán)境，通過隔幀幀差方法來獲得多次差分結(jié)果，依托鐵路限界內(nèi)路軌特征，采用數(shù)學(xué)形態(tài)學(xué)實現(xiàn)背景紋理重構(gòu)來減除干擾及噪聲影響。隨后通過數(shù)值統(tǒng)計以側(cè)向差分灰度的累積投影值，來動態(tài)確定不同環(huán)境下的異物前景范圍，并通過最大類間方差法提取分割出前景目標(biāo)。多幀隔幀差分相對于光流法具備實時性高的特點，相對于背景差分法能較好應(yīng)對動態(tài)的背景條件，同時可提高對前景目標(biāo)提取的實時性和魯棒性。

1 異物提取算法過程

本文所采用的軌道交通限界異物檢測提取方法的算法框圖如圖1所示。

圖1 異物檢測提取算法框圖

算法在初始化處理階段即提取軌道線性特征并以此為基礎(chǔ)確定前方軌道限界區(qū)域，隨后，依據(jù)列車前方限界區(qū)域范圍提取對應(yīng)圖像數(shù)據(jù)作隔幀幀差處理，通過數(shù)學(xué)形態(tài)學(xué)來對鋼軌背景實現(xiàn)重構(gòu)，來消除復(fù)雜背景中的道床枕木紋理特征。針對重建和濾除的差分結(jié)果，針對縱向和橫向作灰度累積投影變化策略來獲取差分突變位置作為前景目標(biāo)區(qū)域。針對定位的圖像區(qū)域像素，以最大類間方差法來分割提取出前景目標(biāo)，以方便作為模式識別的特征描述輸入?yún)?shù)。

2 初始化處理

2.1 圖像預(yù)處理

車載視覺傳感器采集的視頻序列幀中含有較多背景環(huán)境數(shù)據(jù)，同時因背景光照、行車振動、信號放大處理等摻雜干擾。本文以灰度直方圖均衡和中值濾波法來實現(xiàn)圖像數(shù)據(jù)平滑減輕噪聲干擾[18]。

2.2 軌道限界范圍標(biāo)定

鐵路鋼軌因其材質(zhì)和磨損，在背景圖像中呈現(xiàn)連續(xù)的線性特征，采用圖像邊緣提取算子可得到軌道線，考慮攝像機(jī)安裝位置與軌道相對固定，鐵路軌道曲率較小、軌面平坦，且軌道在圖像空間中呈現(xiàn)近景區(qū)域固定，遠(yuǎn)景區(qū)域動態(tài)變化的特征，對圖像空間作近遠(yuǎn)景劃分，通過分段曲線模型實現(xiàn)對于軌道線的檢測和跟蹤[19]。軌道限界范圍根據(jù)軌道線模型按圖像空間像素比例近似計算即可得到。根據(jù)鐵路限界要求，取最大邊距2 440 mm作為建筑限界外側(cè)距線路中心線距離，由鐵路標(biāo)準(zhǔn)軌距1 435 mm，可等比例得到對應(yīng)的鐵路限界范圍，同時伴隨遠(yuǎn)景區(qū)域軌道線跟蹤來動態(tài)更新限界范圍。根據(jù)空間坐標(biāo)系中兩平行線在投影空間匯聚于一點，線路區(qū)域位于此消隱點(Pvanish(u，v))下方的原理[20-21]，本文以消隱點下二分之一位置vb處為分界點，標(biāo)定出近景區(qū)和遠(yuǎn)景區(qū)范圍。其中根據(jù)圖像數(shù)據(jù)編碼方式，文中圖像坐標(biāo)系左上頂點為原點，以像素為單位，如圖2示。

圖2 軌道模型示意

3 隔幀幀間差分與背景補(bǔ)償

3.1 隔幀幀差法

將車載視頻傳感器采集的單幀圖像用一個二維函數(shù)I(u，v)表示，那么連續(xù)的序列幀可表示為I1，I2，I3，…，Ik…In。將序列中2組隔幀數(shù)為m的相鄰幀數(shù)據(jù)表示為：Ik-1(u，v)，Ik(u，v)和In-1(u，v)，In(u，v)，那么依據(jù)本文的思路，隔幀差分過程如下所述。

步驟1：數(shù)據(jù)參數(shù)及限界區(qū)初始化；取視頻序列幀數(shù)據(jù)Ik-1(u，v)，Ik(u，v)及In-1(u，v)和當(dāng)前幀In(u，v)；

步驟2：差分Ik(u，v)與Ik-1(u，v)得Dk，k-1(u，v)；記錄并存儲為Dk，k-1(u，v)；將Ik(u，v)數(shù)據(jù)賦給變量Ik-1(u，v)；

步驟3：取In(u，v)與In-1(u，v)差分，記錄并存儲為Dn，n-1(u，v)，賦當(dāng)前幀數(shù)據(jù)給變量In-1(u，v)；

步驟4：將兩次差分結(jié)果Dn，n-1(u，v)，Dk，k-1(u，v)以及當(dāng)前Ik-1(u，v)，In-1(u，v)送入下一模塊，背景補(bǔ)償并作側(cè)向投影統(tǒng)計求差，以突變特征初定目標(biāo)對象范圍；回到步驟2，重復(fù)此過程。

隔幀差分算法在視頻采集中同步進(jìn)行，可應(yīng)對異物出現(xiàn)在背景中無相對運動的場景，同時對丟幀具有適應(yīng)性。本文取司機(jī)室內(nèi)視覺傳感器采集的實驗場景為例，限界內(nèi)前景目標(biāo)為無源應(yīng)答器。實驗結(jié)果如圖3所示。

圖3 兩組序列幀差分結(jié)果

對比幀組信息一致，結(jié)果中灰度數(shù)據(jù)信息少；當(dāng)前幀差結(jié)果包含有因傳感器振動而出現(xiàn)的軌道輪廓；且差分結(jié)果中均存在干擾定位的枕木紋理等道床信息，需進(jìn)一步進(jìn)行補(bǔ)償處理。

3.2 基于數(shù)學(xué)形態(tài)學(xué)的背景補(bǔ)償

數(shù)學(xué)形態(tài)學(xué)開運算以結(jié)構(gòu)元素構(gòu)造的方法實現(xiàn)對于灰度圖像確定紋理的重構(gòu)建。構(gòu)造形態(tài)學(xué)結(jié)構(gòu)元素b，以i(u，v)表示圖像I(u，v)的灰度值。形態(tài)學(xué)開運算過程為通過結(jié)構(gòu)元素完成的先腐蝕后膨脹處理。其中灰度膨脹運算可表示為

(I⊕b)(u,v)=max{i(u-u′,v-v′)+

b(u′,v′)|(u′,v′)∈Db}

(1)

其過程表示結(jié)構(gòu)元素b在I(u，v)定義域內(nèi)灰度加運算遍歷過程中的最大值。為不更改原有像素點灰度值，本文取結(jié)構(gòu)元素b的定義域Db內(nèi)的所有坐標(biāo)值為0，式(1)描述的算法過程為在Db對應(yīng)領(lǐng)域范圍內(nèi)確定最大值的過程。同樣地,灰度腐蝕運算可表示為

(IΘb)(u,v)=min{i(u+u′,v+v′)-

b(u′,v′)|(u′,v′)∈Db}

(2)

腐蝕運算則表示通過b與在I(u，v)定義域內(nèi)取灰度最小值的過程。由上，灰度圖像開運算可表示為

I°b=(IΘb)⊕b

(3)

開運算通過結(jié)構(gòu)元素腐蝕過程消除微細(xì)噪聲信息，再以膨脹重構(gòu)出對象紋理結(jié)構(gòu)。重構(gòu)的精度受構(gòu)造的結(jié)構(gòu)元素的相似性影響。已知的紋理結(jié)構(gòu)特征包括：橫向水平線性枕木邊緣結(jié)構(gòu)、顯著軌道邊緣輪廓，以及其他相關(guān)設(shè)備結(jié)構(gòu)。通過開運算可重構(gòu)顯著紋理，來補(bǔ)償列車前方限界內(nèi)枕木環(huán)境及抖動帶來的干擾。文中針對性構(gòu)造結(jié)構(gòu)元素b1，b2，b3，序列幀分辨率為521×480 pixel，其中：

b1：構(gòu)造枕木邊緣，取30 pixel水平直線型結(jié)構(gòu)元素；

b2：構(gòu)造軌道結(jié)構(gòu)輪廓，近景區(qū)軌道邊緣傾角由軌道線追蹤算法中的Hough變換提取得到，其中左右側(cè)斜率分別為kl，kr，設(shè)65 pixel線性結(jié)構(gòu)元素。遠(yuǎn)景區(qū)部分以縱向投影統(tǒng)計削減。

b3：本場景中車輛駕駛室外雨刷作特殊結(jié)構(gòu)描述為60長25 pixel線性結(jié)構(gòu)。

通過b1，b2，b3分別對當(dāng)前幀In差分所得作開運算后，累加得到背景紋理結(jié)構(gòu)的重構(gòu)圖如圖4(a)所示。通過減除重構(gòu)紋理實現(xiàn)補(bǔ)償?shù)慕Y(jié)果如圖4(b)所示，行車前方限界內(nèi)道床、設(shè)備等因抖動產(chǎn)生的干擾得到削弱。

圖4 差分背景補(bǔ)償結(jié)果

4 基于側(cè)向灰度累積值的目標(biāo)定位提取與分割

4.1 目標(biāo)定位提取

車載視覺傳感器采集的視頻序列幀中包含的路軌道床信息會因光照和行車抖動而富含大量噪聲干擾，且不同場景下的信息具有較大的差異性，為應(yīng)對不斷變化的環(huán)境條件，本文考慮采用統(tǒng)計思想，針對相鄰幀背景變化較小的特點，以限界區(qū)背景數(shù)據(jù)值的單方向投影來反映灰度信息在坐標(biāo)中的分布，鄰幀的背景信息分布呈現(xiàn)較強(qiáng)的近似性。當(dāng)有非路軌環(huán)境目標(biāo)出現(xiàn)在限界范圍內(nèi)時，單向投影統(tǒng)計值會呈現(xiàn)出部分范圍持續(xù)性的數(shù)據(jù)變化。文中通過單側(cè)統(tǒng)計差分結(jié)果的灰度和值對比得到異物疑似區(qū)域。

算法思路主要包括以下過程。

步驟1：參數(shù)初始化，求Dk，k-1(u，v)，Dn，n-1(u，v)遠(yuǎn)景橫向投影累積值，記錄兩組結(jié)果相減的偏差向量ec[v]；

步驟2：以本幀橫向偏差向量ec[v]與前v-1項偏差均值Thr之差作為疑似區(qū)判定邊界。當(dāng)ec>Thr，且持續(xù)有L個像素時，判別為疑似區(qū)域并記錄為[Gs，Gx]，若ec≤Thr，則返回繼續(xù)循環(huán)；

圖5 基于側(cè)向灰度累積值的目標(biāo)定位算法示意

步驟3：在v軸[Gs，Gx]區(qū)域，作縱向差分灰度投影累積，并同步驟3方法完成u軸疑似區(qū)域[Kz，Ky]確定。實驗結(jié)果如圖5所示。因圖中限界內(nèi)圖像數(shù)據(jù)差分后信號較為微弱，為方便說明此處以負(fù)片效果作為顯示，說明側(cè)向投影累積與前景目標(biāo)的對應(yīng)位置。

由目標(biāo)出現(xiàn)而產(chǎn)生的與原枕木道床環(huán)境不同的灰度分布差異，可完成對于軌行區(qū)限界范圍內(nèi)的前景目標(biāo)定位，同時為方便目標(biāo)分割及描述特征向量值的提取，在疑似區(qū)域外多擴(kuò)3像素以加強(qiáng)背景參照信息。

4.2 目標(biāo)分割與二值化

為區(qū)分目標(biāo)和背景分界，利于后期對于異物對象特征向量值的描述和提取，針對疑似范圍內(nèi)的圖像作分割運算以確定前景對象。考慮基于最大類間方差的動態(tài)閾值分割方法相對于聚類分析、區(qū)域生長、主動輪廓等方法在速度、魯棒性、算法復(fù)雜度上的優(yōu)勢，用最大類間方差法實現(xiàn)目標(biāo)分割。最大類間方差通過統(tǒng)計不同灰度級別的分布的概率，以使方差最大來確定最佳閾值，采用的數(shù)學(xué)描述可表示為

Ts=Argmax[w1(t)(J1-J0)2+w2(t)(J2-J0)2]

(4)

式中，Ts表示灰度閾值；w1(t)和w2(t)分別表示前景目標(biāo)和背景信息在圖像像素點中的比重；J0(t)為平均灰度值，J1(t)和J2(t)分別表示前景目標(biāo)和背景的灰度均值；取限界內(nèi)疑似范圍外方灰度值作背景劃分參量，本文舉例的實驗提取結(jié)果如圖6所示。

圖6 前景目標(biāo)提取及分割結(jié)果

5 前景目標(biāo)定位提取算法流程

本文基于幀間差分累積的鐵路限界異物檢測提取算法的主要過程包括初始化、隔幀幀差、背景補(bǔ)償、側(cè)向灰度累積定位與分割幾個主要部分，算法流程如圖7所示。算法自讀取圖像序列幀時，即開始循環(huán)做差分檢測，以避免漏檢車輛緩動場景下的異物目標(biāo)，完成定位提取目標(biāo)后，將目標(biāo)及相應(yīng)幀送入后續(xù)模式識別等模塊，作為危險辨識及預(yù)警輸入。

圖7 鐵路限界異物定位提取算法流程

6 實驗分析與驗證

本文通過室外場景實驗、TrainSimulator環(huán)境仿真、現(xiàn)場行車采集，共構(gòu)造了47個不同的場景，用于算法場景測試，并將測試序列幀統(tǒng)一為512×480像素尺寸，每場景共包括45幀圖像。算法處理過程通過Matlab2013實現(xiàn)編寫和測試。

本次以現(xiàn)場行車采集的視頻序列幀場景為例，采用傳統(tǒng)幀間差分法作為對比說明。差分處理結(jié)果如圖8所示。

圖8 與幀間差分法結(jié)果對比

幀間差分法得到的差分結(jié)果如圖8(b)所示，圖中可見大量的背景干擾信息，較難區(qū)分出限界內(nèi)前景目標(biāo)，且差分結(jié)果中出現(xiàn)了目標(biāo)的重影現(xiàn)象。本文算法結(jié)果如圖8(c)所示，通過對背景進(jìn)行形態(tài)學(xué)重構(gòu)補(bǔ)償，有效地消減了干擾信息。因幀間差分法無目標(biāo)定位提取算法過程，本文后續(xù)通過對測試場景進(jìn)行實驗，來驗證算法性能。

本文算法處理場景數(shù)據(jù)得到的疑似物目標(biāo)定位提取結(jié)果(部分)如圖9所示。其中，圖9(a)表示光線充足下列車行車前軌行區(qū)域有未撤離人員環(huán)境場景；圖9(b)表示較低光線條件下限界內(nèi)有山體落石出現(xiàn)場景；圖9(c)表示正常光線條件下，在道床上有懸空或跌落對象的場景。本文算法對異物目標(biāo)的檢測提取結(jié)果如圖9(d)、圖9(e)和圖9(f)所示，可見前景異物目標(biāo)于限界區(qū)域成像部分均實現(xiàn)提取和分割。

圖9 實驗場景定位及提取部分結(jié)果

針對構(gòu)造實驗場景檢測統(tǒng)計實驗情況如表1所示。于行車前方限界內(nèi)有異物的場景中，異物目標(biāo)檢測率為96.87%，而于行車前方限界內(nèi)無異物的場景出現(xiàn)了較高的誤檢率，誤檢率為26.67%。經(jīng)實驗，算法具有較好的檢測效率，同時定位提取過程的平均耗時為0.137s。

表1 本文算法檢測數(shù)據(jù)統(tǒng)計

分析實驗過程及場景發(fā)現(xiàn)，造成誤檢的主要對象為路軌道床中間的安裝設(shè)備以及光照下的陰影和光斑等對象，此類不影響安全行車的非障礙物目標(biāo)可在后續(xù)建立特征庫通過學(xué)習(xí)算法在目標(biāo)識別過程中去除。

7 結(jié)論

對于車載視覺傳感器下的軌道交通線路動態(tài)背景環(huán)境，通過改進(jìn)的隔幀差分法能較為有效地實現(xiàn)對于前景目標(biāo)的提取。算法通過隔幀差分以獲得目標(biāo)對照信息，并以鐵路限界背景紋理先驗知識，通過重構(gòu)形態(tài)學(xué)背景紋理在一定程度上有效補(bǔ)償了限界范圍內(nèi)的相似背景信息，且具有較好的實時性；算法通過側(cè)向差分灰度的累積投影值來動態(tài)確定不同環(huán)境下的異物對象范圍，可檢測隨機(jī)性對象，同時可較好應(yīng)對車載視覺傳感器因抖動和數(shù)據(jù)處理中累積的干擾及噪聲。通過構(gòu)建不同環(huán)境下的實驗，算法可完成對于動態(tài)路軌環(huán)境下的異物目標(biāo)定位提取，檢測的實時性和準(zhǔn)確率較好。后續(xù)可通過提取本算法檢測獲得的前景目標(biāo)描述特征，通過模式識別算法實現(xiàn)對于異物目標(biāo)的分類識別，輔助行車決策控制。