有軌電車異物侵限檢測(cè)及預(yù)警方法研究

葉 超，陳 新

（南京理工大學(xué)，江蘇南京 210094）

有軌電車通常采用半獨(dú)立路權(quán)運(yùn)營(yíng)，導(dǎo)致經(jīng)常有行人、非機(jī)動(dòng)車、紙板等異物侵限，嚴(yán)重影響有軌電車運(yùn)行安全及效率，因此進(jìn)行有軌電車異物侵限檢測(cè)及預(yù)警方法的研究十分重要。雖然在有軌電車沿線安裝著大量視頻監(jiān)控設(shè)備，但單純依靠人眼觀看容易產(chǎn)生疏漏而且效率低下，因此需要將原有安裝的監(jiān)控視頻充分利用，使用智能化方法對(duì)異物侵限行為進(jìn)行精確識(shí)別與跟蹤，并實(shí)時(shí)預(yù)警，從而保證有軌電車行車安全及效率。

1 異物檢測(cè)及預(yù)警技術(shù)研究現(xiàn)狀

在異物檢測(cè)技術(shù)研究方面，國(guó)內(nèi)外已有許多較為成熟的研究方法。J. A. Uribe，L. Fonseca，J. F. Vargas[1]等人使用霍夫變換及連續(xù)幀，通過稀疏光流計(jì)算目標(biāo)軌跡，以確定與障礙物可能的碰撞路線。李興鑫[2]等人提出一種基于自適應(yīng)閾值的前景目標(biāo)分割算法和背景初始化算法，提升鐵路場(chǎng)景下異物檢測(cè)的精度。侯濤[3]等人提出一種改進(jìn)MOG-LRMF的檢測(cè)方法，能夠適應(yīng)光纖強(qiáng)弱以及多個(gè)運(yùn)動(dòng)物體的檢測(cè)。寧正[4]等人利用小波變換及鄰域平均法改進(jìn)混合高斯模型，解決了前景目標(biāo)檢測(cè)不全的問題。上述檢測(cè)方法雖然具有較好的性能，但對(duì)有軌電車運(yùn)行環(huán)境適用性較差，部分方法檢測(cè)速度較慢，實(shí)時(shí)性有待提高。

在異物侵限預(yù)警技術(shù)研究方面，目前也有較多學(xué)者研究。德國(guó)航空航天中心[5-6]參考航空器防撞系統(tǒng)設(shè)計(jì)了鐵路列車防撞系統(tǒng)，該系統(tǒng)利用GPS定位技術(shù)、測(cè)速技術(shù)結(jié)合計(jì)算機(jī)技術(shù)、傳感器技術(shù)等，判斷出列車前方障礙物并提醒司機(jī)主動(dòng)預(yù)警。易志剛[7]等人結(jié)合線路狀態(tài)、環(huán)境狀態(tài)、列車狀態(tài)等信息，同時(shí)考慮采集交互時(shí)間、司機(jī)的反應(yīng)時(shí)間等因素，對(duì)列車防撞策略進(jìn)行了分析研究。但上述列車異物侵限預(yù)警技術(shù)未考慮對(duì)預(yù)警等級(jí)進(jìn)行劃分，在有軌電車線路上使用容易產(chǎn)生過多無用的預(yù)警信息，因此，本文將針對(duì)有軌電車異物侵限檢測(cè)及劃分預(yù)警等級(jí)方法進(jìn)行研究，進(jìn)一步提升有軌電車運(yùn)行的安全性。

2 基于混合高斯模型與三幀差分法融合的異物侵限檢測(cè)

2.1 混合高斯模型建立與模型參數(shù)學(xué)習(xí)

傳統(tǒng)的混合高斯模型（Gaussian Mixture Model，GMM）由Stauffer和Grimson[8]首先提出，通過對(duì)圖像中的每個(gè)像素點(diǎn)建立高斯分布，使用高斯概率密度函數(shù)來描述動(dòng)態(tài)變化的背景。首先模型中的任意像素點(diǎn)（x0，y0）隨時(shí)間變化所組成的序列描述如下：

式（1）中，Xt是像素點(diǎn)（x0，y0）在t時(shí)刻的像素值；I（x0，y0，i）是視頻序列中第i時(shí)刻的像素值。對(duì)像素點(diǎn)使用K個(gè)高斯分布組成高斯模型進(jìn)行背景建模，則該像素點(diǎn)出現(xiàn)的概率P（Xt）可由式（2）表示：

式（2）中，K為高斯分布的個(gè)數(shù)，本文中K取常數(shù)5；ωi，t表示t時(shí)刻第i個(gè)高斯分布的權(quán)重值；μi，t，σi，t分別代表t時(shí)刻第i個(gè)高斯分布的均值向量及協(xié)方差矩陣。式中的η（Xt，μi，t，σi，t）為高斯分布的概率密度函數(shù)，計(jì)算如下：

當(dāng)讀入新的視頻幀時(shí)，將每個(gè)點(diǎn)像素值對(duì)應(yīng)的K個(gè)高斯分布與該點(diǎn)像素值進(jìn)行匹配，若該像素點(diǎn)滿足|Xtμi，t|≤Dσi，t，則該像素點(diǎn)與背景模型匹配，為背景點(diǎn)，否則為前景點(diǎn)，其中D為置信參數(shù)，通常取值2.5。對(duì)于匹配的模型，需要對(duì)權(quán)重、均值及方差進(jìn)行更新學(xué)習(xí)，對(duì)于不匹配的模型，刪除權(quán)重最小的高斯分布并創(chuàng)建新的高斯分布，均值取當(dāng)前像素點(diǎn)的像素值，方差取初始化的較大方差，權(quán)重則根據(jù)更新公式進(jìn)行更新。更新方法如下[9]：

式（4）～式（6）中，α，β為學(xué)習(xí)率，分別決定背景更新快慢和高斯分布參數(shù)更新快慢，α取0.001～0.01，β=αη（Xt，μi，t，σi，t）。Mt為匹配參數(shù)，當(dāng)像素與背景模型匹配時(shí)Mt= 1，否則Mt= 0。

當(dāng)背景模型參數(shù)更新后，需要對(duì)K個(gè)高斯分布按優(yōu)先級(jí)φ從大到小進(jìn)行排序，將大于閾值T的前B個(gè)高斯分布作為背景模型。φ與B的計(jì)算如下：

式（8）中，閾值T表示背景所占比例，需要根據(jù)實(shí)際情況進(jìn)行選取，本文通過實(shí)驗(yàn)確定閾值T為0.7。

2.2 三幀差分法

物體在運(yùn)動(dòng)時(shí)，相鄰的圖像幀的像素點(diǎn)之間會(huì)有明顯的差別，傳統(tǒng)的幀間差分法將連續(xù)兩幀圖像進(jìn)行逐像素差分運(yùn)算，提取出圖像前景區(qū)域，以此來獲取目標(biāo)的輪廓，但當(dāng)目標(biāo)顏色相近時(shí)檢測(cè)效果不明顯，因此幀差法的基礎(chǔ)上，使用三幀差分法，提取視頻中的連續(xù)三幀圖像，相鄰兩幀之間進(jìn)行逐像素差分運(yùn)算得到兩張幀差圖，將兩張幀差圖進(jìn)行邏輯與運(yùn)算，最終獲得目標(biāo)輪廓信息。具體計(jì)算過程如下[10]：

式（9）～式（11）中，T1、T2為預(yù)先設(shè)置圖像閾值，兩幀間的像素差絕對(duì)值大于閾值則該像素點(diǎn)為運(yùn)動(dòng)物體，值取1，否則為背景，值取0；fk-1（x，y）、fk（x，y）、fk+1（x，y）分 別 是 第k-1幀、k幀 與k+1幀 圖 像；Dk-1（x，y）、Dk（x，y）分別是k幀與k-1幀的幀差圖、k+1幀與k幀的幀差圖；Mk（x，y）為兩幀差圖作與運(yùn)算后得到的圖像。

2.3 混合高斯模型與三幀差分法融合的侵限檢測(cè)

傳統(tǒng)混合高斯模型能夠檢測(cè)出比較完整的目標(biāo)，抑制部分噪聲；三幀差分法檢測(cè)速度快，對(duì)快速運(yùn)動(dòng)目標(biāo)表現(xiàn)出良好性能。結(jié)合2個(gè)模型的優(yōu)點(diǎn)，將2個(gè)模型相融合，建立新的檢測(cè)模型，使檢測(cè)目標(biāo)更加完整，輪廓更加清晰，解決空洞問題。

在進(jìn)行檢測(cè)前，需要先對(duì)獲取的視頻圖像序列進(jìn)行預(yù)處理，包括去噪、軌道線識(shí)別、劃分檢測(cè)區(qū)域等。預(yù)處理完成后，對(duì)視頻序列分別使用混合高斯模型和三幀差分法進(jìn)行運(yùn)動(dòng)目標(biāo)的獲取，針對(duì)兩者檢測(cè)結(jié)果的二值圖像進(jìn)行邏輯或運(yùn)算，最后將或運(yùn)算得到的圖像進(jìn)行形態(tài)學(xué)處理，得到最終的檢測(cè)圖像。

混合高斯模型與三幀差分法融合的侵限檢測(cè)流程如圖1所示。

3 有軌電車異物侵限預(yù)警技術(shù)

行人或物體侵限將對(duì)有軌電車運(yùn)行安全造成嚴(yán)重影響，但并非所有的侵限行為都會(huì)造成影響。因此在檢測(cè)到侵限目標(biāo)時(shí)需要根據(jù)目標(biāo)對(duì)列車運(yùn)行的影響程度進(jìn)行預(yù)警等級(jí)劃分。本文中將使用T-S模糊神經(jīng)網(wǎng)絡(luò)建模進(jìn)行異物侵限等級(jí)劃分的研究并進(jìn)行仿真。有軌電車異物侵限預(yù)警等級(jí)將劃分為低、中、高3個(gè)等級(jí)，根據(jù)判斷出的不同的等級(jí)，進(jìn)行不同的應(yīng)急處置。

3.1 T-S 模糊神經(jīng)網(wǎng)絡(luò)模型

模糊神經(jīng)網(wǎng)絡(luò)是將模糊推理與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相結(jié)合的一種數(shù)據(jù)處理技術(shù)，常見的有Mamdani型模糊神經(jīng)網(wǎng)絡(luò)與T-S型模糊神經(jīng)網(wǎng)絡(luò)，本文根據(jù)實(shí)際應(yīng)用情況，選擇T-S型模糊神經(jīng)網(wǎng)絡(luò)。

T-S模糊神經(jīng)網(wǎng)絡(luò)由日本學(xué)者Takagi和Sugeno[11]提出，將輸入數(shù)據(jù)進(jìn)行模糊化，采用“if-then”的模糊推理規(guī)則進(jìn)行推理，根據(jù)推理結(jié)果將數(shù)據(jù)反模糊化后進(jìn)行輸出。假設(shè)有輸入變量{x1，x2，x3，…，xj}，則關(guān)于每條推理規(guī)則的輸出yi推理如下：

根據(jù)模糊計(jì)算結(jié)果采用加權(quán)平均法計(jì)算出系統(tǒng)的最終輸出y：

為使神經(jīng)網(wǎng)絡(luò)更穩(wěn)定、預(yù)測(cè)結(jié)果更精確，T-S模糊神經(jīng)網(wǎng)絡(luò)需使用梯度下降法對(duì)網(wǎng)絡(luò)連接權(quán)系數(shù)、隸屬度函數(shù)的中心值和寬度等參數(shù)進(jìn)行學(xué)習(xí)，以誤差性能為評(píng)判指標(biāo)[14]。誤差e的計(jì)算如下：

式（16）中，yd為期望輸出值，yc為實(shí)際輸出值。T-S模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)參數(shù)的更新公式如下：

3.2 基于模糊神經(jīng)網(wǎng)絡(luò)的侵限預(yù)警等級(jí)劃分

有軌電車的異物侵限場(chǎng)景分為2類，第一類是靜態(tài)異物侵限，第二類是動(dòng)態(tài)異物侵限。對(duì)于靜態(tài)異物而言，所有遺留軌道上的物體對(duì)列車運(yùn)行安全及效率均會(huì)產(chǎn)生影響，因此劃分預(yù)警等級(jí)時(shí)，需要根據(jù)列車距離物體的遠(yuǎn)近程度以及列車速度來判斷預(yù)警等級(jí)；對(duì)于動(dòng)態(tài)異物而言，主要以行人、非機(jī)動(dòng)車以及少量誤入軌行區(qū)的機(jī)動(dòng)車為主。對(duì)于誤入軌行區(qū)的機(jī)動(dòng)車，對(duì)列車運(yùn)行安全有較大的影響，需要根據(jù)機(jī)動(dòng)車運(yùn)行方向、機(jī)動(dòng)車運(yùn)行速度、列車速度以及與最近列車的距離來判斷預(yù)警等級(jí)；對(duì)于行人與非機(jī)動(dòng)車，大部分以橫穿軌行區(qū)為主，根據(jù)其運(yùn)動(dòng)速度、運(yùn)動(dòng)軌跡、運(yùn)動(dòng)方向、與最近列車的距離以及列車速度來判斷預(yù)警等級(jí)。

根據(jù)上述分析將異物侵限等級(jí)評(píng)估的列車速度、列車位置、障礙物類型、障礙物速度以及障礙物方向5個(gè)指標(biāo)作為網(wǎng)絡(luò)的輸入，建立5個(gè)輸入1個(gè)輸出的T-S模糊神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的第一層為5個(gè)輸入，第二至四層是隱藏層，其中第二層為模糊化層，用于計(jì)算各輸入所對(duì)應(yīng)的隸屬度函數(shù)，本文中選擇高斯隸屬度函數(shù)；第三層為模糊推理規(guī)則層，計(jì)算各規(guī)則適用度；第四層為去模糊化層，先將規(guī)則適用度歸一化計(jì)算，然后將數(shù)據(jù)去模糊化，對(duì)應(yīng)清晰的輸出，輸出隸屬度函數(shù)選擇線性；第五層為1個(gè)輸出，代表預(yù)警等級(jí)。

由于模糊神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果與輸入?yún)?shù)呈線性關(guān)系，預(yù)測(cè)結(jié)果不是所希望的預(yù)警等級(jí)，因此需要對(duì)預(yù)測(cè)結(jié)果進(jìn)行數(shù)據(jù)處理后再與實(shí)際輸出進(jìn)行比較。系統(tǒng)輸出y的具體處理方法如下：

3.3 預(yù)警信息傳遞

在劃分預(yù)警等級(jí)后，根據(jù)各等級(jí)進(jìn)行信息的傳遞。當(dāng)預(yù)警等級(jí)為低時(shí)，表明該物體或人不直接影響列車運(yùn)行，列車無需降速，因此只需生成預(yù)警信息，在視頻監(jiān)控系統(tǒng)中彈出消息框，以告知調(diào)度員相關(guān)信息即可；當(dāng)預(yù)警等級(jí)為中時(shí)，表明該物體或人影響列車運(yùn)行但列車距離較遠(yuǎn)或速度較低，只需正常制動(dòng)或提醒司機(jī)謹(jǐn)慎駕駛通過，將信息從視頻監(jiān)控服務(wù)器通過控制中心列車自動(dòng)監(jiān)控系統(tǒng)（Automatic Train Supervision，ATS）服務(wù)器向車載設(shè)備發(fā)送預(yù)警信息，進(jìn)行“滴滴”鳴響[15]；當(dāng)預(yù)警等級(jí)為高時(shí)，表明該物體或人直接影響列車安全運(yùn)行，此時(shí)列車速度較快或距離較近，通過控制中心 ATS 服務(wù)器終端向車載設(shè)備下發(fā)緊急命令及并發(fā)出長(zhǎng)鳴預(yù)警聲，提醒司機(jī)采取緊急措施，與此同時(shí)，ATS服務(wù)器終端將向軌旁設(shè)備發(fā)出命令，及時(shí)關(guān)閉相關(guān)區(qū)段通過信號(hào)，以保障行車安全。預(yù)警信息傳遞示意圖如圖2所示。

4 實(shí)例仿真

本文的實(shí)驗(yàn)條件為：Intel（R）Core（TM）i5-10210U CPU @1.60GHz 2.11 GHz，8GB RAM，Windows10，異物檢測(cè)實(shí)驗(yàn)通過Python 3.9實(shí)現(xiàn)，預(yù)警等級(jí)劃分實(shí)驗(yàn)通過Matlab實(shí)現(xiàn)。

4.1 異物檢測(cè)實(shí)例仿真

異物檢測(cè)實(shí)驗(yàn)數(shù)據(jù)為某有軌電車公司提供的2021年5月21日編號(hào)為1101X攝像機(jī)的一段視頻，內(nèi)容是1名行人翻越護(hù)欄進(jìn)入軌行區(qū)造成列車緊急剎車停車，實(shí)驗(yàn)需要在列車到來前，檢測(cè)出闖入軌行區(qū)的行人。

本文用經(jīng)典混合高斯模型、三幀差分法及混合高斯模型與三幀差分法融合3種算法分別對(duì)視頻進(jìn)行測(cè)試，將輸出視頻幀率設(shè)置為20幀/s，截取視頻第102幀、213幀進(jìn)行對(duì)比。圖3、圖4分別為視頻第102幀、213幀的實(shí)驗(yàn)結(jié)果，圖中從左至右分別為原圖、三幀差分法、混合高斯模型、混合高斯模型與三幀差分法融合算法檢測(cè)結(jié)果二值圖及最終檢測(cè)出的行人。二值圖中白色為檢測(cè)出的目標(biāo)，黑色為背景。

從圖中可以看出，三幀差分法雖然檢測(cè)速度快，但檢測(cè)效果較差，不能檢測(cè)出完整的目標(biāo)，輪廓空洞現(xiàn)象非常明顯；傳統(tǒng)的混合高斯模型算法在本視頻中的檢測(cè)效果良好，與混合高斯模型與三幀差分法融合算法相比檢測(cè)效果差別不大，但在其他視頻中，融合算法明顯優(yōu)于傳統(tǒng)混合高斯模型算法，如圖5所示。從圖中可以看出，融合算法比傳統(tǒng)算法檢測(cè)出的目標(biāo)更為完整，且目標(biāo)內(nèi)部無明顯空洞現(xiàn)象。

此外，從視頻的整體檢測(cè)效果來看，傳統(tǒng)混合高斯模型檢測(cè)時(shí)存在許多噪點(diǎn)，容易被誤檢成運(yùn)動(dòng)目標(biāo)，而融合算法通過形態(tài)學(xué)處理后能夠較好地抑制噪聲，防止誤檢。由此可以看出混合高斯模型與三幀差分法融合算法更適合有軌電車異物侵限檢測(cè)。

4.2 預(yù)警等級(jí)劃分實(shí)例仿真

在Matlab的Neuro Fuzzy Designer工具箱中使用550組數(shù)據(jù)進(jìn)行預(yù)警等級(jí)劃分實(shí)驗(yàn)。本文數(shù)據(jù)集中的列車速度為通過某有軌電車公司ATS系統(tǒng)隨機(jī)采集的550組不同時(shí)刻不同列車速度，用于模擬列車通過場(chǎng)景；列車位置則根據(jù)GPS坐標(biāo)換算為列車與障礙物的距離，并根據(jù)行車間隔確定取值范圍為0～3.5 km，使用rand函數(shù)在取值范圍內(nèi)隨機(jī)生成；異物速度通過對(duì)某有軌電車公司提供的視頻中的行人、非機(jī)動(dòng)車、機(jī)動(dòng)車進(jìn)行測(cè)速采集得到，靜態(tài)異物速度默認(rèn)為0；對(duì)于異物方向，根據(jù)侵限類型確定為與列車同向，與列車相向，與列車軌跡交叉（橫穿軌道或靜止），分別用1、0、-1表示，在數(shù)據(jù)集中按2 : 3 : 2的比例隨機(jī)分配；數(shù)據(jù)集中靜態(tài)異物取值 -1，動(dòng)態(tài)異物取值1，按3 : 7的比例進(jìn)行隨機(jī)分配；預(yù)警等級(jí)由行業(yè)內(nèi)專家及運(yùn)營(yíng)管理人員根據(jù)評(píng)價(jià)指標(biāo)進(jìn)行劃分，1表示低等級(jí)，2表示中等級(jí)，3表示高等級(jí)。

將500組數(shù)據(jù)輸入T-S模糊神經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，剩下50組數(shù)據(jù)進(jìn)行測(cè)試，測(cè)試結(jié)果如圖6、圖7所示。

圖6為T-S模糊神經(jīng)網(wǎng)絡(luò)的樣本訓(xùn)練誤差，從圖中可以看出訓(xùn)練至70次左右時(shí)，神經(jīng)網(wǎng)絡(luò)收斂，樣本誤差率維持在0.2907左右。圖7是經(jīng)處理后的預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)對(duì)比，從仿真結(jié)果可以看出，T-S模糊神經(jīng)網(wǎng)絡(luò)所預(yù)測(cè)的大部分指標(biāo)下的預(yù)警等級(jí)與實(shí)際預(yù)警等級(jí)基本接近，且通過數(shù)據(jù)處理后與實(shí)際所判定等級(jí)基本相符，僅出現(xiàn)少量判斷錯(cuò)誤的情況，預(yù)測(cè)準(zhǔn)確率較高。由此可以判斷利用T-S模糊神經(jīng)網(wǎng)絡(luò)模型魯棒性較好，能夠進(jìn)行有軌電車異物侵限預(yù)警等級(jí)劃分。

5 結(jié)論

本文研究中將混合高斯模型與三幀差分法融合進(jìn)行異物侵限檢測(cè)，結(jié)果表明該算法能夠較好的檢測(cè)出行人、汽車等障礙物，達(dá)到預(yù)期效果。文章通過T-S模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)警等級(jí)劃分，從實(shí)驗(yàn)結(jié)果來看，該模型表現(xiàn)良好，能夠?qū)τ熊夒娷嚠愇锴窒揞A(yù)警等級(jí)準(zhǔn)確劃分，但是由于實(shí)驗(yàn)條件受限，對(duì)于不同環(huán)境條件下的檢測(cè)未進(jìn)行更多的實(shí)驗(yàn)，且實(shí)驗(yàn)數(shù)據(jù)隨機(jī)性較大，對(duì)于預(yù)警等級(jí)劃分的精確度還有待提高。后期將進(jìn)一步收集不同環(huán)境條件下的實(shí)驗(yàn)數(shù)據(jù)，并對(duì)T-S模糊神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化提升預(yù)測(cè)精確度，保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，進(jìn)而保障列車安全行駛。