基于RGB-D視頻的地鐵異物風(fēng)險(xiǎn)檢測(cè)方法研究

劉偉銘,李靜寧,杜逍睿

(華南理工大學(xué)土木與交通學(xué)院,廣州 510640)

1 概述

近年來(lái)，我國(guó)城市軌道交通發(fā)展迅速，地鐵快速發(fā)展的同時(shí)，也出現(xiàn)了一些安全問(wèn)題影響乘客安全出行。早晚高峰期，地鐵夾人夾物事件頻發(fā)，導(dǎo)致大批乘客延誤逗留甚至人員傷亡，由此引發(fā)了地鐵安全的熱議。由于地鐵列車門與屏蔽門間存在一定的隱患，一般采取人員巡邏和車頭司機(jī)瞭望來(lái)確保列車安全運(yùn)行[1]。人工的方式有諸多局限，無(wú)法滿足自動(dòng)駕駛的發(fā)展需求，因此采用先進(jìn)技術(shù)對(duì)地鐵列車門及屏蔽門間風(fēng)險(xiǎn)區(qū)域進(jìn)行異物風(fēng)險(xiǎn)檢測(cè)，對(duì)地鐵運(yùn)行可能出現(xiàn)的風(fēng)險(xiǎn)及時(shí)提醒，將更好的保證地鐵安全運(yùn)行，減低乘客乘車風(fēng)險(xiǎn)。

2 異物風(fēng)險(xiǎn)檢測(cè)

目前針對(duì)地鐵異物風(fēng)險(xiǎn)檢測(cè)方法主要有基于激光傳感器檢測(cè)、基于紅外光幕檢測(cè)以及基于彩色視頻圖像檢測(cè)三種方式。蘇建華等[2]提出基于彩色視頻圖像的車門夾人檢測(cè)方法，采用顏色直方圖算子分別對(duì)車門及車門夾人時(shí)圖像進(jìn)行檢測(cè)，通過(guò)對(duì)比判斷異物。譚飛剛等[3]提出基于地鐵曲線站臺(tái)的空隙異物自動(dòng)檢測(cè)預(yù)警系統(tǒng)，通過(guò)對(duì)彩色視頻幀背景建模方法檢測(cè)異物目標(biāo)。施偉等[4]提出改進(jìn)的霍夫變換算法來(lái)檢測(cè)地鐵車尾光帶來(lái)判斷異物，該方法只適合直線站臺(tái)?；趫D像的檢測(cè)方法對(duì)乘客和列車均無(wú)影響，便于安裝，適合于直線和曲線站臺(tái)。然而地鐵環(huán)境復(fù)雜，RGB攝像頭易受到光線、灰塵、異物與背景相似等干擾，魯棒性不高。

隨著深度傳感器技術(shù)的提升，深度攝像頭在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用日益廣泛。與傳統(tǒng)的攝像頭相比，深度攝像頭不依賴于光源，利用深度信息可以明顯改善目標(biāo)識(shí)別和跟蹤的效果。深度信息可以通過(guò)不同的方法實(shí)時(shí)獲得，如視差估計(jì)法的立體攝像頭[5]、基于飛行時(shí)間(ToF)的攝像頭[6]或微軟Kinect外設(shè)[7]等。本文選擇基于飛行時(shí)間的Pico Zense的RGB-D攝像頭來(lái)采集RGB-D圖像，該攝像頭在地鐵環(huán)境下能夠采集高分辨率穩(wěn)定的彩色圖像及深度圖像。在此基礎(chǔ)上，設(shè)計(jì)了一個(gè)地鐵風(fēng)險(xiǎn)區(qū)域異物風(fēng)險(xiǎn)檢測(cè)方法，首先采取RGB-D+ViBe的方法進(jìn)行異物目標(biāo)檢測(cè)，再通過(guò)檢測(cè)異物尺寸對(duì)異物風(fēng)險(xiǎn)進(jìn)行判斷，從而充分利用多源信息提高檢測(cè)準(zhǔn)確度。

3 基于RGB-D異物風(fēng)險(xiǎn)檢測(cè)方法

3.1 ViBe目標(biāo)檢測(cè)算法

在復(fù)雜環(huán)境下檢測(cè)出有效的異物目標(biāo)，對(duì)后續(xù)監(jiān)測(cè)系統(tǒng)異物風(fēng)險(xiǎn)判斷起著關(guān)鍵作用。ViBe(Visual Background Extractor)[8-10]是O.Barnich提出的一種像素級(jí)的前景檢測(cè)算法，有計(jì)算效率高，檢測(cè)實(shí)時(shí)性好的特點(diǎn)。ViBe算法不需要提前對(duì)視頻幀進(jìn)行訓(xùn)練，能夠快速、有效地檢測(cè)出前景，減少鬼影對(duì)前景的干擾。在前景檢測(cè)算法中，ViBe算法的前景檢測(cè)準(zhǔn)確率優(yōu)于高斯混合模型(GMM)[11]、碼本模型[12]、貝葉斯模型[13]等。ViBe目標(biāo)檢測(cè)算法包括3個(gè)階段：(1)建立像素模型；(2)像素點(diǎn)分類；(3)模型更新。

(1)建立像素模型:對(duì)圖像中某一點(diǎn)像素P(x，y)，由于領(lǐng)域像素點(diǎn)空間分布特性相似，隨機(jī)選取領(lǐng)域像素點(diǎn)的值作為模型樣本值，利用一幀圖像初始化背景模型。

(1)

(2)像素點(diǎn)分類：將新像素點(diǎn)fi(x，y)和初始背景模型進(jìn)行比較，如果該點(diǎn)與模型樣本空間距離小于某一值R，則近似樣本數(shù)目增加，否則近似樣本數(shù)目不變。當(dāng)近似樣本點(diǎn)數(shù)小于閾值λ，則記該點(diǎn)為運(yùn)動(dòng)前景。

(2)

(3)

其中，Bi(x，y)表示像素點(diǎn)分類結(jié)果；Bi(x，y)=0表示該點(diǎn)為背景點(diǎn)；Bi(x，y)=1表示該點(diǎn)為運(yùn)動(dòng)目標(biāo)點(diǎn)；Ni表示近似樣本點(diǎn)；dis(fi(x，y)，vj)表示新像素點(diǎn)與初始背景模型歐式距離；R是距離半徑閾值；λ表示近似樣本閾值。

(3)模型更新原則

時(shí)間衰減原則：樣本保留在模型的概率隨時(shí)間衰減，而判斷為運(yùn)動(dòng)目標(biāo)的點(diǎn)則不會(huì)用來(lái)更新模型。

(4)

可變換為

(5)

隨機(jī)子采樣原則：當(dāng)被分類至背景點(diǎn)時(shí)，隨機(jī)確定該點(diǎn)是否用來(lái)更新模型以拓展模型覆蓋的時(shí)間窗口。因此引入隨機(jī)子采樣因子φ，即背景有1/φ的概率用來(lái)更新模型。

空間一致性原則：某像素點(diǎn)觸發(fā)模型更新時(shí)，隨機(jī)選擇鄰域模型用以更新原模型，從而在空間上傳播像素樣本，確保空間一致性。然而，基于RGB圖像的ViBe算法仍存在一些不足：(1)首幀構(gòu)建的模型里存在運(yùn)動(dòng)的目標(biāo)時(shí)，后續(xù)檢測(cè)會(huì)出現(xiàn)鬼影現(xiàn)象；(2)在光照變化較大的黑暗場(chǎng)景中或燈光顏色變化較大的場(chǎng)景，可能會(huì)導(dǎo)致大面積的背景被誤認(rèn)為是前景點(diǎn)；(3)在模型更新階段，僅使用灰度圖像來(lái)計(jì)算幀像素之間的差異時(shí)，容易混淆背景和前景。

3.2 RGB-D+ViBe的異物目標(biāo)檢測(cè)方法

由于ViBe算法的不足，楊丹等[14]提出的基于彩色圖像的ViBeImp算法，檢測(cè)過(guò)程中運(yùn)用多種算法相結(jié)合計(jì)算自適應(yīng)半徑閾值，可以快速適應(yīng)環(huán)境變化，但是面對(duì)光照變化大等問(wèn)題仍無(wú)法解決。而Del-Blanco C等[15]提出的自適應(yīng)雙碼本DECB算法融合了彩色和深度信息，雖然對(duì)光照具有魯棒性，但是不具備實(shí)時(shí)性?；赗GB-D+ViBe的改進(jìn)目標(biāo)檢測(cè)方法，融合深度和彩色信息，將顏色、紋理和距離特征充分利用，消除光照影響，保證前景良好的檢測(cè)效果。

(1)建立深度模型

一般情況下，目標(biāo)檢測(cè)選取視頻的初始幀作為背景，但是當(dāng)目標(biāo)出現(xiàn)在第一幀時(shí)，大多數(shù)檢測(cè)方法僅通過(guò)RGB圖像難以快速地將前景與背景分離。然而，利用深度信息可以有效快速將前景與背景從初始幀中分離出。對(duì)于深度圖像，靠近相機(jī)的點(diǎn)深度值大，而遠(yuǎn)離相機(jī)的點(diǎn)深度值小。當(dāng)前景移動(dòng)時(shí)，與其初始位置相對(duì)應(yīng)的像素變小，如果這些像素也被識(shí)別為前景，那么就會(huì)形成偽前景即鬼影，建立深度模型可以利用深度信息有效抑制鬼影現(xiàn)象。

將第一幀深度值D(x，y)保存為深度模型MD(x，y)

(6)

深度模型有ViBe算法類似的更新策略，當(dāng)觸發(fā)模型更新時(shí)，原模型中深度值被替換為當(dāng)前像素對(duì)應(yīng)的深度值。

(2)彩色和深度圖像融合像素背景模型

本文采用直觀的融合方法，在原有彩色的ViBe算法之外添加深度信息，組合通道f=(fI，d)由RGB空間中的3個(gè)顏色通道均值I通道和深度值d構(gòu)成。彩色圖像符合人類的視覺(jué)習(xí)慣，并提供顏色和紋理等信息，合理利用彩色圖像關(guān)鍵信息，從而提高檢測(cè)準(zhǔn)確率。由于色彩、光照變化對(duì)檢測(cè)效果影響較大，為了消除色彩變化影響，首先對(duì)彩色圖像R、G、B三通道進(jìn)行平均得到I通道圖像。深度圖像量化了目標(biāo)到平面的距離，深度值越高，檢測(cè)越可靠。因此，利用深度信息作為檢測(cè)置信因子，例如深度圖像中有空洞的地方，深度檢測(cè)明顯不可靠，融合的結(jié)果將取決于彩色圖像。

本文取深度值倒數(shù)進(jìn)行歸一化處理作為深度不確定度，將其與深度值和RGB通道均值進(jìn)行融合，得到融合的歸一化圖像

(7)

(8)

(3)判斷像素點(diǎn)是否為前景

建立深度像素模型MD(x，y)來(lái)增加判斷前景時(shí)的匹配條件，從而消除鬼影影響，改善算法效果。

首先，將融合后的點(diǎn)ffusion(x，y)和融合模型比較，如果該點(diǎn)與模型空間距離小于某一閾值R，則近似樣本數(shù)目增加，否則近似樣本數(shù)目不變。

然后，當(dāng)近似樣本數(shù)大于閾值λ，則記該點(diǎn)為背景點(diǎn)，以原更新策略更新融合模型和深度模型；當(dāng)近似樣本數(shù)小于閾值λ，且深度值與深度模型歐式距離超過(guò)閾值τ時(shí)，則記該點(diǎn)為鬼影點(diǎn)，仍歸類為背景點(diǎn)；若近似樣本數(shù)小于閾值λ，且深度值與深度模型歐式距離小于τ時(shí)，則認(rèn)為該點(diǎn)為運(yùn)動(dòng)目標(biāo)點(diǎn)。

(9)

(10)

其中，Bi(x，y)為像素點(diǎn)分類結(jié)果，Bi(x，y)=0為該點(diǎn)為背景點(diǎn)，Bi(x，y)=1為該點(diǎn)為運(yùn)動(dòng)目標(biāo)點(diǎn)；Ni為近似樣本點(diǎn)；dis(fi(x，y)，vj)為新像素點(diǎn)與初始背景模型歐式距離；R是樣本距離閾值；λ為近似樣本閾值；τ為深度距離閾值。

3.3 異物風(fēng)險(xiǎn)判斷

檢測(cè)出異物目標(biāo)后，需要對(duì)異物進(jìn)行風(fēng)險(xiǎn)判斷，文獻(xiàn)[16]提出，將站臺(tái)異物劃分為5個(gè)風(fēng)險(xiǎn)等級(jí)，如表1所示。

表1 文獻(xiàn)[16]中異物風(fēng)險(xiǎn)分類

參考表1的分類依據(jù)，將異物風(fēng)險(xiǎn)分為三類：高≥100 mm，長(zhǎng)≥100 mm，寬≥100 mm為高風(fēng)險(xiǎn)異物；50 mm≤高<100 mm，50 mm≤長(zhǎng)<100 mm，50 mm≤寬<100 mm為低風(fēng)險(xiǎn)異物；高<50 mm，長(zhǎng)<50 mm，寬<50 mm為無(wú)風(fēng)險(xiǎn)異物，如表2所示。

表2 本文異物風(fēng)險(xiǎn)分類

異物的尺寸通過(guò)彩色圖像并不能完全檢測(cè)出來(lái)，因此借助深度信息，可以更精確判斷異物風(fēng)險(xiǎn)。由于異物形狀不確定，因此對(duì)目標(biāo)做近似處理，通過(guò)近似的異物尺寸來(lái)判斷異物風(fēng)險(xiǎn)。

(1)計(jì)算最小外接矩形

根據(jù)目標(biāo)像素點(diǎn)集合的最值確定外接矩形，得到其面積

S=(maxX-minX)×(maxY-minY)

(11)

旋轉(zhuǎn)目標(biāo)圖像，求出新目標(biāo)像素點(diǎn)集合坐標(biāo)最值確定外接矩形和面積，直到外接矩形面積最小，則為最小外接矩形

x′=xcosb-ysinb

(12)

y′=xcosb+ysinb

(13)

(2)圖像尺寸轉(zhuǎn)換為實(shí)際尺寸

引入轉(zhuǎn)換系數(shù)，將像素長(zhǎng)度轉(zhuǎn)換為實(shí)際距離，得到近似異物目標(biāo)的實(shí)際長(zhǎng)和寬

L=k×l

(14)

W=k×w

(15)

其中，l，w分別為彩色圖中異物目標(biāo)最小外接矩形長(zhǎng)、寬；L，W分別為實(shí)際長(zhǎng)、寬；k為像素長(zhǎng)度與實(shí)際距離的轉(zhuǎn)換系數(shù)。

利用深度信息計(jì)算異物高度，取最小外接矩形對(duì)應(yīng)深度最小值和最大值的差，可以得到異物的高

H=dmax-dmin

(16)

(3)根據(jù)異物尺寸判斷異物風(fēng)險(xiǎn)

Flag=

(17)

其中，F(xiàn)lag代表風(fēng)險(xiǎn)等級(jí)。

3.4 實(shí)驗(yàn)結(jié)果與分析

基于Qt5.6.1及opencvSDK2.4.3的環(huán)境，實(shí)驗(yàn)采集的視頻幀率為30幀，顏色和深度圖像的大小為640×480。為了驗(yàn)證所提出的異物檢測(cè)方法魯棒性，實(shí)驗(yàn)采集了正常光照時(shí)地鐵環(huán)境下異物視頻和當(dāng)光照變化較大時(shí)地鐵環(huán)境異物視頻。

首先，將本文方法目標(biāo)檢測(cè)的結(jié)果與先進(jìn)的基于RGB-D融合的MOG4D[17-18]算法以及基于彩色圖像的ViBe算法[19]和基于深度的ViBe算法[20]進(jìn)行比較，為了驗(yàn)證異物檢測(cè)方法的有效性，采用準(zhǔn)確率指標(biāo)進(jìn)行評(píng)價(jià)，準(zhǔn)確率在計(jì)算機(jī)視覺(jué)中被廣泛用于評(píng)估二進(jìn)制分類器的性能[21]。

(18)

其中，TP代表正確分類為運(yùn)動(dòng)目標(biāo)的真實(shí)運(yùn)動(dòng)點(diǎn)；TN代表正確分類為背景的真實(shí)背景點(diǎn)；FP代表錯(cuò)誤分類為背景的真實(shí)運(yùn)動(dòng)目標(biāo)點(diǎn)；FN代表錯(cuò)誤分類為運(yùn)動(dòng)目標(biāo)的真實(shí)背景點(diǎn)。

本文提出目標(biāo)檢測(cè)方法涉及5個(gè)參數(shù)的設(shè)置，即樣本數(shù)目N、樣本距離閾值R、近似樣本閾值λ、更新因子φ和深度距離閾值τ。為了獲得最優(yōu)的檢測(cè)效果，實(shí)驗(yàn)設(shè)置N=20，R=20，λ=2，φ=16以及τ=2。圖1代表正常光照時(shí)目標(biāo)檢測(cè)結(jié)果，圖2為光照變化大時(shí)目標(biāo)檢測(cè)結(jié)果，表3為不同光照條件下目標(biāo)檢測(cè)準(zhǔn)確率。

圖1 正常光照時(shí)目標(biāo)檢測(cè)結(jié)果(左下為彩色ViBe算法檢測(cè)結(jié)果，右下為本文方法檢測(cè)結(jié)果)

圖2 光照變化大時(shí)目標(biāo)檢測(cè)結(jié)果(左下為彩色ViBe算法檢測(cè)結(jié)果，右下為本文方法檢測(cè)結(jié)果)

表3 不同光照條件下準(zhǔn)確率對(duì)比 %

根據(jù)實(shí)驗(yàn)結(jié)果，本文提出的RGB-D+ViBe算法，結(jié)合一個(gè)額外的深度模型，可以有效地消除鬼影和黑影。在正常光照下檢測(cè)準(zhǔn)確率較其他方法有所提升，而當(dāng)光照變化大特別是燈光閃爍的情況下，其他方法由于鬼影大大降低檢測(cè)準(zhǔn)確率，而本文方法檢測(cè)準(zhǔn)確率在光照變化大的情況下也達(dá)到90%以上，具有魯棒性。為了驗(yàn)證異物風(fēng)險(xiǎn)判斷的準(zhǔn)確率，針對(duì)不同尺寸的異物進(jìn)行實(shí)驗(yàn)，其中像素距離轉(zhuǎn)換系數(shù)k取4.5。圖3代表異物風(fēng)險(xiǎn)判斷結(jié)果，表4為實(shí)際異物尺寸風(fēng)險(xiǎn)判斷和實(shí)驗(yàn)對(duì)比。

圖3 異物風(fēng)險(xiǎn)判斷結(jié)果(左為彩色原圖，右為檢測(cè)結(jié)果)

表4 實(shí)際異物和實(shí)驗(yàn)結(jié)果比較

由表4可以看出，與實(shí)際異物尺寸相比，本文方法計(jì)算出的異物尺寸誤差在1 mm內(nèi)，能夠有效準(zhǔn)確判斷異物風(fēng)險(xiǎn)。

綜上所述，本文提出的RGB-D+ViBe目標(biāo)檢測(cè)方法可以充分利用彩色和深度多源信息，結(jié)合深度模型實(shí)現(xiàn)鬼影的抑制和對(duì)光照具有魯棒性，能夠準(zhǔn)確檢測(cè)異物，同時(shí)提出了異物風(fēng)險(xiǎn)判斷方法，有效警示異物風(fēng)險(xiǎn)。

4 結(jié)語(yǔ)

地鐵異物檢測(cè)易受到光照、背景等影響，隨著深度傳感器的發(fā)展，深度信息為異物檢測(cè)提供了新的思路?；诓杉钠帘伍T和列車門之間的RGB-D視頻，提出一種融合深度和顏色信息的異物風(fēng)險(xiǎn)檢測(cè)算法。實(shí)驗(yàn)結(jié)果證明，基于RGB-D+ViBe的方法在不同光照條件下準(zhǔn)確率都達(dá)到90%以上，基于RGB-D的異物尺寸計(jì)算誤差在1 mm以內(nèi)，方法具有魯棒性和準(zhǔn)確性，對(duì)地鐵站臺(tái)安全監(jiān)測(cè)有很高的使用和推廣價(jià)值。